Python爬虫系列：通用代码框架

小Bob 小Bob Bob来啦

2021年01月27日 23:00 __ _ _ _ _

文章配图

“life is too short for long-term grudges.” 生命太短暂，它无法承受无休止的恩恩怨怨.

——马斯克

文章配图

在对网页上的内容进行爬取时，会遇到各种各样的问题，在最初开始学时也难处理，那么，拥有好的编程习惯就会轻松很多。

当我们在使用 Requests库时经常遇到的问题无非是网络问题，连接的超时问题，或者你自己代码有错误…

下面列举了一些相关的错误：

异常提示： | 异常说明：

说到HTTP，首先HTTP协议是个超文本传输协议，且是一个基于”请求与响应”模式的，无状态的应用层协议。HTTP协议采用URL作为定位网络资源的标识。
URL格式： http://host[:port][path] To：URL是通过HTTP协议存取资源
的Internet路径，一个URL对应一个数据资源。

host：合法的Internet主机域名或IP地址
port：端口号：缺省端口为80
path：请求资源的路径

HTTP协议对资源的操作：

GET：请求获取URL位置的资源
HRAD：请求获取URL位置资源的响应消息报告，即获得该资源的头部信息
POST：请求向URL位置的资源后附加新的数据
PUT：请求向URL位置存储一个资源，覆盖URL位置的资源
PATCH：请求局部更新URL位置的资源，即改变该处资源的部分内容
DELETE：请求删除URL位置存储的资源

理解 PATCH和PUT 的区别：

假设URL位置有一组数据User info，包括UserID,UserName等20个字段，需求：用户只改变了UserName，UserID等其它不变。

1.采用PATCH，仅向URL提交USERName的局部更新请求

2.采用PUT，必须将所有20个字段一并提交到URL，未提交字段将被删除

当采用PATCH时，最大的好处便是节省了网络带宽。

通用代码举例：

import requestsdef getHTMLText(url):    try:        r=requests.get(url,timeout=30)        r.raise_for_status()        r.encoding=r.apparent_encoding        return r.text    except:        return 0if __name__=="__main__":    url="http://www.baidu.com"#可自己修改试试    print(getHTMLText(url))

以上代码仅供参考，通用部分为def函数部分。
Python爬虫系列，未完待续…

文章配图