Python爬虫系列：这就是你以为的Python爬虫吗？

2021年01月30日 23:30 __ _ _ _ _

文章配图

我们每一天都必须重建我们内心的世界，否则我们将一事无成。

-《德米安彷徨少年时》

文章配图

之前对网络爬虫讲到了Requests库以及通用代码框架，对于爬虫或许还不是很清楚它到底是用来干嘛的，那么你可以去招聘软件去搜索一下 爬虫工程师
，薪资大概在月入一万左右
文章配图
，当然，是有工作经验的。

那么我们普通的爬虫和公司的爬虫是否相同呢？其实还是有差异的，主要体现在爬虫所 爬取的规模
。在公司里面，爬虫所爬取数据的量是非常庞大的，而且对速度的要求也是非常高的，不然你百度一个东西等几分钟试试。

那么小编这里给大家简单的分了一下类别（按照规模大小）：

小规模，数据量小，爬取速度不敏感 ，一般会采用Requests库：主要体现在爬取网页。

中规模，数据规模一般较大，爬取速度敏感 ，一般会采用Scrapy库：主要用于爬取网页，爬取一系列的网站。

大规模的比如搜索引擎百度，360等，其爬取速度是很关键的 ，技术一般是定制，爬取的内容为全网。

因为在爬虫的过程中会产生大量的访问请求，所以你写爬虫代码的水平或者有其它的目的，都会给被爬取对象的web服务器带来巨大的开销。

当然，现在也有 反爬虫和Robots协议 来限制爬虫：

反爬虫： 主要体现在来源审查，即判断User-Agent的访问频率，并对其进行限制。

至于 Robots协议 ，则是告诉所有的爬虫者它的爬取规则，并要求爬虫者遵守。

Robots协议全称为：Robots Exclusion Standard（网络爬虫排除标准）

作用：网站的管理员告知爬虫者那些页面可以抓取，那些不能抓取。

形式：在网站根目录下创建一个robots.txt文件。

那么我们一般使用者该如何 遵守这个协议 呢？

一般来说，我们在进行爬虫时，首先会先看看robots.txt，再进行内容爬取。至于是否遵守协议，小编建议尽量遵守，当然，如果你的访问量很小且不用来获取商业利益，那么问题一般不大。毕竟robots协议只是自家规定的，没有强制约束性，即可以不遵守，但存在法律风险。

一般的情况只要没有构成商业利益且访问量不是很大时小编还是建议遵守，但如果构成了商业利益或者是爬取全网如百度，搜狗等，这些是一定要遵守的，否则是要承担法律责任的。

最后还有对于 网络爬虫的风险 ：

别人家服务器上的数据是有产权归属的，如果你拿来进行商业交易，是需要承担法律责任的，且容易造成用户数据的泄露，小编随便透漏一下，之前还见过倒卖用户数据的，想想都及其思恐，数据泄露之后最烦的便是骚扰问题，比如骚扰电话，短信，加好友之类的，所以小编也是一直提醒要保护好自己的隐私，即使是在没有隐私的互联网上。

最后小编还是要提醒大家不要从入门学到入狱哦
文章配图
。