1.  
  2. 主页
  3.  / 
  4. Python网络爬虫与信息提取
  5.  / 
  6. 网络爬虫的盗亦有道

网络爬虫的盗亦有道

网络爬虫引发的问题

网络爬虫可以让我们狠方便的获取网络上的内容,但是如果使用不当也会有一定的法律风险问题。

由于服务器上的数据往往都是有产权归属的,如果网络爬虫获得这些数据,并将其进行商业化牟利,那它将会给你带来法律风险。

违反“爬虫协议”案 奇虎360赔偿百度70万元

对于一个网站来说,默认是只允许人去访问的,并且网站的服务器资源也是根据人访问的情况来定义,当我们过度的去使用爬虫访问的时候,就会造成网站服务器的压力过载,使其瘫痪,导致连人都无法再次去访问网站。毕竟计算机的访问速度比人要快的多,因此对于被爬取方来说,过度的被爬取数据是一个狠不好的事情。还有就是如果爬虫程序写的不够完善,也会对网站服务器造成巨大的资源开销。

网络爬虫可能具备突破简单的访问控制的能力,获得被保护的数据,从而泄漏个人隐私。

通过上面的介绍,我们了解到了网络爬虫会引发的一些问题,因此,在使用爬虫的过程,我们需要遵守一些指定的规则。

当然这些规则都不是强制性的,因此一些技术能力较好的公司,会有自己的一套网络爬虫的限制,例如:

  • 来源审查:通过判断User-Agent进行限制,检查来访的HTTP的协议头中的User-Agent域,只响应浏览器和一些友好的爬虫访问。
  • 发布公告:Robots协议,这个协议是告知所有网络爬虫,对本站点的爬取策略,要求爬虫遵守此协议。当然这个公告是没有办法要求爬虫去强制遵守的,需要爬虫自己本身的一个自觉性。

网络爬虫的分类

网络爬虫,可以分为三个大的类型。

  1. 爬取单独页面的爬虫,小规模,数据量小,爬取速度不敏感,可以直接使用requests库实现功能。
  2. 爬取整个网站或者爬取系列网站的爬虫,中规模,数据规模较大,对爬取速度较为敏感,这种类型的爬虫需要使用更加专业的爬虫工具,如:Scrapy库。
  3. 爬取全网的爬虫,规模大,一般是搜索引擎会用到这种类型的爬虫,爬取速度非常的关键,这种类型的爬虫,只可能是定制开发,不可能有通用的第三库来实现的。

Robots协议

Robots协议是一种存放于网站根目录下的ASCII编码的文本文件,它通常告诉网络爬虫,此网站中的哪些内容是不应被搜索引擎的网络爬虫获取到,哪些是可以被网络爬虫获取到。

因为一些系统中的URL是大小写敏感的,所以Robots的文件名(robots.txt)应统一为小写。

robots.txt应放置于网站的根目录下。如果想单独定义搜索引擎的网络爬虫访问子目录时的行为,那么可以将自定的设置合并到根目录下的robots.txt,或者使用Robots元数据(Metadata,又称元数据)。

网络爬虫需自动或人工识别robots.txt,然后在进行内容的爬取。

Robots协议并不是强制性的,而只是约定俗成的,所以并不能保证网站的数据安全性。

Robots协议是建议,但非约束性,因此网络爬虫可以不遵守,但存在法律风险。

简单介绍以下京东的Robots协议:

京东的Robots协议

Robots协议的基本语法:

还有许多的网站的Robots协议,有兴趣的可以去看看:

百度的Robots协议

新浪新闻的Robots协议

腾讯的Robots协议

腾讯新闻的Robots协议

国家教育部的Robots协议(无Robots协议)

如果说一个网站没有Robots协议的文件,那么可以说,这个网站是允许所有爬虫来爬虫所有的资源。

这篇文章对您有用吗?

我们要如何帮助您?

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注