帮助与文档

当前位置: 主页 > 新闻公告 > 正文

关于使用产品时合理合法的操作网络爬虫的通告

时间:2019/12/14   来源:米安网络   作者:云主机配置专家   点击:318次

网络爬虫,是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。它是一种“自动化浏览网络”的程序,按照一定规则,自动抓取互联网信息,比如网页、各类文档、图片、音频、视频等。一般来说,爬虫是用来批量获得网页上的公开信息的,也就是前端显示的数据信息。另外一些名字比如网页蜘蛛,网络机器人,也被称为网页追逐者。

《数据安全管理办法》第十六条规定:网络运营者采取自动化手段访问收集网站数据,不得妨碍网站正常运行;此类行为严重影响网站运行,如自动化访问收集流量超过网站日均流量三分之一,网站要求停止自动化访问收集时,应当停止。

所以在您使用拨号产品从事爬虫工作的过程中,建议您遵守以下规则:

一、遵守网站跟爬虫间的Robots协议,即使没有设置 Robots 的网站也不代表可以随便爬取;

二、限制你的网络爬虫爬行频率,避免近乎DDOS攻击的请求频率,一旦造成对方网站服务器瘫痪,那您的行为约等于网络攻击;

三、对于明显设置了反爬的页面,或者正常情况不能到达的页面不能强行突破爬取,否则那就是Hacker行为;

四、爬取数据请审视清楚自己爬的内容,以下是绝不能碰的红线(包括但不限于):

      1、爬取用户个人数据非法牟利,包括模拟登录他人账号

     2、非法牟利超千万爬取商业数据造成不正当竞争

      3、爬取大量带有知识产权的数据用于商业目的

综合以上你会发现,爬虫本身并不违法,而是看你使用的方式和目的,主要还要看是不是商业用途。这就像摄影一样,人人都可以拍照,技术宅也可以用无人机满天拍,但如果你拍人家隐私、在禁区里拍、偷拍盗版人家的作品,那就是违法。

我司禁止违法违规使用爬虫的行为,对此类用户保持零容忍的态度,如有发现,立即提交上级主管部门。

版权保护: 本文「关于使用产品时合理合法的操作网络爬虫的通告」由 云主机配置专家 原创,转载请保留链接: https://www.miandns.com/docs/news/95.html

值班客服

0312-5535754

微信公众号