作者简介 蓝桥签约作者、大数据&Python领域优质创作者。维护多个大数据技术群，帮助大学生就业和初级程序员解决工作难题。 我的使命与愿景：持续稳定输出，赋能中国技术社区蓬勃发展！
最近的IT公司违法案件越来越多，看了很多因为爬虫，数字货币，博彩网站外包等被抓的事情，给大家提个醒，打工注意不能违法，写代码背后也有法律风险。
一、什么是爬虫？
通过爬虫代码，下载互联网上的数据到本地，并且提取出我们需要的信息的过程。
二、典型违法案例
典型案例（一）：构成非法获取计算机信息系统数据罪
张某等非法获取计算机信息系统数据案（上海市杨浦区人民法院(2015)杨刑初字第232号）
本案中，同享公司人员因通过技术手段非法获取掌门公司服务器存储的大量WIFI热点密码数据，被判非法获取计算机信息系统数据罪。
典型案例（二）：构成非法侵入计算机信息系统罪
鲁某、吴某非法侵入计算机信息系统案（眉山市东坡区人民法院（2018）川1402刑初56号）
鲁某和吴某因获取国家事务网站数据信息，最终被判非法侵入计算机信息系统罪。
该案中，鲁某为获取投标数据，雇佣、指使吴某利用黑客技术取得眉山市公共资源电子交易网站的最高权限，吴某在该服务器上非法获取相关投标信息后发送给鲁某。
与本案相关的法律法规为：
《刑法》 第二百八十五条第一款主要内容：违反国家规定，侵入国家事务、国防建设、尖端科学技术领域的计算机信息系统的，处三年以下有期徒刑或者拘役。 |
|---|
典型案例（三）：构成提供侵入、非法控制计算机信息系统的程序、工具罪
王甲、王乙提供侵入、非法控制计算机信息系统程序、工具案（南城县人民法院（2018）赣1021刑初13号）
本案中，王甲和王乙制作并销售用于攻击58同城网页漏洞并采集公民个人简历信息的软件，最终被判提供侵入、非法控制计算机信息系统的程序、工具罪。
该案中，王甲利用计算机编程先后制作了“ANYR”、“蓝鲸”、“宝马”三个软件，专门用于攻击58同城网页漏洞并采集网站上公民个人简历信息。王甲和王乙两人分工合作，由王甲负责软件的运营和维护，由王乙负责软件的推广与销售，并约定分成。本案中，王甲和王乙通过销售前述软件获利5000元以上。
与本案相关的法律法规的主要内容为：
《刑法》 第二百八十五条第三款主要内容：提供专门用于侵入、非法控制计算机信息系统的程序、工具，或者明知他人实施侵入、非法控制计算机信息系统的违法犯罪行为而为其提供程序、工具，情节严重的，处三年以下有期徒刑或者拘役，并处或者单处罚金；情节特别严重的，处三年以上七年以下有期徒刑，并处罚金。 |
|---|
三、什么样的爬虫是合法的？
1、 遵守 Robots 协议
Robots 协议也叫 robots.txt（统一小写）是一种存放于网站根目录下的 ASCII 编码的文本文件，它通常告诉网络搜索引擎的漫游器（又称网络蜘蛛），此网站中的哪些内容是不应被搜索引擎的漫游器获取的，哪些是可以被漫游器获取的。
Robots 协议就是告诉爬虫，哪些信息是可以爬取，哪些信息不能被爬取，严格按照 Robots 协议 爬取网站相关信息一般不会出现太大问题。
2、不能造成对方服务器瘫痪
但不是说只要遵守 Robots 协议的爬虫就没有问题，还涉及到两个因素，第一不能大规模爬虫导致对方服务器瘫痪，这等于网络攻击。
2019年05月28日国家网信办发布的《数据安全管理办法（征求意见稿）》中，拟通过行政法规的形式，对爬虫的使用进行限制：
网络运营者采取自动化手段访问收集网站数据，不得妨碍网站正常运行；此类行为严重影响网站运行，如自动化访问收集流量超过网站日均流量三分之一，网站要求停止自动化访问收集时，应当停止。
3、不能非法获利
恶意利用爬虫技术抓取数据，攫取不正当竞争的优势，甚至是牟取不法利益的，则可能触犯法律。实践中，非法使用爬虫技术抓取数据而产生的纠纷其实数量并不少，大多是以不正当竞争为由提请诉讼。
举个例子，如果你把大众点评上的所有公开信息都抓取了下来，自己复制了一个一模一样的网站，并且还通过这个网站获取了大量的利润，这样也是有问题的。
一般情况下，爬虫都是为了企业获利的，因此需要爬虫开发者的道德自持和企业经营者的良知才是避免触碰法律底线的根本所在。
四、我们该怎么做
对程序员而言，首先要提高职业警惕性。程序员在当今的大数据时代，其杀伤力不亚于手里握着钢枪的战士，因此，自然应该对手中的程序的合法合规与否格外警惕：
（1） 明确自己制作的爬虫程序是否涉及抓取对象的个人信息，如社交信息、财产信息、联系信息等；
（2） 明确是否涉及被抓取对象的商业机密，再次明确被抓取对方是否是自己所任职公司的直接竞争对手；
（3） 严格按照公司制定的软件开发规范做事。
如果主管或者老板要求在开发规范之外，给爬虫程序加装“外挂”，如伪装外挂、暴力破解外挂时，硬气一点的，可以直接递上一本《中华人民共和国刑法》，而迫于生活压力不敢正面硬刚的，也要注意留下开发指令的书面邮件记录。诚然，生活不易，但为了微薄的工资而身陷囹吾，则是得不偿失了。
