“一个程序员写了个爬虫程序，整个公司200多人被端了。”

“不可能吧！”

刚从朋友听到这个消息的时候，我有点不太相信，做为一名程序员来讲，谁还没有写过几段爬虫呢？只因写爬虫程序就被端有点夸张了吧。

朋友说，消息很确认并且已经进入审判阶段了。

 

01.对消息进一步确认

 

朋友认识几个律师朋友，和他们有一些业务来往，得知他们想尝试把业务扩展到程序员这个群体。那段时间我刚好离职也有时间，在朋友的安排下一起聊聊看看有没有合作的机会。

 

他们为什么想扩展人群到程序员这个行业呢？其实就是因为他们代理了这名程序员的官司，才发现很多程序员完全不懂法，直接说是法盲一点都不过分。

刚好我也很好奇程序员因爬虫被抓这个案子，看看到底是怎么回事，就和两名律师以及朋友坐到一起，深入交流后才知道整个事件的来龙去脉。

 

这名程序员在被警察逮捕后，警察审问期间一直不承认自己触犯了法律，并且也完全没有意识到自己犯法了。进去之后总以为警察搞错了，过几天就会把自己放出来，结果也错过了取保候审的机会。

 

律师说，这名程序员的妈妈当时在他毕业的时候，就因程序员这个行业太辛苦不同意他做程序员，但他对这个行业一直都很感兴趣，坚持做了一名码农，没想到两年后出现了这个事情。

 

他们家里人都后悔死了，距离事发当日到现在已经过去了半年，当事者还被关在监狱中。不管这件事如何收尾，对这名程序员和他的家庭都是一个很大的打击。

以下内容根据部分推测和网上资料整理而出，可能会有细微偏差。

 



 

02.一个爬虫引发的案件

某一个知名互联网公司，突然发现公司的服务器连续几天压力倍增，导致公司内部系统崩溃不能访问，公司领导责令技术部尽快解决。

 

该公司系统平时访问量一直比较平稳，但不知为何这几天系统压力突然大增，经过技术人员几天调查发现了一个惊人的真相，公司客户信息被抓取，并且某个接口访问量巨大。

随着技术人员的深入调查发现的现象更加震惊，入侵者利用这个入口已经窃取了大量的客户信息，并且所有的线索都指向了一家大数据公司。

 

这家公司的主要业务就是，出售简历数据库。经核查该公司出售的简历数据中，就包含自己家客户的简历信息。

 

技术部上报领导之后，公司开会商议后决定报案。

 

03.案发现场

 

案发前一段时间，小明（化名）接到了技术部领导的需求，要求写一段爬虫批量从网上的一个接口抓取数据，爬虫开发完后测试没有问题，小明就将程序上传到了公司服务器。

 

程序运行了一段时间后，也许是有了新的需求，也许是小明想对爬虫程序进行进一步的优化，将爬虫的线程数，由原来比较小的值调到一个比较大的值。

 

完善后的程序上传到服务器后，小明跟踪了下爬虫的进展，运行平稳并且速度快了很多。提交之后像往常一样，小明就把这件事情忘了。

 

小明没想到自己这次提交的爬虫程序，竟然能把对方的服务搞挂了，也没想到自己因为写了一段代码而坐牢。

 



 

04.整个公司被抓

2019年的某一个工作日，公司员工像往常一样忙忙碌碌，某个程序员和产品经理正在为了一个需求争吵，小明带着耳机正坐在办公室敲代码。

 

突然就来了一大群警察，要求所有人离开工位，双手离开电脑、手机等设备。整个公司的人都懵了，不知道发生了什么事情，但也都照办了。

 

警察很快查封了公司的所有办公用品，问技术部相关人员要了服务器的信息，公司全体上下 200 多人无差别的全部送到看守所了解情况。

 

在去看守所的路上，大家都还心里想这是不是搞错了，我们只是一个科技公司公司又没有骗人，怎么就集体被抓了。

 

小明也一直认为自己没有犯罪，自己只是一名技术人员而已，所有的工作也都是按照领导要求来执行的，应该很快就会把我们释放了吧。

 

随后，公司非核心人员都被释放了出来，主要集中在 HR、行政人员。最后确认公司 36 人被捕，其中大部分是程序员。

 

被捕后小明委托的律师事务所，就是和我们交流的两位律师的事务所，据说小明入狱后就一直不认为自己有罪，也因一直拒绝认罪从而错过了取保候审的机会。

目前小明还在等待最后的审判。。。

 

05.涉事公司背景

 



 

巧达科技号称是中国最大的用户画像关键数据服务提供商，专注于大数据及人工智能领域前瞻性产品研发，客户覆盖互联网行业及泛金融领域。

 

高管多为百度出身，公司2017年净赚1.86亿元。

 

公司2014年7月成立，B轮估值2亿美元，目前已经到了C轮融资阶段，投资者包括李开复创新工场、百度风投齐玉杰、中信产业基金、人工智能产业基金等等。

 

巧达的创始人成予曾经是百度第一任产品部负责人、联合创始人沈毅曾经是百度电子商务事业部技术总监和百度爱乐活技术副总裁。

 

公司曾宣称通过整合多达2.2亿份自然人简历、100亿个用户识别ID组合和1000亿+用户综合数据，绘制出了涉及中国8亿人口的多维度数据。其中，包含个人隐私与非隐私信息。

 

此外，巧达科技还有超过10亿份通讯录，并且掌握着与此相关的社会关系、组织关系、家庭关系数据。结合简历、通讯录，以及外部获取的超过千亿条其他用户数据，巧达科技自称拥有超过8亿自然人的认知数据。

 

也就是说，超过57%的中国人的信息都在巧达科技的数据库里面。

 

“基本上所有你能数的上名的大型互联网公司，都是巧达科技的客户。”一位之前简历中介生意的从业者。

 

06.近期多个大数据公司被查

 

最近的大数据行业，风声鹤唳。

 

在中秋节前一天，中国电信控股的子公司天翼征信传出风声，其总经理、副总经理以及市场人员被警察带走，原因是与其合作的大数据公司被警方调查。

 

在天翼之前，新颜科技CEO黄向前被警方带走、魔蝎科技公司CEO周江翔涉事被查、公信宝公司门口被贴了封条、知名第三方数据服务公司聚信立宣布将暂停对外提供用户授权的运营商爬虫服务……

 

此外，国内大数据风控平台龙头同盾科技也被曝爬虫部门已解散，CEO蒋韬已出国避风头，对此，同盾科技昨日发表辟谣声明表示，子公司杭州信川科技有限公司确实停止爬虫业务，但其他言论均属不实。

.....

据内部消息，最近监管对数据乱象出手，开始清理行动，15家公司被列入调查名单，其中几家估值都超几十亿。

 

国内很多大数据公司的数据来源多多少少都有一定的问题，随着我国今年6月1日起，《中华人民共和国网络安全法》将实施，所有的网上行为将越来越严格，如果还按照之前的惯性去操作，迟早会出问题。

 

 

07.程序员谨慎使用技术

 

不知道大家是否发现，随着国家经济的不断发展，以前可能处于灰色阶段的行业，现在几乎都慢慢不能做了。写这篇文章的目的，也是为了警示大家技术是无罪的，但是用到了错的地方代价也是非常巨大的。

 

我之前看过这样一个报道，一个程序员因为爱好写了一个程序（入侵工具），并且把此程序上传到了互联网上，没想到过了两年之后，有人利用这个小程序非法获利500多万。

 

虽然这名程序员并没有因为这个程序而获利，但是间接给犯罪人员提供了犯罪的工具，最后被判刑 2 年缓期 2 年执行。

 

程序员的生活是简单的，工作大概也只关心代码和BUG。小明也从来没有把自己的职业和犯罪联系在一起。

 

技术本身是不违法的，就好像一把水果刀，如果用来削苹果削梨没有任何问题，但是用来伤人就是凶器，就要被列入物证list。

 

爬虫也是如此，在大多数情况下，只是采集互联网上的公开信息，很难说是违法行为。但是一旦涉及入侵到别人系统去获取数据，那必然存在着法律风险。

 

可能很多同学是懵的，很多互联网公司就是靠抓取数据活着的。他只是正常执行公司安排的工作任务，怎么就涉嫌犯罪了呢？

 

这里结合律师朋友给出的一些建议，这里摘录出来仅供参考。

 

08.单位犯罪和个人犯罪的关系

 

首先了解一下单位犯罪。除了自然人犯罪，还有单位犯罪，是指公司、企业、事业单位、机关、团体为单位谋取利益，经单位决策机构或者负责人决定实施的，法律规定应当负刑事责任的危害社会的行为。

 

我国刑法对单位犯罪原则上采取双罚制度，即单位犯罪的，对单位判处罚金，并对其直接负责的主管人员和其他直接责任人员判处刑罚。相关司法解释规定，在审理单位故意犯罪案件时，对其直接负责的主管人员和其他直接责任人员，可不区分主犯、从犯，按照其在单位犯罪中所起的作用判处刑罚。

 

因此，公司犯罪有可能会牵连员工，尤其是案件中对非法获取数据有直接责任的爬虫工程师。这也是为什么当事人在公司人小言微但还是被批捕的原因。

 

其次，是否可以“不知者不为罪”来辩解？刑法原则之一是法无明文规定不为罪，并没有“不知者不为罪”。主观上的恶意是衡量犯罪的要素之一，结合客观上的行为来推理主观恶意。破解别人的服务器，获取别人不公开的信息，不能说没有恶意，不能以不懂法来搪塞。

 

09.重点：什么样的爬虫是违法？

 

如果爬虫程序采集到公民的姓名、身份证件号码、通信通讯联系方式、住址、账号密码、财产状况、行踪轨迹等个人信息，并将之用于非法途径的，则肯定构成非法获取公民个人信息的违法行为。

 

除此之外，根据相关规定，对于违反国家有关规定，向他人出售或者提供公民个人信息，情节严重的，窃取或者以其他方法非法获取公民个人信息的，均可构成成“侵犯公民个人信息罪”，处三年以下有期徒刑或者拘役，并处或者单处罚金;情节特别严重的，处三年以上七年以下有期徒刑，并处罚金。

 

重点关注：下列情况下，爬虫有可能违法，严重的甚至构成犯罪。


	
爬虫程序规避网站经营者设置的反爬虫措施或者破解服务器防抓取措施，非法获取相关信息，情节严重的，有可能构成“非法获取计算机信息系统数据罪”。
	
	

	
爬虫程序干扰被访问的网站或系统正常运营，后果严重的，触犯刑法，构成“破坏计算机信息系统罪”
	
	

	
爬虫采集的信息属于公民个人信息的，有可能构成非法获取公民个人信息的违法行为，情节严重的，有可能构成“侵犯公民个人信息罪”。
	
 

 

10.最后

最后提醒大家敬畏法律，热爱生活。

 

愿每一个程序员都可以用自己的技术去改变世界，让我们的社会变得更加美好！

 

 

---------------------------看不见的分割线---------------------

 

最近很多小伙伴找我要一些 Linux 基础资料，于是我翻箱倒柜，把这份华为大牛总结的 Linux 归纳笔记找出来，免费共享给大家！

据说有小伙伴靠这份笔记顺利进入 BAT 哦，所以一定要好好学习这份资料！

资料介绍

这份资料非常全面且详细，从 Linux 常用命令到 Linux 常用操作，再到网络管理、性能优化，几乎覆盖了 Linux 基础学习的方方面面，非常适合初学者入门！

资料也按目录进行编排，每一章下面都有更具体的内容：



而且，这份资料不是扫描版的，里面的文字都可以直接复制，非常便于我们学习：



 

如何获取？

1. 识别并关注我的公众号「纯洁的微笑」；

2. 在下面公众号后台回复关键字「204」。

👆长按上方二维码 2 秒

回复「204」即可获取资料

 

爬虫入门

爬虫入门

反爬策略

反爬一般策略

京东口罩爬虫，到货通知爬虫，自动下单爬虫第二篇
功能
效果展示
无货展示
有货展示
撸代码
修改的地方
邮箱修改
口罩链接获取方式
自动下单所需Cookie获取

预祝大家都能抢到口罩，请大家适量购买
第一篇

马上上班了，回来的路上，上班地铁上都是非常急需口罩的

所以有了口罩爬虫二号
下单的部分代码参考了tychxn大佬的代码
这次包括了无限循环检查口罩是否到货

到货的话马上自动下单（默认地址）

打开程序就可以睡觉觉去了
避免抢购，程序自动一次只买一件
功能

 检查登录
 确认是否有货
 有货自动下单
 邮件通知

效果展示
无货展示

有货展示
找一个有货的链接
现在口罩都没货了只能找一个非口罩的试一下



看skuId 确实是有货就下单了



邮件通知



手机或者电脑手动 付款完成订单

撸代码
这次的代码非常长就不直接贴在这里了

https://github.com/cycz/jdBuyMask （如果有帮助。右上角star一下，谢谢）
嫌麻烦的可以站内下载
修改的地方
主要修改的是这两块地方 就可以实时去监控了。
邮箱修改


收件邮箱修改成自己的
发件邮箱是我自己的 需要修改可以看这个进行修改

https://blog.csdn.net/LeoPhilo/article/details/89074232
口罩链接获取方式
第二个要监控的商品url



一、谷歌浏览器按F12 打开

二、点击需要的商品 和所在的地区

三、找到这个stock 开头的url

四、复制 修改或者添加在下方


自动下单所需Cookie获取
修改位置



获取方式

一、打开谷歌浏览器，登录京东



二、按F12 进入我的订单页面 过滤出list.action url。


三、请求下滑找到cookie 然后复制，在代码里面修改就行


不小心就努力一个晚上到6点早上了，真的不点个小小赞，点个github的小小star吗！！！

预祝大家都能抢到口罩，身体健康开工！！！

Python爬虫入门教程导航，已经完结啦，以后的时间不定期补番。

 

本系列博客争取把爬虫入门阶段的所有内容都包含住，需要你有较好的 Python 基础知识，当然你完全零基础也可以观看本系列博客。

Python 爬虫入门教程，加油！

基础篇，包含多线程爬虫

1. Python爬虫入门教程 1-100 CentOS环境安装

2. Python爬虫入门教程 2-100 和谐图网站爬取

3. Python爬虫入门教程 3-100 美空网数据爬取

4. Python爬虫入门教程 4-100 美空网未登录图片爬取

5. Python爬虫入门教程 5-100 27270图片爬取

6. Python爬虫入门教程 6-100 蜂鸟网图片爬取之一

7. Python爬虫入门教程 7-100 蜂鸟网图片爬取之二

8. Python爬虫入门教程 8-100 蜂鸟网图片爬取之三

9. Python爬虫入门教程 9-100 河北阳光理政投诉板块

10. Python爬虫入门教程 10-100 图虫网多线程爬取

11. Python爬虫入门教程 11-100 行行网电子书多线程爬取

12. Python爬虫入门教程 12-100 半次元COS图爬取

13. Python爬虫入门教程 13-100 斗图啦表情包多线程爬取

14. Python爬虫入门教程 14-100 All IT eBooks多线程爬取

15. Python爬虫入门教程 15-100 石家庄政民互动数据爬取

16. Python爬虫入门教程 16-100 500px摄影师社区抓取摄影师数据

17. Python爬虫入门教程 17-100 CSDN博客抓取数据

18. Python爬虫入门教程 18-100 煎蛋网XXOO图片抓取

19. Python爬虫入门教程 19-100 51CTO学院IT技术课程抓取

20. Python爬虫入门教程 20-100 慕课网免费课程抓取

21. Python爬虫入门教程 21-100 网易云课堂课程数据抓取

22. Python爬虫入门教程 22-100 CSDN学院课程数据抓取

23. Python爬虫入门教程 23-100 石家庄链家租房数据抓取

24. Python爬虫入门教程 24-100 微医挂号网doctor数据抓取

25. Python爬虫入门教程 25-100 知乎文章图片爬取器之一

26. Python爬虫入门教程 26-100 知乎文章图片爬取器之二

 

pyspider

27. Python爬虫入门教程 27-100 微医挂号网专家团队数据抓取pyspider

28. Python爬虫入门教程 28-100 虎嗅网文章数据抓取 pyspider

29. Python爬虫入门教程 29-100 手机APP数据抓取 pyspider

 

scrapy

30. Python爬虫入门教程 30-100 高考派大学数据抓取 scrapy

31. Python爬虫入门教程 31-100 36氪(36kr)数据抓取 scrapy

32. Python爬虫入门教程 32-100 B站博人传评论数据抓取 scrapy

33. Python爬虫入门教程 33-100 《海王》评论数据抓取 scrapy

34. Python爬虫入门教程 34-100 掘金网全站用户爬虫 scrapy

35. Python爬虫入门教程 35-100 知乎网全站用户爬虫 scrapy

36. Python爬虫入门教程 36-100 酷安网全站应用爬虫 scrapy

37. Python爬虫入门教程 37-100 云沃客项目外包网数据爬虫 scrapy

38. Python爬虫入门教程 38-100 教育部高校名单数据爬虫 scrapy

39. Python爬虫入门教程 39-100 天津市科技计划项目成果库数据抓取 scrapy

40. Python爬虫入门教程 40-100 博客园Python相关40W博客抓取 scrapy

 

手机抓取部分

41. Python爬虫入门教程 41-100 Fiddler+夜神模拟器+雷电模拟器配置手机APP爬虫部分

42. Python爬虫入门教程 42-100 爬取儿歌多多APP数据-手机APP爬虫部分

43. Python爬虫入门教程 43-100 百思不得姐APP数据-手机APP爬虫部分

44. Python爬虫入门教程 44-100 Charles的安装与使用-手机APP爬虫部分

45. Python爬虫入门教程 45-100 Charles抓取兔儿故事-下载小猪佩奇故事-手机APP爬虫部分

46.  Python爬虫入门教程 46-100 Charles抓取手机收音机-手机APP爬虫部分

47. Python爬虫入门教程 47-100 mitmproxy安装与安卓模拟器的配合使用-手机APP爬虫部分

48. Python爬虫入门教程 48-100 使用mitmdump抓取手机惠农APP-手机APP爬虫部分

49. Python爬虫入门教程 49-100 Appium安装+操作51JOB_APP（模拟手机操作之一）手机APP爬虫

 

爬虫进阶部分

50. Python爬虫入门教程 50-100 Python3爬虫爬取VIP视频-Python爬虫6操作

51. Python爬虫入门教程 51-100 Python3爬虫通过m3u8文件下载ts视频-Python爬虫6操作

52. Python爬虫入门教程 52-100 Python3爬虫获取博客园文章定时发送到邮箱

53. Python爬虫入门教程 53-100 Python3爬虫获取三亚天气做旅游参照

54. Python爬虫入门教程 54-100 博客园等博客网站自动评论器

 

验证码识别技术

55. Python爬虫入门教程 55-100 python爬虫高级技术之验证码篇

56. Python爬虫入门教程 56-100 python爬虫高级技术之验证码篇2-开放平台OCR技术

57. Python爬虫入门教程 57-100 python爬虫高级技术之验证码篇3-滑动验证码识别技术

58. Python爬虫入门教程 58-100 python爬虫高级技术之验证码篇4-极验证识别技术之一

59. Python爬虫入门教程 59-100 python爬虫高级技术之验证码篇5-极验证识别技术之二

60. Python爬虫入门教程 60-100 python识别验证码，阿里、腾讯、百度、聚合数据等大公司都这么干

 

反爬虫技术

61. Python爬虫入门教程 61-100 写个爬虫碰到反爬了，动手破坏它！

62. Python爬虫入门教程 62-100 30岁了，想找点文献提高自己，还被反爬了，Python搞起，反爬第2篇

63. Python爬虫入门教程 63-100 Python字体反爬之一，没办法，这个必须写，反爬第3篇

64. Python爬虫入门教程 64-100 反爬教科书级别的网站-汽车之家，字体反爬之二

65. Python爬虫入门教程 65-100 爬虫与反爬虫的修罗场，点评网站，字体反爬之三

66. Python爬虫入门教程 66-100 对微博登录好奇嘛，用Python试试

67. Python爬虫入门教程 67-100 Python爬虫摆脱控制台，开始走上台面

68. Python爬虫入门教程 68-100 一招解决爬虫程序卡死问题

69. Python爬虫入门教程 69-100 哪些年我们碰到的懒加载

70. Python爬虫入门教程 70-100 爬虫原理应用到多种场景，Python下载B站视频

71. Python爬虫入门教程 71-100 续上篇，python爬虫爬取B站视频

 

分布式爬虫技术

72. Python爬虫入门教程 72-100 分布式爬虫初步解析-配好环境肝完一半

73. Python爬虫入门教程 73-100 Python分布式爬虫顶级教程

74. Python爬虫入门教程 74-100 Python分布式夯实，夯实，还是**夯实

75. Python爬虫入门教程 75-100 celery分布式爬虫抓取豆瓣那些书

76. Python爬虫入门教程 76-100 用Celery继续搞定分布式爬虫

 

爬虫高级扩展部分

77. Python爬虫入门教程 77-100 增量爬虫不得不说的故事

78. Python爬虫入门教程 78-100 用Scrapy+BloomFilter再写个增量爬虫

79. Python爬虫入门教程 79-100 Python Portia爬虫框架-在Win7里面配置起来

80. Python爬虫入门教程 80-100 Python 玩转NewSpaper爬虫框架

81. Python爬虫入门教程 81-100 小众爬虫框架looter，框架作者竟然在官方手册开车

82. Python爬虫入门教程 82-100 在windows搭建scrapyd跑scrapy爬虫

83. Python爬虫入门教程 83-100 scrapyd配合scrapydweb跑scrapy爬虫，名称有点套娃

84. Python爬虫入门教程 84-100 通过＜老家伙＞spiderkeeper运行scrapy爬虫

85. Python爬虫入门教程 85-100 五年Python爬虫工程师，开发常用工具清单大放送

86. Python爬虫入门教程 86-100 Python爬虫框架在多来一个Ruia，解决问题的途径再次增多

87. Python爬虫入门教程 87-100 glidedsky网站爬虫解析，爬虫闯关第一篇

88. Python爬虫入门教程 88-100 Web Scraper 不用一行代码就能学会的爬虫程序

89. Python爬虫入门教程 89-100 定个小目标，先用Python爬个一亿B站用户

90. Python爬虫入门教程 90-100 凌晨5点的CSDN自动签到器，用Python爬虫干点闲事

 

帮粉丝写爬虫

91. Python爬虫入门教程 91-100 帮粉丝写Python爬虫之【河北单招学校信息爬虫】

92. Python爬虫入门教程 92-100 帮粉丝写Python爬虫之【新浪微博热榜爬虫+邮箱定时发送】

93. Python爬虫入门教程 93-100 帮粉丝写Python爬虫之【获取CSDN周榜所有大佬的收费专栏】

94. Python爬虫入门教程 94-100 帮粉丝写Python爬虫之【微信读书书籍信息爬取】

95. Python爬虫入门教程 95-100 帮粉丝写Python爬虫之【全网通用评论爬虫】

96. Python爬虫入门教程 96-100 帮粉丝写Python爬虫之【寻找最美女主播】

97. Python爬虫入门教程 97-100 帮粉丝写Python爬虫之【双色球预测前置条件】

98. Python爬虫入门教程 98-100 帮粉丝写 Python 爬虫之【2020秋季最难的事--约不上的疫苗】

99. Python爬虫入门教程 99-100 Python爬虫在线服务大全

100. Python爬虫入门教程 100-100 我用了800天，才成为爬虫领域的一个新人