精华内容
下载资源
问答
  • 法律没有对爬虫行为有司法解释,从已有判决案例来看主要是看你数据用途/是否有商业竞争/商业侵权/扰乱破坏对方软件正常经营,而且必须...先定义一下爬虫行为,爬虫技术只是用来抓取网络数据,爬虫技术本质上是模拟...

    法律没有对爬虫行为有司法解释,从已有判决案例来看主要是看你数据用途/是否有商业竞争/商业侵权/扰乱破坏对方软件正常经营,而且必须是对方有证据来举证你。

    现在已有案例对爬虫的判决依据是《刑法》第285条,非法获取计算机信息系统罪;第286条,破坏计算机信息系统罪;《网络安全法》倒卖隐私数据,如果你抓取隐私数据进行倒卖的话;等几条。

    先定义一下爬虫行为,爬虫技术不只是用来抓取网络数据,爬虫技术本质上是模拟网络请求。所以广义的爬虫技术可以用来做:抓取网页/APP数据,刷票/耍点击,抢票(火车票,医院挂号等),自动加好友等等事情。

    下面来看看已有司法判决的几个典型案例:

    1.今日头条离职员工抓取今日头条视频

    从判决文书网上描述来看,修改UA,device_id等行为,我想大部分爬虫程序员都会干这个。但是被告是今日头条的离职员工,这就比较敏感,上海晟品也在做视频业务,这就涉及直接商业竞争。

    2.脉脉非法使用微博用户信息

    脉脉抓取微博用户头像等账户信息,显示在脉脉APP里面,这是不正当竞争,直接使用别人产品数据风险很大。

    3.扰乱正常经营

    写爬虫抢票,刷量,抢号,而且用于商业牟利,这是通过软件扰乱别人正常经营。

    4.商业竞争

    “车来了”抓取“酷米客”的公交信息展示在自己的产品上,这两家都是提供公交数据查询,是直接商业竞争关系。

    从上面的案例能够看出,爬虫被举证违法主要还是看你抓取数据后的运用。

    1.抓取竞品数据,运用商业目的,风险大;

    2.抓取拥有知识产权/版权数据,运用商业目的,风险大;

    3.爬虫扰乱软件/产品的正常经营,运用商业目的,风险大;

    所以,如果你是公司员工,要关注下抓取数据后的运用,通常数据直接被运用的风险较大,负责抓取的技术人员和公司负责人都要进去。

    另外要注意看被抓产品的知识产权申明,可以看我写的这篇:

    爬虫有风险,开爬需谨慎。

    展开全文
  • 文章传播很广,评论中讨论最热是:爬虫究竟是合法还是违法的? 这个话题涉及到我们很多程序员的日常工作,所以有必要和大家细聊一下。 01.技术无罪? 很多朋友给我留言:技术是无罪的,技术本身确实是没有对错的...

    据说互联网上 50%以上的流量都是爬虫创造的,也许你看到很多热门数据都是爬虫所创造的,所以可以说无爬虫就无互联网的繁荣。

    前天写了一篇文章《 只因写了一段爬虫,公司200多人被抓!》,讲述程序员因写爬虫而被刑侦的事件。文章传播很广,评论中讨论最热是:爬虫究竟是合法还是违法的?

    这个话题涉及到我们很多程序员的日常工作,所以有必要和大家细聊一下。

    01.技术无罪?

    很多朋友给我留言:技术是无罪的,技术本身确实是没有对错的,但使用技术的人是有对错的,公司或者程序员如果明知使用其技术是非法的,那么公司或者人就需要为之付出代价。

    在今年国家颁布《中华人民共和国网络安全法》之后,很多以前处于灰色地带的业务都不能做了。

    君不见之前曾经非常火的各种社工库网站,现在绝大部分都已经消失匿迹了吗?因为最新的安全法强调:贩卖个人信息超过50条属于“情节严重”,需要追求其法律责任。

    很多草根站长都纷纷主动关闭了网站;还有很多涉及版权信息的网站,比如书籍、影视剧、课程等后期也会面临越来越严格的审查,这就是目前大的形势。

    2014年12月20日,人人影视字幕站发布微博称,人人影视正式关闭,并表示或将继续为正版商提供翻译服务,也可能转变为讨论社区的形式。

    2019年6月,吾爱破解因版权问题关站整改...

    .....

    随着中国经济的不断往前走,知识产权问题会越来越重视,非法爬虫是现在一个重要的打击部分,

    如果有程序员走在灰色的边缘尽早收手,不要因为一点小的收益导致触犯法律,从而得不偿失。

    技术是无罪的,但是用到了错的地方代价也是非常巨大的。

    02.爬虫岗位人人自危

    我在拉钩上搜索: 爬虫工程师,显示有 217 条相关招聘信息,薪资从10-60k 都有,说明市场上对爬虫的需求是很大的。

    前天文章发出去之后有很多程序员给我留言:

    • 我们领导安排我爬取公司内部的信息,这算不算犯罪呢?
    • 爬取网上公开的信息,这算不算犯罪呢?
    • 写了一段代码上传到 Github,被人用了犯法吗?

    简单回答一下这些问题:

    • 1.爬取公司内部信息有公司授权当然不算犯罪的,但是公司内部不用接口而用爬虫不知道是为什么?
    • 2.爬取网上公开信息不犯法,但如果大量开启爬虫导致对方服务器崩溃也是违法的,这属于暴力攻击的范畴了。
    • 3.写了一段代码上传到 Github 上面,有人利用你的代码做了其它非法的事情,绝大多数都没有问题的,但如果你写的软件涉及到入侵、暴力破解、病毒等就不好说了。

    还有朋友认为这事责任在企业不在程序员,日常工作中项目初期设计和最后上线需要通过公司的法务批准,所有代码必须有其他程序员同事评审通过才能提交。

    这位朋友说的挺对的,按道理每个公司都应该有法务和风控在前面,后面才是产品设计和程序员开发的事情,但如果一家公司为了利益,老板可以直接让这两个部门闭嘴,后面程序员可以不干吗?

    更甚至很多公司其实就没有这两个部门或者说形同虚设。那么做为程序员自己也需要操一份心,凡是涉及到入侵类的程序都不能干,因为有一个东西叫做:单位犯罪

    单位犯罪,是指公司、企业、事业单位、机关、团体为单位谋取利益,经单位决策机构或者负责人决定实施的,法律规定应当负刑事责任的危害社会的行为。

    我国刑法对单位犯罪原则上采取双罚制度,即单位犯罪的,对单位判处罚金,并对其直接负责的主管人员和其他直接责任人员判处刑罚。

    03.什么样的爬虫是非法的?

    爬虫不能涉及个人隐私!

    如果爬虫程序采集到公民的姓名、身份证件号码、通信通讯联系方式、住址、账号密码、财产状况、行踪轨迹等个人信息,并将之用于非法途径的,则肯定构成非法获取公民个人信息的违法行为。

    也就是说你爬虫爬取信息没有问题,但不能涉及到个人的隐私问题,如果涉及了并且通过非法途径收益了,那肯定是违法行为。

    另外,还有下列三种情况,爬虫有可能违法,严重的甚至构成犯罪:

    • 1.爬虫程序规避网站经营者设置的反爬虫措施或者破解服务器防抓取措施,非法获取相关信息,情节严重的,有可能构成“非法获取计算机信息系统数据罪”。
    • 2.爬虫程序干扰被访问的网站或系统正常运营,后果严重的,触犯刑法,构成“破坏计算机信息系统罪”
    • 3.爬虫采集的信息属于公民个人信息的,有可能构成非法获取公民个人信息的违法行为,情节严重的,有可能构成“侵犯公民个人信息罪”。

    现在网上有很多付费的课程,比如极客时间、Gitchat、慕课网、知识星球等等,这些付费内部信息如果被非法爬取手法出售获利,一种违法行为。

    之前我就遇到一个网友,把各个知识星球的内容都抓下来,合到一起自己去卖,自作聪明觉得发现了一个大的商机,其实自己不知道这个行为其实很危险,风险和收益明显不对等。

    我这两天看的时候,他的一个公众号都被封了,后来又转移了一个小号继续搞,迟早又是被封的命运,真的很不值当。最可怜是那些买他服务的用户,因为他宣传时承诺永久,肯定永久不了。

    04.什么样的爬虫是合法的?

    1、 遵守 Robots 协议

    Robots 协议也叫 robots.txt(统一小写)是一种存放于网站根目录下的 ASCII 编码的文本文件,它通常告诉网络搜索引擎的漫游器(又称网络蜘蛛),此网站中的哪些内容是不应被搜索引擎的漫游器获取的,哪些是可以被漫游器获取的。

    Robots 协议就是告诉爬虫,哪些信息是可以爬取,哪些信息不能被爬取,严格按照 Robots 协议 爬取网站相关信息一般不会出现太大问题。

    2、不能造成对方服务器瘫痪

    但不是说只要遵守 Robots 协议的爬虫就没有问题,还涉及到两个因素,第一不能大规模爬虫导致对方服务器瘫痪,这等于网络攻击。

    2019年05月28日国家网信办发布的《数据安全管理办法(征求意见稿)》中,拟通过行政法规的形式,对爬虫的使用进行限制:

    网络运营者采取自动化手段访问收集网站数据,不得妨碍网站正常运行;此类行为严重影响网站运行,如自动化访问收集流量超过网站日均流量三分之一,网站要求停止自动化访问收集时,应当停止。

    3、不能非法获利

    恶意利用爬虫技术抓取数据,攫取不正当竞争的优势,甚至是牟取不法利益的,则可能触犯法律。实践中,非法使用爬虫技术抓取数据而产生的纠纷其实数量并不少,大多是以不正当竞争为由提请诉讼。

    举个例子,如果你把大众点评上的所有公开信息都抓取了下来,自己复制了一个一模一样的网站,并且还通过这个网站获取了大量的利润,这样也是有问题的。

    一般情况下,爬虫都是为了企业获利的,因此需要爬虫开发者的道德自持和企业经营者的良知才是避免触碰法律底线的根本所在。

    05.最后

    最近看了很多关于程序员出事的事件,东南亚程序员被打,多个大数据公司被查等等。做为一名普通的程序员,希望大家也可以多关注此类事件,从而提醒自己。

    有风险的行业谨慎进入,比如现金贷、不合规的P2P、赌博类游戏、黑五类产品的行业。如果公司安排入侵某个网站数据,或者有同事/朋友邀请泄露公司信息的都需要保持警惕,有时候一个很小的动作都有可能导致出问题。

    我们绝大多数公司和个人使用的爬虫都是没有问题的,不必人人自危,只要把握住不要爬取个人信息,不要利用爬虫非法获利,不要爬取网站的付费内容,基本上不会有问题。

    程序员是世界上最单纯的一批人,也是一批高智商低情商的人,工作是工作但也需要适当保持谨慎,对于一些游走在法律边缘的事情请保持距离。

    敬畏法律,遵纪守法,从我做起。

     

    推荐下我自己建的人工智能Python学习群:[809160367],群里有我整理的一份关于pytorch、python基础,图像处理opencv\自然语言处理、机器学习、数学基础等资源库,想学习人工智能或者转行到高薪资行业的,大学生都非常实用,无任何套路免费提供!还可以扫码加VX领取资料哦! 

     

     

     

     

    展开全文
  • 前言Python现在非常火,语法简单而且功能强大,很多同学都想学Python!所以小的给各位看官们准备了高价值Python学习视频教程及相关电子版书籍,欢迎前来领取!... python网络爬虫合法吗随着大数...

    736a1576-b3d7-4147-91a2-344fcf848c5f.gif点击蓝字“python教程”关注我们哟!

    前言

    Python现在非常火,语法简单而且功能强大,很多同学都想学Python!所以小的给各位看官们准备了高价值Python学习视频教程及相关电子版书籍,欢迎前来领取!

    什么是网络爬虫 网络爬虫又称网络蜘蛛,是指按照某种规则在网络上爬取所需内容的脚本程序。下面是小编为您整理的关于python网络爬虫合法吗,希望对你有所帮助。

    5ca23a8c-65e8-4c9d-96f5-314d35e26b8d.jpg

    python网络爬虫合法吗

    随着大数据和人工智能的火爆,网络爬虫也被大家熟知起来;随之也出现一个问题,网络爬虫违法吗?符合道德吗?本文将详细介绍网络爬虫是否违法,希望帮助你解决爬虫是否违法带来的困扰。

    网络爬虫大多数情况都不违法

    网络爬虫在大多数情况中都不违法,其实我们生活中几乎每天都在爬虫应用,如百度,你在百度中搜索到的内容几乎都是爬虫采集下来的(百度自营的产品除外,如百度知道、百科等),所以网络爬虫作为一门技术,技术本身是不违法的,且在大多数情况下你都可以放心大 胆的使用爬虫技术。

    python爬虫技术的选择

    爬虫又是另外一个领域,涉及的知识点比较多,不仅要熟悉web开发,有时候还涉及机器学习等知识,不过在python里一切变的简单,有许多第三方库来帮助我们实现。使用python编写爬虫首先要选择合适的抓取模块,最简单的功能就是能发送和处理请求, 下面就介绍几个常用的抓取的方式。

    一、python 自带的urlib2和urlib或者第三方模块requests

    这种方案适合简单的页面爬虫,比如爬取博客园推荐文章。

    urllib2和urllib是python自带模块可用来发送处理请求,虽然比较灵活但API易用性较差,所以一般都要进行二次封装,我曾经也进行过封装,最后发现自己封装出来的模块无限趋近于非常成熟的requests库,所以还是直接使用requests吧,当然requests只发送和接受请求,对于页面分析还要配合lxml或beautifulsoup等第三方库进行。高级点的爬虫不仅仅是发送和处理请求,还需要处理异常,请求速度控制等问题,这就需要我们写额外的代码去控制,当然我们可以自己写只是时间问题,但完全没有必要,接下来我会介绍第二种方案。

    二、scrapy框架

    scrapy是爬虫领取的佼佼者,目前我做的项目无论复杂与否,都采用scrapy进行,对于请求调度,异常处理都已经封装好了,而且有第三方的scrapy-redis还可以支持分布式,我们把关注点放在更重要的页面分析和规则编写上,代码可以参考我github上的例子。

    三、python selenium

    这种方式我称为终极必杀器,一般是实在没办法的时候才用,以前我在利用某家搜索引擎抓取文章时,该搜索引擎采用的比较高难度的反爬虫机制而且不断变化让人找不到规律,最典型的特点就是cookie会随机隐藏到某个页面js和图片中,解决方案就是模拟浏览器的行为加载所有js等静态资源文件,如果自己写个浏览器取解析太扯蛋了,如果chrome浏览器能开放接口,通过chrome的加载方式获取页面的内容就好了,这就是selenium了,selenium加上随机等待时间可以模拟出和人非常类似的操作行为,缺点就是速度较慢,但是一般爬虫对抓取速度要求不高,重要的是稳定性,这种方式对于抓取反爬虫机制做的好的大型网站比较适用。

    总结,对于大部分爬虫需求直接用scrapy解决,如果解决不了再采用第一种或第三种方案,就这么简单。

    python爬虫上可以干什么

    (1) 不同领域、不同背景的用户往往具有不同的检索目的和需求,通用搜索引擎所返回的结果包含大量用户不关心的网页。

    (2)通用搜索引擎的目标是尽可能大的网络覆盖率,有限的搜索引擎服务器资源与无限的网络数据资源之间的矛盾将进一步加深。

    85a104aa-39a7-4a5e-8d59-db3bca04c6b2.jpg

    (3)万维网数据形式的丰富和网络技术的不断发展,图片、数据库、音频、视频多媒体等不同数据大量出现,通用搜索引擎往往对这些信息含量密集且具有一定结构的数据无能为力,不能很好地发现和获取。

    (4)通用搜索引擎大多提供基于关键字的检索,难以支持根据语义信息提出的查询。

    为了解决上述问题,定向抓取相关网页资源的聚焦爬虫应运而生。聚焦爬虫是一个自动下载网页的程序,它根据既定的抓取目标,有选择的访问万维网上的网页与相关的链接,获取所需要的信息。与通用爬虫(general?purpose web crawler)不同,聚焦爬虫并不追求大的覆盖,而将目标定为抓取与某一特定主题内容相关的网页,为面向主题的用户查询准备数据资源。

    反爬虫

    1. 基本的反爬虫手段,主要是检测请求头中的字段,比如:User-Agent、referer等。针对这种情况,只要在请求中带上对应的字段即可。所构造http请求的各个字段最好跟在浏览器中发送的完全一样,但也不是必须。

    2. 基于用户行为的反爬虫手段,主要是在后台对访问的IP(或User-Agent)进行统计,当超过某一设定的阈值,给予封锁。针对这种情况,可通过使用代理服务器解决,每隔几次请求,切换一下所用代理的IP地址(或通过使用User-Agent列表解决,每次从列表里随机选择一个使用)。这样的反爬虫方法可能会误伤用户。

    3. 希望抓取的数据是如果通过ajax请求得到的,假如通过网络分析能够找到该ajax请求,也能分析出请求所需的具体参数,则直接模拟相应的http请求,即可从响应中得到对应的数据。这种情况,跟普通的请求没有什么区别。

    4. 基于JavaScript的反爬虫手段,主要是在响应数据页面之前,先返回一段带有JavaScript代码的页面,用于验证访问者有无JavaScript的执行环境,以确定使用的是不是浏览器。

    通常情况下,这段JS代码执行后,会发送一个带参数key的请求,后台通过判断key的值来决定是响应真实的页面,还是响应伪造或错误的页面。因为key参数是动态生成的,每次都不一样,难以分析出其生成方法,使得无法构造对应的http请求。

    以上就是小编为您整理python网络爬虫合法吗的全部内容。

    注意事项

    01

    对Python开发技术感兴趣的同学,欢迎加下方的交流群一起学习,相互讨论。

    02

    学习python过程中有不懂的可以加入我的python零基础系统学习交流秋秋qun:934109170,与你分享Python企业当下人才需求及怎么从零基础学习Python,和学习什么内容。相关学习视频资料、开发工具都有分享

    好啦!文章就给看官们分享到这儿

    最后,如果觉得有帮助,记得关注、转发、收藏哟

    展开全文
  • 最新合法夫妻关系一方同意同居夫妻双方感情破裂,一方跟别人同居违法吗WORD格式样本.docx
  • 很多伙伴私信问:我们平时的爬虫究竟是合法还是违法的?也有跟部分伙伴解释! 这个话题涉及到我们很多程序员的日常工作,所以有必要和大家细聊一下。 01.技术无罪? 很多朋友给我留言:技术是无罪的,技术本身确实是...

    很多伙伴私信问:我们平时的爬虫究竟是合法还是违法的?也有跟部分伙伴解释!

    这个话题涉及到我们很多程序员的日常工作,所以有必要和大家细聊一下。

    01.技术无罪?

    很多朋友给我留言:技术是无罪的,技术本身确实是没有对错的,但使用技术的人是有对错的,公司或者程序员如果明知使用其技术是非法的,那么公司或者人就需要为之付出代价。

    在今年国家颁布《中华人民共和国网络安全法》之后,很多以前处于灰色地带的业务都不能做了。

    君不见之前曾经非常火的各种社工库网站,现在绝大部分都已经消失匿迹了吗?因为最新的安全法强调:贩卖个人信息超过50条属于“情节严重”,需要追求其法律责任。

    很多草根站长都纷纷主动关闭了网站;还有很多涉及版权信息的网站,比如书籍、影视剧、课程等后期也会面临越来越严格的审查,这就是目前大的形势。

    2014年12月20日,人人影视字幕站发布微博称,人人影视正式关闭,并表示或将继续为正版商提供翻译服务,也可能转变为讨论社区的形式。

    2019年6月,吾爱破解因版权问题关站整改…

    随着中国经济的不断往前走,知识产权问题会越来越重视,非法爬虫是现在一个重要的打击部分,

    如果有程序员走在灰色的边缘尽早收手,不要因为一点小的收益导致触犯法律,从而得不偿失。

    技术是无罪的,但是用到了错的地方代价也是非常巨大的。

    02.爬虫岗位人人自危

    我在拉钩上搜索: 爬虫工程师,显示有 217 条相关招聘信息,薪资从10-60k 都有,说明市场上对爬虫的需求是很大的。

    你的爬虫是合法的吗?究竟离违法还有多远?
    之前有发布的文章很多程序员给我留言:

    我们领导安排我爬取公司内部的信息,这算不算犯罪呢?
    爬取网上公开的信息,这算不算犯罪呢?
    写了一段代码上传到 Github,被人用了犯法吗?
    简单回答一下这些问题:

    爬取公司内部信息有公司授权当然不算犯罪的,但是公司内部不用接口而用爬虫不知道是为什么?
    爬取网上公开信息不犯法,但如果大量开启爬虫导致对方服务器崩溃也是违法的,这属于暴力攻击的范畴了。
    写了一段代码上传到 Github 上面,有人利用你的代码做了其它非法的事情,绝大多数都没有问题的,但如果你写的软件涉及到入侵、暴力破解、病毒等就不好说了。
    还有朋友认为这事责任在企业不在程序员,日常工作中项目初期设计和最后上线需要通过公司的法务批准,所有代码必须有其他程序员同事评审通过才能提交。

    这位朋友说的挺对的,按道理每个公司都应该有法务和风控在前面,后面才是产品设计和程序员开发的事情,但如果一家公司为了利益,老板可以直接让这两个部门闭嘴,后面程序员可以不干吗?

    更甚至很多公司其实就没有这两个部门或者说形同虚设。那么做为程序员自己也需要操一份心,凡是涉及到入侵类的程序都不能干,因为有一个东西叫做:单位犯罪。

    单位犯罪,是指公司、企业、事业单位、机关、团体为单位谋取利益,经单位决策机构或者负责人决定实施的,法律规定应当负刑事责任的危害社会的行为。

    我国刑法对单位犯罪原则上采取双罚制度,即单位犯罪的,对单位判处罚金,并对其直接负责的主管人员和其他直接责任人员判处刑罚。

    03.什么样的爬虫是非法的?

    爬虫不能涉及个人隐私!

    如果爬虫程序采集到公民的姓名、身份证件号码、通信通讯联系方式、住址、账号密码、财产状况、行踪轨迹等个人信息,并将之用于非法途径的,则肯定构成非法获取公民个人信息的违法行为。

    也就是说你爬虫爬取信息没有问题,但不能涉及到个人的隐私问题,如果涉及了并且通过非法途径收益了,那肯定是违法行为。

    另外,还有下列三种情况,爬虫有可能违法,严重的甚至构成犯罪:

    爬虫程序规避网站经营者设置的反爬虫措施或者破解服务器防抓取措施,非法获取相关信息,情节严重的,有可能构成“非法获取计算机信息系统数据罪”。
    爬虫程序干扰被访问的网站或系统正常运营,后果严重的,触犯刑法,构成“破坏计算机信息系统罪”
    爬虫采集的信息属于公民个人信息的,有可能构成非法获取公民个人信息的违法行为,情节严重的,有可能构成“侵犯公民个人信息罪”。
    现在网上有很多付费的课程,比如极客时间、Gitchat、慕课网、知识星球等等,这些付费内部信息如果被非法爬取手法出售获利,一种违法行为。

    之前我就遇到一个网友,把各个知识星球的内容都抓下来,合到一起自己去卖,自作聪明觉得发现了一个大的商机,其实自己不知道这个行为其实很危险,风险和收益明显不对等。

    我这两天看的时候,他的一个公众号都被封了,后来又转移了一个小号继续搞,迟早又是被封的命运,真的很不值当。最可怜是那些买他服务的用户,因为他宣传时承诺永久,肯定永久不了。

    04.什么样的爬虫是合法的?

    1、 遵守 Robots 协议

    Robots 协议也叫 robots.txt(统一小写)是一种存放于网站根目录下的 ASCII 编码的文本文件,它通常告诉网络搜索引擎的漫游器(又称网络蜘蛛),此网站中的哪些内容是不应被搜索引擎的漫游器获取的,哪些是可以被漫游器获取的。

    Robots 协议就是告诉爬虫,哪些信息是可以爬取,哪些信息不能被爬取,严格按照 Robots 协议 爬取网站相关信息一般不会出现太大问题。

    2、不能造成对方服务器瘫痪

    但不是说只要遵守 Robots 协议的爬虫就没有问题,还涉及到两个因素,第一不能大规模爬虫导致对方服务器瘫痪,这等于网络攻击。

    2019年05月28日国家网信办发布的《数据安全管理办法(征求意见稿)》中,拟通过行政法规的形式,对爬虫的使用进行限制:

    网络运营者采取自动化手段访问收集网站数据,不得妨碍网站正常运行;此类行为严重影响网站运行,如自动化访问收集流量超过网站日均流量三分之一,网站要求停止自动化访问收集时,应当停止。

    3、不能非法获利

    恶意利用爬虫技术抓取数据,攫取不正当竞争的优势,甚至是牟取不法利益的,则可能触犯法律。实践中,非法使用爬虫技术抓取数据而产生的纠纷其实数量并不少,大多是以不正当竞争为由提请诉讼。

    举个例子,如果你把大众点评上的所有公开信息都抓取了下来,自己复制了一个一模一样的网站,并且还通过这个网站获取了大量的利润,这样也是有问题的。

    一般情况下,爬虫都是为了企业获利的,因此需要爬虫开发者的道德自持和企业经营者的良知才是避免触碰法律底线的根本所在。

    05.最后

    最近看了很多关于程序员出事的事件,东南亚程序员被打,多个大数据公司被查等等。做为一名普通的程序员,希望大家也可以多关注此类事件,从而提醒自己。

    有风险的行业谨慎进入,比如现金贷、不合规的P2P、赌博类游戏、黑五类产品的行业。如果公司安排入侵某个网站数据,或者有同事/朋友邀请泄露公司信息的都需要保持警惕,有时候一个很小的动作都有可能导致出问题。

    我们绝大多数公司和个人使用的爬虫都是没有问题的,不必人人自危,只要把握住不要爬取个人信息,不要利用爬虫非法获利,不要爬取网站的付费内容,基本上不会有问题。

    程序员是世界上最单纯的一批人,也是一批高智商低情商的人,工作是工作但也需要适当保持谨慎,对于一些游走在法律边缘的事情请保持距离。

    敬畏法律,遵纪守法,从我做起。

    展开全文
  • 爬虫究竟是合法的还是违法

    千次阅读 2019-10-21 10:49:55
    爬虫究竟是合法还是违法的? 这个话题涉及到我们很多程序员的日常工作,所以有必要和大家细聊一下。 01.技术无罪? 很多朋友给我留言: 技术是无罪的 ,技术本身确实是没有对错的,但使用技术的人是有对错的,公司...
  • 很多伙伴私信问:我们平时的爬虫究竟是合法还是违法的?也有跟部分伙伴解释! 这个话题涉及到我们很多程序员的日常工作,所以有必要和大家细聊一下。 01.技术无罪? 很多朋友给我留言:技术是无罪的,技术本身确实是...
  • 1040阳光工程是什么?合法吗?

    千次阅读 2014-06-28 04:23:08
    朋友你好这是一个不违法不合法d
  • 区块链是合法的吗?

    2018-12-14 12:05:01
    一说,他们懂比特币和区块链,他们没有真正买过币,没有看过区块链项目白皮书。二说,他们目光短浅,代表的是古典互联网思维。三说,他们既得利益者,当然愿意放弃已有的很熟悉的游戏规则。 首先引用比特币“准...
  • 不管是否使用过香港服务器的用户,应该都听说过香港服务器可以不用备案,虽然大多数用户太清楚香港服务器为什么不用备案,但知道香港服务器免备案是合法的就足够了,我在这里将说明关于香港服务器免备案的一切疑问...
  • 据说互联网上 50%以上...文章传播很广,评论中讨论最热是:爬虫究竟是合法还是违法的? 这个话题涉及到我们很多程序员的日常工作,所以有必要和大家细聊一下。 01.技术无罪? 很多朋友给我留言:技术是无罪的,技术...
  • 前几天写过一篇文章《香港微视传媒是传销吗?》,里面论述了传销的一些特征,以及如何去辨别传销。很多网友有疑问,微视传媒到底合法吗? 首先,我们需要明确一点儿——只要法律没有明确...“不合法”和“违法...
  • 前言 随着大数据和人工智能的...网络爬虫在大多数情况中都不违法,其实我们生活中几乎每天都在爬虫应用,如百度,你在百度中搜索到的内容几乎都是爬虫采集下来的(百度自营的产品除外,如百度知道、百科等),所以网...
  • 爬虫到底违法吗?这位爬虫工程师给出了答案

    万次阅读 多人点赞 2019-07-02 08:13:33
    如果有些东西你能确认是不是违法,可以向身边朋友咨询或者百度,切莫存侥幸心理! 四、感谢 最后感谢Loco大佬在百忙中抽出时间接受猪哥的采访,猪哥也看过他的一些爬虫教程,目前很少有人会讲爬虫的逆向,而他...
  • 工作中,有时会遇到把大量excel中的数据导入数据库中,为了把数据全部导入到数据库中然后再检查合法性,一般就把日期的数据设成varchar,然后再在数据库中搜索,下面两条sql可以查到,前提是时间格式必须是以"...
  • 电话外呼系统违法吗? <p style="text-align:center"><img alt="" height="950" src="https://img-ask.csdnimg.cn/upload/1617871968619.jpg" width="1902" /></p>  </p>
  • 股票配资到底合不合法

    千次阅读 2019-05-08 15:39:28
    近期,股票行情相比前两年可谓是大有好转了,身边很多人都在做这个股票配资,在...股票配资的实质是一种借贷关系,如果说配资是不合法的,那么,银行贷款、民间借贷都是不合法的。但是事实上,国家经常会用宏观调控...
  • 根据《数据安全法》第三条规定,数据安全,是指通过采取必要措施,确保数据处于有效保护和合法利用的状态,以及具备保障持续安全状态的能力。物格门牌的安全,是使“物格门牌”中的所有信息处于有效保护和合法利用的...
  • 我们经常听到很多朋友说,小额贷款利息高,认为小额贷款的利息是高利贷,不合法。那到底小额贷款算不算高利贷呢,是不是合法的呢?在解释这个问题之前,我们先来看下国家法律对合法利息的定义。《最高人民法院关于...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 9,133
精华内容 3,653
关键字:

不合法是违法吗