在最近的业务需求中发现淘宝，美团，京东各大网站已经对selenium进行了反爬；

推测，服务器端因该是判断一些特殊的字段和方法来识别爬虫，毕竟selenium下的chromedriver 与真实的chrome所在的环境和配置等是有差异的。

为了完成项目需求，我尝试了一些简单的方法；

方法一：

发送请求的时候携带cookie，采用requests的Session状态保持，事实证明这种方法简单有效，可以成功访问。但是这是用于采集的数据量比较少的情况下。如果你想要快速采集，那就使用aiohttp吧！

方法二：

如果js可以破解的话，那就破解它了！

方法三：

mitmproxy请求拦截

给本机设置代理ip
启动mitmproxy
打开chromewebdriver,查看各个JS文件，是否存在driver字样，找到最终的JS文件
干扰脚本
退出mitmproxy

爬虫技术天天在进步，反爬虫技术也不甘落后，谁落后谁就要挨打。很多时候，我们在网站的采集过程中，爬着爬着就发现，才爬一会就被针对了，然后只好升级反反爬策略，然而还是非常容易被识破。
那么问题出在哪里呢？哪怕针对各种反爬策略都作出了相对应的反反爬策略，哪怕各方面已经做的够好了，但问题依旧。那么问题可能出现在代理IP的身上。也许你用的不是高匿代理IP，也许你用的不是一手私密代理IP，也许你用的不是独享IP池。
我们知道，当使用普匿代理或者透明代理访问网站时，会暴露给目标网站知道你在使用代理IP访问，那么相对应的就会手到限制；我们知道，当一个IP用来访问同一个网站达到一个阈值时，就会受到限制。
如果你还在使用普通代理和开放代理，趁早放弃吧，重新购买高质量代理IP才是王道；如果你是使用购买共享IP池，总是被反爬策略针对，那么是时候考虑购买一手私密代理IP或者独享IP池了。
为什么说一手私密代理或者独享IP池可以解决非常严格的反爬策略问题呢？因为一手私密代理具有一手的特性，没有其他人用过，而独享IP池，只有自己一个人使用，自然不会受到其他人的连累，共享IP池则不同了，你不能排除其他人正在使用相同的IP访问相同的网站，这样无疑会受到牵连，从而被反爬策略识别。

当我们在爬取数据时，难免会碰到限制，今天就来教你伪造反爬技术！！
1.Headers限制
这应该是最常见的，最基本的反爬虫手段，主要是初步判断你是否是真实的浏览器在操作。
这个一般很好解决，把浏览器中的Headers信息复制上去就OK了。
值得注意的是，很多网站只需要userAgent信息就可以通过，但是有的网站还需要验证一些其他的信息，比如知乎，有一些页面还需要 authorization 的信息。所以需要加哪些Headers，还需要尝试，可能还需要Referer、Accept-encoding等信息。
2.IP限制
限制IP也是很多网站反爬虫的初衷，有些人随便写一个循环，就开始暴力爬取 ，确实会给网站服务器带来很大的负担，而这种频繁的访问，显然也不会是真实用户行为，索性果断把你封掉。
这种情况，你可以遵守规则，把你爬取的速度变慢，每次爬取停个几秒就行了。如果爬取的数据量不大，其实也浪费不了多少时间，反正你也可以利用这段时间做做其他事情，或者好好思考一下人生。
time.sleep(5)1
当然，你也可以通过不断换IP的形式来绕过这种限制，网上很多免费的IP资源，你可以自己搭一个IP池，爬到一定的量就切换IP。
3.动态加载
通过异步加载，一方面是为了反爬虫，一方面也可以给网页浏览带来不同的体验，实现更多的功能。很多动态网站都是通过ajax或者JavaScript来加载请求的网页。
在遇到动态加载的网页的时候就需要去分析ajax请求，一般情况都能直接找到包含我们想要数据的json文件。
如果网站给文件加密，那么可以通过selenium+phantomJS框架，调用浏览器内核，并利用phantomJS执行js来模拟人为操作以及触发页面中的js脚本。理论上selenium是比较全能的爬虫方案，因为这个确实算是真实的用户行为。除非网站的反爬虫严苛到宁愿误杀的地步。
4.验证码
我们在很多网站会遇到，如果请求量大了之后就会遇到验证码的情况。最让人诟病的12306，其实也是一定程度上的防止非正当请求的产生。
对于验证码，可以通过OCR来识别图片，Github上面有很多大神分享的代码可以用，可以去看看。
5.减少返回的信息
最基本的隐藏真实的数据量，只有不断加载才能刷新信息。还有的就更变态，会只给你展示一部分信息，人都看不到，爬虫也无能为力。比如CNKI，你每次搜索能够得到的内容就是非常有限的。这个貌似没有很好的解决办法，但是这么干的网站毕竟是少数，因为这种方式，其实在某种程度上是牺牲了一部分真实用户的体验。
6.返回伪造的信息
这个真的是程序员何苦为难程序员。反爬虫的工程师也是煞费苦心，一方面是不让真实的数据被大规模爬取，另一方面也给你后期的数据处理增加负担。如果数据伪造的好，可能你真的不容易发现自己爬的是假数据，当然只能依靠你后期去清洗这些数据了。
写在最后：
如果大家在学习Python的路上，或者打算学习Python需要学习资料，可以加群571-799-375，群里学习资料免费赠送给大家喔！
本文来自网络，如有侵权，请联系小编删除！

一、 什么是代理？

二、 代理服务器的作用

可以进行请求的响应和转发

三、 在爬虫中为何要使用代理

如果我们使用爬虫对一个网站在一段时间内发起一个高频请求，该网站会检测出这个异常的现象，并将异常的请求 IP 获取，将 IP 加入到黑名单，然后改 IP 在近期就无法再次对该网站进行访问。

四、 代理的匿名度




匿名度
是否知道使用代理
是否知道真实IP




透明
是
是


匿名
是
否


高匿
否
否


五、 代理的类型




类型
功能




http
只能转发http协议的请求


https
只能转发https协议的请求


一般的代理服务器两种类型均支持
六、 如何使用代理
1. 购（bai）买（piao）IP
条条大路通罗马，自己的 IP 被封了不能用，就得买别人的 IP


当然也是可以白嫖的，点击下方图片进入网站，注册登录之后，可以每天白嫖10个1-5分钟的ip，如果需要更多，就只能自己买了，看起来很便宜的样子。








2. 提取 IP
大概这么配置一下，即可生成一个 API 接口，需要 IP 的时候调用一下就可以了，具体怎么选择，看个人需求。

def get_proxies():
    url_ip_port = """API"""  #  此处填写获取的API
    ip_port_json = requests.get(url_ip_port).json()
    print('已获取新ip_port:{ip_port},到期时间:{ExpireTime}'.format(ip_port=ip_port_json['data'][0]['IP'],
                                                           ExpireTime=ip_port_json['data'][0]['ExpireTime']))
    proxies = {
        "https": 'http://{}'.format(ip_port_json['data'][0]['IP']),
    }
    return proxies

使用 IP
搜狗主页代码里可以获取到本机 IP 地址



语法：

在请求中添加一个为 proxies 的参数

值为：{“https”: ‘http://【ip:port】’,}
if __name__ == '__main__':
    User_Agent_list = [
        'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36 Edge/18.17763',
        'Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko',
        'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4292.2 Safari/537.36']
    headers = {'User_Agent': random.choice(User_Agent_list)}
    # 本机访问
    sogou_index = requests.get(url='https://www.sogou.com/', headers=headers,).text
    tree = etree.HTML(sogou_index)
    print(tree.xpath('/html/head/script[1]//text()'))
    # 代理服务器访问
    sogou_index = requests.get(url='https://www.sogou.com/', headers=headers, proxies=get_proxies()).text
    tree = etree.HTML(sogou_index)
    print(tree.xpath('/html/head/script[1]//text()'))


进阶操作

用 Redis 搭一个 IP 池，需要时从 Redis 里随机取一个出来，定时自动删除，简直不要太舒服。