精华内容
下载资源
问答
  • selenium规避检测

    千次阅读 多人点赞 2020-10-07 00:22:07
    from selenium.webdriver import ChromeOptions option = ChromeOptions() option.add_experimental_option('excludeSwitches',['enable-automation']) driver = webdriver.Chrome(options=option) chrome 79以后...

    chrome 79以前版本

    from selenuim import webdriver
    from selenium.webdriver import ChromeOptions
    option = ChromeOptions()
    option.add_experimental_option('excludeSwitches',['enable-automation'])
    driver = webdriver.Chrome(options=option)
    

    chrome 79以后版本

    from selenuim import webdriver
    driver = webdriver.Chrome()
    driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
      "source": """
        Object.defineProperty(navigator, 'webdriver', {
          get: () => undefined
        })
      """
    })
    
    展开全文
  • 4.谷歌浏览器88版(涉及selenium规避检测) 流程分析 1.selenium打开浏览器,跳转账号密码登录页面 2.获取验证码图面 3.超级鹰处理验证码 4.模拟输入账号密码并点击验证码 5.解决登录滑块 1.跳转账号密码页面 现在...

    环境准备

    1.python3.6+
    2.超级鹰账号(超级鹰官网
    3.selenium
    4.谷歌浏览器88版(涉及selenium规避检测)

    流程分析

    1.selenium打开浏览器,跳转账号密码登录页面
    2.获取验证码图面
    3.超级鹰处理验证码
    4.模拟输入账号密码并点击验证码
    5.解决登录滑块

    1.跳转账号密码页面

    现在大多数平台的初始登录页面都是二维码,这里通过selenium点击实现切换登录模式

     # 打开页面,切换登录模式
            bro.get('https://kyfw.12306.cn/otn/resources/login.html')
            # time.sleep(0.5)
            btn=bro.find_element_by_xpath('/html/body/div[2]/div[2]/ul/li[2]/a')
            btn.click()
            time.sleep(0.5)
    

    验证码获取

    这里获取的图片跟一般情况中下载图片有所区别,因为验证码每次请求或者刷新都是不一样的,通过解析页面src去获取图片,就不能跟当前输入账号密码匹配的页面实现登录了。
    所以这里以selenium截图的方式去实现
    在这里插入图片描述
    为了方便二次局部裁剪出验证码,以及后续的验证码点击像素定位,我们先获取验证码图片左上角的像素坐标。

    # 定位验证码图片像素坐标
            img_locat = bro.find_element_by_id('J-loginImg')
            location = img_locat.location
            size = img_locat.size
            # 通过验证码左上角坐标与图片长宽计算右下角像素坐标
            coordinate = (location['x'], location['y'], size['width']+location['x'], size['height']+location['y'] )
            # selenium屏幕截图,局部裁剪出验证码图片
            bro.save_screenshot('crop.png')
            img = Image.open('./crop.png')
            crop_img = img.crop(coordinate)
            crop_img.save('code.png')
    

    裁剪出来的验证码图片可能不准确,那是因为电脑屏幕与浏览器显示的比例有关系。电脑屏幕显示调至100%,然后selenium打开浏览器时设置最大化显示

    # 调整浏览器显示大小
    bro.maximize_window()
    

    上述代码执行完可以看到两张图片:
    在这里插入图片描述
    在这里插入图片描述

    超级鹰处理图片

    详细操作这里就不废章节了,主要是看超级鹰提供的开发文档以及接口代码
    从超级鹰开发文档中选择python语言,并下载代码接口后可以看到一下代码:

    #!/usr/bin/env python
    # coding:utf-8
    
    import requests
    from hashlib import md5
    
    class Chaojiying_Client(object):
    
        def __init__(self, username, password, soft_id):
            self.username = username
            password =  password.encode('utf8')
            self.password = md5(password).hexdigest()
            self.soft_id = soft_id
            self.base_params = {
                'user': self.username,
                'pass2': self.password,
                'softid': self.soft_id,
            }
            self.headers = {
                'Connection': 'Keep-Alive',
                'User-Agent': 'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0)',
            }
    
        def PostPic(self, im, codetype):
            """
            im: 图片字节
            codetype: 题目类型 参考 http://www.chaojiying.com/price.html
            """
            params = {
                'codetype': codetype,
            }
            params.update(self.base_params)
            files = {'userfile': ('ccc.jpg', im)}
            r = requests.post('http://upload.chaojiying.net/Upload/Processing.php', data=params, files=files, headers=self.headers)
            return r.json()
    
        def ReportError(self, im_id):
            """
            im_id:报错题目的图片ID
            """
            params = {
                'id': im_id,
            }
            params.update(self.base_params)
            r = requests.post('http://upload.chaojiying.net/Upload/ReportError.php', data=params, headers=self.headers)
            return r.json()
    
    
    if __name__ == '__main__':
    	chaojiying = Chaojiying_Client('超级鹰用户名', '超级鹰用户名的密码', '96001')	#用户中心>>软件ID 生成一个替换 96001
    	im = open('a.jpg', 'rb').read()													#本地图片文件路径 来替换 a.jpg 有时WIN系统须要//
    	print (chaojiying.PostPic(im, 1902))												#1902 验证码类型  官方网站>>价格体系 3.4+版 print 后要加()
    
    
    

    这里主要需要了解的就是怎么去调用,就看最后三行就可以了。
    可以看到实例化一个对象后,需要三个参数。分别是你注册的超级鹰账号密码,软件ID以及验证码注释有说明。着重看返回的结果
    在这里插入图片描述
    它返回的是一个字典,其中pic_str是主要的结果。图中的只是测试类型的数字验证码。12306的验证码类型,pic_str的值则是像素坐标。要点击一个或多个验证码时返回的坐标也一一对应,所以这里要对返回的坐标做一个处理

    # 超级鹰处理验证码
    def code_result(img_path):
        img = open(img_path, 'rb').read()
        code_coondinate = chaojiying.PostPic(img,9004)
        return code_coondinate
    
    # 提取像素坐标
    def change_type(result_list):
        x_y = []
        if '|' in result_list:
            t = result_list.split('|')
            for i in range(len(t)):
                temp = []
                temp.append(int(t[i].split(',')[0]))
                temp.append(int(t[i].split(',')[1]))
                x_y.append(temp)
        else:
            temp = []
            t = result_list.split(',')
            temp.append(int(t[0]))
            temp.append(int(t[1]))
            x_y.append(temp)
        return x_y
    

    模拟登录

    		click_locat = change_type(result)
           # 定位账号密码输入标签与登录按钮
            user_input = bro.find_element_by_id('J-userName')
            user_input.send_keys(account)
            # time.sleep(0.5)
            psd_input = bro.find_element_by_id('J-password')
            psd_input.send_keys(password)
            time.sleep(0.5)
            # 创建动作连点击验证码
            for i in click_locat:
                action = ActionChains(bro)
                x = i[0]
                y = i[1]
                action.move_to_element_with_offset(img_locat, x, y).click().perform()
                time.sleep(0.5)
    
            login_btn = bro.find_element_by_id('J-login')
            login_btn.click()
            time.sleep(1)
    
    

    要注意的是,其中动作链对象‘action = ActionChains(bro)’的创建要在循环内,不然要点击多个图标的验证码会失败。

    登录滑块

    在这里插入图片描述

    因为谷歌浏览器升级88版本后,以往的selenium规避检测方法都不行了。所以这里即使滑动成功也不行,所以要在创建浏览器对象时就要做规避

    # 规避浏览器selenium检测
    a = Options()
    a.add_experimental_option("excludeSwitches", ["enable-automation"])
    a.add_argument("--disable-blink-features=AutomationControlled")
    with open('./stealth.min.js') as f:
        js=f.read()
    

    这里的stealth.min.js文件,有需要可以私聊博主获取。

    效果视频

    12306模拟登录

    完整代码

    #coding:utf-8
    from selenium import webdriver
    import time
    from chaojiying_Python.chaojiying import  Chaojiying_Client
    from PIL import Image
    from  selenium.webdriver import ActionChains
    from selenium.webdriver.chrome.options import Options
    
    
    # 规避浏览器selenium检测
    a = Options()
    a.add_experimental_option("excludeSwitches", ["enable-automation"])
    a.add_argument("--disable-blink-features=AutomationControlled")
    with open('./stealth.min.js') as f:
        js=f.read()
    # 实例化一个浏览器对象
    bro = webdriver.Chrome('D:\Downloads\chromedriver\chromedriver.exe', options=a)
    bro.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument",   {"source": js})
    # 调整浏览器显示大小
    bro.maximize_window()
    # 实例化超级鹰对象
    chaojiying = Chaojiying_Client('超级鹰账号', '超级鹰密码', '912625')
    
    def login(account,password):
        global img_locat
        # 超级鹰验证码不是百分百准确,以及12306偶尔会页面崩溃,这里加个异常捕获
        try:
            # 打开页面,切换登录模式
            bro.get('https://kyfw.12306.cn/otn/resources/login.html')
            # time.sleep(0.5)
            btn=bro.find_element_by_xpath('/html/body/div[2]/div[2]/ul/li[2]/a')
            btn.click()
            time.sleep(0.5)
            # 定位验证码图片像素坐标
            img_locat = bro.find_element_by_id('J-loginImg')
            location = img_locat.location
            size = img_locat.size
            # 通过验证码左上角坐标与图片长宽计算右下角像素坐标
            coordinate = (location['x'], location['y'], size['width']+location['x'], size['height']+location['y'] )
            # selenium屏幕截图,局部裁剪出验证码图片
            bro.save_screenshot('crop.png')
            img = Image.open('./crop.png')
            crop_img = img.crop(coordinate)
            crop_img.save('code.png')
            # 超级鹰处理验证码
            result = code_result('code.png')['pic_str']
    
            click_locat = change_type(result)
            # 定位账号密码输入标签与登录按钮
            user_input = bro.find_element_by_id('J-userName')
            user_input.send_keys(account)
            # time.sleep(0.5)
            psd_input = bro.find_element_by_id('J-password')
            psd_input.send_keys(password)
            time.sleep(0.5)
            # 创建动作连点击验证码
            for i in click_locat:
                action = ActionChains(bro)
                x = i[0]
                y = i[1]
                action.move_to_element_with_offset(img_locat, x, y).click().perform()
                time.sleep(0.5)
    
            login_btn = bro.find_element_by_id('J-login')
            login_btn.click()
            time.sleep(1)
    
            # 解决新增的登录滑块
            slide = bro.find_element_by_xpath('//*[@id="nc_1_n1z"]')
            action = ActionChains(bro)
            action.click_and_hold(slide)
            action.move_by_offset(300, 0).perform()
            action.release()
    
        except Exception as e:
            # 异常处理,验证码处理失败则重新执行
            print(e.__class__.__name__,e)
            bro.refresh()
            time.sleep(2)
            login('12306账号', '密码')
    
    
    # 超级鹰处理验证码
    def code_result(img_path):
        img = open(img_path, 'rb').read()
        code_coondinate = chaojiying.PostPic(img,9004)
        return code_coondinate
    
    # 提取像素坐标
    def change_type(result_list):
        x_y = []
        if '|' in result_list:
            t = result_list.split('|')
            for i in range(len(t)):
                temp = []
                temp.append(int(t[i].split(',')[0]))
                temp.append(int(t[i].split(',')[1]))
                x_y.append(temp)
        else:
            temp = []
            t = result_list.split(',')
            temp.append(int(t[0]))
            temp.append(int(t[1]))
            x_y.append(temp)
        return x_y
    
    login('12306账号','密码')
    
    展开全文
  • 现在不少大网站有对selenium采取了监测机制。比如正常情况下我们用浏览器访问淘宝等网站的window.navigator.webdriver的值为undefined。而使用selenium访问则该值为true。那么如何解决这个问题呢? 只需要设置...

    现在不少大网站有对selenium采取了监测机制。比如正常情况下我们用浏览器访问淘宝等网站的window.navigator.webdriver的值为undefined。而使用selenium访问则该值为true。那么如何解决这个问题呢?
    只需要设置Chromedriver的启动参数即可解决问题。在启动Chromedriver之前,为Chrome开启实验性功能参数excludeSwitches,它的值为[‘enable-automation'],完整代码如下∶

    from selenium.webdriver import Chrome
    from selenium.webdriver import ChromeOptions
    option = Chromeoptions()
    option.add_experimental_option('excludeSwitches',['enable-automation'])
    driver = Chrome(options=option)
    
    展开全文
  • from selenium import webdriver # 导入动作链 from selenium.webdriver import ActionChains from time import sleep from urllib.parse import quote from bs4 import BeautifulSoup from selenium.webdriver....
    from selenium import webdriver
    # 导入动作链
    from selenium.webdriver import ActionChains
    from time import sleep
    from urllib.parse import quote
    from bs4 import BeautifulSoup
    from selenium.webdriver.common.keys import Keys
    # 实现无可视化界面
    from selenium.webdriver.chrome.options import Options
    # 实现规避检测
    from selenium.webdriver import ChromeOptions
    
    # 加载selenium需要的驱动  phantomJs:也是selenium中的无头浏览其
    driver_path = r'D:\chromedriver2\chromedriver.exe'
    out_path = r'D:\固件下载合集\固件\TPLINK'  # 是你想指定的路径
    # 无可视化界面操作
    options = webdriver.ChromeOptions()
    options.add_argument('--headless')
    options.add_argument('--disable-gpu')
    # 实现规避检测
    
    options.add_experimental_option('excludeSwitches', ['enable-automation'])
    prefs = {'profile.default_content_settings.popups': 0, 'download.default_directory': out_path}
    options.add_experimental_option('prefs', prefs)
    driver = webdriver.Chrome(executable_path=driver_path, options=options)
    url = 'https://www.baidu.com'
    driver.get(url)
    print(driver.page_source)
    # 无可视化界面/无头浏览器
    
    
    展开全文
  • @TOC 导包 ...# 规避检测 from selenium.webdriver import ChromeOptions 代码 #实现无可视化界面操作 chrome_options = Options() chrome_options.add_argument('--headless') #浏览器不提供可视
  • 有的网站有对webdrive这东西有检测,检测关键就是在js中植入这玩意 一、 解决方法一种是通过 mitmproxy 拦截请求替换掉这段js,python安装库 pip install mitmproxy textnow_mit.py # -*- coding: utf-8 -*- from ...
  • 备注: 有的时候,我们希望,selenium访问的时候,不要出现浏览器, 那么就需要进行配置。具体配置看代码。 运行代码 # !/user/bin/env python # -*- coding: utf-8 -*- # 谷歌浏览器 - 无头界面 ...# 实现规避检测 fr
  • from selenium import webdriver from time import sleep #模拟登录qq空间 #加载谷歌驱动程序 bro=webdriver.Chrome('./chromedriver.exe') #访问qq空间 bro.get('https://qzone.qq.com/') #切换作用域 bro.switch_...
  • # -- 防止被检测,旧版本用法(1): # chrome在79版之前用这个 options.add_experimental_option("excludeSwitches", ["enable-automation"]) options.add_experimental_option('useAutomationExtension', ...

空空如也

空空如也

1 2 3
收藏数 57
精华内容 22
关键字:

selenium规避检测