4.Selenium库

(自动化测试工具，支持多种浏览器，爬虫主要解决js渲染的问题)

pip install selenium

基本使用

from selenium importwebdriverfrom selenium.webdriver.common.by importByfrom selenium.webdriver.common.keys importKeysfrom selenium.webdriver.support importexpected_conditions as ECfrom selenium.webdriver.support.wait importWebDriverWait

browser=webdriver.Chrome()try:

browser.get('https://www.baidu.com')

input= browser.find_element_by_id('kw')#通过id=kw查找

input.send_keys('Python')#发送键

input.send_keys(Keys.ENTER)#敲入回车

wait = WebDriverWait(browser, 10)#等待元素加载出来

wait.until(EC.presence_of_element_located((By.ID, 'content_left')))print(browser.current_url)print(browser.get_cookies())print(browser.page_source)finally:

browser.close()

声明浏览器对象

#声明浏览器对象(其他可查看官方文档)

from selenium importwebdriver

browser= webdriver.Chrome()#生成Chrome浏览器对象

browser =webdriver.Firefox()

browser=webdriver.Edge()

browser=webdriver.PhantomJS()

browser= webdriver.Safari()

访问页面

#访问页面

from selenium importwebdriver

browser=webdriver.Chrome()

browser.get('https://www.taobao.com')print(browser.page_source)#获取页面代码

browser.close()#关闭页面

查找元素

查找单个元素

#查找单个元素

from selenium importwebdriver

browser=webdriver.Chrome()

browser.get('https://www.taobao.com')

input_first= browser.find_element_by_id('q')#通过id

input_second = browser.find_element_by_css_selector('#q')#通过css选择器

input_third = browser.find_element_by_xpath('//*[@id="q"]')#通过xpath

print(input_first, input_second, input_third)

browser.close()

其他查找方式

find_element_by_name

find_element_by_xpath

find_element_by_link_text

find_element_by_partial_link_text

find_element_by_tag_name

find_element_by_class_name

find_element_by_css_selector

也可以使用通用方法

input_first = browser.find_element(By.ID, 'q')

查找多个元素

#查找多个元素

lis = browser.find_elements_by_css_selector('.service-bd li')#其他也类似单个元素的查找方法，find_element_*变为find_elements_*

lis = browser.find_elements(By.CSS_SELECTOR, '.service-bd li')#也可以使用这种通用的

元素交互操作

(对获取的元素调用交互方法)

browser =webdriver.Chrome()

browser.get('https://www.taobao.com')

input= browser.find_element_by_id('q')#定位输入框(id='q')

input.send_keys('iPhone')#在搜索框输入iPhone

time.sleep(1)

input.clear()#清除搜索框

input.send_keys('iPad')#在搜索框输入iPad

button = browser.find_element_by_class_name('btn-search')#定位搜索按钮

button.click()#点击搜索按钮

(报错可能是chrome版本和chromedriver版本不匹配)

交互动作

将动作附加到动作链中串行执行

from selenium importwebdriverfrom selenium.webdriver importActionChains

browser=webdriver.Chrome()

url= 'http://www.runoob.com/try/try.php?filename=jqueryui-api-droppable'browser.get(url)

browser.switch_to.frame('iframeResult')#定位frame标签

source = browser.find_element_by_css_selector('#draggable')#定位到frame标签里的draggable

target = browser.find_element_by_css_selector('#droppable')

actions= ActionChains(browser)#动作链对象

actions.drag_and_drop(source, target)#把source拖拽到target上面

actions.perform()#执行动作

执行JavaScript

#进度条的拖拽

from selenium importwebdriver

browser=webdriver.Chrome()

browser.get('https://www.zhihu.com/explore')#打开网页

browser.execute_script('window.scrollTo(0, document.body.scrollHeight)')#将网页下拉到最下端

browser.execute_script('alert("To Bottom")')#弹出alert提示框

获取元素信息

获取属性值，文本值，id，位置，标签名，大小

from selenium importwebdriverfrom selenium.webdriver importActionChains

browser=webdriver.Chrome()

url= 'https://www.zhihu.com/explore'browser.get(url)

logo= browser.find_element_by_id('zh-top-link-logo')

input= browser.find_element_by_class_name('zu-top-add-question')print(logo.get_attribute('class'))#获取属性值

print(logo.text)#获取文本值

print(logo.id)#获取id

print(logo.location)#获取位置

print(logo.tag_name)#获取标签名

print(logo.size)#获取大小

Frame

from selenium importwebdriverfrom selenium.common.exceptions importNoSuchElementException

browser=webdriver.Chrome()

url= 'http://www.runoob.com/try/try.php?filename=jqueryui-api-droppable'browser.get(url)

browser.switch_to.frame('iframeResult')#定位到frame

source = browser.find_element_by_css_selector('#draggable')#定位到frame里的选择器

try:

logo= browser.find_element_by_class_name('logo')exceptNoSuchElementException:print('NO LOGO')

browser.switch_to.parent_frame()#切换到父frame

logo = browser.find_element_by_class_name('logo')print(logo.text)

等待

隐式等待(当使用了隐式等待执行测试的时候，如果 WebDriver没有在 DOM中找到元素，将继续等待，超出设定时间后则抛出找不到元素的异常, 换句话说，当查找元素或元素并没有立即出现的时候，隐式等待将等待一段时间再查找 DOM，默认的时间是0)(没有太大必要)

from selenium importwebdriver

browser=webdriver.Chrome()

browser.implicitly_wait(10)

browser.get('https://www.zhihu.com/explore')

input= browser.find_element_by_class_name('zu-top-add-question')#如果元素加载出来则不会等待，没有加载出来则等待10秒

print(input)

显式等待

(如果没有加载出来则一直等待)

from selenium importwebdriverfrom selenium.webdriver.common.by importByfrom selenium.webdriver.support.ui importWebDriverWaitfrom selenium.webdriver.support importexpected_conditions as EC

browser=webdriver.Chrome()

browser.get('https://www.taobao.com/')

wait= WebDriverWait(browser, 10)#传入最长等待时间

input = wait.until(EC.presence_of_element_located((By.ID, 'q')))#传入等待条件(是否出现)(获取输入框)

button = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, '.btn-search')))#(是否可点击)(获取按钮)

print(input, button)

title_is 标题是某内容

title_contains 标题包含某内容

presence_of_element_located 元素加载出，传入定位元组，如(By.ID, 'p')

visibility_of_element_located 元素可见，传入定位元组

visibility_of 可见，传入元素对象

presence_of_all_elements_located 所有元素加载出

text_to_be_present_in_element 某个元素文本包含某文字

text_to_be_present_in_element_value 某个元素值包含某文字

frame_to_be_available_and_switch_to_it frame加载并切换

invisibility_of_element_located 元素不可见

element_to_be_clickable 元素可点击

staleness_of 判断一个元素是否仍在DOM，可判断页面是否已经刷新

element_to_be_selected 元素可选择，传元素对象

element_located_to_be_selected 元素可选择，传入定位元组

element_selection_state_to_be 传入元素对象以及状态，相等返回True，否则返回False

element_located_selection_state_to_be 传入定位元组以及状态，相等返回True，否则返回False

alert_is_present 是否出现Alert

前进后退

importtimefrom selenium importwebdriver

browser=webdriver.Chrome()

browser.get('https://www.baidu.com/')#打开百度

browser.get('https://www.taobao.com/')#打开淘宝

browser.back()#返回上一步(返回到百度)

time.sleep(1)

browser.forward()#前进(返回淘宝)

browser.close()

Cookies

from selenium importwebdriver

browser=webdriver.Chrome()

browser.get('https://www.zhihu.com/explore')print(browser.get_cookies())#打印cookie

browser.add_cookie({'name': 'name', 'domain': 'www.zhihu.com', 'value': 'germey'})#添加cookie

print(browser.get_cookies())#打印cookie

browser.delete_all_cookies()#清空cookie

print(browser.get_cookies())#打印

选项卡管理

importtimefrom selenium importwebdriver

browser=webdriver.Chrome()

browser.get('https://www.baidu.com')#打开百度

browser.execute_script('window.open()')#新增选项卡

print(browser.window_handles)

browser.switch_to_window(browser.window_handles[1])#选择到第二个选项卡

browser.get('https://www.taobao.com')#打开淘宝

time.sleep(1)

browser.switch_to_window(browser.window_handles[0])#选择到第一个选项卡

browser.get('http://www.hao123.com')#打开网页

异常处理

from selenium importwebdriverfrom selenium.common.exceptions importTimeoutException, NoSuchElementException

browser=webdriver.Chrome()try:

browser.get('https://www.baidu.com')exceptTimeoutException:print('Time Out')try:

browser.find_element_by_id('hello')exceptNoSuchElementException:print('No Element')finally:

browser.close()

滑动验证码的识别介绍

本节目标：

用程序识别极验滑动验证码的验证，包括分析识别思路、识别缺口位置、生成滑块拖动路径、模拟实现滑块拼合通过验证等步骤。

准备工作：

本次案例我们使用Python库是Selenium，浏览器为Chrome。请确保已安装Selenium库和ChromeDriver浏览器驱动。

了解极验滑动验证码：

验证方式为拖动滑块拼合图像，若图像完全拼合，则验证成功，否则需要重新验证，如图所示：

接下来我们链接地址：https://account.geetest.com/login，打开极验的管理后台登录页面，完成自动化登录操作。

实现步骤：

① 初始化

初始化链接地址、创建模拟浏览器对象、设置登录账户和密码等信息。

EMAIL = '登录账户'

PASSWORD = '登录密码'

class CrackGeetest():

def __init__(self):

self.url = 'https://account.geetest.com/login'

self.browser = webdriver.Chrome()

#设置显示等待时间

self.wait = WebDriverWait(self.browser, 20)

self.email = EMAIL

self.password = PASSWORD

def crack():

pass

# 程序主入口

if __name__ == '__main__':

crack = CrackGeetest()

crack.crack()

② 模拟登录填写，点开滑块验证在实例化CrackGeetest对象后调用crack()方法开始模拟登录验证...

调用open()方法，打开登录界面，获取账户和密码输入框节点，完成账户和密码的输入。

调用get_geetest_button()方法获取滑动验证按钮，并点击。

class CrackGeetest():

#...

def get_geetest_button(self):

''' 获取初始验证按钮,return：按钮对象 '''

button = self.wait.until(EC.element_to_be_clickable((By.CLASS_NAME, 'geetest_radar_tip')))

return button

def open(self):

''' 打开网页输入用户名密码, return: None '''

self.browser.get(self.url)

email = self.wait.until(EC.presence_of_element_located((By.ID, 'email')))

password = self.wait.until(EC.presence_of_element_located((By.ID, 'password')))

email.send_keys(self.email)

password.send_keys(self.password)

def crack(self):

# 输入用户名密码

self.open()

# 点击验证按钮

button = self.get_geetest_button()

button.click()

#...

#...

③ 获取并储存有无缺口的两张图片首先获取无缺口的验证图片，并保存到本地

获取滑块对象，并执行点击，让浏览器中显示有缺口图片

获取有缺口的验证图片，并保存到本地

def get_position(self):

''' 获取验证码位置, return: 验证码位置(元组) '''

img = self.wait.until(EC.presence_of_element_located((By.CLASS_NAME, 'geetest_canvas_img')))

time.sleep(2)

location = img.location

size = img.size

top,bottom,left,right = location['y'],location['y']+size['height'],location['x'],location['x']+size['width']

return (top, bottom, left, right)

def get_screenshot(self):

''' 获取网页截图, return: 截图对象 '''

#浏览器截屏

screenshot = self.browser.get_screenshot_as_png()

screenshot = Image.open(BytesIO(screenshot))

return screenshot

def get_geetest_image(self, name='captcha.png'):

''' 获取验证码图片, return: 图片对象 '''

top, bottom, left, right = self.get_position()

print('验证码位置', top, bottom, left, right)

screenshot = self.get_screenshot()

#从网页截屏图片中裁剪处理验证图片

captcha = screenshot.crop((left, top, right, bottom))

captcha.save(name)

return captcha

def get_slider(self):

''' 获取滑块, return: 滑块对象 '''

slider = self.wait.until(EC.element_to_be_clickable((By.CLASS_NAME, 'geetest_slider_button')))

return slider

def crack(self):

#...

# 获取验证码图片

image1 = self.get_geetest_image('captcha1.png')

# 点按呼出缺口

slider = self.get_slider()

slider.click()

# 获取带缺口的验证码图片

image2 = self.get_geetest_image('captcha2.png')

#...

④ 获取缺口位置对比两张图片的所有RBG像素点，得到不一样像素点的x值，即要移动的距离

BORDER = 6

INIT_LEFT = 60

class CrackGeetest():

def get_gap(self, image1, image2):

''' 获取缺口偏移量, 参数：image1不带缺口图片、image2带缺口图片。返回偏移量 '''

left = 65

for i in range(left, image1.size[0]):

for j in range(image1.size[1]):

if not self.is_pixel_equal(image1, image2, i, j):

left = i

return left

return left

def is_pixel_equal(self, image1, image2, x, y):

'''

判断两个像素是否相同

:param image1: 图片1

:param image2: 图片2

:param x: 位置x

:param y: 位置y

:return: 像素是否相同

'''

# 取两个图片的像素点(R、G、B)

pixel1 = image1.load()[x, y]

pixel2 = image2.load()[x, y]

threshold = 60

if abs(pixel1[0]-pixel2[0])

return True

else:

return False

def crack(self):

#...

# 获取缺口位置

gap = self.get_gap(image1, image2)

print('缺口位置', gap)

# 减去缺口位移

gap -= BORDER

⑤ 获取移动轨迹

模拟人的行为习惯(先匀加速拖动后匀减速拖动)，把需要拖动的总距离分成一段一段小的轨迹

def get_track(self, distance):

'''

根据偏移量获取移动轨迹

:param distance: 偏移量

:return: 移动轨迹

'''

# 移动轨迹

track = []

# 当前位移

current = 0

# 减速阈值

mid = distance * 4 / 5

# 计算间隔

t = 0.2

# 初速度

v = 0

while current < distance:

if current < mid:

# 加速度为正2

a = 2

else:

# 加速度为负3

a = -3

# 初速度v0

v0 = v

# 当前速度v = v0 + at

v = v0 + a * t

# 移动距离x = v0t + 1/2 * a * t^2

move = v0 * t + 1 / 2 * a * t * t

# 当前位移

current += move

# 加入轨迹

track.append(round(move))

return track

def crack(self):

#...

# 获取移动轨迹

track = self.get_track(gap)

print('滑动轨迹', track)

⑥ 按照轨迹拖动，完全验证

def move_to_gap(self, slider, track):

'''

拖动滑块到缺口处

:param slider: 滑块

:param track: 轨迹

:return:

'''

ActionChains(self.browser).click_and_hold(slider).perform()

for x in track:

ActionChains(self.browser).move_by_offset(xoffset=x, yoffset=0).perform()

time.sleep(0.5)

ActionChains(self.browser).release().perform()

def crack(self):

#...

# 拖动滑块

self.move_to_gap(slider, track)

success = self.wait.until(

EC.text_to_be_present_in_element((By.CLASS_NAME, 'geetest_success_radar_tip_content'), '验证成功'))

print(success)

⑦ 完成登录

def login(self):

''' 执行登录 return: None '''

submit = self.wait.until(EC.element_to_be_clickable((By.CLASS_NAME, 'login-btn')))

submit.click()

time.sleep(10)

print('登录成功')

def crack(self):

#...

# 失败后重试

if not success:

self.crack()

else:

self.login()