python自动化操作网页谷歌浏览器所需工具下载.zip

一、python自动登录判题系统

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
#打开网页
url="http://acm.wzu.edu.cn/index/"
driver = webdriver.Chrome()
driver.get(url)
#等待5秒
driver.implicitly_wait(5)
driver.maximize_window()# 最大化窗口

#获得元素，比填写账号与密码
driver.find_element_by_name("username").send_keys("**********")
elem=driver.find_element_by_name("password")
elem.send_keys("123456")

#登录：
#1.发送回车键
# elem.send_keys(Keys.ENTER)
#2.通过Xpath
#driver.find_element_by_xpath("/html/body/div[1]/div/div/div/form/button").click()
#3.通过其他标签组合查找
driver.find_element_by_xpath('//*[@class="navbar-form pull-right"]/button').click()

二、python自动登录qq邮箱

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
import time
#打开网页
url="http://www.mail.qq.com/"
driver = webdriver.Chrome()
driver.get(url)
#等待5秒
driver.implicitly_wait(5)
driver.maximize_window()# 最大化窗口

driver.switch_to.frame("login_frame")

driver.find_element_by_xpath('//*[@id="switch"]/a[2]').click()

driver.find_element_by_id("u").send_keys("1837290753")
elem=driver.find_element_by_id("p")
elem.send_keys("**************")
elem.send_keys(Keys.ENTER)

三、python自动登录豆瓣

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
#打开网页
url="http://www.douban.com/"
driver = webdriver.Chrome()
driver.get(url)
#等待5秒
driver.implicitly_wait(5)
driver.maximize_window()# 最大化窗口

driver.switch_to.frame(0)
driver.find_element_by_xpath('/html/body/div[1]/div[1]/ul[1]/li[2]').click()
driver.find_element_by_id("username").send_keys("19858735253")
elem=driver.find_element_by_id("password")
elem.send_keys("zs123456")
elem.send_keys(Keys.ENTER)

只有学会挑战的人，才能最捷足先登的到达成功的彼岸；只有懂得挑战的人，才是最有自信心与实力的人。

自动化介绍及环境要求

一、了解selenium

Selenium是一个用于网站应用程序自动化的工具。它可以直接运行在浏览器中，就像真正的用户在操作一样；

它支持的浏览器包括IE、Mozilla Firefox、Safari、Google Chrome和Opera等，同时支持多种编程语言，如.Net、Java、Python和Ruby等。

Jason Huggins在2004年发起了Selenium项目，这个项目主要是为了不想让自己的时间浪费在无聊的重复性工作中，

因当时测试的浏览器都支持JavaScript，Jason和他所在的团队就采用JavaScript编写了一种测试工具——JavaScript类库，来验证浏览器页面的行为；

这个JavaScript类库就是Selenium core，同时也是seleniumRC、Selenium IDE的核心组件，Selenium由此诞生。

从Selenium诞生至今一共发展了3个版本：Selenium 1.0、Selenium 2.0和Selenium 3.0。每个版本的更新都有一些变化，下面大概了解一下各个版本的信息：

● Selenium 1.0：主要由Selenium IDE、Selenium Grid和Selenium RC组成。Selenium IDE是嵌入到浏览器的一个插件，由于实现简单的浏览器操作的录制与回放功能；

Selenium Grid是一种自动化的辅助工具，通过利用现有的计算机基础设施，能加快网站自动化操作；Selenium RC是Selenium家族的核心部分，支持多种不同开发语言编写的自动化脚本，

通过Selenium RC的服务器作为代理服务器去访问网站应用，从而达到自动化目的。

● Selenium 2.0：该版本在1.0版本的基础上结合了Webdriver。Selenium通过Webdriver直接操控网站应用，解决了Selenium 1.0存在的缺点；

WebDriver针对各个浏览器而开发，取代了网站应用的JavaScript。目前大部分自动化技术都是以Selenium 2.0为主，这也是本书主要讲述的内容。

● Selenium 3.0：这个版本做了不大不小的更新。如果是使用Java开发只能在Java 8以上的开发环境，如果以IE浏览器作为自动化浏览器，浏览器必须在IE 9版本或以上。

从Selenium的各个版本信息可以了解到，它必须在浏览器的基础上才能实现自动化。目前浏览器的种类繁多，比如搜狗浏览器、QQ浏览器和百度浏览器等；

这些浏览器大多数是在IE内核、Webkit内核或Gecko内核的基础上开发而成的。为了统一浏览器的使用，Selenium主要支持IE、Mozilla Firefox、Safari、Google Chrome和Opera等主流浏览器。

Selenium发展至今，不仅在自动化测试和自动化流程开发的领域上占据着重要的位置，而且在网络爬虫上也被广泛使用。

二、环境要求

1.Python

2.selenium库

3.谷歌浏览器

准备过程

1.安装selenium库：

pip install selenium

2.安装谷歌浏览器webdriver

首先打开谷歌浏览器的“关于谷歌浏览器”，查看谷歌浏览器的版本：

版本：81.0.4044.138

然后根据版本号去：http://npm.taobao.org/mirrors/chromedriver/

下载对应版本的zip文件：

根据实际系统版本选择：

然后进行解压，安装。

（注：放到常用的文件夹即可，下面会用到。）

实现效果

完成安装后，创建一个test.py的Python文件，看看能否自动启动谷歌浏览器。

from selenium import webdriver

#设置自动化打开的浏览器访问网址
url = 'https://www.chengf.cc'

#设置谷歌浏览器driver的目录所在
path = '/Users/chengf/Documents/Python/Project/selenium_chrome/chromedriver'

browser = webdriver.Chrome(executable_path=path)

#打开浏览器，并访问设置的网址。
browser.get(url)

（效果如图）

看到谷歌浏览器的提示：

chorme正在受到自动测试软件的控制

说明测试成功。

在日常工作中常常需要重复填写某些表单，如果人工完成，费时费力，而且网络延迟令人十分崩溃。如果能够用程序实现自动填表，效率可以提高一倍以上，并且能够移植到多台计算机，进一步提高工作效率。webdriver是python的selenium库中的一个自动化测试工具，它能完全模拟浏览器的操作，无需处理复杂的request、post，对爬虫初学者十分友好。

一、环境配置

python3.6+selenium库+xlrd库+xlwt库

其中xlrd和xlwt库用于读写excel表中的数据。

还要下载一个浏览器的driver文件用于打开浏览器，注意要选择与计算机系统相符合的版本（max/windows64位/windows32位）

将下载下来的driver.exe放到浏览器根目录和python的根目录

二、打开网页

以IE浏览器为例，以下两行代码就可以实现打开一个IE浏览器并且访问我们需要填表的网站

driver=webdriver.Ie()

driver.get("http://xxxx.com/")

如果网站需要登陆（需要填表的一般是公司内部网站），再写一个login函数，将driver作为参数调用

driver = login(driver)

注意一定要将driver传回，这样driver才能继续接受程序的指令

三、元素定位

webdriver的工作原理是找到网页中某一个元素，可以对其进行填入数据或点击等操作。

我主要用到的元素定位方式有

driver.find_element_by_id("someid")#通过元素的id定位

driver.find_element_by_css_selector("input[value="确定"")#查找一个input元素，它的value属性值为"确定"

driver.find_element_by_xpath("//span[contains(@style,"COLOR: red")]/span[1]")#查找一个style属性值为"COLOR:red"的span元素的第一个span子元素

（1）通过id定位

如果我们想在网页表单的某一个位置填某项值或者点击某个按钮，我们首先要用开发者工具查看这个元素的源代码，然后首先观察它有没有id，如果有id，直接用id定位该元素。然后，用

driver.find_element_by_id("someid").click()#点击元素

driver.find_element_by_id("someid").send_keys("somekeys")#填入"somekeys"

driver.find_element_by_id("someid").clear()#清空输入框中已有的值

实现我们想要做的操作。

（2）通过ccs selector定位

如果我们想要操作的元素没有ID，那么我们就要找到它跟网页其他元素不同的特征，ccs selector是一种十分灵活的定位方式，其中用value定位是一个不错的选择。以

driver.find_element_by_css_selector("input[value="确定"")

为例，双引号中的input可以换成任何网页元素（div、span、input、a等），中括号中是该元素的某一个属性（style、id、value、class等），等号后面是该属性的值。

注意，如果网页中有多个元素同时满足ccs selector的条件，如有多个value=“确定” 的input，那么find_element_by_css_selector只会定位到在html源代码中最靠前的一个，而find_elements_by_css_selector会找到源代码中所有满足条件的元素，并以列表的形式返回这些找到的元素。例如，网页中弹出很多个提示框，我们要一一去点确定，可以这样操作

list=driver.find_elements_by_css_selector("input[value=" 确定 "]")for l inlist:

l.click()

但是，如果这些提示框是重叠出现的，而最上层的提示框实际上在源码中更靠后的位置，那么列表中第一个“确定”元素就会被叠在上面的提示框遮挡，无法点击，这个时候倒序一下数组就可以了，从最后一个“确定”元素开始点击

query=driver.find_elements_by_css_selector("input[value=" 确定 "]")for q in query[::-1]:

q.click()

（3）通过xpath定位

xpath定位比较复杂但是非常全面，当这个元素的class、style属性和其他元素一样，实在没什么特点可以一步定位的时候，我们就可以用xpath，先找到我们想要的元素的父子兄弟元素，再定位到我们想要的元素。例如

driver.find_element_by_xpath("//*[@class="submit clear"]/input[1]").click()

text=driver.find_element_by_xpath("//input[@value=" 确定 "]/../preceding-sibling::div[1]").text

driver.find_elements_by_xpath("//span[contains(@style,"COLOR: red")]/span[1]")

引号中的//表示相对定位，表示从源代码中任何地方开始寻找。

//后可以跟任何元素，*代表任意元素，即定位符合属性筛选任何元素。

中括号内是属性的筛选条件，@后可以加任意属性。contains(@style,"COLOR: red")表示的筛选条件是：style属性中包含”COLOR：red“。这里为什么不直接用@style="COLOR: red"

的原因是，可能在我们审查源代码的时候这个元素的style属性只有"COLOR: red"这一条，但是动态界面的style属性经常变化，程序运行时直接用等于是定位不到这个元素的。

/.. 可以定位这个元素的父亲元素

/ 可以定位这个元素的子元素

/preceding-sibling:: 可以定位这个元素的哥哥元素

/following-sibling:: 可以定位这个元素的弟弟元素

如/input[1]表示子元素中第一个input、/../preceding-sibling::div[1]表示父元素的哥哥元素中的第一个div

（4）通过当前节点定位

有时候我们会遇到需要判断一下元素当前的状态（是否被选择）再决定接下来的操作的情况，这时就需要用一个变量来保存当前节点

LTE=driver.find_element_by_xpath("//input[@id="LTE"]/../span[1]"

然后再用get_attribute获得当前节点元素的属性，在这个例子里，如果元素为蓝色，就不需要点击。代码实现为：

if LTE.get_attribute("style")=="COLOR: blue":pass

else:

LET.click()

需要筛选出特定文本的情况：

red=driver.find_elements_by_xpath("//span[contains(@style,"COLOR: red")]/span[1]")#找出所有红色的文本

for r inred:if "低消" in r.text:#如果文本信息中包含"低消’

r.find_element_by_xpath("./../preceding-sibling::input[1]").click()#注意从当前节点定位的时候要以"./’开头

break

如果寻找的元素需要滚动界面才能看到，这个时候可以用js聚焦此元素，页面便会滚动到该元素的位置

target=driver.find_element_by_css_selector("input[value=" 确定 "]")

driver.execute_script("arguments[0].scrollIntoView();", target)

target.click()

四、不确定情况处理

（1）有可能出现的弹窗

在填表过程中，有些地方有可能出现一个弹框也有可能不出现，这个时候，无论这个弹窗是什么，用try..except语句处理就可以解决

js触发的弹窗：

try:

driver.find_element_by_css_selector("input[value=" 确定 "]").click()exceptException as e:pass

网页alert弹窗：

try:

driver.switch_to.alert.dismiss()exceptException:pass

dismiss()对应的是alert弹窗的”取消“项，accept()对应的是”确定“项，driver.switch_to.alert.text 可以获得弹窗的文本内容。

（2）数量不定的弹窗

对上文提到的多个提示框情况，除了用 query=driver.find_elements_by_css_selector("input[value=" 确定 "]") 一次性找到所有元素再顺序或倒序点击之外，还可以用一个while循环解决

while(1):try:

driver.find_element_by_css_selector("input[value=" 确定 "]").click()exceptException as e:break

（3）网络延迟

有些网页在点击查询信息之后需要加载一段时间，加载中的页面是找不到我们接下来想找的元素的，因此程序就会报错，此时有两种解决方法。

一种是固定等待一段时间，等待网页加载完毕，这种方法的缺点是很难找到等待的最佳时间，太短的话页面还没加载完，太长就影响效率

time.sleep(2)

另一种是用一个while循环一直寻找下一个我们要找的元素

while(1):try:

driver.find_element_by_id("continueTrade").click()break

exceptException:pass

这种方法的前提是下一个要找的元素必定会出现

五、frame处理

总结起来就是：frameset不用切，frame层层切。最好一系列填表操作完后都用 driver.switch_to.default_content() 回到原文档，这样不容易混乱

这里再补充一点frame没有id时的切入方法

frame= self.driver.find_element_by_xpath("/html/body/div[12]/iframe")#先定位frame位置，用一个变量储存这个节点

self.driver.switch_to_frame(frame)#再切入这个节点

六、excel数据读写

excel数据读写十分简单，看代码就好了：

defread(file):

data= xlrd.open_workbook(file)#打开excel文件

table = data.sheets()[0]#读取第一个sheet的数据

phones = table.col_values(0)#以列表形式存储第一列数据

peoples = table.col_values(1)#以列表形式存储第二列数据

returnphones,peoplesdefwrite(result):

file=xlwt.Workbook()#创建一个excel文件

table = file.add_sheet("sheet1")#添加一个sheet

for i in range(len(result)):#写入数据

table.write(i,0,result[i][0])

table.write(i,1,result[i][1])

table.write(i,2,result[i][2])

file.save("result.xls")

结语：希望技术能让人们从无意义的重复劳动中解脱：D