浏览器自动化程序

virtualenv

• virtualenv

1 virtualenv简介
是专门用来为应用程序维护多套相互“隔离”的Python运行环境的工具，借助 virtualenv我们可以在一台主机上创建多套相互隔离的Python运行环境。
所以呢需要下载好我已经配置好的虚拟环境才能正常运行下面的程序。
2 .virtualenv的配置
python环境是python3.7，需要用到的库文件pyqt5，pyqt5-tools,playwright，os
浏览器的驱动文件
如果已经安装了python环境，则直接执行 python -m playwright install，否则需要先进入虚拟环境再执行上面的命令。

使用教程

1. 在百度网盘下载virtualenv环境和exe程序，解压，里面有两个文件
   
2. 按照路径新建文件夹D:\python\virtualenv\（必须一模一样），因为我用的配置有些是绝对路径，不然读不到配置文件。把demo文件放到这个目录下
3. 最后打开main.exe就能使用了
   

1录制自动化脚本，只要输入对应的网址和浏览器（现在只支持谷歌），点击star按键即可，后续更新会解决这个问题（调试的时候火狐，webkit等有一定的bug）。然后就可以按照自己的想法录制步骤，右边是自动生成的python代码。录制完成后就可以关闭浏览器。最后就会生成一个code.txt文件。

2运行脚本。首先把生成的code文件的后缀改为py，然后在脚本输入框输入**py文件的绝对路径 **，点击start__script。就会执行自动化脚本

上代码

"""
brower.py文件
"""
# -*- coding: utf-8 -*-

# Form implementation generated from reading ui file 'brower_automation.ui'
#
# Created by: PyQt5 UI code generator 5.15.4
#
# WARNING: Any manual changes made to this file will be lost when pyuic5 is
# run again.  Do not edit this file unless you know what you are doing.

from PyQt5 import QtCore, QtGui, QtWidgets
import os


class Ui_MainWindow(object):
    def __init__(self):
        self.url = "www.baidu.com"

    def setupUi(self, MainWindow):
        MainWindow.setObjectName("MainWindow")
        MainWindow.resize(563, 326)
        self.centralwidget = QtWidgets.QWidget(MainWindow)
        self.centralwidget.setObjectName("centralwidget")

        self.label = QtWidgets.QLabel(self.centralwidget)
        self.label.setGeometry(QtCore.QRect(270, 10, 301, 101))
        self.label.setObjectName("label")

        self.pushButton = QtWidgets.QPushButton(self.centralwidget)
        self.pushButton.setGeometry(QtCore.QRect(120, 70, 101, 21))
        self.pushButton.setObjectName("pushButton")
        self.pushButton.clicked.connect(self.start_PushBotton)

        self.radioButton = QtWidgets.QRadioButton(self.centralwidget)
        self.radioButton.setGeometry(QtCore.QRect(30, 90, 89, 16))
        self.radioButton.setObjectName("radioButton")
        self.radioButton_2 = QtWidgets.QRadioButton(self.centralwidget)
        self.radioButton_2.setGeometry(QtCore.QRect(30, 70, 89, 16))
        self.radioButton_2.setObjectName("radioButton_2")
        self.radioButton_3 = QtWidgets.QRadioButton(self.centralwidget)
        self.radioButton_3.setGeometry(QtCore.QRect(30, 50, 89, 16))
        self.radioButton_3.setObjectName("radioButton_3")
        self.radioButton_3.setChecked(True)

        self.ShowText = QtWidgets.QTextBrowser(self.centralwidget)
        self.ShowText.setGeometry(QtCore.QRect(20, 210, 521, 111))
        self.ShowText.setObjectName("ShowTesx")
        self.ShowText.setPlaceholderText("""Prompt information:
    open page and generate code for user actions
    Options:
        -o, --output <file name>  saves the generated script to a file
        --target <language>       language to use, one of javascript, python, python-async, csharp (default: "python")
        -h, --help                display help for command


    Status operation information:
    """)

        self.Show_Label = QtWidgets.QLabel(self.centralwidget)
        self.Show_Label.setGeometry(QtCore.QRect(240, 180, 101, 31))
        self.Show_Label.setObjectName("Show_Label")

        self.scrupt_a = QtWidgets.QLabel(self.centralwidget)
        self.scrupt_a.setGeometry(QtCore.QRect(30, 150, 101, 31))
        self.scrupt_a.setObjectName("scrupt_a")
        self.script_lineEdit = QtWidgets.QLineEdit(self.centralwidget)
        self.script_lineEdit.setGeometry(QtCore.QRect(100, 155, 200, 20))
        self.script_lineEdit.setObjectName("script_lineEdit")
        self.scriptButton = QtWidgets.QPushButton(self.centralwidget)
        self.scriptButton.setGeometry(QtCore.QRect(350, 155, 101, 21))
        self.scriptButton.setObjectName("scriptButton")
        self.scriptButton.clicked.connect(self.start_script)

        self.url = QtWidgets.QLabel(self.centralwidget)
        self.url.setGeometry(QtCore.QRect(30, 20, 51, 21))
        self.url.setObjectName("url")
        self.url_lineEdit = QtWidgets.QLineEdit(self.centralwidget)
        self.url_lineEdit.setGeometry(QtCore.QRect(90, 20, 141, 21))
        self.url_lineEdit.setObjectName("url_lineEdit")
        self.url_lineEdit.setPlaceholderText("https://www.baidu.com/")  # 默认显示

        self.brower = QtWidgets.QLabel(self.centralwidget)
        self.brower.setGeometry(QtCore.QRect(30, 120, 54, 16))
        self.brower.setObjectName("brower")
        self.brower_lineEdit = QtWidgets.QLineEdit(self.centralwidget)
        self.brower_lineEdit.setGeometry(QtCore.QRect(90, 120, 141, 21))
        self.brower_lineEdit.setObjectName("brower_lineEdit")
        self.brower_lineEdit.setPlaceholderText("默认开启的是谷歌浏览器")

        MainWindow.setCentralWidget(self.centralwidget)
        self.statusbar = QtWidgets.QStatusBar(MainWindow)
        self.statusbar.setObjectName("statusbar")
        MainWindow.setStatusBar(self.statusbar)

        self.actionpyton = QtWidgets.QAction(MainWindow)
        self.actionpyton.setObjectName("actionpyton")
        self.actionyes = QtWidgets.QAction(MainWindow)
        self.actionyes.setObjectName("actionyes")
        self.actionno = QtWidgets.QAction(MainWindow)
        self.actionno.setObjectName("actionno")

        self.retranslateUi(MainWindow)
        QtCore.QMetaObject.connectSlotsByName(MainWindow)
        self.get_url()

    def retranslateUi(self, MainWindow):
        _translate = QtCore.QCoreApplication.translate
        MainWindow.setWindowTitle(_translate("MainWindow", "浏览器自动化"))
        self.label.setText(_translate("MainWindow",
                                      "<html><head/><body><p>注意事项：</p><p>1.必须有python3.7+的环境</p><p>2.安装Chromiun、Firefox、Webkit等浏览器的环境</p><p><a href=\"D:\\img\"><span style=\" text-decoration: underline; color:#0000ff;\">3.详细的使用文档</span></a></p></body></html>"))
        self.pushButton.setText(_translate("MainWindow", "start"))
        self.scriptButton.setText(_translate("MainWindow", "start_script"))
        self.radioButton.setText(_translate("MainWindow", "webkit"))
        self.radioButton_2.setText(_translate("MainWindow", "firefox"))
        self.radioButton_3.setText(_translate("MainWindow", "chrome"))
        self.Show_Label.setText(_translate("MainWindow",
                                           "<html><head/><body><p><span style=\" font-size:10pt;\">信息提示框</span></p></body></html>"))
        self.scrupt_a.setText(_translate("MainWindow",
                                         "<html><head/><body><p><span style=\" font-size:11pt;\">脚本路径</span></p></body></html>"))
        self.url.setText(_translate("MainWindow",
                                    "<html><head/><body><p><span style=\" font-size:12pt;\">URL</span></p></body></html>"))
        self.brower.setText(_translate("MainWindow",
                                       "<html><head/><body><p><span style=\" font-size:12pt;\">浏览器</span></p></body></html>"))
        self.actionpyton.setText(_translate("MainWindow", "pyton"))
        self.actionyes.setText(_translate("MainWindow", "yes"))
        self.actionno.setText(_translate("MainWindow", "no"))

    def radio_status(self):
        """包含了所有的浏览器，默认是谷歌浏览器
        问题：
        1.浏览器的驱动是否安装；
        2.浏览器驱动的名字没有确认
        """
        if self.radioButton_3.isChecked() is True:
            return "chromium"
        elif self.radioButton_2.isChecked() is True:
            return "Firefox"
        elif self.radioButton.isChecked() is True:
            return "webkit"
        else:
            return self.brower_lineEdit.text()

    def get_url(self):
        if len(self.url_lineEdit.text()) > 0:
            url = self.url_lineEdit.text()
            return url
        url = "https://www.baidu.com/"
        return url

    def start_PushBotton(self):
        url = self.radio_status()
        brower = self.get_url()
        os.chdir("D:")
        os.system(
            r"D:\python\virtualenv\demo\Scripts\activate | python -m playwright codegen --target python -o 'code.py' -b {} {}".format(
                url, brower))

    def start_script(self):
        python_script = self.script_lineEdit.text()
        os.system("D:")
        os.system(r"D:\python\virtualenv\demo\Scripts\activate | python {}".format(python_script))

"""
main.py文件
"""
import sys

import brower
from PyQt5.QtWidgets import QApplication, QMainWindow

if __name__ == '__main__':
    app = QApplication(sys.argv)
    MainWindow = QMainWindow()
    ui = brower.Ui_MainWindow()
    ui.setupUi(MainWindow)
    MainWindow.show()
    sys.exit(app.exec_())

根据上面装好相应的环境直接运行就可以了pyqt5, playwright, pyqt5-tools,还有各种浏览器的驱动。强烈建议使用第二种方法，直接粘贴代码，百分之九十都可以成功运行。


如有疑问或需数据请联系作者可留言博客或+
qq：1769190045

文章内容只供参考学习阅读，不可他用（特别商用）。侵权必追究其法律责任

——————————部分内容参考他人博客文章—————————————

1.起因

      这篇文章应该是前年和教你们如何Python安装教程（新手）那篇文章一起写的,现在却变成了2022年的第一篇文章,由于当时学python的目的也挺明确的用于爬虫,做一些自动化脚本等!
      当时由于小米6x已经跟不上我想玩玩吃鸡的需求,所以内心萌发了想换手机的举动,往往一个举动可能不太能影响一个人的行动,当时京东有出来个北京上海发放消费券的举动,我记得好像是2000-300的消费券,当时我阿姨刚好又在北京这不是美哉,当时算了下好想好像只要2499可以买Redmi K30 Pro变焦版本的手机,当时这个手机妥妥的旗舰机,可能就是有这些因素在所以才有了后续的下文!!!

找到了2020年当时的图片

和当时的消费券
     当时决定买这款手机还出了一款红米k30s 至尊纪念版又是屏幕高刷144Hz定价又2599加上首发又便宜300那么2299买高刷8+256岂不是起飞,那天我还依稀记得我蹲点到凌晨就等抢购,想必大家也都找到雷总的营销就像在问候我Are You OK 抢了个寂寞,当时预售完没抢到,6天后又一次预售还是抢到2299带回家,可恶的很我当时内心也还是在骗自己万一下一次的预售可以抢到呢!那不是不要那么麻烦去买k30 pro 变焦版本还要寄北京去转一手在寄学校,于是等待了漫长的6天第二次预售又开始了,激动的心颤抖的手,看着北京时间凌晨点击抢购键,你猜怎么着提示排队中过一会抢购结束了,又一次没抢到!

      首先当时我在打算买k30 pro变焦版当时还是有货的,又因为这次的k30s 至尊价格太香了我就没有下单买k30变焦,到后面k30s 价格也恢复原价2599但是还需要抢购,而k30 pro变焦的确没货了,京东要不定时间才会上货,虽说上货京东会发送邮箱形式通知用户可以购买,每次提示我点击进去或者可能因为某些原因导致没办法第一时间看到信息而错过购买时间.

2.需求

      于是我在想能不能写个程序让浏览器访问jd网站在通过购物车刷新的方式来获取最新商品信息是否有货,在通过html元素来判断一些关键词比如说显示有货我就勾选订单然后下单,付款等操作,付款是需要支付密码所以没有做,只要到付款那一块跳出密码我就返回这样这个订单就会进入待付款状态,这个时候我们可以对指定邮箱发送信息等这个没做,因为京东有货也会发信息通知我所以就没写,等京东发信息通知我,那就意味着我可以去app端付款了!

3.准备环境

关于python的安装可以看之前文章,由于这个是之前写的代码现在能不能运行可能还需要改代码,但是脚本什么还是需要的!

1.[ pip的使用 ]

假设我要安装Selenium
Selenium 的安装很简单，可采用如下方式。

pip install selenium

win+R输入cmd回车,然后把上面代码粘贴进行下载,我这是已经安装好的

2.下载插件

Selenium安装好之后，python并不能直接使用，它需要与浏览器进行对接。这里拿Chrome浏览器为例。若想使用Selenium成功调用Chrome浏览器完成相应的操作，需要通过ChromeDriver来驱动。

 链接：http://npm.taobao.org/mirrors/chromedriver/
        或https://chromedriver.storage.googleapis.com/index.html

（版本要和谷歌版本一样）

我的是 96.0.4664.45版本那你就要去下载这个版本

那访问网址找到对应版本

点击进去下载对应的操作系统

3.插件放在Python根目录

下载好后把解压的软件放在自己安装python的目录里面

并且通过cmd命令行运行chromedriver，不报错则成功

chromedriver

4.运行测试

1.无货测试

运行程序已经自动打开浏览器并且把帐户密码什么的都已经填写进去了,其中里面有5秒的时间需要我们人为滑动模块才能登录,当时现在今天又出现需要验证码才能登录了

      遇到这些特殊情况程序都会报错退出,我输入完成验证码后程序运行项目后滑块需要自己搞外后会跳到购物车由于这个商品是去年的商品并且我也没有进入购物车会导致程序接着报错我们需要把这个id改成无货商品的监控

那么我们改动代码id

然后我们点击商品进入详情页获取id值

修改代码id所有的id都要替换新的值
改好后就运行就会识别商品是否有货,有货就会勾选订单,点击结算付款等功能

日志打印运行次数

      现在这套代码还是可以继续监控要买的东西,当时和抢购商品到没啥太大作用,倒是可以监控一些想买但是没货,就可以用这个代码来监控等有货后我们就可以把商品买下了.

2.有货测试

现在我们把id换成有货的旺仔牛奶,已经进入有货的语句里面

勾选商品信息

进入结算界面

代码运行完成后可以看出,旺仔牛奶这个订单已经进入待付款页面,这个时候我只要24小时内付钱就可以了!

5.彩蛋

      可悲的是代码写好了也部署到我云服务器上,北京消费券都过期了,京东就在也没有上过k30pro变焦版本的货,太可恶了!

      后来抢到了Mi11,抢这个也是服了,当时在小米商城买的发售后因为没有256的版本错过了买128存储,当时抢购有看多一些博主说抢不到不要放弃,退出界面一直刷新购物车,在我不懈努力下刷了我20分钟后居然256的白色有库存了立马就买下来了真的是买个手机这么多坎坷

python自动化webdriver相关操作

一、控制浏览器相关操作

1、控制浏览器窗口大小

• 全屏显示maximize_window()

from selenium import webdriver

driver = webdriver.Chrome()
driver.implicitly_wait(3)
#全屏显示
driver.maximize_window()

• 指定浏览器大小set_window_size(w, h)

#指定浏览器大小
driver.set_window_size(600,400)

2、控制浏览器前进forward()和后退back()

#前进
driver.forward()
#后退
driver.back()

3、刷新refresh()

#刷新页面
driver.refresh()

4、窗口截屏

img_dir = "C:\\测试\\img.png"
driver.save_screenshot(img_dir)

二、webdriver常用方法

三、鼠标操作

1、单击事件

from selenium import webdriver
from selenium.webdriver import ActionChains
from selenium.webdriver.common.by import By

driver = webdriver.Chrome()
driver.implicitly_wait(3)
driver.get("https://www.baidu.com")
driver.find_element(By.ID,"kw").send_keys("单击事件")
element = driver.find_element(By.CSS_SELECTOR,'#su')
ActionChains(driver).click(element).perform()

2、鼠标悬停

#鼠标悬停
ActionChains(driver).move_to_element(element).perform()

3、鼠标右击事件

#鼠标右击击事件
ActionChains(driver).context_click(element).perform()

4、鼠标双击事件

#鼠标双击事件
ActionChains(driver).double_click(element).perform()

5、鼠标拖动事件

#鼠标拖动事件
tag = driver.find_element(By.CSS_SELECTOR,"#div1")
ActionChains(driver).drag_and_drop(element,tag).perform()

四、键盘相关操作

以Enter回车键为例演示

from selenium import webdriver
from selenium.webdriver.common.by import By
# 引入Keys模块
from selenium.webdriver.common.keys import Keys
driver = webdriver.Chrome()
driver.get("https://www.baidu.com")
#键盘按键操作
element=driver.find_element(By.ID,"kw")
element.send_keys("Enter回车事件")
element.send_keys(Keys.ENTER)

五、显示等待和隐式等待

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions
from selenium.webdriver.support.wait import WebDriverWait

driver = webdriver.Chrome()
#隐式等待
driver.implicitly_wait(3)
driver.get("https://www.baidu.com")
#显示等待
WebDriverWait(driver,5,1).until(expected_conditions.visibility_of_element_located(By.ID,"kw"))