文章目录
 
爬虫 第八讲 移动端数据抓取
一、移动端环境搭建
（一）、移动端数据简介
1.移动端爬取数据的背景
2.获取移动端数据的作用？
3.UIAutomator的介绍
4.UIAutomator的缺陷
5.UIAutomato2的优势
6.UIAutomator2的执行流程
    
（二）、adb的简介和u2的基本操作
1.adb的安装与使用
2.adb有什么作用？
3.adb如何使用？
4.UIAutomator2快速入门
5.UIAutomator2控制移动设备
6.UIAutomato2启动手机app
7.UIAutomator2自动化工具基本操作
    
（三）、weditor的基本操作
1.什么是Activity？
2.Activity的控件
3.weditor的使用
4.weditor的界面包括
    
（四）、UiSelector和控件定位
1.Andrid基本布局
2.控件的属性
3.文本定位的方式
4.ClassName定位的方式
5.资源id进行定位
6.混合定位的方式
7.坐标点定位法
8.xpath定位的方式
   
   
二、fiddler抓包工具的使用
（一）、fiddler抓包工具
1.什么是fiddler？
2.fiddler的安装
3.SwitchyOmega插件的安装
4.会话列表
    
(二)、fiddler 配置移动端数据包
1.夜神模拟器配置
2.fiddler 配置
   
  
 

 
爬虫 第八讲 移动端数据抓取
 
一、移动端环境搭建
 
（一）、移动端数据简介
 
1.移动端爬取数据的背景
 
随机互联网的发展，数据不仅仅只是存在于PC端。移动端的数据在这几年的占比以及势头发展趋势呈现几何倍数的增长。对于做数据分析、用户画像、市场调研来说仅仅参考PC端的数据是远远不够的。那么于此同时移动的数据就显得尤为的重要。
 
2.获取移动端数据的作用？
 
• 数据分析
 • 用户画像
 • 商业竞争
 • 统计系统
 
3.UIAutomator的介绍
 
UIAutomator是google提供的用来做安卓自动化测试的一个java库
 
4.UIAutomator的缺陷
 
• 测试脚本只能用Java语言开发
 • 测试脚本要打包成jar包或者apk包上传到设备上才能实现
 
5.UIAutomato2的优势
 
• UI自动化编写采用Python，学习成本低
 • UI控件识别有专门的工具 weditor
 • 环境搭建简单
 • UI自动化脚本运行稳定
 
项目地址https://github.com/openatx/uiautomator2
 
6.UIAutomator2的执行流程
 
• 在PC端来编写脚本(相当于发送HTTP请求到移动设备的server端)
 • 移动设备通过wifi或usb接收到了PC上发来的HTTP请求，执行定制的操作
 • 在移动设备上安装atx-agent(守护进程)，随后atx-agent启动ui2服务(默认7912端口)进行监听
 
（二）、adb的简介和u2的基本操作
 
1.adb的安装与使用
 
Adb又称Android调试桥，用于通过电脑端与模拟器或者是设备之间的交互的一个工具
 Adb client 命令行程序‘adb’用于从shell或脚本中运行adb命令
 Adb server adb server 是运行在PC的的一个后台程序
 Adbd 程序adbd作为一个后台进程在Android设备或模拟器系统中运行
 
2.adb有什么作用？
 
• 安装卸载apk文件
 • 移动设备和PC之间拷贝文件
 • 查看设备上安装的应用信息
 • 文件管理
 • 按键操作
 
3.adb如何使用？
 
把adb的bin目录添加到环境变量当中
 
 
adb devices 查看链接的移动设备
adb kill-server 关闭链接的移动设备
adb install apk文件路径  安装app应用
adb shell pm list packages 查看应用包名
adb uninstall 应用包名 卸载应用
 
4.UIAutomator2快速入门
 
python -m uiautomator2 init  初始化移动设备
 
Uiautomator-server： 就是谷歌原生的 uiautomator
 
Atx-agent： uiautomator的守护进程
 
minicap和minitouch 中2个包是atx-agent增加远程控制功能的依赖
 
5.UIAutomator2控制移动设备
 
u2.connect_wifi('172.17.100.15')  通过wifi
u2.connect_usb('127.0.0.1:62025') 通过usb（手机序列号）
u2.connect_adb_wifi('172.17.100.15:5555') 通过adb wifi
 
6.UIAutomato2启动手机app
 
使用aapt工具进入这个路径输入
aapt dump badging apk的文件名

找到包名
d.app_start('包名')

停止
d.app_stop('包名')
 
7.UIAutomator2自动化工具基本操作
 
d.service('uiautomator').running() uiautomator运行状态

d.service('uiautomator').start() 启动uiautomator

d.service('uiautomator').stop() 停止uiautomator

d.app_install(data='apk地址') 安装app

d.app_current() 获取当前前台app的信息

d.app_stop('包名') 停止当前app

d.app_clear('包名') 清除缓存

d.app_uninstall('包名') 卸载app

d.app_list() 获取所有app的信息

d.app_stop_all() 停止所有app

d.app_uninstall_all() 卸载所有app
 
（三）、weditor的基本操作
 
1.什么是Activity？
 
Activity是Android系统中的四大组件之一，可以用于显示View。Activity是一个与用户交互的系统模块
 
 
 
An activity is a single, focused thing that the user can do. Almost all activities interact with the user, so the Activity class takes care of creating a window for you in which you can place your UI with setContentView(View).
 
 
2.Activity的控件
 
• TextView 显示文字
 • EditText 输入框
 • ImageView 显示图片
 • Button 按钮
 • CheckBox 复选框
 • RadioButton 单选按钮
 
3.weditor的使用
 
安装
 
pip install weditor -i https://pypi.douban.com/simple
在命令行输入 weditor
 
4.weditor的界面包括
 
• 移动设备选择区
 • 控件属性区域
 • 代码展示区
 • 层级关系和结果展示区域
 
（四）、UiSelector和控件定位
 
定位方式
 1 UiSelector
 
 
 
代表的是一种搜索标准，可以在当前展示的页面中查询和获取特定的元素的句柄handle
 
 
2 Xpath
 
1.Andrid基本布局
 
线性布局 linearLayout 特点：有2种排列空间的方式 水平 垂直
相对布局 RelativelLayout 特点：以某个元素作为参照物
帧布局 FrameLayout 特点：View都会放到左上角
网格布局 TableLayout 特点：继承了线性布局，使用较少
绝对布局 AbsoluteLayout 特点：按坐标布局，缺点不同分辨率会有影响，几乎不用
 
2.控件的属性
 
index
int
索引
0
instance
int
实例
5
class
Sting
类名
android.widget.TextView
package
Sting
包名
com.tl.kaoyan
check
boolean
控件勾选状态
false/true
enable/clickable
boolean
控件可点击
false/true
focused/focusable
boolean
焦点
false/true
Scrollable
boolean
滚动条
false/true
Long-clickable
boolean
长按
false/true
selected
boolean
选择状态
false/true
3.文本定位的方式
 
Text 全文本匹配
 textContains 文本包含
 textMatches 正则表达式
 textStartsWith 起始文本
 
4.ClassName定位的方式
 
className classNmae的值
 classNameMatches 正则表达式匹配 classNmae的值
 
5.资源id进行定位
 
resourcdId 资源id
 
6.混合定位的方式
 
文本定位 资源id ClassName等可以配合使用来进行定位
 
7.坐标点定位法
 
坐标点定位法分为2种方式 一种是通过原始的坐标点来呈现。一种是通过%号的方式来呈现
 
8.xpath定位的方式
 
d.xpath(‘xpath语句’)
 
二、fiddler抓包工具的使用
 
（一）、fiddler抓包工具
 
1.什么是fiddler？
 
Fiddler是一个http协议调试代理工具,它能够记录并检查所有你的电脑和互联网之间的http通讯
 官网 https://www.telerik.com/fiddler
 

 fiddler功能很强大
 • 支持IE、Chrome、FireFox等等浏览器
 • 可以在phone、pad等移动设备进行连接
 
2.fiddler的安装
 

 选择安装路径
 
 点击Install
 
 
3.SwitchyOmega插件的安装
 
https://www.cnblogs.com/nicole-zhang/p/11955881.html
 
4.会话列表
 
 

 
 
(二)、fiddler 配置移动端数据包
 
1.夜神模拟器配置
 
 

 
 
 
2.fiddler 配置
 

 (现在打开我们模拟器的浏览器)
 
 
 提示有证书问题，我们来安装证书，点击继续
 

 在这里输入我们的ip地址
 
 
 
 (点击这个选项)
 
 (如果设置密码的就已经可以了，如果没有设置密码会弹出选项让我们来设置密码)
 
 
 
 弹出这个吐司证明安装成功了

 
移动端开发
 
简介
什么是移动端
前端开发种类
为什么要学习移动端
PC端能直接在手机使用嘛
  
  
基本概念
屏幕尺寸
分辨率
设备像素
设备独立像素（css像素）
设备像素比（DPR）
像素密度（PPI）
   
视口
视图分类
缩放比例
获取视图宽度
  
 

 
简介
 
什么是移动端
 
移动端主要是指手机端，也包含部分的平板电脑等客户联网终端设备。
例如     1.平板       2.手机
 
前端开发种类
 
1.PC端
2.移动端
 
为什么要学习移动端
 
越来越多的人使用移动端（流量）
 
PC端能直接在手机使用嘛
 
能
a:响应式
b:重新敲一份
 
基本概念
 
屏幕尺寸
 
指的是屏幕对角线的长度，单位为英寸。
 
 
屏幕尺寸=屏幕斜边的像素/PPI
 
分辨率
 
	是指纵横向上的像素点数，单位是px。
 
设备像素
 
又称 物理像素
	特点：
            a.越来越清晰
            b.一个移动端的设备像素是固定不变的
 
设备独立像素（css像素）
 
设备能放多少px	
 
设备像素比（DPR）
 
DPR = 设备像素/设备独立像素
 
像素密度（PPI）
 
单位面积上（英寸）像素（设备像素）的数量。它是一个定值，是一个固定的参数。
 
PPI=屏幕斜边的像素/屏幕尺寸
 
 
视口
 
视图分类
 
layout viewport 布局视口
visual viewport 可视视口

content ="width = device - width"
将布局视口的宽度设为可视视口的宽度，这样就保证了不同手机屏幕看到的效果都很舒服
 
缩放比例
 
initial-scale=1.0
 
缩放比(initial-scale)=css像素(设备css像素)/viewport宽度(html宽度)
 
width: device-width（设备的实际宽度–即设备的 css 像素）。
user-scalable: 是否允许用户在设置或者默认的视口宽度上进行页面缩放，值为no或yes，代表不允许与允许。
initial-scale: 页面初始缩放值，值为一个数字（可以带小数）。大于 1 表示放大。
minimum-scale: 页面最小能够缩放的比例，值为一个数字（可以带小数）。
maximum-scale: 页面最大能够缩放的比例，值为一个数字（可以带小数）。
 
<meta name="viewport" content="width=device-width,initial-scale=1,minimum-scale=1,maximum-scale=1,user-scalable=no">

 
获取视图宽度
 
    a.document.documentElement.clientWidth
    b.window.innerWidth

    兼容性处理：
    window.innerWidth || document.documentElement.clientWidth