精华内容
下载资源
问答
  • 本文主要介绍了移动端爬虫的工具与方法,作为一个入门的大纲。没有详细介绍的也给出了本人学习过程中借鉴的资料的链接,适合对移动端爬虫感兴趣的同学入门。 一、抓包模拟 基本原理(中间人攻击) ...

     

    From:https://www.cnblogs.com/zyfd/p/9681080.html

     

    本文主要介绍了移动端爬虫的工具与方法,作为一个入门的大纲。没有详细介绍的也给出了本人学习过程中借鉴的资料的链接,适合对移动端爬虫感兴趣的同学入门。

     

     

     

    一、抓包模拟

     

     

    基本原理(中间人攻击)

     

    中间人攻击:在中间人攻击中,攻击主机通常截断客户端和服务器的加密通信。攻击机以自己的证书替代服务器发给客户端的证书。通常,客户端不会验证该证书,直接接受该证书,从而建立起和攻击机的安全连接。这样,客户端发送的数据,都会被攻击机获取和解密。

     

    工具介绍

     

     Fiddlercharlesanyproxy
    手机安装证书需要需要需要
    支持抓取http/websocket/https(单向认证)http/websocket/https(单向认证)http/websocket/https(单向认证)
    支持平台win/mac/linux(受限)win/mac/linuxwin/mac/linux
    脚本开发Jscript.net未知js

     

    具体的报文走向如下

     

     

    手机上的配置方法(以Fiddler为例,其它类似)

     

    1. 准备工作:手机与PC在同一个局域网内(可以连同一个WIFI,或者电脑插入移动WIFI)
    2. 配置步骤见下:

    参考链接: https://blog.csdn.net/gld824125233/article/details/52588275

     

    特别说明,抓不到报文可能的情况

     

    1、单向双向 https

     

    https的抓包原理是基于中间人攻击的方式,但是这种方式只适用于单向认证的方式,也就是只是客户端去检验服务端的证书。而双向认证的Https,服务端还会校验客户端的证书。https握手过程如下:

    如何检测是双向认证还是单向认证,可以通过wireshark抓包看双方的协商过程,证书的交换是否是双向的。

    解决办法:暂时没有好的办法解决这个抓包的问题

     

    2、ssl pinning

     

    ssl pinning:证书锁定 Certificate Pinning 是SSL/TLS加密的额外保证手段。它会将服务器的证书公钥预先保存在客户端。在建立安全连接的过程中,客户端会将预置的公钥和接受的证书做比较。如果一致,就建立连接,否则就拒绝连接。Certificate Pinning在手机软件中应用较多。因为这些应用连接的服务器相对固定,可以预先将服务器的X509证书或者公钥保存在App中。例如,苹果应用商店Apple App Store就预置了这个功能。当使用中间人工具或者Fiddler之类的工具拦截数据,就会造成应用商店无法联网的情况。

    解决办法:手机安装 xposed 和 Justtrustme 插件(https://github.com/Fuzion24/JustTrustMe)

     

     

    抓取实现

     

    抓到报文后,就可以模拟请求了。请求发送的几种方式:

    • 抓包工具里面提供了发送功能,Fiddler 中的 Composer 标签里提供了此功能。

    • Chrome 的 Postman 扩展程序 也可以用来发送报文。

    • Python 中的 requests 包也可以方便地实现

    缺陷

    1. 如何构造更多的请求?(常见的分页请求、更换查询参数等)

    2. 如果抓不到包怎么办?(如果通信走 socket 怎么办?)

    3. http 参数中包含加密、签名字段,如何找到参数的生成方法?

     

     

     

    二、模拟点击

     

     

     

    基本原理(基于UIautomator)

     

    通过程序模拟人的行为对APP的界面进行点击、滑动等操作,同时可以获取APP的Activity页面上的大部分控件上的文本信息(有一些可能获取不到,Uiautomator本身就获取不到)

    Appium官网介绍:
    https://appium.io/docs/cn/about-appium/intro/,
    https://github.com/appium/appium

    Macaca:  https://macacajs.com/

     

     

    工具介绍

     

     AppiumMacaca
    支持平台需要需要
    脚本语言PC/ios/android/hybrid(h5、native混合)PC/ios/android/hybrid
    备注支持Android所有版本Android支持API>17
    底层框架UIAutoation(IOS)/UIAUtomator+Selendroid(Android)XCUITest(IOS)/UIAUTOMATOR(Android)
    稳定性一般更好
    开源JS基金项目,社区活跃阿里开源,未来未知

     

    市面上常见的UI自动化测试工具以及优缺点

    以上主流工具的优点跟缺点

     

     

    Airtest

    AirtestIDE官方文档AirtestIDE官方文档:https://airtest.netease.com/docs/cn/index.html

    关于Airtest的使用探索:https://www.jianshu.com/p/32d08455e86f

     

    Airtest 网易出品的一款基于图像识别和poco控件识别的一款UI自动化测试工具。Airtest的框架是网易团队自己开发的一个图像识别框架,这个框架的祖宗就是一种新颖的图形脚本语言Sikuli。Sikuli这个框架的原理是这样的,计算机用户不需要一行行的去写代码,而是用屏幕截屏的方式,用截出来的图形摆列组合成神器的程序,这是Airtest的一部分。
      另外,Airtest也基于poco这个U控件搜索框架,这个框架也是网易自家的跨平台U测试框架,原理类似于appium,通过控件的名称,id之类的来定位目标控件,然后调用函数方法,例如click(),swip()之类的方法来对目标控件进行点击或者是操作。

     

    相较于以上工具来说,Airtest有以下优点和缺点:

     

     

    抓取实现

     

     

    1. 程序基本架构

     

     

     

    2. 框架API说明

     

    以Appium为例,Appium 支持的API 介绍如下:

    • 定位支持

      • 通过accessibility id查找元素

      • 通过元素id

      • 通过元素文本内容

      • 通过元素可见链接文本定位

      • 通过元素标签名称定位元素

      • 通过元素class name属性定位元素

      • 支持单个、批量获取

    • 操作支持

      • 从某个元素滑动到另一个元素

      • 把某元素拖到目标元素

      • 模拟手指点击(最多五个手指),可设置按住时间长度(毫秒)

      • 从A点滑动到B点,滑动时间可配

      • 快速滑动

      • 模拟双指捏(缩小操作)

      • 在元素上执行放大操作

      • 单击

      • 还能摇一摇(IOS支持)

      • 执行JS脚本

      • 获取H5页面的page source

      • 输入框输入(回车的支持,建议选用sogou输入法,keycode: 66 ,==这样不需要去定位键盘上回车的输入==)

    • 控制APP

      • 安装、删除、运行、关闭APP

      • 指定运行某APP的某activity

    • 获取控件信息

      • 文本

      • 元素tag名称

      • 内容描述(content-desc)

     

     

    样例代码(python)

     

    如果使用过selenium做爬虫或测试,对这个接口应该很熟悉。

    from appium import webdriver
    
    desired_caps = {}
    desired_caps['platformName'] = 'Android'
    desired_caps['platformVersion'] = '6.0'
    desired_caps['deviceName'] = '192.168.174.101:5555'
    desired_caps['appPackage'] = 'com.android.calculator2'
    desired_caps['appActivity'] = '.Calculator'
    
    driver = webdriver.Remote('http://localhost:4723/wd/hub', desired_caps)
    
    driver.find_element_by_id("digit_1").click()
    driver.find_element_by_id("op_add").click()
    driver.find_element_by_id("digit_2").click()
    driver.find_element_by_id("eq").click()
    
    driver.quit()

     

    缺陷

    1. 获取效率低

      • 定位元素需要时间

      • 为了保证稳定,需要在额外地增加等待时间

    2. 获取的数据有限

      • 只能获取到界面上可视控件的信息

      • H5页面信息,(需要切换driver到H5)

    3. Appium的不稳定,出现异常时有可能进程卡死,需要重新启动

     

     

     

    三、APK逆向

     

     

    基本原理

     

    方法 一 的 模拟抓包 和 方法 二 的 模拟点击 对于没有android逆向经验的朋友是不错的选择,开发起来也比较简单,能满足一些对于应用数据的需求。但是如果想要更高效地获取更多的数据,就需要研究APP的代码。通过向APK中注入自己的代码,修改APP 本身原来的逻辑,比如修改函数执行内容、增加新的逻辑等等来来实现自己的目标。

    一般的操作步骤如下:

    1. 逆向 APK

    2. 分析 smali 代码

    3. 通过 hook 框架向 APK 中注入代码,修改逻辑

    需要的基础

    • smali语法

    • APK反编译

    • 静态、动态调试

    • 常用HOOK框架

    • 反调试、反HOOK应对策略

    下面知识可以快速入门 smali 语法,最基本的数据类型,函数定义关键字,寄存器作用说明

     

    关键字

    field private isFlag:z  --- 定义变量
    .method                 --- 方法
    .parameter              --- 方法参数
    .prologue               --- 方法开始
    .line 12                --- 此方法位于第12行
    invoke-super            --- 调用父函数
    const/high16 v0, 0x7f03 --- 把 0x7f03赋值给v0
    invoke-direct           --- 调用函数
    return-void             --- 函数返回void
    .end method             --- 函数结束
    new-instance            --- 创建实例
    iput-object             --- 对象赋值
    iget-object             --- 调用对象
    invoke-static           --- 调用静态函数

    数据类型

    B  ---  byte
    C  ---  char
    D  ---  double (64 bits)
    F  ---  float
    I  ---  int
    J  ---  long (64 bits)
    S  ---  short
    V  ---  void   只能用于返回值类型
    Z  ---  Boolean
    Lxxx/yyy/zzz;  ---  类
    [XXX           ---  数组

    寄存器类型

    寄存器采用 v命名法 和 p命名法
        v:表示本地寄存器
        p:表示参数寄存器,
    共16个寄存器, v0~v15,  关系如下
        v0 第一个本地寄存器
        v1 第二个本地寄存器
        v2 p0(this)
        v3 p1第一个参数
        v4 p2第二个参数
        v5 p3第三个参数
    
    当然,如果是静态方法的话就只有5个寄存器了,不需要存 this 了。
    .registers    使用这个指令指定方法中寄存器的总数
    .locals       使用这个指令表明方法中非参寄存器的总数,放在方法的第一行

    网址参考
    https://bbs.pediy.com/thread-151769.htm

     

     

    工具介绍

     

    26 款优秀的 Android 逆向工程工具( 注意看下面评论 ):https://www.freebuf.com/sectool/111532.html

     

    1. 反编译工具 

     

    APKToolbox 工具

     

    AndroidKiller(smali 代码IDE)

     

     

    常见问题及解决办法

    • 有一些包无法使用Apktool进行反编译,常用解决办法:

    需要先下载 smali.jar, baksmali.jar, signapk.jar,
    先把APK包解压缩,然后直接使用 smali.jar  baksmali.jar 来进行解压缩
    1:将dex 输出为 smali文件
        # 把dex 文件反编译
        java -jar baksmali-2.0.3.jar classes.dex   
    2:将修改的smali 文件 重新打包成dex 文件
        # 把 out 文件夹下的smali文件重新打包成classes.dex文件
        java -jar smali-2.0.3.jar out 
        # 给APK包签名
        java -jar signapk.jar testkey.x509.pem testkey.pk8 update.apk update_signed.apk

     

     

    2. 脱壳工具 

     

    一些对安全性要求高的 APP 会采用加固工具为自己的 APK 加壳,表象就是你能反编译代码,反编译出来的 smali 代码很简单,只能看到壳的主程序代码,并没有真实的业务逻辑代码。 可以借助 apktoolbox 来进行检测是什么壳,而去寻找对应的脱壳工具。(由于加固这个比较专业,这里只推荐几款比较出名的脱壳工具,细的就讲不了了) 

     

     

    3. 常用 Hook 框架

     

     xposedCydia SubstrateFrida
    支持的系统androidandroid/IOSwin/mac/linux/IOS/Android
    版本要求android<=8.0android(<=4.4)/ios(<=9.1)android<=8.1
    开发语言JavaJavaPython+Js
    是否Root需要需要需要
    运行安装后重启安装模块后需要软重启基于脚本交互
    Java/NativeJava层Java/NativeJava/Native

    Xposed:
            API介绍:https://api.xposed.info/reference/packages.html
            开发者论坛:(https://forum.xda-developers.com/xposed)

    Cydia Substrate:
            官网:http://www.cydiasubstrate.com/
            文档:http://www.cydiasubstrate.com/id/264d6581-a762-4343-9605-729ef12ff0af/

    Frida:
            官网:https://www.frida.re/

     

    4. 动态调试smali代码

    需要安装 smaliidea,具体教程
    http://blog.csdn.net/linchaolong/article/details/51146492

     

    5. 动态调试so

    使用 IDA 工具包,具体教程:
    http://blog.csdn.net/jiangwei0910410003/article/details/51500328

     

    ==特殊说明==

    随着开发者对于数据安全性的重视,一般的 APK 都会有各种保护策略,包括 代码混淆、加壳,反调试,hook检查 等等策略。我们非专业安全研究人员,只能见招拆招,只要能实现我们的目的就可以了,面对一些常规的策略有以下几种应对措施。

     

     

    反调试

    • 调用 ptrace(PTRACE_TRACEME,0,0,0) (原理一个进程只能被一个进程 Ptrace)

    • 检测 TracerPid 的值

    • 检测代码的执行间隔时间

    • 检测手机的硬件信息是否在调试器中

    • 检测 android_server 的端口号

    • 检测 android_server 名称

    • 检测在调试状态下的软件断点

    • 通过使用 Inotify 对文件进行监控

    • 检测进程列表中是否存在常见的 Hook/调试 的进程名称

     

    反 hook

    • 检测已经安装的应用里是否包含 xposed/Cydia Substrate

      • hook PackageManager 的 getInstalledApplications,把 Xposed 或者 Substrate 的包名去掉

    • 关键函数检查调用栈里的可疑方法

      • hook Exception 的 getStackTrace,把自己的方法去掉

    • 检测并不应该 Native的native 方法

      • hook getModifiers,把 flag 改成看起来不是 native

    • 通过 /proc/[pid]/maps 检测可疑的 共享对象 或者 JAR

      • hook 打开的文件的操作,返回 /dev/null 或者修改的 map 文件

    抓取实现

    • 基于框架,开发 hook 代码

    缺陷

    • hook 的方式对 APK 的代码有侵入,需要对 APK 中的各种反调试、反hook 检测手段做规避

    • 如果遇到加壳的,分析时间会很长。如果无法脱壳,那么将无法实现抓取

     

     

     

    四、开发工具

     

    • Requests 库

    • 开源框架包括

      • Pyspider

      • Scrapy

      • Tornado 协程 实现并发访问

     

     

     

    五、参考

     

     

     

     

    展开全文
  • 本文来自网易云社区作者:王涛本文主要介绍了移动端爬虫的工具与方法,作为一个入门的大纲。没有详细介绍的也给出了本人学习过程中借鉴的资料的链接,适合对移动端爬虫感兴趣的同学入门。一、抓包模拟基本原理(中间...

    本文来自网易云社区

    作者:王涛

    本文主要介绍了移动端爬虫的工具与方法,作为一个入门的大纲。没有详细介绍的也给出了本人学习过程中借鉴的资料的链接,适合对移动端爬虫感兴趣的同学入门。

    一、抓包模拟

    基本原理(中间人攻击)

    中间人攻击:在中间人攻击中,攻击主机通常截断客户端和服务器的加密通信。攻击机以自己的证书替代服务器发给客户端的证书。通常,客户端不会验证该证书,直接接受该证书,从而建立起和攻击机的安全连接。这样,客户端发送的数据,都会被攻击机获取和解密。

    工具介绍Fiddler

    charles

    anyproxy

    手机安装证书

    需要

    需要

    需要

    支持抓取

    http/websocket/https(单向认证)

    http/websocket/https(单向认证)

    http/websocket/https(单向认证)

    支持平台

    win/mac/linux(受限)

    win/mac/linux

    win/mac/linux

    脚本开发

    Jscript.net

    未知

    js

    具体的报文走向如下

    手机上的配置方法(以Fiddler为例,其它类似)准备工作:手机与PC在同一个局域网内(可以连同一个WIFI,或者电脑插入移动WIFI)

    配置步骤见下:

    ==特别说明,抓不到报文可能的情况==

    1、单向双向 https

    https的抓包原理是基于中间人攻击的方式,但是这种方式只适用于单向认证的方式,也就是只是客户端去检验服务端的证书。而双向认证的Https,服务端还会校验客户端的证书。https握手过程如下:

    如何检测是双向认证还是单向认证,可以通过wireshark抓包看双方的协商过程,证书的交换是否是双向的。

    解决办法:暂时没有好的办法解决这个抓包的问题

    2、ssl pinning

    ssl pinning:证书锁定Certificate Pinning是SSL/TLS加密的额外保证手段。它会将服务器的证书公钥预先保存在客户端。在建立安全连接的过程中,客户端会将预置的公钥和接受的证书做比较。如果一致,就建立连接,否则就拒绝连接。Certificate Pinning在手机软件中应用较多。因为这些应用连接的服务器相对固定,可以预先将服务器的X509证书或者公钥保存在App中。例如,苹果应用商店Apple App Store就预置了这个功能。当使用中间人工具或者Fiddler之类的工具拦截数据,就会造成应用商店无法联网的情况。

    抓取实现

    抓到报文后,就可以模拟请求了。请求发送的几种方式:抓包工具里面提供了发送功能,Fiddler中的Composer 标签里提供了此功能。

    Chrome的Postman扩展程序也可以用来发送报文。

    Python中的requests包也可以方便地实现

    缺陷如何构造更多的请求?(常见的分页请求、更换查询参数等)

    如果抓不到包怎么办?(如果通信走socket怎么办?)

    http参数中包含加密、签名字段,如何找到参数的生成方法?

    二、模拟点击

    基本原理(基于UIautomator)

    通过程序模拟人的行为对APP的界面进行点击、滑动等操作,同时可以获取APP的Activity页面上的大部分控件上的文本信息(有一些可能获取不到,Uiautomator本身就获取不到)

    工具介绍Appium

    Macaca

    支持平台

    需要

    需要

    脚本语言

    PC/ios/android/hybrid(h5、native混合)

    PC/ios/android/hybrid

    备注

    支持Android所有版本

    Android支持API>17

    底层框架

    UIAutoation(IOS)/UIAUtomator+Selendroid(Android)

    XCUITest(IOS)/UIAUTOMATOR(Android)

    稳定性

    一般

    更好

    开源

    JS基金项目,社区活跃

    阿里开源,未来未知

    ==特别说明==

    抓取实现程序基本架构

    框架API说明

    以Appium为例,Appium 支持的API 介绍如下:定位支持

    通过accessibility id查找元素

    通过元素id

    通过元素文本内容

    通过元素可见链接文本定位

    通过元素标签名称定位元素

    通过元素class name属性定位元素

    支持单个、批量获取

    操作支持

    从某个元素滑动到另一个元素

    把某元素拖到目标元素

    模拟手指点击(最多五个手指),可设置按住时间长度(毫秒)

    从A点滑动到B点,滑动时间可配

    快速滑动

    模拟双指捏(缩小操作)

    在元素上执行放大操作

    单击

    还能摇一摇(IOS支持)

    执行JS脚本

    获取H5页面的page source

    输入框输入(回车的支持,建议选用sogou输入法,keycode: 66 ,==这样不需要去定位键盘上回车的输入==)

    控制APP

    安装、删除、运行、关闭APP

    指定运行某APP的某activity

    获取控件信息

    文本

    元素tag名称

    内容描述(content-desc)

    样例代码(python)

    如果使用过selenium做爬虫或测试,对这个接口应该很熟悉。from appium import webdriver

    desired_caps = {}

    desired_caps['platformName'] = 'Android'desired_caps['platformVersion'] = '6.0'desired_caps['deviceName'] = '192.168.174.101:5555'desired_caps['appPackage'] = 'com.android.calculator2'desired_caps['appActivity'] = '.Calculator'driver = webdriver.Remote('http://localhost:4723/wd/hub', desired_caps)

    driver.find_element_by_id("digit_1").click()

    driver.find_element_by_id("op_add").click()

    driver.find_element_by_id("digit_2").click()

    driver.find_element_by_id("eq").click()

    driver.quit()

    缺陷获取效率低定位元素需要时间

    为了保证稳定,需要在额外地增加等待时间

    获取的数据有限只能获取到界面上可视控件的信息

    H5页面信息,(需要切换driver到H5)

    Appium的不稳定,出现异常时有可能进程卡死,需要重新启动

    三、APK逆向

    基本原理

    方法一、二 对于没有android逆向经验的朋友是不错的选择,开发起来也比较简单,能满足一些对于应用数据的需求。但是如果想要更高效地获取更多的数据,就需要研究APP的代码。通过向APK中注入自己的代码,修改APP本身原来的逻辑,比如修改函数执行内容、增加新的逻辑等等来来实现自己的目标。一般的操作步骤如下:逆向APK

    分析smali代码

    通过hook框架向APK中注入代码,修改逻辑需要的基础smali语法

    APK反编译

    静态、动态调试

    常用HOOK框架

    反调试、反HOOK应对策略

    下面知识可以快速入门smali语法,最基本的数据类型,函数定义关键字,寄存器作用说明

    关键字field private isFlag:z --- 定义变量.method --- 方法.parameter --- 方法参数.prologue --- 方法开始.line 12 --- 此方法位于第12行invoke-super --- 调用父函数const/high16 v0, 0x7fo3 --- 把0x7fo3赋值给v0invoke-direct --- 调用函数return-void --- 函数返回void.end method --- 函数结束new-instance --- 创建实例iput-object --- 对象赋值iget-object --- 调用对象invoke-static --- 调用静态函数

    数据类型B --- byteC --- charD --- double (64 bits)F --- floatI --- intJ --- long (64 bits)S --- shortV --- void 只能用于返回值类型Z --- BooleanLxxx/yyy/zzz; --- 类

    [XXX --- 数组

    寄存器类型寄存器采用v和p来命名,

    v表示本地寄存器,p表示参数寄存器,

    共16个寄存器,v0~v15,  关系如下

    v0第一个本地寄存器

    v1第二个本地寄存器v2 p0(this)v3 p1第一个参数

    v4 p2第二个参数

    v5 p3第三个参数

    当然,如果是静态方法的话就只有5个寄存器了,不需要存this了。

    .registers使用这个指令指定方法中寄存器的总数

    .locals使用这个指定表明方法中非参寄存器的总数,放在方法的第一行

    工具介绍1. 反编译工具

    APKToolbox 工具

    AndroidKiller(smali 代码IDE)

    常见问题及解决办法有一些包无法使用Apktool进行反编译,常用解决办法:需要先下载smali.jar,baksmali.jar signapk.jar,

    先把APK包解压缩,然后直接使用 smali.jar  baksmali.jar 来进行解压缩1:将dex 输出为 smali文件

    java -jar baksmali-2.0.3.jar classes.dex   # 把dex 文件反编译2:将修改的smali 文件 重新打包成dex 文件# 把 out 文件夹下的smali文件重新打包成classes.dex文件java -jar smali-2.0.3.jar out #给APK包签名java -jar signapk.jar testkey.x509.pem testkey.pk8 update.apk update_signed.apk2. 脱壳工具

    一些对安全性要求高的APP会采用加固工具为自己的APK加壳,表象就是你能反编译代码,反编译出来的smali代码很简单,只能看到壳的主程序代码,并没有真实的业务逻辑代码。 可以借助apktoolbox来进行检测是什么壳,而去寻找对应的脱壳工具。(由于加固这个比较专业,这里只推荐几款比较出名的脱壳工具,细的就讲不了了)3. 常用Hook 框架xposed

    Cydia Substrate

    Frida

    支持的系统

    android

    android/IOS

    win/mac/linux/IOS/Android

    版本要求

    android<=8.0

    android(<=4.4)/ios(<=9.1)

    android<=8.1

    开发语言

    Java

    Java

    Python+Js

    是否Root

    需要

    需要

    需要

    运行

    安装后重启

    安装模块后需要软重启

    基于脚本交互

    Java/Native

    Java层

    Java/Native

    Java/Native4. 动态调试smali代码5. 动态调试so

    ==特殊说明==

    随着开发者对于数据安全性的重视,一般的APK都会有各种保护策略,包括代码混淆、加壳,反调试,hook检查等等策略。我们非专业安全研究人员,只能见招拆招,只要能实现我们的目的就可以了,面对一些常规的策略有以下几种应对措施。反调试调用ptrace(PTRACE_TRACEME,0,0,0) (原理一个进程只能被一个进程Ptrace)

    检测TracerPid的值

    检测代码的执行间隔时间

    检测手机的硬件信息是否在调试器中

    检测android_server的端口号

    检测android_server 名称

    检测在调试状态下的软件断点

    通过使用Inotify对文件进行监控

    检测进程列表中是否存在常见的Hook/调试的进程名称反hook检测已经安装的应用里是否包含xposed/Cydia Substrate

    hook PackageManager的getInstalledApplications,把Xposed或者Substrate的包名去掉

    关键函数检查调用栈里的可疑方法

    hook Exception的getStackTrace,把自己的方法去掉

    检测并不应该Native的native方法

    hook getModifiers,把flag改成看起来不是native

    通过/proc/[pid]/maps检测可疑的共享对象或者JAR

    hook 打开的文件的操作,返回/dev/null或者修改的map文件

    抓取实现基于框架,开发hook代码

    缺陷hook的方式对APK的代码有侵入,需要对APK中的各种反调试、反hook检测手段做规避

    如果遇到加壳的,分析时间会很长。如果无法脱壳,那么将无法实现抓取

    四、开发工具Requests库

    开源框架包括

    Pyspider

    Scrapy

    Tornado协和实现并发访问

    五、参考

    网易云免费体验馆,0成本体验20+款云产品!

    更多网易研发、产品、运营经验分享请访问网易云社区。

    展开全文
  • python 移动端爬虫

    2021-03-16 17:17:37
    移动端爬虫移动端爬虫移动端前导知识移动端背景移动端数据的作用 移动端爬虫 移动端前导知识 移动端背景 PC端 --> 移动端 --> 大数据 --> AI --> ??? 移动端数据的作用 数据分析 用户画像 —— 参考...

    移动端爬虫

    移动端前导知识

    移动端背景

    • PC端 --> 移动端 --> 大数据 --> AI --> ???

    移动端数据的作用

    1. 数据分析
    2. 用户画像 —— 参考价值高(精准投放)
    3. 商业竞争

    Uiautomator介绍

    • 简介 —— google提供用来做Android自动化测试的一个Java库
    • 作用 —— 测试用户界面(称为view),基于Accessibility service(Android辅助功能)

    Android四大组件

    • activity —— 单独的屏幕(窗口)
    • service —— 用于后台完成指定操作
    • 内容提供者
    • 广播

    activity和控件的操作

    • activity作用 —— 可以显示View(窗口)
    activity的控件
    • TextView —— 文字显示框
    • EditText —— 输入旷工
    • ImageView —— 图片显示框
    • Button —— 按钮
    • CheckBox —— 复选框
    • RadioButton —— 单选按钮

    Uiautomator2(主要学习内容)

    • 对比Uiautomator优势:
      1. 编写逻辑用python语言
      2. Uiautomator控件识别工具weditor
      3. 使用简单
    • 安装:
      • pip install uiautomator2

    U2的执行流程

    • 移动设备安装atx-agent(守护进程),atx-agent启动u2服务(默认7912端口)
    • pc端编写脚本(发送http请求到移动设备的server端)
    • 移动设备通过WiFi或USB接收到pc发来的http请求,执行指定的操作

    adb简介

    • 简介 —— Android调试桥,通过电脑端和移动设备进行交互的一个工具
      • adb client —— adb命令窗口
      • adb server —— 后台程序
      • adbd —— Android设备的后台进程
    • 功能
      • 安装卸载apk文件
      • 移动设备和pc端之间的文件传输
      • 查看设备上的应用信息

    adb的安装

    • pc端安装模拟器后自动安装adb
      • 安装夜神模拟器
      • 打开夜神多开器,添加设备(5.1.1版本)
      • 打开夜神多开器设置
        • 启动设置 —— 改为手机版
        • 显卡渲染模式 —— 如果兼容模式黑屏则选择极速模式
      • 运行模拟器
      • 打开开发者选项 —— 设置–>关于平板电脑–>多次点击版本号
      • 打开USB调试 —— 设置–>开发者选项

    adb的使用

    • 安装文件:
      adb install apk文件路径
    • 查看所有已安装的包(包名):
      adb shell pm list packages
    • 查看指定软件的包名称(aapt):
      aapt dump badging APK路径及文件名
    • 卸载文件:
      adb uninstall 软件包名

    python与U2交互的快速入门

    初始化ATX(驱动,实现控制其他APP)

    python -m uiautomator2 init
    

    连接U2并获取相关信息

    • 通过WiFi连接
      import uiautomator2 as u2
      变量 = u2.connect_wifi(IP地址) —— 所有未指定名称的变量均使用此变量
      print(变量.info) —— 查看连接信息
      print(变量.device_info) —— 查看更详细信息
    • 通过USB连接
      import uiautomator2 as u2
      变量 = u2.connect_usb(设备名) —— adb devices获取
      print(变量.info) —— 查看连接信息
      print(变量.device_info) —— 查看更详细信息
    • 查看U2连接状态
      变量.service(name).running() —— name参数为名称(可任意起名称)。返回值是布尔类型,true为服务运行状态,false为服务未运行状态
    • U2服务的启动
      变量.service(name).start()
    • U2服务的停止
      变量.service(name).stop()
    • 获取屏幕的分辨率
      变量.window_size()
    • 获取设备ip(模拟器获取ip有错误,真机无错误)
      变量.wlan_ip()

    启动、停止和获取APP信息

    • 启动方法:
      变量.app_start(软件包名)
    • 停止方法:
      变量.app_stop(软件包名)
    • 获取当前前台运行中的APP信息
      变量.app_current()
    • 获取软件详细信息
      变量.app_info(软件包名)

    安装和卸载APP

    • 安装APP方法:
      变量.app_install(data) —— data参数可以是apk文件路径,URL地址或文件对象
    • 卸载APP方法:
      变量.app_uninstall(软件包名) —— 卸载单一软件
      变量.app_uninstall_all() —— 卸载所有第三方软件
    • 清楚APP缓存
      变量.app_clear(软件包名)

    息屏和亮屏的操作

    • 息屏
      • 变量.screen_off()
    • 亮屏
      • 变量.screen_on()

    按住移动的操作

    • 变量.swipe_points(points=[(坐标1),(坐标2),…])

    weditor的使用

    • 启动weditor —— 确定设备已连接后(adb devices),命令提示符窗口输入weditor后回车
    • 界面的区域功能
      • 移动设备选取区域
      • 控件属性区域
      • 代码展示区域
      • 层级关系及结构展示区域
    weditor定位控件(可以同时使用多种方法定位一个位置)
    • 方法一:UiSelector
      • 一种搜索标准 —— 可以在当前展示界面上查询和获取特定元素的句柄
      • android基本布局
        1. 线性布局 —— LinearLayout(默认水平排列,也可垂直排列)
        2. 相对布局 —— RelativeLayout(以某一个控件作为参照物,其余控件以这个控件的位置来完成布局)
        3. 帧布局 —— FrameLayout(所有控件都会放到左上角)
        4. 表格布局 —— TableLayout(继承于线性布局)
        5. 绝对布局 —— AbsoluteLayout(基本不用,手机屏幕适配问题多)
      • 控件的属性:
    文本定位和操作
    • 全文本定位 —— Text

      • 变量(text=‘全文本内容’).click()
    • 文本包含定位 —— textContains

      • 变量(textContains=‘关键且唯一的内容’).click()
    • 正则表达式定位 —— textMatches

      • 变量(textMatches=‘正则表达式内容’).click()
    • 起始文本定位 —— textStartsWith

      • 变量(textStartWith=‘必须文本的第一个字符开始且唯一的内容’).click()
    classname定位和操作
    • classname定位 —— className

      • 变量(className=‘classname的值’)[index].click()
        • classname的值如果无效,在weditor页面的Hierarchy中进行搜索,如果出现多个值则需要添加index(注意层级关系)
        • index参数为可选参数,从0开始
    • classname正则表达式定位 —— classNameMatches

      • 变量(classNameMatches=‘正则表达式内容’).click()
    通过资源Id定位和操作
    • resourceid定位 —— resourceId

      1. 变量(resourceId=‘resourceid的值’)[index].click()
      2. 变量(resourceId=‘resourceid的值’,instance=9).click()
        • instance是属性的实例,在weditro页面的Hierarchy中进行搜索,如果出现多个值可以根据instance数量填写
    • resourceid正则表达式定位 —— resourceIdMatches

      • 变量(resourceIdMatches=‘正则表达式内容’).click()
    链式定位和坐标定位
    • 链式定位 —— 根据层级进行一层一层的查找

      • 父子层级查找
      1. 变量(className=‘父层级的classname值’).child(其他定位方法).click()
      2. 变量(className=‘父层级的classname值’).child_by_text(‘全文本内容’).click()
      3. 变量(className=‘父层级的classname值’).child_by_instance(实例的值).click()
      • 兄弟层级查找
        • 变量(className=‘父层级的classname值’).sibling(其他定位方法).click()
    • 坐标定位 —— 坐标在weditor页面中的坐标参数(百分比和像素两种)

      • 变量.click(坐标值) —— 百分比和像素均可以

    Fiddler

    安装

    • 官网:https://www.telerik.com/fiddler

    配置Fiddler

    1. 点击设置 -> HTTPS -> trust root certificate
    2. 点击设置 -> Connections -> Fiddler listens on port -> 输入端口号
    3. 点击设置 -> Connections -> 选择Allow remote computers to connect
    4. 保存

    配置手机代理

    1. 点击设置 -> WLAN -> 选择无线网络并连接(需与安装有fiddler电脑统一网络)
    2. 点击设置 -> WLAN -> 长按当前连接的网络 -> 点击修改网络
    3. 点击代理(如没有此选项,点高级选项)-> 选择手动 -> 服务器主机名填写安装有fiddler电脑的ip -> 服务器端口填写配置Fiddler中第二点的端口号 -> 点击保存

    通过Fiddler抓包

    1. 打开Fiddler
    2. 界面中找到Response窗口
    3. 点击Raw或Body —— 可看到数据(Body里有3个选项Text、JSON、XML,根据需要选择即可)
    展开全文
  • 專 欄❈作者:麦艳涛,挖掘机小王子,数据分析...至于为什么不爬PC端,原因是移动端较简单,很适合爬虫新手入门。有时间再写PC端吧!环境介绍Python3/Windows-10-64位/微博移动端网页分析以获取评论信息为例(你可以以

    專 欄

    作者:麦艳涛,挖掘机小王子,数据分析爱好者。




    本文简要讲述用Python爬取微博移动端数据的方法。可以看一下Robots协议。另外尽量不要爬取太快。如果你毫无节制的去爬取别人数据,别人网站当然会反爬越来越严厉。至于为什么不爬PC端,原因是移动端较简单,很适合爬虫新手入门。有时间再写PC端吧!

    环境介绍

    Python3/Windows-10-64位/微博移动端

    网页分析

    以获取评论信息为例(你可以以自己的喜好获得其他数据)。如下图:

    在这里就会涉及到一个动态加载的概念,也就是我们只有向下滑动鼠标滚轮才会加载出更多的评论数据。这也是网页经常使用的方式。接下来就应该找到评论信息的真实网址,找到真实网址的方法就是打开浏览器的开发者工具,火狐/谷歌是F12键。打开如下:

    打开以后点击网络,网络用来记录浏览器和服务器交换的信息。接下来将鼠标滚轮缓慢向下滚动,在这个过程中就会弹出类似于上图的信息,也就是评论信息加载出来了。找到评论信息,应该会在第一条。如下图:

    真实网址:https://m.weibo.cn/api/comments/show?id=4160547165300149&page=3

    将网址在火狐里面打开如下图:

    上面的网址其实pages=3就代表第三页,所以只需模拟网址即可,pages=4,5,6。。。。

    另外由于是Json文件,所以提取数据非常方便,只需用切片操作即可。

    长按扫描下方二维码,

    关注“编程狗”,回复数字“1227”,

    获取本文源代码


    编  程  狗

    编程大牛技术分享平台

    Python 中 文 社 区

    Python中文开发者的精神部落

    合作、投稿请联系微信:

    pythonpost

    — 人生苦短,我用Python —







    展开全文
  • 移动端Python爬虫

    千次阅读 2020-07-06 10:58:11
    移动端Python爬虫 地址 https://www.piaodoo.com/10364.html
  • 第1章 2020版 第一章 移动端Python爬虫进阶实战课程导学介绍课程目标、通过课程能学习到的内容、学会这些技能能做什么,对公司业务有哪些帮助,对个人有哪些帮助。介绍目前app数据抓取有哪些困难,面临的挑战,本...
  • 文集 移动端爬虫 源码 loach loach是一个移动端爬虫,针对现下很火的短视频app—抖音 支持多个android设备并行自动化 支持任意android设备的服务端部署到任意机器 支持使用http方法控制任务 示意图 ...
  • 文集 移动端爬虫 多台设备自动化 思路 启动多个appium service,且每个server对应一个设备 appium -p 4723 -U udid appium -p 4724 -U udid Appium -p 4725 -U udid -p appium的端口 默认4723 -U udid 设备...
  • 这里简单说一下为什么要添加User-Agent,原因有两个:在进行网络请求时,有些‘错误’的请求头会被网站当做爬虫(也就是咱们),所以为了模仿一个正常的网页打开,我们要设置一个user-agent,俗称反爬。其次,有些用...
  • 新浪微博信息丰富,适合用来做分析,用Python网络爬虫工具进行微博信息的获取是一种行之有效的方法,(附赠移动端代码),全亲自实践,希望多多交流,共同学习
  • 三、逍遥安卓模拟器的安装配置(1)下载与安装1、官网下载最新版http://www.xyaz.cn/2、 傻瓜式安装,无需勾选配置安装完成后,桌面会出现两个图标:(2) 模拟器的多开1、 左键双击该图标2、 新建模拟器选择创建模拟器...
  • 移动端爬虫--Appium环境搭建(一)

    千次阅读 2018-07-23 18:44:00
    文集 移动端爬虫 配置 mac jdk最高支持1.8 查看安装路径 /usr/libexec/java_home -V JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_40.jdk/Contents/Home PATH=$JAVA_HOME/bin:$PATH:. CLASSPATH=.....
  • 爬虫 第八讲 移动端数据抓取

    万次阅读 2021-04-29 21:48:02
    爬虫 第八讲 移动端数据抓取 一、移动端环境搭建 (一)、移动端数据简介 1.移动端爬取数据的背景 随机互联网的发展,数据不仅仅只是存在于PC端。移动端的数据在这几年的占比以及势头发展趋势呈现几何倍数的增长。...
  • 这里写自定义目录标题1:移动端的前导知识1.1:移动端数据爬取数据的背景介绍1.2:移动端数据的作用1.3:课外拓展2:Uiautomator介绍2.1:ua是什么2.2:Uiautomator能够做什么2.3:AccessibilityService3:安卓系统...
  • 文集 移动端爬虫 单设备自动化 准备 假设软件环境都已配置 一台android虚拟机, 我的是夜神端口是62025 启动 连接设备 [图片上传失败...(image-cd54b7-1532398731012)] 运行appium,默认启动4723端口 ...
  • 这是新浪微博爬虫,采用python+selenium实现。 免费资源,希望对你有所帮助,虽然是傻瓜式爬虫,但是至少能运行。同时rar中包括源码及爬取的示例。 参考我的文章: ...[python爬虫] Selenium爬取新浪微博内容及用户...
  • 前言 随着移动市场的火热,各大平台都陆陆续续的推出了...那么接下来就进入我们的移动端APP数据的爬虫中来吧。 移动端数据爬取方式 fiddler简介 手机APP抓包设置 fiddler设置 安装证书下载 安全证书...
  • 一般情况下,网站是通过对http请求的header 进行识别来判断是访问的是pc还是手机,哪个版本的浏览器所以,可以通过修改header的方法来模拟手机。例如下面就是模仿了安卓4.3b版本的手机,androidN1浏览器headers = { ...
  • 学习爬虫移动端01天

    千次阅读 2021-10-19 18:29:48
    准备工作: 抓包工具:fiddler(可以将网络传输发送与接受的数据包进行截获、重发、编辑、转存等操作,也可以用来检测网络安全) ...PS:PC端和移动端一定要在同一个局域网下(不知道这样说对不对) 我选...
  • 1目 标 场 景在移动互联网时代,很大一部分企业抛弃了传统的网站,选择将数据、服务整合到 App 端,因此 App 端无论是爬虫还是反反爬都显得尤为重要。常见的 App 端的爬虫方式是利用 Appium 和 Airtest 驱动手机打开...
  • 1、Fiddler介绍与安装 ...如下 1.2.2 Fiddler打开后配置 注意 第一次 点这个 Decrypt https traffic 后,有增加证书 如果没有自动弹出 我们点击 点击里面的的 trust root certificate 移动端的 Fiddler的配置 下一章:...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 8,135
精华内容 3,254
关键字:

移动端爬虫

爬虫 订阅