学到了一点关于app抓包的知识

使用fiddler 抓包app 网络连接不上的原因

https://blog.csdn.net/m0_37554415/article/details/80434477·

设置完记得关掉fiddler 重启 基于fiddler 4 windown 10 环境

Python爬虫：Fiddler抓取抖音视屏数据

准备工作：

（1）、安卓模拟器

（2）、抓包工具：Fiddler

（3）、编程工具：pycharm

（4）、安卓模拟器上安装抖音

（5）、本地创建保存json文件及下载视频文件夹（例G:\software\fid和G:\software\video）

fidder配置

在Tools中的options中，按下图勾选

 



fidder配置1.jpg

配置远程连接：

选择允许监控远程连接，端口可以任意设置，默认8888

 



fedder配置2.jpg

然后重启fidder使配置生效。

安卓模拟器配置

查看本机ip：在cmd中输入ipconfig

 



本机ip.jpg

手机确保和电脑在同一局域网下。

模拟器配置：设置中长按WIFI，代理选择手动，然后输入上图ip端口号

 



修改模拟器网络配置.jpg

代理设置好后，在浏览器中输入你设置的ip：端口号，（例如192.168.43.178:4263）回车打开fidder页面。然后点击fidderRootcertificate，证书名随便设，可能还需要一个锁屏密码。

 



手机下载证书.jpg

接下来就是在fidder中抓取抖音的包

抖音抓包

打开抖音，然后观察fidder中的所有包

 



fidder包.jpg

点击这个json包，解码

 



解码.jpg

解码后：点击aweme_list，一个大括号代表一个视频

 



解码后.jpg

重新加载。

视屏链接：aweme_list中，每个视屏下的video下的play_addr下的url_list中。

 



视屏链接.jpg

将json包保存到本地

点击脚本规则，定义规则放在如下图所示处：

 



重定义脚本规则.jpg

if (oSession.uriContains("https://api3-core-c-hl.amemv.com/aweme/v1/aweme/post/")){
            var strBody=oSession.GetResponseBodyAsString();
            var sps = oSession.PathAndQuery.slice(-58,);
            //FiddlerObject.alert(sps)
            var filename = "G:/software/fid" + "/" + sps + ".json";
            var curDate = new Date();   
            var sw : System.IO.StreamWriter;  
            if (System.IO.File.Exists(filename)){  
                sw = System.IO.File.AppendText(filename);  
                sw.Write(strBody); 
            }  
            else{  sw = System.IO.File.CreateText(filename); 
                sw.Write(strBody);
            }  
            sw.Close(); 弳
            sw.Dispose(); 
        }


注意


	
第一行网址（随时更新）：
	 

	


	
链接获取及查看.jpg
	
	

	
路径，即保存json文件路径。
记得点击Save Script保存

	下边是我保存好的json包

	


	
本地下载好json包.jpg

	
 
	
爬虫脚本

直接上代码

import os,json,requests
# 请求头
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.119 Safari/537.36'}

videos_list = os.listdir('G:/software/fid/')  #获取文件夹内所有json包名

count = 1  #计数，用来作为视频名字

for videos in videos_list:  #循环json列表，对每个json包进行操作
    a = open('G:/software/fid/{}'.format(videos),encoding='utf-8')  #打开json包
    content = json.load(a)['aweme_list'] #取出json包中所有视频

    for video in content:  #循环视频列表，选取每个视频
        video_url = video['video']['play_addr']['url_list'][1] #获取视频url，每个视频有4个url，我选的第2个
        videoMp4 =  requests.get(video_url,headers=headers).content #获取视频二进制代码
        with open('G:/software/video/{}.mp4'.format(count),'wb') as f: #以二进制方式写入路径，记住要先创建路径
            f.write(videoMp4)  #写入
            print('视频{}下载完成'.format(count)) #下载提示
        count += 1 #计数+1


运行代码：

 



运行成功显示.jpg



本地视屏下载显示.jpg

总结

当然，我是手动滑动抖音爬取的，后期会出控制模拟器自动滑动爬取抖音视频下载


 

寄予蓝y：https://mp.weixin.qq.com/s/a53NMP-x0qsSvjFZFm5xZw

APP 抓包和微信小程序抓包-Charles 的精简使用教程
2019-07-10 更新
目标
教程
一、安装 Charles
二、Charles 简介
（1）Charles 欢迎页面
（2）基础功能按钮
（3）抓包内容显示方式
（4）过滤抓包内容
三、手机配置 Charles 代理
四、解决配置 Charles 代理之后手机无法上网的问题
五、手机 APP 抓包
（1）对  “花生地铁” APP  进行抓包。
六、微信小程序抓包
（1）安装 SSL 证书
1、Charles 上安装 SSL 证书
2、手机安装 SSL 证书
（2）配置 Charles 的 SSL
（3）对微信小程序“猫眼电影”进行抓包
总结

2019-07-10 更新

部分机型依然成功。最近有很多小伙伴反馈 HTTPS 不能进行抓包了，于是博主再进行了一次测试：

三星手机（系统版本 Android 8.1），抓包成功（图略）
小米6 （系统版本 miui 10.3 稳定版）抓包失败：Client SSL handshake failed（博主怀疑是系统问题，但暂未找到解决方案，有解决方案的小伙伴欢迎留言）
oppo 抓包失败，和小米 6 有类似的错误提示信息（博主怀疑是系统问题，但暂未找到解决方案，有解决方案的小伙伴欢迎留言）
苹果手机 IOS 12（记得要在 通用-关于本机-证书信任设置 中开启证书）抓包成功。苹果手机抓包截图：








目标

抓取移动端项目的前端页面和后台的交互数据，对请求信息和响应内容进行分析。

普通手机 APP 的前端页面和后台一般是通过 HTTP 请求进行交互。
微信小程序的前端页面和后台一般是通过 HTTPS 请求进行交互。



教程
一、安装 Charles
在官方网站下载最新的安装包，然后点击运行，在弹出的安装向导中，根据提示进行操作即可顺利完成安装。过程很简单，所以这里进行不详细介绍。当前最新的版本是 charles-proxy-4.2.7-win64.msi 。
二、Charles 简介
（1）Charles 欢迎页面

运行 Charles 之后，默认打开的欢迎页如下图所示：

（2）基础功能按钮
需要关注两个按钮：清空抓包内容按钮和抓包开关按钮：
（3）抓包内容显示方式

Sequence 形式。可以看到全部请求，默认以数据请求的顺序来显示，最新的请求显示在最下面。如下图所示：
Structure 形式。可以很清晰的看到请求的数据结构，请求信息根据域名划分。具体如下图所示：

（4）过滤抓包内容

通过 filter 框 进行过滤（推荐使用）。不管是Sequence 还是 Structure 显示方式，都可以通过下方的 filter 框进行过滤：


通过 Recording Settings 设置过滤条件。具体如下图：

三、手机配置 Charles 代理

需要手机和运行 Charles 的电脑在同一个局域网内。
启动 Charles，点击 Proxy-Proxy Settings，查看代理端口：
在命令提示符窗口，执行 ipconfig ，查看电脑的IP：
在手机连接的 WLAN 中，设置代理信息。从前两步中，可以看到Charles 的代理端口为 8888，电脑IP为 192.168.1.101。

四、解决配置 Charles 代理之后手机无法上网的问题
如果代理配置完成之后，出现手机无法上网的情况。

需要检查下面几个地方：

检查防火窗。我用的是 win 10 。
检查 Charles 黑白名单。如果没有特别需要可以关闭黑白名单功能。

五、手机 APP 抓包
（1）对  “花生地铁” APP  进行抓包。

打开 花生地铁 APP（广州的朋友应该都用过吧）：


查看抓包内容：



六、微信小程序抓包
（1）安装 SSL 证书
由于微信小程序的前端页面和后台交互，基本上都是基于 HTTPS ，所以需要先安装 SSL 证书。
1、Charles 上安装 SSL 证书

通过 Help->SSL Proxying->Install Charles Root Certificate 打开证书安装窗口：

根据安装向导的提示，全部采用默认的选项，最后完成安装：

2、手机安装 SSL 证书

Charles 建议的安装方法。

通过 Help->SSL Proxying->Install Charles Root Certificate On a mobile device ，可以看到以下提示：
根据提示，应该进行如下操作：

手机配置 Charles 代理。上面已经介绍，这里不再赘述。
在手机浏览上访问：http://chls.pro/ssl ，下载并安装证书。
大致流程如下：


遗憾的是，有些品牌的手机，比如小米手机，不支持通过 getssl.crt 安装证书。





其他方法。

如果上面的方法不能成功安装证书，可以在电脑浏览器上访问 http://chls.pro/ssl，下载 charles-proxy-ssl-proxying-certificate.pem，并传手机上进行安装。
在手机中，把文件的后缀名改成 .crt:
点击 .crt 文件，进行证书安装：
安装完成之后，在系统安全-加密与凭据-信任的凭据中，可以看到刚刚安装的证书：




（2）配置 Charles 的 SSL

通过 Proxy-SSL Proxy Settings 打开窗口：
在弹出的窗口中，选择 Enable SSL Proxy，并设置要代理的域名。本示例是要对微信小程序“猫眼电影”抓包，所以配置了 api.maoyan.com 和 ad.maoyan.com。
如果要匹配的域名比较多，配置麻烦，可以不填域名和端口内容，直接点击OK






（3）对微信小程序“猫眼电影”进行抓包

在微信钱包-第三方服务中，打开“猫眼电影”。
查看 Charles 中的抓包情况：

总结
一个精简的 Charles 教程到此结束。

如果有什么问题，希望可以给我留言。

最后祝大家工作顺利。