-
2021-10-27 14:03:53
前言
数据分析 逆向的开端往往从数据拦截开始,无论是数据抓取还是参数计算。第一步就是数据拦截人,如果没有这一层估计也就无法下手了。
联系到之前的闲鱼数据抓取和闲鱼数据采集系统的搭建过程。有不少朋友联系我怎么抓不到闲鱼的数据包啊。我觉得有必要分享下一些我自己常用的数据包抓取工具吧。
鉴于整个闲鱼数据采集/爬虫系统还在搭建过程中,这篇算是插入内容。和之前的文章分开发表,不算在系列里面。
常用的抓包工具分析
介绍下我用过的也就是市面上常用的一些抓包工具,并分享其特点。
1.anyproxy
阿里 开源的 可以二次开发
AnyProxy是一个基于NodeJS的,可供插件配置的HTTP/HTTPS代理服务器。
网页版界面
https://github.com/alibaba/anyproxy2.mitmproxy
https://www.mitmproxy.org/
mitmproxy is a free and open source interactive HTTPS proxy
开源的 免费的 可以二次开发的 是python的一个包
网页版ui界面3.burpsuite https://portswigger.net/burp
付费的 全面的渗透工具 不仅仅是抓包
有提供社区版 当然你也可以找找破解版 逆向人员多关注。可以内置python脚本打印信息 调用函数等功能。4.fiddler 免费 wind下常用的抓包工具 界面友好 可以定制脚本
5.charles 免费 mac下常用的抓包工具 当然也有win版,功能感觉比fiddler要多一点点。
6.wireshark
和前面的不同 不仅仅是http/https协议的抓包,针对各种协议可以抓取。当然使用起来也比较麻烦,学习成本较高。我的评价 两个字 神器,专治各种疑难杂症。
可以从以太网,IEEE 802.11,PPP / HDLC,ATM,蓝牙,USB,令牌环,帧中继,FDDI等读取实时数据(取决于您的平台)
对许多协议的解密支持,包括IPsec,ISAKMP,Kerberos,SNMPv3,SSL / TLS,WEP和WPA / WPA2
https://www.wireshark.org/7.tcpdump 算是一个系统自带的网络数据分析工具 内核态抓包 可以把数据包拿下来导入其他软件 比如wireshark 分析
其他的工具
从加密到解密 证书 ssl工具 OpenSSL
网卡(基于网卡抓包)
代理 获取数据
手机安装转发 drony
手机安装kali系统 安装抓包软件 已经支持arm
配合逆向的抓包
或许很多时候你没法正确的拦截到数据 又或许是太麻烦 可以从逆向角度看抓包
提供一些思路
3.frida进行hook,提取明文HTTP数据ssl_logger项目
更多相关内容 -
安卓几种常见的抓包工具
2019-04-22 15:25:18Android抓包工具,带源码!是为了抓取Android网络请求包,最好手机root一下。 -
fiddler安卓手机抓包工具
2020-09-25 16:24:55目前最新版fiddler4 fiddler4 是常用的网络封包截取工具,在做 移动开发时,我们为了调试与服务器端的网络通讯协议,常常需要截取网络封包来分析。 fiddler4 通过将自己设置成系统的网络访问代理服务器,使得所有的... -
Android下使用TCPDUMP实现数据抓包教程
2021-01-20 10:54:54如果想分析Android下 某个APP的网络数据交互,需要在Android手机上抓包,最常用的抓包工具非tcpdump莫属,用tcpdump生成Wireshark识别的 pcap文件,然后将pcap文件下载到电脑上,用电脑上的Wireshark加载pcap文件,... -
抓包工具 android APP抓包
2016-12-08 13:27:23抓包工具 android APP抓包 fiddlersetup+HTTPAnalyzer v7+注册码 -
Android TCP HTTP 抓包工具 免ROOT
2018-04-17 09:45:13一款可以在手机上抓包的工具软件,已经去除了广告。和一些不需要的东西。清爽干净,让你抓包更惬意 -
飞鸟探触安卓抓包神器
2020-04-09 11:48:16写Q协议的朋友非常有用,这个工具配合安卓模拟器,加上小鸟的HOOK,那就是完美的绝配。后面我会把一些hook的app也发出来。都是收藏很久的,估计很多人在找,网上下载也下不到这些东西 -
安卓上的抓包软件,比电脑的好多了
2018-03-10 16:56:18安卓上的抓包软件,比电脑的好多了,电脑的F12抓包显示的不好,这个软件显示很完美,直观。 -
Android 7.0+抓包https突破ssl-pinning方案抓包插件.zip
2020-03-17 21:11:32Android 7.0+ 抓包https方案,突破ssl-pinning 使用方法:https://blog.csdn.net/u014644574/article/details/104930877 -
安卓手机抓包神器 ssl抓包神器_VIP.apk
2019-03-12 23:20:45【软件名字】:SSL抓包神器 【软件版本】:V1.1.0 【软件语言】:中文 【软件大小】:3.11MB 【支持系统】:安卓2.2之上 【软件简介】:安卓最牛抓包神器,N多技术达人的最爱,此版本为破解专业版,强烈推荐一波。 -
安卓APP测试之使用Burp Suite实现HTTPS抓包方法
2020-09-03 19:35:49主要介绍了安卓APP测试之使用Burp Suite实现HTTPS抓包方法,本文详解讲解了测试环境和各个软件的配置方法,需要的朋友可以参考下 -
android抓包工具_无需额外工具,简单抓包教程
2020-11-19 20:03:00大家可能都听说过一个名词,“抓包”。比如软件开发前后端联调,调用后端接口无反应,这时我们常常会说:“抓个包看看前端传递的数据吧”。又或者我们的网站接入 CDN 之后,想要看一下网站静态资源的缓存时间和自己...大家可能都听说过一个名词,“抓包”。比如软件开发前后端联调,调用后端接口无反应,这时我们常常会说:“抓个包看看前端传递的数据吧”。又或者我们的网站接入 CDN 之后,想要看一下网站静态资源的缓存时间和自己设置的缓存策略是否一致,也会用到抓包。那什么是抓包呢?
主机之间的数据通信都是通过网络来进行传输,而将网络传输发送与接收的数据包进行截获、重发、编辑、转存等操作,就是抓包。
抓包经常被用来进行数据截取与观察,用于获取 HTTP 标头、内容、大小等信息来进行分析,对判断软件的 Debug 很大的帮助。所以,学会抓包,对于排查一些网络问题十分重要。
主流抓包工具对比
先来简单看下有哪些常见的抓包工具,主要有下面几种:
Charles
Fiddler
WireShark
TcpDump
Chrome Network
其中目前主流的抓包工具有:TcpDump、WireShark、Fiddler,下面我们对这几个抓包工具的性能进行一些简单的对比。
1. TcpDump
Android 平台下的网络数据抓包工具,Android模拟器中自带 TcpDump 文件。
用 TcpDump 对网络数据抓包,手机不用走代理——将网络数据包添加到 WireShark 中分析即可。
缺点:
手机必须获取 root 权限;
不能查看实时通信数据——因为抓取的是 dump 出来的文件,而不能实时数据交互;
获取的数据很多,分析时需要过滤出真正有用的信息。
2. WireShark
PC 端截获、分析通过该网卡的所有网络通信的数据包(针对移动端时候,就要对移动端设置代理服务器)强大的工具,完整查看网络中的每层、每个协议、每个数据包的详细组成信息;TCP、UDP、HTTP、HTTPS 等协议的数据包均可获取;
缺点:
获取的信息太多,需要手动过滤、进行分析。
只能查看,不能修改、重发送网络数据包。
3. Fiddler
HTTP 协议的代理工具,抓取、分析电脑中所有进出该网卡、与网络进行数据交互的数据(针对移动端抓包时,需要设置代理服务器),主要针对的是 HTTP/HTTPS 协议;能够清晰查看数据包中的内容——HTTPS中的数据包可以解密出来。
缺点:
只适用于一次请求,下次请求需要重新设定
手动修改需要花费时间,如果程序等待超时,本次设定的 Response 结果失效
Chrome Network 抓包介绍
上文中可以看到主流的抓包工具都或多或少地存在缺点,那有没有一款界面简单、易操作,可以非常方便的查看网页中所有的网络请求,并审核检查单个资源的属性,比如 HTTP 标头、内容、大小等的抓包工具呢?
Chrome Network 就可以做到。Chrome Network 是属于 Chrome DevTools 套件中的一个调试工具,下面我来对它的使用做一个简单介绍。
注:本篇教程适用于使用 Chromium 内核的浏览器,Microsoft Edge 和 Firefox 也有类似的控制面板,在此不再赘述。
如何打开开发者工具面板
1. 使用快捷键打开。
Control+Shift+J 或者 F12 (Windows)
Command+Option+J (Mac)
2.通过 [更多工具] - [开发者工具] 打开。
打开开发者工具后,切换到 [Network 面板],面板的构成可查看下图:
控制器:可以开启/关闭 Network 工具的网络活动记录功能,以及其它一些配置选项。
过滤器:过滤请求列表中显示资源。
概览:以图形化的方式,显示 HTTP 请求响应的时间轴。
请求列表:网页中每一个资源请求记录,默认时间排序,点击可查看详细信息。
概要:包含了当前抓取的请求数,传输大小以及传输耗时等信息
接下来我们就来认识一下各个模块。
控制器
从左至右按钮的功能依次是:
停止/开始抓包,红色圆圈代表正在抓包;
清除请求列表中的所有请求;
屏幕截图;
隐藏/显示过滤器窗格;
查找搜索;
增大请求列表每一行的行高;
隐藏/显示概览窗格
按照框架来整合资源
跨页面加载保存请求
停用浏览器缓存
模拟离线访问
模拟慢网速访问,可自定义网速
我们简单的来体验一下其中几个功能的使用。
场景一:如何模拟在本地没有缓存的情况下访问网页?
我们可以打开控制器的 [Disable cache] 功能,重新刷新页面,浏览器会模拟不带缓存的请求访问,保证每一个请求都是向网络中发起的。
场景二:请求列表只记录当前页面的访问请求,如果点击了一个超链接,跳转到另一个网页,这样就会清空之前的记录。能否在点击链接跳转之后,依旧保存之前的请求记录呢?
我们可以打开控制器的 [Preserve log] 功能,这样在点击链接跳转到新的页面后,跳转前的请求记录依旧会保留,方便我们跟踪请求响应。
过滤器
我们在访问一个网站的时候,可能会有几十个或者上百个请求,这些请求中有些是我们关心的,有些是我们不需要的,这个时候就可以快速的使用过滤器来筛选出我们关心的那些请求。
过滤器常见的过滤方式就是按类型过滤。
默认过滤中已经内置几种类型,比方说我们可以筛选出 JS 类的请求、图片类的请求或者是WebSocket 类型的请求,按住 [Ctrl(Windows)] 或者 [Command(Mac)] 可以同时选择多个过滤类型。那么 [Hide data URLs] 选项是什么意思呢?
网站开发者很多时候会将一些小的图片或者 CSS 脚本,以 BASE64 格式嵌入到 HTML 中,以减少 HTTP 请求数。当勾选了 Hide data URLs 选项后,就可以隐藏掉请求列表中的像 data: 或者 blob: 类请求。
除了以上几个 Chrome 提供的过滤器以外,还可以非常灵活的在过滤框中使用过滤属性进行请求日志的筛选。
常见的过滤属性可参考下表。
属性
释义
domain
仅显示来自指定域的资源,可以使用通配符(*)指定多个域
das-response-header
显示包含指定 HTTP 响应头的资源
is 使用[ is:running ] 可以查找 WebSocket 资源,[ is:from-cache ] 可以查找缓存读取资源
lager-than
显示大于指定大小的资源(以字节为单位)。将值设定为 1000 等同于设置为 1k
method
显示指定 HTTP 方法类型资源
mime-type
显示指定 MIME 类型的资源
status-code
仅显示指定的 HTTP 状态代码响应资源
场景一:打开又拍云官网的时候,我们想筛选网页中来自于不同域名的请求资源,就可以在过滤框中输入 [domain:] ,Chrome 会帮我们自动补齐相关的域名信息。
场景二:打开的网页中,如何查看哪些请求使用了缓存?使用命令 [is:from-cache]
请求列表
请求列表默认是按照资源请求发起的时间升序排列的,我们也可以选择按指定列排序,例如 [Waterfall] 列上右键,按照活动时间来进行排序。
请求列表中默认每列的含义为:
Name:请求资源的名称
Status HTTP:状态码
Type:请求资源的 MIME 类型
Initiator:发起请求的对象或进程
Size:服务器返回的响应大小(包括头体和包体),可显示解压后大小
Time:总持续时间,从请求的开始到接收响应中的最后一个字节
Waterfall:各请求相关活动的直观分析图
我们也可以添加其它的一些列目录,在请求列上右键呼出菜单,可看到更多列选项。
此外我们也可以配置自定义列,在请求列上右键呼出菜单-Response Headers- Manage Header Columns 中添加想列出的响应头信息。
场景:如何自定义显示请求经过了CDN 的哪些节点?
CDN 会在每一个响应头中添加上Via 响应头,那么我们就可以自定义请求列表显示 Via 列。
HTTP 请求与响应
点击请求列表中的具体的请求,则可以打开请求内容详情,在内容详情中我们可以执行以下操作:
查看 HTTP 请求/响应头部
查看 cookie
预览响应正文,例如查看图像
查看响应正文
时间详细分布
将请求数据复制到剪贴板
查看未压缩的资源大小,Use Large Request Rows
场景一:查看请求的响应与请求报文
场景二:预览图片
场景三:将一个请求导出为 cURL 命令
在请求上右键呼出菜单,选择 Copy 选项。
以上就是对 Chrome 的 Network 面板的介绍,通过一些场景来帮助大家理解使用面板的功能。相比起 Wireshark 等一些网络抓包工具而言,Chrome Network 更为简单易用,查看 HTTP/2 或者 HTTPS 等请求报文也更为方便,对于前端展示或者网络连接产生的一些问题,定位也更为轻松快捷。
deepin是一个致力于为全球用户提供美观易用、安全稳定的Linux发行版,支持全球33种语言,累计下载量超过8000万次,拥有遍及6大洲33个国家的105个镜像站点,在国际Linux发行版排行榜中稳居前十。
-
Android设备上非root的抓包实现方法(Tcpdump方法)
2020-09-01 06:23:59通常我们在Android应用中执行某个命令时会使用...”这种方式,但是当我们执行抓包操作时,使用这条命令无论如何都不行,通过下面代码打印结果发现,该命令一定要在root权限下才能执行,具体实现思路,请参考本教程 -
Android中使用tcpdump、wireshark进行抓包并分析技术介绍
2021-01-05 14:53:23本文主要介绍如何使用tcpdump和wireshark对Android应用程序进行抓包并分析,需要说明的是在抓包之前,你的Android设备必须root过了,另外你的电脑必须有Android SDK环境。 下载并安装tcpdump tcpdump链接:... -
Android手机抓包工具Packet Capture
2018-06-04 15:00:17通常使用Fiddler等工具来抓包,但是需要使用电脑或路由器做代理,比较麻烦,Packet Capture可以解决这个麻烦。 把Packet Capture安装到手机后,可以抓取指定时间范围的所有网络通信包,包含请求和返回的数据,并且... -
抓包精灵,安卓模拟器抓包,一键式傻瓜操作
2019-03-28 02:00:40新闻软件抓包,关键词,链接,傻瓜式一键操作,许通过安卓模拟器使用 -
安卓抓封包用工具,抓包精灵
2019-04-09 09:58:29抓包精灵是一款系统辅助的工具应用,针对安卓手机https网络请求的一个抓取以及解析,可以自动的保存http和https请求,而且不需要ROOT,可以进行悬浮窗功能设置允许同时去使用要抓的应用以及观看抓包的结果还能抓取... -
HttpCanary--Android追强抓包工具,抓视频,抓直播源等
2019-05-21 14:09:14HttpCanary是一款功能强大的HTTP/HTTPS/HTTP2网络包抓取和分析工具,你可以把他看成是移动端的Fiddler或者Charles,但是HttpCanary使用起来更加地简单容易,因为它是专门为移动端设计的!最重要的是:无需root权限!... -
安卓APK抓包工具
2019-03-26 10:08:59自己不会美术,用来抓现在小游戏,app内的资源,声音,纹理的抓包工具。HTTP,SOCKET数据截获都可以 -
抖音app安卓抓包不能连接网络问题解决、高版本安卓抓包证书校验问题
2021-01-04 18:53:04①抓包工具charles,模拟器逍遥模拟器然后用逍遥模拟器创建安卓7.0环境(系统默认是root,必须是root环境下操作) ②模拟器网络配置好代理,然后在模拟器浏览器中输入chls.pro/ssl下载charles证书,下载好之后在模拟器...1.环境准备
①抓包工具charles,模拟器逍遥模拟器然后用逍遥模拟器创建安卓7.0环境(系统默认是root,必须是root环境下操作)
②模拟器网络配置好代理,然后在模拟器浏览器中输入chls.pro/ssl下载charles证书,下载好之后在模拟器中打开文件管理器 Download文件夹下即可找到下载的charles证书文件
③安装证书
设置 > 安全 > 从SD卡安装 (注意:如果安装过证书,需要先清除!)
2.将证书导出到电脑然后用openssl得到证书的md5值
执行命令:openssl x509 -subject_hash_old -in 文件名
3.将下载好的文件重命名为 [计算得到的md5值].[0]
如我的证书文件名为: c76acb3b.0
4.将改过名字后的证书文件上传到模拟器的/system/etc/security/cacerts 文件夹
5.在模拟器中 设置 > 安全 > 信任的凭据 查看自己安装的证书是否启用,未启用就让他启用即可。
6.测试抓包
下面分享一下我的知识星球,在我的星球上面可以学习到更多的爬虫安卓逆向等知识,涵盖主流app爬虫逆向,想要学习逆向的可以扫码加入:
-
FiddlerSetup安卓抓包工具、简单配置即可抓包操作
2019-06-11 11:39:21这是一款针对安卓抓包的软件,可以通过简单的配置,代理安卓的网络,对其进行抓包操作,界面简单美观,采用http/https显示抓包详情,适合新手操作 -
安卓抓包工具
2021-05-26 11:21:29在此我推荐一款很好用的网络抓包工具:WireShark,大鲨鱼网络抓包工具。这个工具的获取可以在WireShark官网上直接下载,但是访问速度却十分缓慢,我网上搜了下可以直接在“腾讯软件中心”下载,你只需在软件中心搜索...我从事家庭ICT(家庭信息与通信技术)领域的技术工作,抓网络包是家常便饭。在此我推荐一款很好用的网络抓包工具:WireShark,大鲨鱼网络抓包工具。这个工具的获取可以在WireShark官网上直接下载,但是访问速度却十分缓慢,我网上搜了下可以直接在“腾讯软件中心”下载,你只需在软件中心搜索WireShark即可,注意它有32位和64位的版本可供下载,你根据自己的电脑配置来下载即可。我的电脑是32位的,我就以32位电脑为例来说说WireShark如何安装。
32位的WireShark 3.0.6版本大概有52M左右,双击它启动安装过程;
在安装过程中前两步点击“下一步”即可;
安装到第三步的时候有如下提示:这里可以看到安装WireShark时提供的组件,你把鼠标移到对应的组件上时,下面的“Description"会有相应的描述,就是描述这个组件是干嘛的。你可以选择哪些组件可以装哪些不需要装。如果你比较懒的话直接全部选择得了。
安装到第四步时有如下提示:上面的三行是问你要不要在win的启动菜单里加入WireShark的启动图标,要不要在桌面上加入WireShark的启动图标、要不要在任务栏加入WireShark的启动图标,这个默认就行了。下面的选项是问你,但凡打开后缀是5vw、acp等文件时,是不是就直接用WireShark加载,这个还是勾选下吧,以后用起来方便。
接下来的几步你就直接默认点击“下一步”好了。安装时会如下显示:这里就会显示安装过程以及当前在安装哪些文件了。你只需要安静地等待即可。
最后安装完毕后,你就可以打开WireShark了,打开后的界面如下图:
初次打开WireShark时你可能会有些困惑,感觉这个界面好神秘好专业。确实如此,WireShark对于会用的人非常好用,不熟悉的人用起来就会有点吃力,关于WireShark的使用我们以后再来详谈,小伙伴们可以先装起来吧!
这是我的回答,希望对你有帮助。
看你capture选项怎么设置了吧。
nterface: 指定在哪个接口(网卡)上抓包。一般情况下都是单网卡,所以使用缺省的就可以了Limit each packet: 限制每个包的大小,缺省情况不限制
Capture packets in promiscuous mode: 是否打开混杂模式。如果打开,抓取所有的数据包。一般情况下只需要监听本机收到或者发出的包,因此应该关闭这个选项。
Filter:过滤器。只抓取满足过滤规则的包(可暂时略过)
File:如果需要将抓到的包写到文件中,在这里输入文件名称。
use ring buffer: 是否使用循环缓冲。缺省情况下不使用,即一直抓包。注意,循环缓冲只有在写文件的时候才有效。如果使用了循环缓冲,还需要设置文件的数目,文件多大时回卷。
抓包回调函数如下:voidHandlePacket(u_char*param,conststructpcap_pkthdr*header,constu_char*pkt_data){/*对捕捉到的数据包进行处理*/}
-
AndroidHttpMonitor:android网络抓包工具,手机端的charles
2021-04-27 14:12:28AndroidHttpMonitor android网络抓包工具,手机端的charles -
安卓抓包工具adb
2018-01-02 17:20:43安卓端 adb工具包,有了adb,连接安卓移动端,可以安卓apk,进入shell。 -
Android抓包工具tcpdump
2016-12-09 15:37:27免积分分享给需要的人士,Android设备上网络访问的抓包工具Tcpdump。教程很多各位自行度娘。 -
牛逼抓包工具 Socket通讯抓包
2020-01-22 19:41:23很好用的抓包工具 实现Socket客户端,服务端,转发器调用测试 很实用 Socket开发的最佳工具 很好用的抓包工具 实现Socket客户端,服务端,转发器调用测试 很实用 Socket开发的最佳工具 -
网络抓包和发包工具
2019-04-29 12:08:22网络调试过程中,我们往往需要对通信过程中的数据进行分析,这个时候网络抓包和发包数据就显得格外重要了@~@ -
无Root安卓手机抓包HTTPS(可破解HTTPS双向验证)
2019-05-22 00:00:47无Root安卓手机抓包HTTPS(可破解HTTPS双向验证) 解压密码 qq810285810 -
解决Charles抓包https时,无法查看CONNECT请求的问题
2021-01-20 10:25:33问题: ...以上这篇解决Charles抓包https时,无法查看CONNECT请求的问题就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持软件开发网。 您可能感兴趣的文章:安卓APP测试之