精华内容
下载资源
问答
  • 由于App没有浏览器这种可以比较直观地看到后台请求的工具,所以主要用一些抓包技术来抓取数据。 本文介绍的抓包工具有Charles、mitmproxy和mitmdump。一些简单的接口可以通过Charles或mitmproxy分析,找出规律,然后...

    Charles简介

    Charles,一个HTTP代理服务器,HTTP监视器,反转代理服务器,当程序连接Charles的代理访问互联网时,Charles可以监控这个程序发送和接收的所有数据。它允许一个开发者查看所有连接互联网的HTTP通信,这些包括request, response和HTTP headers (包含cookies与caching信息)。

    Charles主要功能:

    1. 支持SSL代理。可以截取分析SSL的请求。
    2. 支持流量控制。可以模拟慢速网络以及等待时间(latency)较长的请求。
    3. 支持AJAX调试。可以自动将json或xml数据格式化,方便查看。
    4. 支持AMF调试。可以将Flash Remoting 或 Flex Remoting信息格式化,方便查看。
    5. 支持重发网络请求,方便后端调试。
    6. 支持修改网络请求参数。
    7. 支持网络请求的截获并动态修改。
    8. 检查HTML,CSS和RSS内容是否符合W3C标准。

    Charles:爬虫必备抓包分析工具下载

    Charles可以轻松地帮你为APP的爬虫抓取做铺垫,分析客户端的行为。
    通过安装安全证书,Charles可以解析Https加密请求
    甚至可以将抓取的数据自动导出为特定的格式实现数据的利用…
    赶快下载安装试试吧!
    image.png

    英文版的破解方法:将charles.jar复制到安装目录的lib目录下覆盖原有jar包即可

    链接:https://pan.baidu.com/s/14Lh3QUZURJnrXklWcXGPWw
    提取码:ugiv


    除了Web网页,爬虫也可以抓取App的数据。App中的页面要加载出来,首先需要获取数据,而这些数据一般是通过请求服务器的接口来获取的。由于App没有浏览器这种可以比较直观地看到后台请求的工具,所以主要用一些抓包技术来抓取数据。

    一些简单的接口可以通过Charles或mitmproxy分析,找出规律,然后直接用程序模拟来抓取了。但是如果遇到更复杂的接口,就需要利用mitmdump对接Python来对抓取到的请求和响应进行实时处理和保存。另外,既然要做规模采集,就需要自动化App的操作而不是人工去采集,所以这里还需要一个工具叫作Appium,它可以像Selenium一样对App进行自动化控制,如自动化模拟App的点击、下拉等操作。

    工具:Charles、mitmproxy、mitmdump、Appium


    Charles的安装

    Charles是一个网络抓包工具,相比Fiddler,其功能更为强大,而且跨平台支持得更好,所以这里选用它来作为主要的移动端抓包工具。

    破解版地址:https://blog.csdn.net/xc_zhou/article/details/85132847

    下载Charles

    我们可以在官网下载最新的稳定版本,如图1-43所示。可以发现,它支持Windows、Linux和Mac三大平台。

    图1-43 Charles下载页面

    直接点击对应的安装包下载即可,具体的安装过程这里不再赘述。

    Charles是收费软件,不过可以免费试用30天。如果试用期过了,其实还可以试用,不过每次试用不能超过30分钟,启动有10秒的延时,但是完整的软件功能还是可以使用的,所以还算比较友好。

    pc证书配置(重要)

    现在很多页面都在向HTTPS方向发展,HTTPS通信协议应用得越来越广泛。如果一个App通信应用了HTTPS协议,那么它通信的数据都会是被加密的,常规的截包方法是无法识别请求内部的数据的。

    安装完成后,如果我们想要做HTTPS抓包的话,那么还需要配置一下相关SSL证书。接下来,我们再看看各个平台下的证书配置过程。

    Charles是运行在PC端的,我们要抓取的是App端的数据,所以要在PC和手机端都安装证书。

    Windows

    如果你的PC是Windows系统,可以按照下面的操作进行证书配置。

    首先打开Charles,点击Help→SSL Proxying→Install Charles Root Certificate,即可进入证书的安装页面,如图1-44所示。

    图1-44 证书安装页面入口

    接下来,会弹出一个安装证书的页面,如图1-45 所示。

    图1-45 证书安装页面

    点击“安装证书”按钮,就会打开证书导入向导,如图1-46所示。

    图1-46 证书导入向导

    直接点击“下一步”按钮,此时需要选择证书的存储区域,点击第二个选项“将所有的证书放入下列存储”,然后点击“浏览”按钮,从中选择证书存储位置为“受信任的根证书颁发机构”,再点击“确定”按钮,然后点击“下一步”按钮,如图1-47所示。

    图1-47 选择证书存储区域

    再继续点击“下一步”按钮完成导入。

    Mac

    如果你的PC是Mac系统,可以按照下面的操作进行证书配置。

    同样是点击Help→SSL Proxying→Install Charles Root Certificate,即可进入证书的安装页面。

    接下来,找到Charles的证书并双击,将“信任”设置为“始终信任”即可,如图1-48所示。

    图1-48 证书配置

    这样就成功安装了证书。

    移动端安装证书(重要)

    移动端同样也需要安装Charles证书,具体操作如下:
    image.png
    选择在移动端安装证书选项,Charles提示如下:
    image.png
    提示需要设置手机http代理为电脑ip,端口为8888,然后在手机浏览器上访问 chls.pro/ssl 下载安装证书。如果IOS 版本在10以上,必须在设置->通用->关于本机->证书信任设置中打开对根证书启用完全信任。

    Android

    如果你的手机是Android系统,可以按照下面的操作进行证书配置。

    在Android系统中,同样需要设置代理为Charles的代理
    代理设置

    设置完毕后,电脑上就会出现一个提示窗口,询问是否信任此设备,此时直接点击Allow按钮即可。

    接下来,像iOS设备那样,在手机浏览器上打开chls.pro/ssl,我们为证书添加一个名称,然后点击“确定”按钮即可完成证书的安装。

    iOS

    如果你的手机是iOS系统,可以按照下面的操作进行证书配置。

    首先,查看电脑的Charles代理是否开启,具体操作是点击Proxy→Proxy Settings,打开代理设置页面,确保当前的HTTP代理是开启的,这里的代理端口为8888,也可以自行修改。

    代理设置

    接下来,将手机和电脑连在同一个局域网下。例如,当前电脑的IP为192.168.1.76,那么首先设置手机的代理为192.168.1.76:8888
     代理设置

    设置完毕后,电脑上会出现一个提示窗口,询问是否信任此设备。
    提示窗口

    此时点击Allow按钮即可。这样手机就和PC连在同一个局域网内了,而且设置了Charles的代理,即Charles可以抓取到流经App的数据包了。

    接下来,再安装Charles的HTTPS证书。

    在电脑上打开Help→SSL Proxying→Install Charles Root Certificate on a Mobile Device or Remote Browser。
    证书安装页面入口

    此时会看到如图所示的提示。
    提示窗口

    它提示我们在手机上设置好Charles的代理(刚才已经设置好了),然后在手机浏览器中打开chls.pro/ssl下载证书。

    在手机上打开chls.pro/ssl后,便会弹出证书的安装页面:

    证书安装页面

    点击“安装”按钮,然后输入密码即可完成安装
    安装成功页面

    如果你的iOS版本是10.3以下的话,信任CA证书的流程就已经完成了。

    如果你的iOS版本是10.3及以上,还需要在“设置”→“通用”→“关于本机”→“证书信任设置”中将证书的完全信任开关打开

    证书信任设置

    注:手机设置完成后若无法上网,极有可能是ios版本过高并没有开启对证书的完全信任、完全信任、完全信任 导致!!!

    Charles配置

    取消Windows代理

    由于此次目标是抓取移动端微信小程序中的数据,取消此选项是尽量减少无关的数据量。
    image.png

    查看本机IP地址与配置相关端口号

    默认端口号是8888,可以修改。
    Help -> Local ip Address :
    image.png
    Proxy -> Proxy Settings :
    image.png

    ssl代理设置

    安装完成ssl证书后,需要在Charles中开启ssl代理设置,在Proxy->SSL Proxying Settings中,勾选Enable SSL Proxying,
    image.png
    点击add,新增访问的目标地址,根据提示,空的host与port匹配所有的值,可以使用*与\?进行匹配,此处host与port均填写*。
    image.png
    至此,Charles相关的配置完毕。

    Charles抓取小程序数据

    手机与Charles均配置成功后,打开微信小程序,此时Charles会自动获取http与https访问,如下:
    image.png
    点击左边解析的链接,选择Contents,JSON Text,可以看到解析出来的微信小程序数据内容。

    找到对应的api之后,程序请求api,需要带上安卓对应请求头信息。

    问题集锦

    网络问题:

    网传手机与电脑链接的网段必须相同,但是也有不一致的说法

    手机或电脑无法联网:

    证书问题:证书未能正确安装,查看手机上是否始终信任证书!(多数情况下如此);电脑上查看证书是否安装在受信任的位置,浏览器中的证书是否正确添加。

    防火墙问题:关闭Windows10的防火墙,取消阻止传入连接。

    image

    https加密的链接显示unknow

    此问题遇到的可能性最大,导致的原因很多,

    最有可能的原因在于证书的问题,证书未能正确安装,查看手机上是否始终信任证书!!(多数情况下如此,注意iOS版本问题,过高需要始终信任此证书);电脑上查看证书是否安装在受信任的位置。

    当你发现这个问题的时候,就不要再费力去设置charles以及换各种姿势去装证书了,这些都是徒劳的,因为从Android 7.0开始系统默认不信任用户证书,因此即时你安装成功,证书对APP来说也是无效的。

    目前腾讯对微信的权限管的很严,小程序在模拟器上无法使用是普遍现象

    网传另外一种方式,使用TBS爬取微信小程序:
    https://my.oschina.net/sumiao/blog/1587350?utm_source=debugrun&utm_medium=referral

    参考:https://cuiqingcai.com/5252.html
    https://cuiqingcai.com/5255.html
    https://blog.csdn.net/HeyShHeyou/article/details/90452656
    https://blog.csdn.net/HeyShHeyou/article/details/90045204

    展开全文
  • 使用charls抓包微信小程序的解决方案(终极解决,各种坑不怕,亲测可用,不服来战!)

    使用charls抓包微信小程序的解决方案(终极解决,各种坑不怕,亲测可用,不服来战!)

    参考文章:

    (1)使用charls抓包微信小程序的解决方案(终极解决,各种坑不怕,亲测可用,不服来战!)

    (2)https://www.cnblogs.com/macliu/p/11379480.html


    备忘一下。


    展开全文
  • 在抓取微信小程序的接口时,会出现乱码的情况(抓取https) 解决方法: 1、点击 【工具栏-->Proxy-->SSL Proxying Settings...】 2、添加需求抓包的请求的域名和端口号,如*.xx.com 3、重新抓取,成功...

    问题:

    在抓取微信小程序的接口时,会出现乱码的情况(抓取https)

    在这里插入图片描述

    解决方法:

    1、点击 【工具栏-->Proxy-->SSL Proxying Settings...】

    在这里插入图片描述

    2、添加需求抓包的请求的域名和端口号,如*.xx.com

    在这里插入图片描述

    3、重新抓取,成功

    在这里插入图片描述

    在这里插入图片描述

    抓取指定的请求

    在这里插入图片描述

    设置对应的域名和端口号,同理:也是可以使用通配符
    在这里插入图片描述

    展开全文
  • 第一步:使用charles进行https抓包 https://www.jianshu.com/p/7a88617ce80b 使用charles进行https抓包 ...因为微信小程序都是https的请求,所以必须要能解析https,要解析https,就要证书 ...

    第一步:使用charles进行https抓包

    https://www.jianshu.com/p/7a88617ce80b   使用charles进行https抓包

     

    使用Charles进行HTTPS抓包(包括安装信任证书以及抓包 出现无法抓包unknown和证书无效解决方案)


    因为微信小程序都是https的请求,所以必须要能解析https,要解析https,就要证书

     

    最近很多同行使用第一步所说的配置之后,发现获取的https响应数据依然是乱码。所以,请进行第二步设置。

    第二步:Android 7.0 之后抓包 unknown 和证书无效的解决方案(无需改代码)

    https://blog.csdn.net/ShadowySpirits/article/details/79756274

    其中那个把用户证书改成系统证书的命令太风骚了,我忍不住要记下来:

     

    系统证书目录:/system/etc/security/cacerts/

    其中的每个证书的命名规则如下: 
    <Certificate_Hash>.<Number> 
    文件名是一个Hash值,而后缀是一个数字。

    文件名可以用下面的命令计算出来:

    openssl x509 -subject_hash_old -in <Certificate_File>        

    这个<Certificate_File> 就是你下载的证书的名字,你计算出hash值以后,就把原来证书的名字,就是这个<Certificate_File>,改成hash值点Number的格式(<Certificate_Hash>.<Number>的格式

    后缀名的数字是为了防止文件名冲突的,比如如果两个证书算出的Hash值是一样的话,那么一个证书的后缀名数字可以设置成0,而另一个证书的后缀名数字可以设置成1


    操作步骤:

    将抓包软件的证书用上述命令计算出 Hash 值,将其改名并复制到系统证书目录

     

    此时你应该可以在 设置->安全->加密与凭据->信任的凭据 的系统标签页看到你新加入的证书,将其启用即可顺利抓包

     

     

    到这里了,其实还有个问题,用自己的手机去root,肯定不划算,如果手边苹果机也不好找的话,是不是就搞不成了?

    那也不是,办法总比困难多。

     

    这里可以选择使用《夜神模拟器》来代替手机,话说夜神模拟器还真的是不错,默认安装好就已经是root了的。

     

    你可以把证书文件下载到你电脑上,然后用上面说的那个命令计算出hash值(如果是windows,没法使用那个openssl命令,可以装一个Git bash,就可以用了),

    然后把证书文件拖到夜神模拟器里,此时文件会在夜神的一个非系统文件夹里,但我们是需要把它搞到系统证书文件夹里去的,夜神又没有移动文件的办法,怎么办呢?

    活人不可能被尿憋死,不能移我就新建一个嘛,反正只要这个证书串还是那个串就好了嘛。

    所以,打开拖到夜神模拟器里的那个证书文件,复制里面的证书串,然后到 系统证书文件夹(也就是/system/etc/security/cacerts/路径下)新建一个文件,改名称计算出来的那个hash串点Number即可。

     

    到这里了,必须要删除你之前用户模式下装的CA证书,你才能看到你刚才新建的系统CA在信任凭据列表里了。

    然后你还要把charles关掉,把夜神关掉,重启电脑,然后再把charles的 ssl proxy settings  设置为 域名* 端口*才行。不设还是会乱码。

     

    至此,才大工告成。

    转载于:https://www.cnblogs.com/liliuguang/p/11380882.html

    展开全文
  • APP 抓包微信小程序抓包-Charles 的精简使用教程

    万次阅读 多人点赞 2018-10-11 16:11:55
    APP 抓包微信小程序抓包-Charles 的精简使用教程目标教程一、安装 Charles二、Charles 简介(1)Charles 欢迎页面(2)基础功能按钮(3)抓包内容显示方式(4)过滤抓包内容三、手机配置 Charles 代理四、解决配置...
  • charles抓取微信小程序数据(抓取http和https数据)

    万次阅读 多人点赞 2018-03-07 20:06:06
    要想抓取到微信小程序的数据首先要解决的第一个问题件就是如何 通过charles抓取手机上的数据(HTTP) 具体配置过程如下: 第一步,charles上通过proxy-&gt;proxy setting进入代理设置,入口如下图所示 点击...
  • 目录前言工具准备Charles安装及配置开始抓包总结 前言 对于压力测试工作而言,小程序接口测试...Charles工具、PC端微信(支持打开微信小程序Charles安装及配置 1、Charles工具安装说明参考(Mac环境); https://ww
  • 手机抓包是一名测试工程师常备的技能,比如我想查看一个接口请求的参数、返回值,还有移动设备上的http请求、https请求,这一次的背景是我们想要在app端和小程序端抓取一些视频,这里用腾讯视频作为例子,使用mac...
  • MAC系系统统利利用用charles抓抓取取微微信信小小程程序序和和手手机机APP数数据据包包(http和和https数数据据包包) 今天为大家分享如果在MAC上利用charles抓包工具抓取微信小程序数据包和手机APP数据包,主要是http...
  • 前期准备 第一步 注意:首先将电脑和手机...以下访问方式是错的,会导致Charles奔溃【巨坑】 http://192.168.31.136:8888/chls.pro/ssl 手机访问 chls.pro.ssl 电脑会提示 点击允许之后 找到设置—>通用---->
  • Fiddler4抓包微信小程序,最完整细致的步骤 1.到官网下载安装fiddler https://www.telerik.com/fiddler 2.安装好fiddler后,配置设置信息 Tools->options->Https Tools->options->connections ...
  • 最近微信 更新了 pc 客户端, 小程序是可以直接在 pc 端 查看的,这一个功能真是太棒了!!!我们可以不连手机 直接在 电脑上进行 某些 抓包 测试了。 1. charles 配置 1.1 charles ssl 证书 计算机安装 Help – SSL...
  • 怎么样抓取微信小程序

    千次阅读 多人点赞 2019-05-05 23:01:55
    阅读文本大概需要 12 分钟。一 爬虫万能公式最近痴海接到一些新的需求,要抓取微信小程序上的内容。写过爬虫的同学都知道,无论什么爬虫大体的思路都是相的,都是要分析网络请求...
  • 使用Charles抓取app或微信小程序数据包详细过程

    千次阅读 热门讨论 2018-12-21 18:06:27
    一、安装Charles Charles需要Java环境,在安装之前确保已有配置Java运行环境。 然后到官网下载Charles...打开Charles抓包工具: 设置代理:Proxy →Proxy Setting。 Port设置为8888,并勾选Enable transparent...
  • 本文中使用的是mac上的抓包工具charles进行...要想抓取到微信小程序的数据首先要解决的第一个问题件就是如何通过charles抓取手机上的数据具体配置过程如下: MAC上的Charles设置 第一步,charles上通过proxy->p...
  • 基本步骤:APP 抓包微信小程序抓包-Charles 的精简使用教程 设置 https 证书:charles抓取微信小程序数据(抓取http和https数据) 在最后给手机安装 https 证书时,从 chls.pro/ssl 得到的是 .pem 文件,某些手机...
  • 微信小程序抓包反编译保姆级教程

    千次阅读 2021-01-25 22:51:19
    采集流程2.1 抓包2.1.1 使用工具2.1.2 具体抓包流程2.2 wxapkg包获取2.2.1 wxapkg包获取背景介绍2.2.2 使用工具2.2.3 具体获取包流程2.3 wxapkg包反编译2.3.1 反编译背景介绍2.3.2 使用工具2.3.3 具体反编译流程2.4 ...
  • APP 可以抓包成功,但是微信小程序在代理网络下显示:无网络连接。 二、问题解决:微信小程序无网络 注意:设置后微信小程序可以抓包成功,但是 APP 会显示:无网络连接。 三、问题情况:APP 无网络 ...
  • charles抓取pc端wx小程序接口 亲测有效 第一步: 下载工具 charles工具 第二步:配置证书 配置证书 安装Charles Root证书 ...最后把小程序发送到PC微信中,然后打开就可以监控到请求地址了。 ...
  • ... 本文中使用的是mac上的抓包工具charles进行抓包,手机是华为荣耀8,安卓版本7.0(其实跟版本没啥关系) 要想抓取到微信小程序的数据首先要解决的第一个问题件就是...
  • 反反复复装过多次charles,中间遇到各种问题导致最终没法看到抓包信息,一个坑一个坑的埋,终于成功抓包小程序。梳理了下可以尽量减少栽坑的安装过程,如下:1、下载charles包、安装...
  • charles抓包一直返回unkown的解决方法

    千次阅读 2019-11-28 17:35:00
    好久没用手机抓包了,今天测试小程序,想用手机抓包看看接口。结果费了好大一番功夫。一开始是抓不到包,然后查了网上的解决办法:电脑、手机装证书,关掉防火墙,重启charles。 后来终于能抓包了,因为都是https...
  • 微信小程序《消灭病毒》抓包修改数据

    万次阅读 多人点赞 2019-06-16 13:18:05
    消灭病毒算是最近蛮火的一款微信小程序游戏,据说开始一个月用户数就超千万,现在也有每月几十万的用户增长。我这周才上手这款游戏,确实画面和打击效果都很好,不过武器升级比较麻烦,六七十关后升级就略显陡峭了,...
  • 谈下微信小程序的抓取技巧

    万次阅读 2019-09-13 00:42:18
    今天聊下微信小程序的抓取,其实小程序的抓取不难,主要解决抓包和如何调试小程序这两个问题。如果你运用chrome调试已经比较熟练了的话,就手到擒来。先来说小程序抓包问题不用...
  • charles抓包小程序没网或抓不到包

    千次阅读 2020-12-08 11:40:43
    安卓7以上charles抓包小程序无网或抓不到 证书安装到系统根目录 利用openssl 计算证书hash openssl下载地址 安装后在环境变量中添加openssl的bin路径到系统变量path中 一 openssl x509 -inform PEM -subject_hash_...
  • 通报:微信更新到7.0以后抓包公众号会有证书问题,抓包小程序直接不能打开 各位不用到处找了,也不用怀疑人生了,你没有问题、win10也没有问题、fiddler和Charles也没有问题,是因为微信更新了,不再从手机本地获取...
  • if __name__ == "__main__": freeday_date = "2021-11-06" url = "https://ticket.sstm.org.cn" path = "/vendor/reserve/getReservedateListByStadiumId.xhtml" #Charles抓包获取请求参数 post_form_data = {...
  • Python爬取微信小程序Charles

    万次阅读 多人点赞 2019-05-09 18:41:22
    一、前言 最近需要获取微信小程序上的数据进行分析处理,...Charles 抓取到指定微信小程序中的数据,本文进行记录并总结。 环境配置: 电脑:Windows10,连接有线网 手机:iPhone Xr,连接无线网 注:有线网与...
  • 本文关键词:Python,小程序Charles抓包 目标小程序: 公众号“同城商圈网”左下角“找商家”->汽车维修->小车维修->所有的商家信息,如下图所示: 环境 PC端:Windows 10 移动端:iPhone 软件:Charles Charles...
  • 解决Charles https抓包显示<unknown>

    千次阅读 2019-06-12 18:15:19
    原文链接:解决Charles https抓包显示

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 866
精华内容 346
关键字:

charles抓包微信小程序

微信小程序 订阅