前言

数据分析 逆向的开端往往从数据拦截开始，无论是数据抓取还是参数计算。第一步就是数据拦截人，如果没有这一层估计也就无法下手了。

联系到之前的闲鱼数据抓取和闲鱼数据采集系统的搭建过程。有不少朋友联系我怎么抓不到闲鱼的数据包啊。我觉得有必要分享下一些我自己常用的数据包抓取工具吧。

鉴于整个闲鱼数据采集/爬虫系统还在搭建过程中，这篇算是插入内容。和之前的文章分开发表，不算在系列里面。

常用的抓包工具分析

介绍下我用过的也就是市面上常用的一些抓包工具，并分享其特点。

1.anyproxy

阿里 开源的 可以二次开发
AnyProxy是一个基于NodeJS的，可供插件配置的HTTP/HTTPS代理服务器。
网页版界面
https://github.com/alibaba/anyproxy

2.mitmproxy

https://www.mitmproxy.org/
mitmproxy is a free and open source interactive HTTPS proxy
开源的 免费的 可以二次开发的 是python的一个包
网页版ui界面

3.burpsuite https://portswigger.net/burp

付费的 全面的渗透工具 不仅仅是抓包
有提供社区版 当然你也可以找找破解版 逆向人员多关注。可以内置python脚本打印信息 调用函数等功能。

4.fiddler 免费 wind下常用的抓包工具 界面友好 可以定制脚本

5.charles 免费 mac下常用的抓包工具 当然也有win版，功能感觉比fiddler要多一点点。

6.wireshark

和前面的不同 不仅仅是http/https协议的抓包，针对各种协议可以抓取。当然使用起来也比较麻烦，学习成本较高。我的评价 两个字 神器，专治各种疑难杂症。
可以从以太网，IEEE 802.11，PPP / HDLC，ATM，蓝牙，USB，令牌环，帧中继，FDDI等读取实时数据（取决于您的平台）
对许多协议的解密支持，包括IPsec，ISAKMP，Kerberos，SNMPv3，SSL / TLS，WEP和WPA / WPA2
https://www.wireshark.org/

7.tcpdump 算是一个系统自带的网络数据分析工具 内核态抓包 可以把数据包拿下来导入其他软件 比如wireshark 分析

其他的工具

从加密到解密 证书 ssl工具 OpenSSL

网卡(基于网卡抓包)

代理 获取数据

手机安装转发 drony

手机安装kali系统 安装抓包软件 已经支持arm

配合逆向的抓包

或许很多时候你没法正确的拦截到数据 又或许是太麻烦 可以从逆向角度看抓包

提供一些思路

1.基于okhttp拦截器的抓包

2.安卓应用层抓包通杀脚本发布

3.frida进行hook，提取明文HTTP数据ssl_logger项目

4.优化了frida的JS脚本，修复了在新版frida上的语法错误

5.r0ysue安卓应用层抓包通杀脚本

恭喜自己，文章投稿洋神公众号刊登成功。😁😁😁
鸿洋 - 关于Android 抓包 与 反抓包

现象与原因

Android 对于 Http 和 Https 两类网络请求

Http

因为没有加密，属于明文传输，是可以抓包的。
但是从 Android 9.0 开始，默认是禁止 App 使用 Http 这种使用所有未加密的连接，使用 Http 会导致程序报错。

java.net.UnknownServiceException: CLEARTEXT communication

但还是可以通过写一段关于网络安全的配置 network_security_config ，让系统允许继续使用 Http 协议。

<?xml version="1.0" encoding="utf-8"?>
<network-security-config>
    <base-config cleartextTrafficPermitted="true" />
</network-security-config>

这里先跳过，下面会详细讲怎么让它生效。
可以认为 Android9.0 以后不推荐使用 Http，要求开发者转移到 Https。

Https

Https 是一种使用了加密传输的协议，防止了 App 和 服务器之间的中间人进来拦截、伪造、篡改问题。
但是如果是手机持有人，主动在手机里安装 charles 的根证书，实现了认证环节，是可以实现抓包的。
然而 Android 也发现了这种漏洞，为了保护应用开发公司的通讯安全，在 Android7.0 以后，只信任 Android 设备的系统根证书。也就是如果你安装的 charles 根证书这类属于「用户证书」分类的证书，Android 系统是不认的，照样不让 Https 请求正常通过。
程序会报错：

javax.net.ssl.SSLHandshakeException: java.security.cert.CertPathValidatorException: Trust anchor for certification path not found.

而此时的 charles 显示如下：

ps：一般在 Android 手机的这个打开路径下「设置 - 某个“安全”设置子页面 - 加密与凭证 - 信任的凭证」，可以看到该设备的所有根证书。
分为「系统」和「用户」两个分类。

——————————————————————————————

场景与解决办法

一、开发者抓第三方的 Https 包

如果第三方只是使用默认的 Android Https 配置，那么可以使用这两种方法可以抓到它们的请求包。

1. 使用 Android7.0 以下的手机安装应用，然后抓包

很好理解，上面讲过了只有 Android7.0 以后，才开始不信任用户根证书。

2. 想办法把 你的 charles 证书或者其他证书，变成设备的根证书

比如你是手机设备厂家，或者你可以编辑一套ROM出来，当然可以把任何个人证书给搞成是系统证书。
另一种方法是，需要一部有Root权限的手机，安装 Xposed 的 JustTrustMe 模块来信任所有的证书。

二、开发者抓自己 App 的 Https 包

0.应该不会有人为了抓包，把 targetSdkVersion 强行改成低于24(Android 7.0)的版本吧。孩子睡觉老是踢被子,幸好被我及时发现打断了腿，否则肯定感冒。

1. 使用 Android 提供的「网络安全配置（Network security configuration）」

官方讲解文档：Android 开发者官网 网络安全配置
步骤一：在 manifest 文件中配置一个 android:networkSecurityConfig 属性，填写一个 xml 文件。

<?xml version="1.0" encoding="utf-8"?>
<manifest ... >
    <application android:networkSecurityConfig="@xml/network_security_config"
                    ... >
        ...
    </application>
</manifest>

步骤二：在 res/xml 文件夹里创建一个 network_security_config.xml 文件，里面配置如下。
配置的意思是在 debug 模式下，信任用户证书。

<?xml version="1.0" encoding="utf-8"?>
<network-security-config>
    <debug-overrides>
        <trust-anchors>
            <certificates src="user" />
        </trust-anchors>
    </debug-overrides>
</network-security-config>

一个很重要的知识点是，区分是不是 debug 包是通过 module 的 build.gralde 文件，在 buildType 里面的 debuggable 字段来决定的。

    buildTypes {
        release {
            signingConfig signingConfigs.release
            minifyEnabled true
            shrinkResources true
            proguardFiles getDefaultProguardFile('proguard-android.txt'), 'proguard-rules.pro'
            //debuggable true  如果打生产包时候忘了关，就玩脱了
        }
        preRelease {
            signingConfig signingConfigs.release
            minifyEnabled true
            shrinkResources true
            proguardFiles getDefaultProguardFile('proguard-android.txt'), 'proguard-rules.pro'
            debuggable true //推荐这种做法。创建一个预发布的 buildType，打开 debuggable=true 专门给测试人员能在正式域名环境里抓包检查用。
        }
        debug {
            minifyEnabled false
            shrinkResources false
        }
    }

在 buildTypes 里配置这个 debuggable 属性，最终会被合并到 manifest 文件里面的 <application 结点下，增加一个 android:debuggable=“true” 属性。

2. 配置 OkHttp 信任所有证书

在使用 builder 模式构建 OkHttpClient 的时候，增加 sslSocketFactory 和 hostnameVerifier 配置项。下面的演示代码里这两个配置项里面会信任所有证书。为了避免玩脱也记得只在 BuildConfig.DEBUG 条件下才使用这个配置。这个 BuildConfig.DEBUG 的值跟前面讲的 debuggable 是一致的。

public class ZhihuHttp {

    public static final String ZHIHU_BASE_URL = "https://news-at.zhihu.com/api/";

    private static final ZhihuHttp zhihuHttp = new ZhihuHttp();

    private OkHttpClient okHttpClient;

    private static SSLSocketFactory createSSLSocketFactory() {
        SSLSocketFactory sSLSocketFactory = null;
        try {
            SSLContext sc = SSLContext.getInstance("TLS");
            sc.init(null, new TrustManager[]{new TrustAllManager()},
                    new SecureRandom());
            sSLSocketFactory = sc.getSocketFactory();
        } catch (Exception e) {
            e.printStackTrace();
        }
        return sSLSocketFactory;
    }

    private static class TrustAllManager implements X509TrustManager {
        @Override
        public void checkClientTrusted(X509Certificate[] chain, String authType) throws CertificateException {
        }

        @Override
        public void checkServerTrusted(X509Certificate[] chain, String authType) throws CertificateException {
        }

        @Override
        public X509Certificate[] getAcceptedIssuers() {
            return new X509Certificate[0];
        }
    }

    private static class TrustAllHostnameVerifier implements HostnameVerifier {
        @Override
        public boolean verify(String hostname, SSLSession session) {
            return true;
        }
    }

    private ZhihuHttp() {
        OkHttpClient.Builder builder = new OkHttpClient.Builder();
        builder.connectTimeout(10, TimeUnit.SECONDS);

        if (BuildConfig.DEBUG) {
            builder.sslSocketFactory(createSSLSocketFactory(), new TrustAllManager());
            builder.hostnameVerifier(new TrustAllHostnameVerifier());
        }

        okHttpClient = builder.build();
    }

    public static ZhihuHttp getZhihuHttp() {
        return zhihuHttp;
    }

    public void getDailiesWithCallback() {
        Request request = new Request.Builder()
                .url(ZHIHU_BASE_URL + "4/news/latest")
                .build();
        okHttpClient.newCall(request).enqueue(new Callback() {
            @Override
            public void onFailure(@NotNull Call call, @NotNull IOException e) {
                Log.e("YAO", "ZhihuHttp.java - onFailure() ----- e:" + e.toString());
                e.printStackTrace();
            }

            @Override
            public void onResponse(@NotNull Call call, @NotNull Response response) throws IOException {
                Log.e("YAO", "ZhihuHttp.java - onResponse() ----- :" + response.toString());
            }
        });
    }

}

三、怎么防止被其他开发者抓包

前面讲到，默认的 Android Https 配置下，只要使用 Android7.0 以下的手机、或者找个 Root 设备安装把用户证书（比如charles证书）想办法搞进系统证书那部分，就可以抓包了。这对于黑产来说也忒忒忒简单了。那么怎么防止呢？
答案是配置你信任的网站证书或者配置信任的认证链

1.Android 官方配置信息证书

（声明：这种方法只能防篡改设备的根证书，防不了使用 Android7.0 以下的手机。）
比如你可以像这样把你信任的网站的证书给搞下来
步骤①：点击域名旁边锁的图标，弹出框里面点「证书」

mac系统，对着证书那个图标拖动到某个文件夹里。这样你就能得到一个HTTPS的里面的SSL里面的非对称加密算法的公钥。

步骤②：放进 res/raw 文件夹里，在network_security_config.xml 里写上相关配置

<?xml version="1.0" encoding="utf-8"?>
<network-security-config>

    <!-- 这个是全局的基础的配置 -->
    <base-config>
        <trust-anchors>
            <!-- 如果整个base-config都不写，就等于是<certificates src="system" /> -->
            <!-- 这里写全局基础配置，只信任下面某几个证书 -->
            <certificates src="@raw/zhihu" />
            <certificates src="@raw/baidu" />
        </trust-anchors>
    </base-config>

    <!-- 如果只对某些涉及数据安全的私密域名进行保护，可以针对某个域名，只信任某几个证书 -->
    <domain-config>
        <domain includeSubdomains="true">zhihu.com</domain>
        <trust-anchors>
            <certificates src="@raw/zhihu" />
            <certificates src="@raw/tencent" />
        </trust-anchors>
    </domain-config>

    <debug-overrides>
        <trust-anchors>
            <certificates src="user" />
        </trust-anchors>
    </debug-overrides>

</network-security-config>

以上就是 Android 官方推荐的做法。

——————————————————————————————

2. OkHttp 配置信任认证链

（声明：这种方法是全方面防御，在 Android7.0 以下设备也能起作用）
参照这部分的 OkHttp官方介绍 以及 stack overflow，可以学到这部分的使用方法

步骤①：写一个 CertificatePinner 的配置

其中的 add方法两个参数。第一个参数是网址的域名host，第二个是sha256的证书。证书我们目前不清楚，先输入这么一段字符串。使用这么一段错误的配置运行后将会报错，然后在日志里得到正确的配置信息。

注意第一个参数不要包含协议，也不要省略部分域名，错误示例 「https://news-at.zhihu.com」、「zhihu.com」。
第二个参数是个假证书识别串，但是有效的，我测试时候乱输入了一串「sha256/wrong」没有触发到搜想要的结果。

public class ZhihuHttp {

    public static final String ZHIHU_BASE_URL = "https://news-at.zhihu.com/api/";

    private static final ZhihuHttp zhihuHttp = new ZhihuHttp();

    private OkHttpClient okHttpClient;

    private ZhihuHttp() {
        OkHttpClient.Builder builder = new OkHttpClient.Builder();
        builder.connectTimeout(10, TimeUnit.SECONDS);

        // 只信任网站对应的证书
        CertificatePinner certificatePinner = new CertificatePinner.Builder()
                .add("news-at.zhihu.com", "sha256/AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA=")
                .build();
        builder.certificatePinner(certificatePinner);
        okHttpClient = builder.build();
    }

    public static ZhihuHttp getZhihuHttp() {
        return zhihuHttp;
    }

    public void getDailiesWithCallback() {
        Request request = new Request.Builder()
                .url(ZHIHU_BASE_URL + "4/news/latest")
                .build();
        okHttpClient.newCall(request).enqueue(new Callback() {
            @Override
            public void onFailure(@NotNull Call call, @NotNull IOException e) {
                Log.e("YAO", "ZhihuHttp.java - onFailure() ----- e:" + e.toString());
                e.printStackTrace();
            }

            @Override
            public void onResponse(@NotNull Call call, @NotNull Response response) throws IOException {
                Log.e("YAO", "ZhihuHttp.java - onResponse() ----- :" + response.toString());
            }
        });
    }

}

步骤②：执行代码后报错。搜索关键字，我们能得到这么一串报错

Subscriber onError() : javax.net.ssl.SSLPeerUnverifiedException: Certificate pinning failure!
  Peer certificate chain:
    sha256/f5fNYvDJUKFsO51UowKkyKAlWXZXpaGK6Bah4yX9zmI=: CN=*.zhihu.com,OU=IT,O=智者四海（北京）技术有限公司,L=北京市,C=CN
    sha256/zUIraRNo+4JoAYA7ROeWjARtIoN4rIEbCpfCRQT6N6A=: CN=GeoTrust RSA CA 2018,OU=www.digicert.com,O=DigiCert Inc,C=US
    sha256/r/mIkG3eEpVdm+u/ko/cwxzOMo1bk4TyHIlByibiA5E=: CN=DigiCert Global Root CA,OU=www.digicert.com,O=DigiCert Inc,C=US
  Pinned certificates for news-at.zhihu.com:
    sha256/AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA=

这报错的意思是。现在访问这个链接的认证链是 Peer certificate chain 下面的3个sha256。
「sha256/f5fNYvDJUKFsO51UowKkyKAlWXZXpaGK6Bah4yX9zmI=」
「sha256/zUIraRNo+4JoAYA7ROeWjARtIoN4rIEbCpfCRQT6N6A=」
「sha256/r/mIkG3eEpVdm+u/ko/cwxzOMo1bk4TyHIlByibiA5E=」
链的含义是，第一个sha256对应的证书由第二个sha256对应的证书认证，第二个sha256对应的证书又第三个sha256对应的证书认证。

在代码里配置的用于「news-at.zhihu.com」域名的认证 sha256 期望是
「sha256/AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA=」

因为两者对应不上，所以请求失败。然而通过这个方法，我们得到正确的sha256，下面就拿这几个正确的sha256来配置。

步骤③：配置正确 sha256

CertificatePinner certificatePinner = new CertificatePinner.Builder()
        //正常请求下的证书验证链路
        .add("news-at.zhihu.com", "sha256/f5fNYvDJUKFsO51UowKkyKAlWXZXpaGK6Bah4yX9zmI=")//CN=*.zhihu.com,OU=IT,O=智者四海（北京）技术有限公司,L=北京市,C=CN
        .add("news-at.zhihu.com", "sha256/zUIraRNo+4JoAYA7ROeWjARtIoN4rIEbCpfCRQT6N6A=")//CN=GeoTrust RSA CA 2018,OU=www.digicert.com,O=DigiCert Inc,C=US
        .add("news-at.zhihu.com", "sha256/r/mIkG3eEpVdm+u/ko/cwxzOMo1bk4TyHIlByibiA5E=")//CN=DigiCert Global Root CA,OU=www.digicert.com,O=DigiCert Inc,C=US
        .build();

配置后，这个域名的请求就不能被抓包了。因为开启抓包后，根证书是 charles 的公钥，跟期望的 sha256 匹配不上。
一个很重要的点是，其实我们可以不用把3个 sha256 都加上。匹配逻辑是任意一个 sha256 匹配上请求就可以通过了。所以其实可以这么写。

CertificatePinner certificatePinner = new CertificatePinner.Builder()
        //正常请求下的证书验证链路
        .add("news-at.zhihu.com", "sha256/f5fNYvDJUKFsO51UowKkyKAlWXZXpaGK6Bah4yX9zmI=")//CN=*.zhihu.com,OU=IT,O=智者四海（北京）技术有限公司,L=北京市,C=CN
        .build();

域名hostname 支持通配符，可以参考 OkHttp CertificatePinner 里面的「Wildcard pattern rules」部分

验证结果
按照 OkHttp 官方指导配置完后，使用 charles 抓包看看还能不能在 Android 7.0 以下系统抓到包。
验证结果，不能抓包，会出现一个报错：

Subscriber onError() : javax.net.ssl.SSLPeerUnverifiedException: Certificate pinning failure!
  Peer certificate chain:
    sha256/dVUJFtUhQtJki5t0/j+hMYzTgtVkETqjsogUuyquPPo=: CN=*.zhihu.com,OU=IT,O=智者四海（北京）技术有限公司,L=北京市,C=CN
    sha256/54ZQa+M6vq6DhdR7DLkc1X6fWmVEZ6wLZaaYwoR4Uvw=: C=NZ,ST=Auckland,L=Auckland,O=XK72 Ltd,OU=https://charlesproxy.com/ssl,CN=Charles Proxy CA (2 十月 2017\, YaodeMacBook-Pro.local)
  Pinned certificates for news-at.zhihu.com:
    sha256/f5fNYvDJUKFsO51UowKkyKAlWXZXpaGK6Bah4yX9zmI=
    sha256/zUIraRNo+4JoAYA7ROeWjARtIoN4rIEbCpfCRQT6N6A=
    sha256/r/mIkG3eEpVdm+u/ko/cwxzOMo1bk4TyHIlByibiA5E=

可以看到现在访问这个链接的认证链是 Peer certificate chain 下面的两个sha256。
「sha256/dVUJFtUhQtJki5t0/j+hMYzTgtVkETqjsogUuyquPPo=」
「sha256/54ZQa+M6vq6DhdR7DLkc1X6fWmVEZ6wLZaaYwoR4Uvw=」
报错的信息里，第二个 sha256 冒号后面，显示这串字符来自我的 charles 公钥。

对比 未使用 和 使用 抓包的报错信息，发现第一个 sha256 都是来自于知乎的公钥，但两个的 sha256 是不一样的。

//未开启抓包
sha256/f5fNYvDJUKFsO51UowKkyKAlWXZXpaGK6Bah4yX9zmI=: CN=*.zhihu.com,OU=IT,O=智者四海（北京）技术有限公司,L=北京市,C=CN
//开启抓包
sha256/dVUJFtUhQtJki5t0/j+hMYzTgtVkETqjsogUuyquPPo=: CN=*.zhihu.com,OU=IT,O=智者四海（北京）技术有限公司,L=北京市,C=CN

一开始我一直以为这一串东西是SSL公钥进行一次hash算法得到的字符串。后面观察后发现不是。
这是两个公钥在不同 「中间证书认证」-「中间证书认证」……「根证书认证」这种认证体系下的一个hash串。
所以如果开启抓包，那么他对应的根证书是 charles 的公钥，得出的第一个来自知乎证书的 sha256 就会有所不同。


warning： 配置信任某个具体证书一定要与服务器开发或运维沟通好，因为如果服务器进行了证书替换而App没有更新到最新证书，App的请求将会失效。如果开启的是全部域名的证书配置，意味着你连应用内升级或者热更新都用不了，绝对是重大事故。

四、还有什么骚操作

上面讲到我们配置到工程代码里的是 网站的公钥（任何人都可以随意下载）
根据HTTPS的原理，公钥和私钥的原理，其实完全可以在代码里配置上开发者的 charles 公钥（只针对某台具体的笔记本，charles 为它生成的一对公钥私钥）。因为没人能根据公钥能破解出对应的私钥。
所以如果在在 app 里配上我们某部电脑 charles 公钥，以后就可以用那个电脑抓正式环境正式域名的请求了。比如工程加上公司的公用开发机的 charles 公钥，或者核心App测试大佬的 charles 公钥。

使用 Android 官方配置信任证书可以这些写

<?xml version="1.0" encoding="utf-8"?>
<network-security-config>

    <!-- 这个是全局的基础的配置 -->
    <base-config cleartextTrafficPermitted="true">
        <trust-anchors>
            <!-- 如果整个base-config都不写，就等于是<certificates src="system" /> -->
            <!-- 这里写全局基础配置，只信任下面某几个证书 -->
            <certificates src="@raw/zhihu" />
            <certificates src="@raw/yao_charles" />
        </trust-anchors>
    </base-config>

    <debug-overrides>
        <trust-anchors>
            <certificates src="user" />
        </trust-anchors>
    </debug-overrides>

</network-security-config>

使用OkHttp的配置的方法，这么写

// 只信任网站对应的证书
CertificatePinner certificatePinner = new CertificatePinner.Builder()
        //正常请求下的证书验证链路
        .add("news-at.zhihu.com", "sha256/f5fNYvDJUKFsO51UowKkyKAlWXZXpaGK6Bah4yX9zmI=")//CN=*.zhihu.com,OU=IT,O=智者四海（北京）技术有限公司,L=北京市,C=CN
        .add("news-at.zhihu.com", "sha256/zUIraRNo+4JoAYA7ROeWjARtIoN4rIEbCpfCRQT6N6A=")//CN=GeoTrust RSA CA 2018,OU=www.digicert.com,O=DigiCert Inc,C=US
        .add("news-at.zhihu.com", "sha256/r/mIkG3eEpVdm+u/ko/cwxzOMo1bk4TyHIlByibiA5E=")//CN=DigiCert Global Root CA,OU=www.digicert.com,O=DigiCert Inc,C=US

        //charles 抓包下的配置
        .add("news-at.zhihu.com", "sha256/dVUJFtUhQtJki5t0/j+hMYzTgtVkETqjsogUuyquPPo=")//CN=*.zhihu.com,OU=IT,O=智者四海（北京）技术有限公司,L=北京市,C=CN
        .add("news-at.zhihu.com", "sha256/54ZQa+M6vq6DhdR7DLkc1X6fWmVEZ6wLZaaYwoR4Uvw=")//C=NZ,ST=Auckland,L=Auckland,O=XK72 Ltd,OU=https://charlesproxy.com/ssl,CN=Charles Proxy CA (2 十月 2017\, YaodeMacBook-Pro.local)
        .build();

——————————————————————————————
附赠一份看过的比较好的 HTTPS 文章《从0到1讲解HTTPS设计流程》，帮助解决95%关于 HTTPS 方面的疑问。