精华内容
下载资源
问答
  • 文章目录绪论.类库的引入二.定义过滤规则三.图片的保存与提取四.完成爬取 1.学习老师的云开发可以加老师微信:JL1714873054获取课程。 2.0基础入门微信小程序可以加老师微信:JL1714873054获取课程。 3.微信小...


    1.学习老师的云开发可以加老师微信:JL1714873054获取课程。

    在这里插入图片描述
    2.0基础入门微信小程序可以加老师微信:JL1714873054获取课程。
    在这里插入图片描述
    3.微信小程序高级知识学习可以加老师微信:JL1714873054获取课程。
    在这里插入图片描述
    4.C语言0基础入门学习可以加老师微信:JL1714873054获取课程。
    在这里插入图片描述
    5.手机app开发入门学习可以加老师微信:JL1714873054获取课程。
    在这里插入图片描述

    课程特色:

    1. 配套笔记
    2. 项目视频
    3. 不懂的地方可以随时咨询老师
    4. 配套错误解决方案
    5. 咨询运维方案

    绪论

                这节课给大家讲解关于python爬虫的内容。python的强大之处在于它的三方类库。我们今天要实现的目标就是爬取昵图网上的图片以及该网站的源代码


    一.类库的引入

                我们在这里要用到的类库是requestsre.首先定义要爬取的地址:

    url='http://www.nipic.com/photo/jingguan/ziran/index.html'
    

    将爬取的网站源码存到变量data中:

    data = requests.get(url).text
    

    并做打印处理:

    print("网站源码", data)
    

    我们在爬取源代码和打印上就算大功告成了,代码量很少。

    二.定义过滤规则

    定义规则采取的是正则表达式,筛选出有图片格式的数据文件。
    【不懂正则表达??】------->点击传送门《正则表达有关知识概念
    首先观察我们要爬取的网站图片信息,图片属于.jpg
    在这里插入图片描述
    我们最后的过滤条件就是

    r'data-src="(.*?.jpg)"'
    

    接着创建一个pa模板,使其符合匹配的网址,进行过滤:

    pa = re.compile(regex) 
    

    findall 方法找到data中所有的符合pa的对象,添加到re中并返回

    ma = re.findall(pa, data) 
    

    三.图片的保存与提取

    图片被我们存到了ma中,接下来就是进行提取了,我们用一个for循环就可以搞定

    i=0
    for image in ma:
        i += 1
    

    利用我们之前引入的类库进行提取:

    image = requests.get(image).content
    

    在本地项目新建存储图片的文件夹imgs,将抓包爬取到的图片存储到我们的文件夹中

    with open('imgs/' + str(i) + '.jpg', 'wb') as f:
    

    四.完成爬取

    在这里插入图片描述

    展开全文
  • Mac Charles抓包配置

    2019-11-23 21:30:41
    Mac Charles抓包配置 1.基本安装 直接在官网下载,需要破解的同学可以使用这个,我也是借花献佛,这样你可以时刻来抓包了, Registered Name: https://zhile.io License Key: 48891cf209c6d32bf4 找不到在哪设置...

    Mac Charles抓包配置

    1.基本安装

    直接在官网下载,需要破解的同学可以使用这个,我也是借花献佛,这样你可以时刻来抓包了,
    Registered Name: https://zhile.io
    License Key: 48891cf209c6d32bf4
    找不到在哪设置license的同学看下图:
    在这里插入图片描述

    2 CA证书安装

    在这里插入图片描述
    点击安装后,会自动打开钥匙串,一定要记住进入钥匙串,点击Charles的证书,设置信任,具体如图:
    在这里插入图片描述

    3下边就是如何坑中的秘诀了

    1.在Mac上已经安装了charles但是抓不到任何包,请检查一下几点:
    (1)检查你的网络–高级设置–代理–自动发现代理,自动代理设置统统取消勾选
    (2)查看Charles --proxy—proxy settings端口号及下方的socket的勾选是否勾上,具体如图:
    在这里插入图片描述
    #如何配置乱码
    1.只确认一个地方是否配置,ssl proxyings 没有的同学参考图:
    在这里插入图片描述
    在这里插入图片描述

    如何抓取手机应用的包,其实就是两步

    第一步要保证,你的手机和电脑在同一网段,同一端口号,这个测试的同学肯定知道,我就不废话了,
    快速查看电脑IP及在手机如何安装证书的方法如图
    在这里插入图片描述
    在这里插入图片描述
    第二部证书安装
    直接在手机safari浏览器,其他的浏览器都行,输入:chls.pro/ssl点击enter,下载,下载成功后记得进入iOS手机通用–描述文件与设备管理–进入就能看到你刚才下载的证书了,然后直接点击信任,
    在这个是用一个坑,不管是android还是iOS手机,在点击信任的时候为了安全都需要校验你的手机有没有密码,没有的同学提前设置一个密码,不然会失败,点击信任你就可以完美的的获取到手机app的数据

    撤销:Ctrl/Command + Z
    重做:Ctrl/Command + Y
    加粗:Ctrl/Command + B
    斜体:Ctrl/Command + I
    标题:Ctrl/Command + Shift + H
    无序列表:Ctrl/Command + Shift + U
    有序列表:Ctrl/Command + Shift + O
    检查列表:Ctrl/Command + Shift + C
    插入代码:Ctrl/Command + Shift + K
    插入链接:Ctrl/Command + Shift + L
    插入图片:Ctrl/Command + Shift + G
    查找:Ctrl/Command + F
    替换:Ctrl/Command + G

    最后就是方便查看一个请求能够同时看到request和response,这个的设置位置如图,同学们

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    展开全文
  • Fiddler是款非常流行并且实用的http抓包工具,它的原理是在本机开启了个http的DL服务器,然后它会转发所有的http请求和响应,因此,它比一般的firebug或者是chrome自带的抓包工具要好用的多。不仅如此,它还可以...

    客户端与服务器端

    CydiaSubstrate框架

    Frida Native层HOOK

    Frida hook Java层

    需要相关资料的朋友,可以【加入此处即可打包获取】

    一:抓包工具概述

    http/https
    fiddler/burpsuite/charels

    socket/tcp
    抓网卡
    wireshark/sniffer
    防止DL
    小米wifi+wpe

    二:fiddler安装及环境配置

    (1)fiddler工具介绍

    Fiddler是一款非常流行并且实用的http抓包工具,它的原理是在本机开启了一个http的DL服务器,然后它会转发所有的http请求和响应,因此,它比一般的firebug或者是chrome自带的抓包工具要好用的多。不仅如此,它还可以支持请求重放等一些高级功能。显然它是可以支持对手机应用进行http抓包的。本文就来介绍下如何用fiddler对手机应用来抓包。

    fiddler工具安装非常简单,这里就不说了。

    fiddler工具抓包环境配置。

    (2)启动Fiddler,打开菜单栏中的 Tools > Fiddler Options,打开“Fiddler Options”对话框。

    在这里插入图片描述

    (3)在Fiddler Options”对话框切换到“Connections”选项卡,然后勾选“Allow romote computers to connect”后面的复选框,然后点击“OK”按钮。

    在这里插入图片描述

    (4)在本机命令行输入:ipconfig,找到本机的ip地址。

    在这里插入图片描述

    (5)打开android设备的“设置”->“WLAN”,找到你要连接的网络,在上面长按,然后选择“修改网络”,弹出网络设置对话框,然后勾选“显示高级选项”。

    在这里插入图片描述

    (6)在“DL”后面的输入框选择“手动”,在“DL服务器主机名”后面的输入框输入电脑的ip地址,在“DL服务器端口”后面的输入框输入8888,然后点击“保存”按钮。

    在这里插入图片描述

    (7)然后启动android设备中的浏览器,访问百度的首页,在fiddler中可以看到完成的请求和响应数据。

    在这里插入图片描述

    (8)抓不到包原因

    • ①如网游副本,有的就是没有包。
    • ②fiddler只能抓HTTP/HTTPS,如果是socket抓不到的。
    • ③在动态调试时,没有走到发包的地方。

    三:burpsuite

    (1)burpsuite工具介绍

    BurpSuite是一款基于java开发的抓包工具,能够抓取http/https/websocket协议的数据包。

    burpsuite工具安装非常简单,这里就不说了。

    burpsuite工具抓包环境配置。

    (2)启动burpsuite,简单介绍的来介绍一下burpsuite工具的菜单
    栏。

    在这里插入图片描述

    Target(目标):显示目标目录结构的的一个功能

    Proxy(DL):是一个拦截HTTP/S的DL服务器(抓包),作为一个在浏览器和目标应用程序之间的中间人,允许你拦截,查看,修改在两个方向上的原始数据流。

    Spider(爬虫):是一个应用智能感应的网络爬虫,它能完整的枚举应用程序的内容和功能。

    Scanner(扫描器)[仅限专业版]:是一个高级的工具,执行后,它能自动地发现web 应用程序的安全漏洞。

    lntruder(入侵):是一个定制的高度可配置的工具,对web应用程序进行自动化攻击,如:枚举标识符,收集有用的数据,以及使用fuzzing 技术探测常规漏洞。

    Repeater(中继器):是一个靠手动操作来补发单独的HTTP 请求,并分析应用程序响应的工具。

    Sequencer(会话):是一个用来分析那些不可预知的应用程序会话令牌和重要数据项的随机性的工具。

    Decoder(解码器):是一个进行手动执行或对应用程序数据者智能解码编码的工具。

    Comparer(对比):是一个实用的工具,通常是通过一些相关的请求和响应得到两项数据的一个可视化的“差异”。

    Extender(扩展):可以让你加载Burp Suite的扩展,使用你自己的或第三方代码来扩展Burp Suit的功能。

    (3)Proxy模块

    Intercept选项
    在这里插入图片描述

    Forward:用于发送数据。当把所需要的HTTP请求编辑编辑完成后,手 动发送数据。

    Drop:将该请求包丢弃。

    Intercept is off/on:拦截开关。当处于off状态下时,BurpSuite会 自动转发所拦截的所有请求;当处于on状态下时,BurpSuite会将所有 拦截所有符合规则的请求并将它显示出来等待编辑或其他操作。

    Action:功能菜单,与右键菜单内容相同,在这可以将请求包发送到其 他的模块或者对数据包进行其他的操作。

    HTTP hisstory选项

    #(请求索引号)、Host(主机)、Method(请求方式)、URL(请求地址)、

    Params(参数)、Edited(编辑)、Status(状态)、

    Length(响应字 节长度)、MIME type(响应的MLME类型)、

    Extension(地址文件扩展名)、Title(页面标题)、Comment(注释)、

    SSL、IP(目标IP地址)、Cookies、Time(发出请求时间)、

    Listener port(监听端口)。

    在这里插入图片描述

    WebSockets history选项

    这个版块用于记录WebSockets的数据包,是HTML5中最强大的通信功能, 定义了一个全双工的通信信道,只需Web上的一个 Socket即可进行通 信,能减少不必要的网络流量并降低网络延迟。

    在这里插入图片描述

    Options选项

    DL侦听器是侦听从您的浏览器传入的连接本地HTTPDL服务器。它允许您监视和拦截所有的请求和响应,并且位于BurpProxy的工作流的心脏。默认情况下,Burp默认监挺127.0.0.1地址,端口8080。要使用这个监听器,你需要配置你的浏览器使用127.0.0.1:8080作为DL服务器。此默认监听器是必需的测试几乎所有的基于浏览器的所有Web应用程序。

    在这里插入图片描述

    add:添加一个新的DL地址。

    binding:新建一个DL,bind to port-绑定端口号,bind to address -绑定ip地址。

    request hadning:这些设置包括选项来控制是否BurpSuite重定向通过此侦听器接收到的请求:

    • Redirect to host -如果配置了这个选项,Burp会在每次请求转发到指定的主机,而不必受限于览器所请求的目标。需要注意的是,如果你正使用该选项,则可能需要配置匹配 /替换规则重写的主机中的请求,如果服务器中,您重定向 请求预期,不同于由浏览器发送一个主机头。

    -Redirect to port - 如果配置了这个选项,Burp会在每次请求转发到指定的端口,而不必受限于浏览。

    -Force use of SSL - 如果配置了这个选项,Burp会使用HTTPS在所有向外的连接,即使传入的请求中使用普通的HTTP。您 可以使用此选项,在与SSL相关的响应修改选项结合,开展sslstrip般的攻击使用Burp,其中,强制执行HTTPS的应用程序可以降级为普通的HTTP的受害用户的流量在不知不 觉中通过BurpProxyDL。

    Certificate:这些设置控制呈现给客户端的SSL服务器的SSL证书。

    Generate CA-signed per-host certificate-这是默认选项。安装后,BurpSuite创造了一个独特的自签名的证书颁发机构(CA)证书,并将此计算机上使用,每次BurpSuite运行。当你的浏览器发出SSL连接到指定的主机,Burp产生该主机,通过CA证书签名的SSL证书。您可以安装BurpSuite的CA证书作为在浏览器中受信任的根,从而使每个主机的证书被接受,没有任何警报。您还可以导出其他工具或Burp的其他实例使用CA证书。

    Generate a CA-signed certificate with a specific hostname-这类似于前面的选项;然而,Burp会产生一个单一的主机证书与每一个SSL连接使用,使用您指定的主机名。在进行无形的DL时,此选项有时是必要的,因为客户端没有发送连接请求,因此Burp不能确定SSL协议所需的主机名。你也可以安装BurpSuite的CA证书作为受信任的根。

    Use a custom certificate-此选项使您可以加载一个特定的证书(在PKCS#12格式)呈现给你的浏览器。如果应用程序使用它需要特定的服务器证书(例如一个给定序列号或证书链)的客户端应该使用这个选项。

    edit:编辑选中的DL地址。相关选项类似于add,不再叙述。
    remove:删除选中DL地址。

    (3)配置burpsuite抓包环境

    打开burpsuite,切换到Proxy,然后切换到下面的Options选项,然后点击add,然后配置好端口,ip选择本机的ip地址,然后点击ok添加。

    在这里插入图片描述

    将running框勾选上

    在这里插入图片描述

    4)下载burpsuite证书

    在电脑端使用浏览器访问设置的DLip:端口,下载burpsuite证书,比如我上面的ip为192.168.0.119,端口为8080,就访问
    http://192.168.0.119:8080/然后去下载证书。
    点击CA certificate下载burpsuite的证书,保存证书文件。

    )

    (5)安装证书

    找到下载的cacert.der证书文件,选中该文件右键选择“安装证书”选项,之后一路点击“下一步”就安装完成了。安装完成后按“win+R”输入“certmgr.msc ”命令打开证书管理器,找到“中间证书颁发机构”下的“证书”选项,点击打开找到“PortSwigger CA”选项右键“所有任务”=>“导出”,将会弹出证书导出向导对话框,直接点击下一步,选择要导出的证书格式为“DER 编码二进制X.509(.CER)(D)”选项,然后一路点击下一步保存证书文件。这样操作的原因是因为手机上面识别不了burpsuite默认导出的证书格式,要转换一下。

    在这里插入图片描述

    导出之后,将证书放到手机的sd卡中,然后进入手机设置,安全,从 sd卡安装,然后选择放到手机的证书文件,如果手机没有设置锁屏密码, 这里会要求设置手机锁屏密码。不同的手机导入略微有些不同,但是都 是在设置,安全设置里面去导入证书。
    点击从sd卡安装就可以选择sd卡中的证书文件,然后安装了。

    (6)配置DL服务器
    进入手机设置,将手机和wifi连接到同一个路由器上面,然后长按当前连接的wifi,选择修改网络,滑到最下面,勾选显示高级选项,然后选择DL设置为手动DL服务器主机名字填电脑ip,端口填你刚刚设置的端口。然后确定,就设置成功了。具体的操作和fiddler工具是一样的,在这里就不截图了。

    设置好之后便可以抓取https的数据包了。

    上面讲的都是PC端的抓包工具。
    接下来我们来了解一下手机端

    常用的两款抓包工具,HttpCanary和packetcapture。

    四:HttpCanary

    HttpCanary是一款功能强大的HTTP/HTTPS/HTTP2网络包抓取和分析工具,你可以把他看成是移动端的Fiddler或者Charles,但是HttpCanary使用起来更加地简单容易,因为它是专门为移动端设计的!

    最重要的是:无需root权限!无需root权限!无需root权限!

    (1)支持协议
    HTTP1.0, HTTP1.1, HTTP2.0, WebSocket 和 TLS/SSL。

    (2)注入功能
    HttpCanary支持修改请求和响应数据,然后提交到客户端或服务端,也就是注入功能。HttpCanary提供了两种不同的注入模式:静态注入和动态注入。使用这两种模式,可以实现对请求参数,请求/响应头,请求/响应体,响应行的注入。您还可以创建不同需求的注入器,因为静态注入可以支持多个注入器同时工作。

    (3)数据浏览

    • HttpCanary具有多种不同的视图浏览功能。
    • Raw视图:可以查看原始数据;
    • Text视图:以Text的形式查看请求/响应体内容;
    • Hex视图:以Hex的形式查看请求/响应体内容;
    • Json视图:格式化Json字符串,支持节点的展开、关闭和复制等操作;
    • 图片视图:可以预览BPM、PNG、GIF、JPG、WEBP等格式的图片内容;
    • 音频视图:可以播放AAC、WAC、 MP3、OGG、MPEG等格式的音频内容;

    (4)内容总览
    HttpCanary支持浏览一个网络请求的总体概况,包括URL、HTTP协议、HTTP方法、响应码、服务器Host、服务器IP和端口、Content-Type、Keep-Alive、时间信息、数据大小信息等。

    (5) 数据筛选和搜索
    HttpCanary提供了多维度的数据过滤器和搜索功能,比如通过应用、Host、协议、方法、IP、端口、关键词搜索过滤等。

    (6)屏蔽设定
    HttpCanary可以对网络请求的数据发送以及服务器响应进行屏蔽操作,这个功能可以非常方便地帮助开发者进行Reset API的调试。

    (7)插件
    HttpCanary提供了丰富的扩展插件,包括Host屏蔽、Mime-Type屏蔽、图片音频视频下载、请求性能统计、微信定位漂移等。按照设计,开发者还可以开发自己的Plugin集成进HttpCanary中,也可以安装扩展Plugin(功能尚未开放)。

    五:Packet Capture

    Packet Capture 一款依托安卓系统自身V某N来达到免Root抓取数据包的应用程序。

    Packet Capture一个使用SSL网络解密的 捕获数据包/网络嗅探 工具,虽然它的功能并不丰富,但是当你开发一个应用时,却不得不说它是一款强大的工具。

    特点:捕获网络数据包,并记录它们使用中间人技术对SSL解密,无须root权限。

    小结

    1、常用抓包工具的介绍及适用场景。
    2、fiddler工具的安装及抓包环境配置。
    3、burpsuite工具的安装及使用,抓包环境配置、证书安装。
    4、详细介绍了两款常用的手机端抓包工具,HttpCanary和Packet Capture。

    如果你也对安卓逆向感兴趣。可以加入下方的群,大家一起讨论问题,或者扫描下方二维码关注公众号,关注回复 “安卓逆向” 获取免费教程

    安卓逆向交流学习 Q群:876526335
    vx:yijin_LX

    在这里插入图片描述

    展开全文
  • 全网最全fiddler使用教程和fiddler如何抓包(fiddler手机抓包)-笔者亲测: 、前言 抓包工具有很多,比如常用的抓包工具Httpwatch,通用的强大的抓包工具Wireshark.为什么使用fiddler?原因如下: 1.Wireshark...

    全网最全fiddler使用教程和fiddler如何抓包(fiddler手机抓包)-笔者亲测:

    一、前言

    抓包工具有很多,比如常用的抓包工具Httpwatch,通用的强大的抓包工具Wireshark.为什么使用fiddler?原因如下:

    1.Wireshark是通用的抓包工具,但是比较庞大,对于只需要抓取http请求的应用来说,似乎有些大材小用。

    2.Httpwatch也是比较常用的http抓包工具,但是只支持IE和firefox浏览器(其他浏览器可能会有相应的插件),对于想要调试chrome浏览器的http请求,似乎稍显无力

    而Fiddler是一个使用本地 127.0.0.1:8888 的 HTTP 代理,任何能够设置 HTTP 代理为 127.0.0.1:8888 的浏览器和应用程序都可以使用 Fiddler。那么想要精通抓包,首先必须对协议比较了解,所以下面我们首先了解一下协议。

    二、HTTP协议

    1、HTTP协议

    支持客户/服务器模式。简单快速,无连接,无状态。

    HTTP协议:默认端口:80

    HTTPS=HTTP协议+SSL安全传输协议:默认端口443

    2、HTTP协议请求详解

    请求行,请求头,空一行,请求正文

    Accept        指定客户端能够接收的内容类型

    Accept-Charset    浏览器可以接受的字符编码集。

    Accept-Encoding    指定浏览器可以支持的web服务器返回内容压缩编码类型。

    Accept-Language    浏览器可接受的语言

    Cookie        HTTP请求发送时,会把保存在该请求域名下的所有cookie值一起发送给web服务器。

    Content-Length    请求的内容长度

    Content-Type    请求的与实体对应的MIME信息

    Date        请求发送的日期和时间

    Host        指定请求的服务器的域名和端口号

    Referer        先前网页的地址,当前请求网页紧随其后,即来路

    User-Agent    发出请求的用户信息

    3、HTTP协议响应详解

    响应行,响应头,空一行,响应正文

    响应头的信息和请求头很类似,这里不在累述!

    三、Fiddler简介和工作原理

    免费领取Python自动化学习资料  工具,面试宝典面试技巧,加QQ群,785128166,群内还会大佬技术交流

    1.Fiddler简介

    Fiddler是位于客户端和服务器端的HTTP代理。

    目前最常用的http抓包工具之一。功能非常强大,是web调试的利器。

    工作中常用场景:接口调试、接口测试、线上环境调试、判断前后端Bug、mock测试、弱网测试。

    2.Fiddler下载和安装

    Fiddler官网下载地址:https://www.telerik.com/fiddler

    Fiddle证书生成器下载地址:http://www.telerik.com/docs/default-source/fiddler/addons/fiddlercertmaker.exe?sfvrsn=2

    Fiddler安装注意事项:不要安装在有中文和特殊字符的目录

    安装注意事项:不要安装在有中文和特殊字符的目录

    3.Fiddler的工作原理:

    Fiddler是以代理web服务器的形式工作的,它使用代理地址:127.0.0.1,端口:8888。当Fiddler退出的时候它会自动注销,

          关掉Fiddler、谷歌和IE浏览器的代理服务器会自动取消。如果Fiddler非正常退出,因为Fiddler没有自动注销,会造成网页无法访问。解决的办法是重新启动Fiddler。

    四、Fiddler六大块详解

    (1) Fiddler回话列表

    1.请求的ID编号、

    2. http响应状态码、

    3.会话使用的协议、

    4.请求发送到的服务器主机名、

    5.数据包在服务器中的路径和文件、

    6.响应body的字节数。

    7.响应头信息Cache-Control的值、

    8、响应头信息Content-Type的值、

    9.发起请求的本地windows进程、

    10.注释、

    11.自定义备注。

    (2) Fiddler功能页签

    Statistics页签:通过该页签,用户可以通过选择多个会话来得到这几个会话的总的信息统计,比如多个请求传输的字节数。访问页面时选择第一个请求和最后一个请求,可获得整个页面加载所消耗的总体时间。从条形图表中还可以分别出哪些请求耗时最多,从而对页面的访问进行速度性能优化。

    inspectors页签:它提供headers、textview、hexview,Raw等多种方式查看一条http请求的请求和响应,它分为上下两部分:上部分为请求展示,下部分为响应展示。

    AutoResponse页签:它可以抓取在线页面保存到本地进行调试,大大减少了在线调试的困难,可以让我们修改服务器端返回的数据,例如让返回都是404的数据包读取本地文件作为返回内容。

    composer页签:支持手动构建和发送HTTP,HTTPS和FTP请求,我们还可以从回话列表中拖曳回话,把它放到composer选项卡中,当我们点击Execute按钮时则把请求发送到服务器端。

    FiddlerScripts页签:打开Fiddler脚本编辑。

    log页签:打印日志

    Filters页签:过滤器可以对左侧的数据流列表进行过滤,我们可以标记、修改或隐藏某些特征的数据流。

    Timeline页签:时间轴,也称为Fiddler的瀑布图,展示网络请求时间的功能。每个网络请求都会经历域名解析、建立连接、发送请求、接受数据等阶段。把多个请求以时间作为X轴,用图表的形式展现出来,就形成了瀑布图。在左侧会话窗口点击一个或多个回话,Timeline 便会显示指定内容从服务端传输到客户端的时间。

    (3)菜单栏

    File菜单

    1、Capture Traffic:可以控制是否把Fiddler注册为系统代理。

    2、New Viewer:打开一个新的fiddler窗口

    3、Load Archive:用于重新加载之前捕获的以SAZ文件格式保存的数据包。

    4、Save:支持以多种方式把数据包保存到文件中。

    5、Import Sessions...:支持导入从其他工具捕获的数据包,也支持导入以其他格式存储的数据包。

    6、Export Sessions...:把Fiddler捕捉到的回话以多种文件格式保存。

    7、Exit:取消把Fiddler注册为系统代理,并关闭Fiddler。

    Edit菜单

    1、Copy:复制会话。

    2、Remove:删除会话。

    3、Select All:选择所有会话。

    4、Undelete:撤销删除会话。

    5、Paste as Session把剪贴板上的内容粘贴成一个或多个模拟的会话。

    6、Mark:选择一种颜色标记选中会话。

    7、Unlock for Editing 解锁会话。

    8、Find Session...打开Find Session窗口,搜索捕获到的数据包。

    Rules菜单

    1、Hide Image Request:隐藏图片回话。

    2、Hide CONNECTS:隐藏连接通道回话。

    3、Automatic Breakpoints:自动在[请求前]或[响应后]设置断点。Ignore Image触发器控制这些断点是否作用于图片请求。

    4、Customize Rules...:打开Fiddler脚本编辑窗口。

    5、Require Proxy Authentication:,要求客户端安装证书。该规则可以用于测试HTTP客户端,确保所有未提交Proxy-Authorization请求头的请求会返回HTTP/407响应码。

    6、Apply GZIP Encoding:只要请求包含具有gzip标识的Accept-Encoding请求头,就会对所有响应使用GZIP HTTP进行压缩(图片请求除外)。

    7、Remove All Encoding:删除所有请求和响应的HTTP内容编码和传输编码

    8、Hide 304s:隐藏响应为HTTP/304 Not Modified状态的所有回话。

    9、Request Japanese Content:选项会把所有请求的Accept-Encoding请求头设置或替换为ja标识,表示客户端希望响应以日语形式发送。

    10、User-Agents:把所有请求的User-Agent请求头设置或替换成指定值。

    11、performance:模拟弱网测试速度。

    Tools菜单

    1、Options...:打开Fiddler选项窗口。

    2、WinINET Options...打开IE的Internet属性窗口

    3、Clear WinINET Cache:清空IE和其他应用中所使用的WinINET缓存中的所有文件。4、Clear WinINET Cookies:清空IE和其他应用中所发送的WinINET Cookie

    5、TextWizard...:选项会启动TextWizard窗口,对文本进行编码和解码。

    6、Compare Session:比较回话。

    7、Reset Script:重置Fiddler脚本。

    8、Sandbox:打开http://webdbg.com/sandbox/

    9、View IE Cache:打开IE缓存窗口。

    View菜单

    1、Show Toolbar:控制Fiddler工具栏是否可见

    2、Default Layout、Stacked Layout、Wide Layout三种界面布局

    3、Minimize to Tray:最小化Fiddler到系统托盘(快捷键:CTRL+M )

    4、Squish Session List:控制回话列表是否水平收缩。

    5、AutoScroll Session list:添加新的回话时,自动滚动到回话列表底部

    (4)工具栏详解:

    1.备注功能

    2.重新发送请求,快捷键:R键。

    3.删除请求

    4.当有请求前断点时,点击去发送请求。

    5.流模式。(默认是缓冲模式)

    6.解码

    7.保持回话的数量。

    8.选择你想要抓包或者监听的程序

    9.查找

    10.保存所有会话,文件名以.saz为扩展名

    11.截图

    12.计时器

    13.快捷的打开IE浏览器

    14.清除IE缓存

    15.文本的编码解码工具

    16.分离面板

    17.MSDN查询

    18.本机的信息

    (5)状态栏详解:

    1、显示的Fiddler是否处于捕捉状态(开启/关闭状态),可以点击该区域切换。

    2、显示当前捕捉哪些进程。

    All Processes 捕获所有进程的请求

    Web Browsers  捕获 Web 浏览器的请求,应该特指 IE

    Non-Browser   捕获非 Web 浏览器的请求

    Hide All      隐藏所有请求

    3、显示当前断点设置状态,通过鼠标点击切换。有三种:

    不设置断点

    所有请求在断点处被暂停

    所有响应在断点处被暂停

    4,显示当前共捕获了多少回话(如:300,表示共捕获了300个会话,如:10/300,表示当前选择10个会话,共捕获300个会话)。

    5,第五区块,描述当前状态。

    如果是刚打开Fiddler,会显示什么时间加载了CustomRules.js;如果选择了一个会话,会显示该会话的URL;如果在命令行输入一个命令,就会显示命令相关信息。

    (6)Fiddler命令行可以输入命令操作回话列表,常见命令有:

    help       打开官方的使用页面介绍,所有的命令都会列出来。

    cls         清屏 (Ctrl+x 也可以清屏)

    select    选择所有相应类型的回话(如select image或select?css)。

    ?sometext 查找字符串并高亮显示查找到的会话。

    >size     选择请求响应大小小于size字节的会话。

    =status/=method/@host 查找状态、方法、主机相对应的会话

    1uit        退出fiddler

    bpafter?xxx 中断URL包含指定字符的全部回话响应

    bps?xxx     中断HTTP响应状态为指定字符的全部回话响应。

    bpv?xxx     中断指定请求方式的全部回话响应

    bpm?xxx     中断指定请求方式的全部回话响应。等同于bpv?xxx

    bpu?xxx:    与bpafter类似。

    五、Fiddler过滤器

    选择Filters页签,勾选use Filters使用过滤器。

    Fiddler过滤指定域名

    1.第二个下拉框[-No Host Filter-]选择[Show Only The Following Hosts]只显示过滤的域名。

    2.如只监控百度,在下面的输入框里填上:www.baidu.com

    Fiddler过滤指定路径

    1.勾选 Request Headers 中的[show only if URL contains]。

    2.勾选Request Headers中的【Show only if URL contains】输入正则:REGEX:(?insx).*\.?baidu.com/home.*

    只显示路径为:baidu.com/Home  的数据包。

    Fiddler过滤指定文件格式

    1.勾选Request Headers中的【Hide if url contains】过滤项,

    2.在后面输入:REGEX:(?insx)/[^\?/]*\.(css|ico|jpg|png|gif|bmp|wav|js)(\?.*)?$

    六、Fiddler 对于WEB项目的抓包和改包项目实战

    免费领取Python自动化学习资料  工具,面试宝典面试技巧,加QQ群,785128166,群内还会大佬技术交流

    打开Fidder会自动抓包,如果想要改包的话则在AutoResponder页签,如下图:如果你对此文有任何疑问,如果你也需要接口项目实战,如果你对软件测试、接口测试、自动化测试、面试经验交流感兴趣欢迎加入:软件测试技术群:695458161,群里的免费资料都是笔者十多年测试生涯的精华。还有同行大神一起交流技术哦。

    七、Fiddler弱网测试

    Fiddler应用-弱网测试

    1、Rules->Customize Rules打开Fiddle脚本编辑器(第二种也可以点击页签:FiddlerScript)。找到如下代码:

    if (m_SimulateModem) {

    // Delay sends by 300ms per KB uploaded.       上行每发送1KB延迟300ms

    oSession["request-trickle-delay"] = "300";

    // Delay receives by 150ms per KB downloaded.  下行每接收1KB延迟150ms

    oSession["response-trickle-delay"] = "150";

    }

    1kByte/s=8kbit/s(一般简写为1kB/s=8kb/s)。

    上传带宽=(1 * 8/1000) /0.300 ≈ 0.027Mbps

    下载带宽=(1 * 8/1000) /0.150 ≈ 0.053Mbps

    修改其中的300ms和150ms用于设置上行和下行的延迟速度。并重启Fiddler使设置生效。

    比如你要模拟上传速度100KBps的网络,那上传延迟就是1KB/100KBps=0.01s=10ms,就改成10。

    网络取值的算法就是 1000/速度 = 需要delay的时间(毫秒),比如50kb/s 需要delay200毫秒来接收数据。

    2、Rules->Performance->勾上Simulate Modem Speeds开启模拟调制解调器速度。

    3、通过http://www.speedtest.cn/在线测试网速,看是否生效。访问浏览器查看加载速度。

    八、Fiddler抓取https协议的数据报文和移动端抓包测试

    1、Fiddler设置:菜单栏中选择tools->option,做如下两个设置:

    2.Fiddler应用-抓取基于https协议的数据报文。

    1、清理环境(首次安装Fiddler不需要清理)

    (1)卸载Fiddler软件以及根证书生成器Fiddler2 CertMaker。

    (2)清除C:\Users\Administrator\AppData\Roaming\Microsoft\Crypto\RSA目录下所有的RSA算法文件,此算法文件和非对称公钥密钥加密相关。

    (3)清除电脑上的根证书,WIN+R快捷键,输入: certmgr.msc, 然后回车,查找fiddler证书,然后删除。

    (4)清除浏览器上的证书文件 ,以谷歌浏览器为例说明,在浏览器上输入:chrome://settings/,进入[高级]->[管理证书],有"受信任的根证书颁发机构"列表。此处需要仔细查找带有DO_NOT_TRUST_FiddlerRoot的字样,并删除。

    2、安装并配置Fiddler抓取Https数据报文。

    (1)下载并安装fiddler,官网下载地址:https://www.telerik.com/download/fiddler

    (2)下载并安装Fiddler证书生成器,官网下载地址:http://www.telerik.com/docs/default-source/fiddler/addons/fiddlercertmaker.exe?sfvrsn=2

    (3)打开Fiddler,点击菜单栏中的Tools—>Options,选择HTTPS页签。勾选Decrypt HTTPS CONNECTs(解密https连接),Fiddler证书生成器会自动判断本机是否安装Fiddler证书,没有则弹出如下证书安装页面。点击”Yes”按钮,在新弹出的窗口中再点击”确定”后则Fiddler证书安装完成。接下来Fiddler就可以抓取Https的数据报文。

    3.Fiddler应用-抓取基于https协议的手机报文。

    1、Fiddler抓取手机端的https协议数据报文。

    (1)保持android手机和电脑在同一网段。如连接同一无线。

    (2)打开android手机的“设置”->“WLAN”,找到你要连接的无线网络并点击,弹出网络设置对话框,在“代理”处选择“手动”,在“主机名”输入框后面输入127.0.0.1,在“端口”输入框后面输入8888,然后点击“保存”按钮。

    (3)启动android设备中的浏览器访问百度首页或打开被测App,在fiddler中可以看到抓取到的数据报文了。

    展开全文
  • NC抓包上传

    千次阅读 2014-10-15 20:49:47
     回到抓包软件中来看看抓包结果吧,WSockExper把我刚才的提交过程全记录下来了(图六)  把第三行和第四行复制到文本文件中,注意回车也应复制进去。保存为2.txt(图七)  下面我们来...
  • 2.抓包分析IOS端微信收发的某种数据。 二:实验过程与分析 1.先查看本机的IP地址。 2.打开浏览器准备登录微信网页版。扫码的时候查看抓的包,其中有个DNS数据包询问extshaort.weixin.qq.com的IP地址。
  • 抓包工具

    2011-05-22 00:04:00
    具体包的内容过滤上好像就束手无策了,于是想自己做个,找了一些wincap开发的资料,貌似c#相关的资料不多,找到个却不能调试,于是又找了篇讲c#监控网络流量的文章,改造了一下,做了个命令行抓包工具,因为...
  • 抓包抓出的APP

    千次阅读 2016-12-04 13:09:13
    最近利用晚上的时间,使用Fiddler抓包,把InfoQ、ITEye、CSDN、泡在网上的日子,开源中国,获得了一些数据,然后整理了一下,为了练手做了个小App。先看看成果吧: 抓包我一般也就是使用Fidder,相信很多人都用过...
  • wiresshark抓包

    千次阅读 2018-01-30 14:56:33
    你可以把网络分析工具当成是种用来测量有什么东西从网线上进出的测量工具,就好像使电工用来测量进入电信的电量的电度表一样。(当然比那个更高级) 过去的此类工具要么是过于昂贵,要么是属于某人私有,或者...
  • 网络抓包工具Fiddler详解s

    千次阅读 2016-10-08 16:52:29
    Fiddler是款网络分析工具,功能强大,下边介绍下他里边的工具栏以及他的使用方式。 工具栏介绍: 看下图: 打开以后就是这样个界面。 然后介绍工具栏的选项: File : 里边包含了几个选项 Capture ...
  • 本次实战目标站点:http://fanyi.youdao.com/?keyfrom=fanyi-new.logo,主要利用HTTP间谍抓包插件分析有道翻译反爬机制,该抓包能帮我们过滤掉一些不需要的常规请求如图片,css等。 **1、**首先分析提交翻译请求后...
  • 【爬虫】网页抓包工具--Fiddler--Request和Response 【爬虫】网页抓包工具--Fiddler Fiddler基础知识 Fiddler是强大的抓包工具,它的原理是以web代理服务器的形式...
  • 抓包的同时解析数据包(不能等抓包停止后才解析),可判断IP、TCP或UDP数据包的校验和是否正确;支持BPF过滤器,抓包过程可以暂停和停止;可将数据包存储在pcap文件中,以供wireshark或其它数据...
  • C++抓包软件 纯SDK

    千次阅读 2012-11-25 14:46:51
    最近写了抓包软件,C++写的,VS2008工程 以下是软件的代码及讲解 首先对于主函数, int WINAPI WinMain(HINSTANCE hInstance, HINSTANCE hPrevInstance, LPSTR lpCmdLine, int nShowCmd) { ::hInstance = ...
  • wireshark抓包简单分析

    千次阅读 2019-07-01 15:14:27
    在进行网络分析时往往只需要知道两个节点是不是能够联通,具体的传输信息并不重要,所以抓包的时候可以设置只抓包头,这样就大大减少了数据包的大小,有利于数据分析。 设置方法:Capture(捕获)–>Options...
  • 抓包和破解App接口

    千次阅读 2020-07-25 19:41:35
    文章目录第章 · 起源第二章 · 尝试第三章 · 脱狱第四章 · 柳暗花明第五章 · 终结 第章 · 起源 某日,想做个爬虫工具,爬某个网站上的数据已做实验之用。大家都知道爬pc网页上的数据有几个常见的问题:首先...
  • Google Chrome抓包分析详解

    千次阅读 2021-01-26 12:18:58
    :什么是抓包 即抓取我们本地电脑与远端服务器通信时候所传递的数据包 二:Chrome浏览器讲解 Chrome 开发者工具是一套内置于Google Chrome中的Web开发和调试工具,可用来对网站进行迭代、调试和分析 三:打开...
  • 抓包的时候,如果抓了太多不相干的包,干扰会很大,所以我把图片的包都隐藏了。 打开浏览器,打开http://www.weather.com.cn/,在“城市名称”中输入“上海”,单击查询按钮。 通过Fiddler抓包,会抓到几十个包。 ...
  • 开篇点题 虽然和数据主力关系不大,在学习的过程当中,无意穿插了爬虫的知识,也就有了此篇的抓包分析,感兴趣的...:什么是抓包 即抓取我们本地电脑与远端服务器通信时候所传递的数据包 二:Chrome浏览器讲解...
  • 、HTTP协议 ... 支持客户/服务器模式。... 请求行,请求头,空行,请求正文 Accept 指定客户端能够接收的内容类型 Accept-Charset 浏览器可以接受的字符编码集。 Accept-Encoding 指定浏览器可以支持的w...
  • Google Chrome 抓包工具分析

    千次阅读 2019-04-16 14:42:25
    、什么是抓包 即抓取我们 本地电脑 与 远端服务器 通信时候所传递的 数据包。 二、Chrome浏览器讲解 Chrome 开发者工具是一套内置于 Google Chrome 中的Web开发和调试工具,可用来对网站进行迭代、调试和分析 ...
  • http调试,抓包工具-fiddler

    千次阅读 2015-09-21 10:07:02
    功能 ... 设置断点;...1、 用fiddler http(s)的,保存,回放。 2、 使用fiddler配置host 3、 查看每次请求的IP。 4、 使用fiddler构造请求Post。 5、 使用fiddler中断功能,进行调试跟踪 6、 模拟网
  • 安卓 IOS 抓包工具介绍、下载及配置

    千次阅读 2020-12-22 21:14:00
     在抓包的时候, 配置过程顺利的话, 还行, 但有时候, 搜索了几百遍了教程了, 步骤都对, 但就是抓不到包, 今天来介绍几款手机版的抓包app, 摆脱配置证书, 一键开始抓包 安卓 抓包精灵 功能介绍 款通过VPN抓取和...
  • 本篇文章介绍种通过抓包的形式来获取公众号文章,主要是抓包PC端的微信公众号文章,比较容易上手,只要用过抓包软件一般都不难的。这里使用Fiddler 4抓包软件,很常用的款软件,也满足我们的要求了。 准备工作 -...
  • Python 爬虫、抓包

    千次阅读 2020-05-04 16:16:50
    print(response) 结果仍然是个对象,之后会解释如何变成字符 解析对象 方式: response.text #该方式会出现乱码 获取响应中的字符 以get请求获取字符为例子(post请求相同): 解码格式需要变化:一般网页...
  • 、浏览器控制台抓包 1.打开方式以及常用选项 2.控制台NetWrok 二、Python爬虫中如何通过post发请求 1.Post请求 2.Python中使用post请求 三、有道翻译爬虫程序,通过python伪装翻译(post案例) 1.需求分析 ...
  • 【爬虫】网页抓包工具--Fiddler

    千次阅读 2018-12-19 15:05:59
    【爬虫】网页抓包工具--Fiddler Fiddler基础知识 Fiddler是强大的抓包工具,它的原理是以web代理服务器的形式进行工作的,使用的代理...
  • Fiddler是款C#实现的浏览器抓包和调试工具,Fiddler启动后作为浏览器和服务器之间的代理,从中监测浏览器和服务器之间的http/https级别的网络交互

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 13,181
精华内容 5,272
关键字:

抓包抓的图片是一串代码