精华内容
下载资源
问答
  • ## 包之后自行观察,得出小视频的抓取逻辑 if 'ixigua' in url : filename = str ( num ) + '.mp4' resp = requests . get ( url = url , headers = headers , stream = True ) with...

    mitmdump可以对接Python脚本,在Python脚本中可以修改请求报文和响应报文。

    在这里插入图片描述

    安装mitmdump

    在命令行模式pip install mitmproxy就可以了

    连接手机

    直接用手机连接电脑的WiFi就可以了
    第一步:手机连接WiFi
    第二步:点击手机WiFi里的代理设置,选择手动设置代理
    第三步:服务器ip填电脑的ip(不知道就在命令行模式下输入ipconfig查看),端口填8080(默认端口)

    ##经过以上三步,你的手机所有的网络请求,响应,都会流经mitmproxy。现在我们没有打开mitmproxy服务,所有手机暂时是上不了网的。

    抓包

    在命令行模式下输入mitmdump就可以启动mitmproxy服务。现在所有手机上的网络请求和响应都会被抓包。

    ##现在手机可以上网了,只要有网络请求和响应,在命令行界面上就会显示出来。

    用Python脚本修改网络请求

    脚本文件保存为 script.py (随便什么文件名都可以,只要是py后缀就可以了)
    接下来编写 script.py

    # 修改请求的话,函数名必须为request,参数必须为flow,不然执行不了。
    # flow就是我们利用mitmproxy抓包抓取下来的请求报文。
    
    def request(flow):
    	flow.request.url = 'http://httpbin.org/get'	
    

    现在启动mitmproxy服务和Python脚本,在命令行界面输入mitmdump -s script.py
    虽然脚本里的函数只有一行代码,但是现在所有的网络请求url都被修改为了 httpbin.org/get 了,可以尝试利用手机浏览器输入任何网站。(如果打开app也是一样的道理,请求被发送到 httpbin.org/get 了,所以你手机里需要上网的app现在是用不了的。)

    如果单单是修改url,有一些网站会拒绝响应。可以利用request函数修改更多的请求报文信息。

    def request(flow):
    	flow.request.headers['user-agent'] = 'Mozilla/5.0 (Windows; U; Windows NT 5.2; en-US) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.108 Safari/537.36 MZBrowser/7.9.6'
    	flow.request.headers['accept'] = '*/*'
    	flow.request.headers['referer'] = 'https://www.qq.com/'
    	flow.request.headers['accept-encoding'] = 'gzip, deflate, br'
    	flow.request.headers['accept-language'] = 'zh-CN,en-US;q=0.8'
    	flow.request.url = 'https://www.qq.com'
    

    抓包工具怎么用,看个人的需求,如果是用来实现爬虫,mitmproxy就和浏览器的开发者工具一样。
    最基本的代码就是:

    import requests
    
    
    def request(flow):
    	## 获取请求的url
    	url = flow.request.url
    	## 获取请求的headers(伪装成由手机发起请求)
    	headers = flow.request.headers
    	data = requests.get(url=url, headers=headers)
    

    至于后面的data怎么处理,看个人需求。

    例子:抓取抖音小视频

    第一步:连接手机
    第二步:写代码
    第三步:mitmdump -s file.py

    import requests
    
    
    ## num变量用来设置文件名
    num = 1
    
    def request(flow):
    	## 获取请求url和headers
    	url = flow.request.url
    	headers = flow.request.headers
    
    	global num
    	## 抓包之后自行观察,得出小视频的抓取逻辑
    	if 'ixigua' in url:
    		filename = str(num) + '.mp4'
    		resp = requests.get(url=url, headers=headers, stream=True)
    		with open(filename, 'wb') as f:
    			f.write(resp.content)
    	num += 1
    
    

    在这里插入图片描述
    或者可以用response方法。效果和用request方法一样。
    其中的区别就是,如果是写request方法,手机app此时还没发送请求到“抖音服务器”(被mitmproxy截取了);
    如果是response方法,此时,“抖音服务器”已经把响应发送回来了,我们mitmproxy截取它的响应报文,这样我们PC端就不需要再发送请求了。直接把响应报文的主体拿来使用。

    ## num变量用来设置文件名
    num = 10000
    
    def response(flow):
    	## 获取请求url
    	url = flow.request.url
    
    	global num
    	## 抓包之后自行观察,得出小视频的抓取逻辑
    	if 'ixigua' in url:
    		filename = str(num) + '.mp4'
    		resp = flow.response
    		with open(filename, 'wb') as f:
    			f.write(resp.content)
    	num += 1
    
    

    一定要注意def request(flow)和def response(flow)的区别
    如果在request方法中,flow.response是没有任何内容返回的,因为此时请求还没有转发出去。

    ## num变量用来设置文件名
    num = 10000
    
    def request(flow): ##注意这一行,把response改为request
    	## 获取请求url
    	url = flow.request.url
    
    	global num
    	## 抓包之后自行观察,得出小视频的抓取逻辑
    	if 'ixigua' in url:
    		filename = str(num) + '.mp4'
    		resp = flow.response  ##注意这一行,request方法中,flow.response是没有内容返回的
    		with open(filename, 'wb') as f:
    			f.write(resp.content)
    	num += 1
    
    

    保存下来的只是一个空文件。

    就这样,动动手指就可以把抖音的小视频下载到电脑上。(这个不算是爬虫,因为没有涉及到自动操作,需要人为地用手指操作手机屏幕,如果需要自动化操作,可以利用Appium)

    如果要下载音乐或者其他什么的,也是一样的原理。音乐的代码就不放出来了,因为涉及到版权的问题。

    由于Windows中不能使用mitmproxy,只能用mitmdump,(虽然在抓包功能上是一样的,但是在命令行界面看mitmdump真的看得头晕)可以使用charles来抓包来进行分析,charles配置连接手机的方法也是一样的。
    (Android系统和IOS系统是一样的)
    1.下载charles
    2.PC端下载charles证书(然后把设置为“受信任的根证书)
    3.在移动端(手机)下载charles证书
    4.在移动端连接局域网(再手动设置IP,端口)

    在charles中,当有流量经过的时候,Host会高亮显示,如下图黄色的,分析起来比较方便。
    在这里插入图片描述
    分析完之后,用mitmdump来对接python脚本,最终就可以实现把移动端的数据,手动抓取到PC端了。

    展开全文
  • //了一张图,相机的api //这个信息头,用来查看信息的可以不写 smart_ptr<BITMAPINFOHEADER> header = pCollection->getBitmapInfoHeader(); //获取内存缓冲区集合得指针 smart_ptr<MemBuffer> membuf = ...

    上一篇介绍了映美相机怎么获取缓冲区,这一片说一下opencv获取图片的方式,大家多多评论交流啊~

    上一篇博客的链接:https://mp.csdn.net/postedit/84642949

    开始正文:

    #include <opencv2/opencv.hpp>
    #include <opencv2/core/core.hpp>
    #include <opencv2/highgui/highgui.hpp>
    #include <opencv2/imgproc/imgproc.hpp>
    
    using namespace DShowLib;
    using namespace cv;
    using namespace _DSHOWLIB_NAMESPACE;
    
    //把我上一篇博客中的缓冲区数组大小改成1,就是这个
    
    BYTE* pBuf[1];
    
    //可能新手到这里有点晕了,其实思路就是把上一篇博客的创建Grabber实例,创建缓冲区,创建抓取器等操作//放在while循环的外面,死循环while(1)里面就是不断的抓图,并用Mat将缓冲区转为图片
    
    cv::namedWindow("camera", cv::WINDOW_GUI_NORMAL);//设置窗口可以改变大小
    
    while (1) {
        pSink->snapImages(1);//抓了一张图,相机的api
        //这个信息头,用来查看信息的可以不写
        smart_ptr<BITMAPINFOHEADER> header = pCollection->getBitmapInfoHeader();
        //获取内存缓冲区集合得指针
        smart_ptr<MemBuffer> membuf = pCollection->getBuffer(0);
        //得到uchar*类型的指针,BYTE就是 uchar* 的别名,映美相机自己定义的
        byte = membuf->getPtr();
        //这里要重点注意一下,一定要和相机的通道、像素一致,要不然会爆炸的!!!
        Mat tmp(1944, 2592, CV_8UC1, byte);
            imshow("camera", tmp);
            waitKey(25);
     }

     

    展开全文
  • 手机包是一名测试工程师常备的技能,比如我想查看一个接口请求的参数、返回值,还有移动设备上的http请求、https请求,这一次的背景是我们想要在app端和小...使用方式上大同小异)来进行视频接口与地址的包和...

    原文转载自「刘悦的技术博客」https://v3u.cn/a_id_118

    手机抓包是一名测试工程师常备的技能,比如我想查看一个接口请求的参数、返回值,还有移动设备上的http请求、https请求,这一次的背景是我们想要在app端和小程序端抓取一些视频,这里用腾讯视频作为例子,使用mac系统的Charles软件(有点类似win系统中的fiddler,使用方式上大同小异)来进行视频接口与地址的抓包和嗅探。

    同时抓包工具也有利于线上生产环境问题的分析,前几天有个做服务端的同学跟我说他不用抓包工具,遇到问题直接debug代码,那我问他,如果线上服务的话,你怎么调?在实际项目中,没有遇到跟客户端相互扯皮的事情吗?客户端说他没问题,服务端也说他没问题,到底谁有问题?这时候没必要相互推脱,拿数据出来说话才是王道。抓包工具做了什么?它把客户端的请求数据,以及服务端返回的数据完完整整的抓取下来,供攻城狮分析问题。所以首先分析问题才是最重要的,而不是一上来就跟踪代码debug

    Charles是一个HTTP代理服务器,HTTP监视器,反转代理服务器,当浏览器连接Charles的代理访问互联网时,Charles可以监控浏览器发送和接收的所有数据。它允许一个开发者查看所有连接互联网的HTTP通信,这些包括request, response和HTTP headers (包含cookies与caching信息)

    首先安装Charles,直接去官网下载即可https://www.charlesproxy.com/latest-release/download.do 最新版本号是4.5.1,值得一提的是Charles也支持64位的win系统

    安装好后,打开Charles,在菜单中打开代理

    这样,Charles就在本地直接起了一个代理服务,默认端口号是8888

    此时打开命令行,输入ifconfig(win下输入ipconfig),查看本机的局域网ip地址

    将你的手机和电脑连入到统一局域网内,然后设置wifi连接的高级设置,将刚刚的本机ip地址和端口号填入到代理设置内

    这时,手机端的一切网络请求就都可以在电脑端的Charles界面中展示出来了

    在手机端打开腾讯视频app或者腾讯视频小程序,随便点开一个视频

    我们看到包括视频地址的一切请求都一览无遗,将地址复制到浏览器中查看

    这样我们就获取了手机端播放的视频,随后我们直接可以通过命令或者写python脚本下载到本地,这里我们使用linux命令wget

    wget http://ugcws.video.gtimg.com/uwMROfz2r5zEYaQXGdGnC2dfDmZ8QagOBRrURGecmSBtB5p6/u0851ed5e06.mp4?vkey=2F247F5C2A6500312D6F6B52E65F53DC4770569E7A9710825CEA1DC8A0E99927E68B68C5C83D12E503C70DB9FDE136B95AD4FBA7C169FF1E334F8584173754F9E76E83D5A5A4E4D5CA182AA0E0C478B59C2AEAFBEEFF14CB2531CF18881741B1CEA42BACB9150D485459FA19B14D194D85A3EE1F34E61433
    

    视频已经下载到了本地,可以随时播放

    需要注意的点:

    1、当我们不抓包的时候,会将Charles关闭,这时候你的手机是访问不到网络的,因为设置了代理(就是Charles),这时候需要将Android手机中的代理关闭,这个是抓包时经常犯的错。

    2、Charles抓取,必须保持电脑端和手机端连接的wifi,是在同一个网络环境下。

    原文转载自「刘悦的技术博客」 https://v3u.cn/a_id_118

    展开全文
  • WFD包及视频提取

    2020-02-22 16:05:43
    WFD包及视频提取 一、手动抓取tcpdump数据包信息步骤如下: 1、使用USED版本,USB连接测试和PC 2、adb root–》adb disable-verity–>重启手机–》重启后执行adb root–>adb remount 挂载成功–>adb ...

    WFD抓包及视频提取

    一、手动抓取tcpdump数据包信息步骤如下:
    1、使用USED版本,USB连接测试机和PC
    2、adb root–》adb disable-verity–>重启手机–》重启后执行adb root–>adb remount 挂载成功–>adb shell
    3、然后在adb shell中执行命令 tcpdump -i p2p0 -w sdcard/XXX自定义的文件名.cap 进行tcpdump数据包抓取不要断开,然后进行投屏操作
    4、出现花屏后,导出手机里刚才抓取到的“XXX自定义的文件名.cap” tcpdump文件 并记录问题发生时间点

    二、数据包中视频提取

    1. 选择wireshark Version 1.2.15(新的版本不支持选择保存文件的类型)
    2. 打开TCP dump 文件
    3. 根据时间戳选中较早的 UDP 报文或者 RTSP报文
    4. 选择 菜单“Analyze -> Decode As",选中RTP数据类型
    5. 选择菜单 “Telephony -> RTP -> Stream Analyze”,此步完成后可以看到RTP数据包丢包率,延迟等信息报告
    6. 选择“Save payload” 保存成 xxx.ts文件,就可以播放该视频了。
    展开全文
  • 所以录制了这个视频,方便大家通过本使用wireshark直接查看IOL之间传输的包 视频中用到的ssh.exe我已经上传到网盘 wireshark可以去官方网站下载portable的版本 视频最后忘了录制关闭远程包脚本,这边文字描述...
  • Fildder手机

    2018-04-26 16:01:11
    Fiddler的基本介绍 Fiddler的官方网站: www.fiddler2.com  Fiddler官方网站提供了大量的帮助文档和视频教程, 这是学习Fiddler的最好资料。 Fiddler是最强大最好用的Web调试工具之一,它能记录所有客户端和...
  • Android手机网络包分析

    千次阅读 2018-03-15 15:11:23
    背景:手机访问资源速度慢,造成视频播放卡顿 目的:学会常用简单有效的网络包分析 平台:android手机(已root),tcpdump工具,wirehark 操作步骤:  1.adb push tcpdump到/data/local 目录    2.运行...
  • Python 爬虫——抖音App视频抓

    千次阅读 2019-01-22 00:28:33
    APP包 前面我们了解了一些关于 Python 爬虫的知识,不过都是基于 PC 端浏览器网页中的内容进行爬取。现在手机 App 用的越来越多,而且很多也没有网页端,比如抖音就没有网页版,那么上面的视频就没法批量抓取了吗...
  • 皮皮虾视频抓包去水印教程原理

    千次阅读 2020-05-17 14:13:28
    我觉得大家如果点进来了大多数都是会配置手机端包和使用的,废话我就不多说了。 首先打开手机上的皮皮虾APP 随便找一个视频 这时候我们放到浏览器打开 我这个复制的短链是https://h5.pipix.com/s/Ceo5vU/ 在...
  • 上一篇介绍了包软件的使用: Fiddler+夜神模拟器+xposed+justTrustMe手机包 这一篇介绍下对抖音里**“喜欢”**的视频,也就是点了红心的视频列表接口的一些分析。 1.根据上一篇的包软件介绍,我们先模拟器上...
  • 线上娃娃需求最近线上娃娃的项目火爆了,陆陆续续几十款线上娃娃上架,还有一大波正在开发上线中,各大视频云提供商都在蹭热度发布自己的线上娃娃方案,综合了一下,目前线上娃娃视频需求无非...
  • 远程娃娃目前市面上娃娃的方案有很多种。核心的技术流程就是实现远程直播加上对娃娃手臂的远程操作。其中最主要的技术还是视频直播方案,需要低延时,视频秒开等流媒体技术。最简单的直播方案视频直播方案包括...
  • 前言: 作为一个移动开发者,在进行移动开发时,很多时候会出现应用在电脑上和在移动设备上运行效果不一样,这个时候为了弄清楚什么问题,就...Fiddler官方网站提供了大量的帮助文档和视频教程,这是学习Fiddler的最
  • (一)Wireshark 包解析出视频流ts

    万次阅读 2016-02-05 10:35:13
    这里简单介绍下Wireshark(WS)解析出视频流的方法,其他过滤方法可以百度搜到更具体的。打开一个网络封包,一般是*.pcap 或者*.cap,包方式多样,若在嵌入式设备上面包,可以用工具TCPDUMP这个工具;若是...
  • 远程娃娃直播娃娃技术方案

    千次阅读 2017-11-19 21:21:48
    远程娃娃目前市面上娃娃的方案有很多种。核心的技术流程就是实现远程直播加上对娃娃手臂的远程操作。其中最主要的技术还是视频直播方案,需要低延时,视频秒开等流媒体技术。最简单的直播方案视频直播方案包括...
  • 安卓客户端ADB 包步骤: 打开客户端播放器开关;打开app进入:【我的】页面—滑动到页面底部,点击【我的设置】,连续10次点击【设备信息】进入设置页面,勾线【播放器日志】,再次返回首页,就可以包了(切记...
  • 利用tcpdump对安卓顶盒进行

    千次阅读 2018-03-07 15:51:48
    最近遇到一个问题,详情如下:同一台安卓顶盒(海思芯片 Android4.4)在同一楼层的不同位置播放同一个视频流,结果一个能播放另一个不能播放。最终原因:不能播放的区域网络物理链路不一样,符合防火墙的规则,...
  • 手机用 Http Canary 包有个问题,打开Http Canary包之前app能正常播放视频 开Http Canary之后app就黑屏怎么办?</p>
  • 在本地使用EasyNVR或者EasyGBS视频直播平台时,如果需要分析视频直播中的数据,采用wireshark是无法抓取到本地的网络包进行分析的,那么如何使用wireshark进行本地包?本文和大家分享一个方法。 先在本地机器使用...
  • 钉钉直播回放下载解决方案 要开学了再写这些是不是... 方案二——迫不得已(手机包+电脑下载) 不要怕,你只需要: 准备 开始 如果你有好奇心 首先在手机上操作(描述起来很麻烦,其实非常简单!)
  • 最近线上娃娃的项目火爆了,陆陆续续几十款线上娃娃上架,还有一大波正在开发上线中,各大视频云提供商都在蹭热度发布自己的线上娃娃方案,综合了一下,目前线上娃娃视频需求无非就是稳定的低延时...

空空如也

空空如也

1 2 3 4 5 ... 15
收藏数 290
精华内容 116
关键字:

抓抓机视频