tcpdump是一个用于截取网络分组，并输出分组内容的工具，简单说就是数据包抓包工具。tcpdump凭借强大的功能和灵活的截取策略，使其成为Linux系统下用于网络分析和问题排查的首选工具。
tcpdump提供了源代码，公开了接口，因此具备很强的可扩展性，对于网络维护和入侵者都是非常有用的工具。tcpdump存在于基本的Linux系统中，由于它需要将网络界面设置为混杂模式，普通用户不能正常执行，但具备root权限的用户可以直接执行它来获取网络上的信息。因此系统中存在网络分析工具主要不是对本机安全的威胁，而是对网络上的其他计算机的安全存在威胁。 更多的tcpdump  
 
1、常用网口 + IP + 端口抓取方式
 
sudo tcpdump -i eth3 -nq -A -vvv  host 172.16.2.5 and port 8041 -w data.pcap
 
2、对于不出栈的包抓取
 
sudo tcpdump -i lo -nq -A -vvv  port 8041 -w data.pcap
 

 一、概述

 顾名思义，tcpdump可以将网络中传送的数据包的“头”完全截获下来提供分析。它支持针对网络层、协议、主机、网络或端口的过滤，并提供and、or、not等逻辑语句来帮助你去掉无用的信息。

 # tcpdump -vv

 tcpdump: listening on eth0, link-type EN10MB (Ethernet), capture size 96 bytes

 11:53:21.444591 IP (tos 0x10, ttl  64, id 19324, offset 0, flags [DF], proto 6, length: 92) asptest.localdomain.ssh > 192.168.228.244.1858: P 3962132600:3962132652(52) ack 2726525936 win 1266

 asptest.localdomain.1077 > 192.168.228.153.domain: [bad udp cksum 166e!]  325+ PTR? 244.228.168.192.in-addr.arpa. (46)

 11:53:21.446929 IP (tos 0x0, ttl  64, id 42911, offset 0, flags [DF], proto 17, length: 151) 192.168.228.153.domain > asptest.localdomain.1077:  325 NXDomain q: PTR? 244.228.168.192.in-addr.arpa. 0/1/0 ns: 168.192.in-addr.arpa. (123)

 11:53:21.447408 IP (tos 0x10, ttl  64, id 19328, offset 0, flags [DF], proto 6, length: 172) asptest.localdomain.ssh > 192.168.228.244.1858: P 168:300(132) ack 1 win 1266

 347 packets captured

 1474 packets received by filter

 745 packets dropped by kernel

 不带参数的tcpdump会收集网络中所有的信息包头，数据量巨大，必须过滤。

 二、选项介绍

 -A 以ASCII格式打印出所有分组，并将链路层的头最小化。

 -c 在收到指定的数量的分组后，tcpdump就会停止。

 -C 在将一个原始分组写入文件之前，检查文件当前的大小是否超过了参数file_size 中指定的大小。如果超过了指定大小，则关闭当前文件，然后在打开一个新的文件。参数 file_size 的单位是兆字节（是1,000,000字节，而不是1,048,576字节）。

 -d 将匹配信息包的代码以人们能够理解的汇编格式给出。

 -dd 将匹配信息包的代码以c语言程序段的格式给出。

 -ddd 将匹配信息包的代码以十进制的形式给出。

 -D 打印出系统中所有可以用tcpdump截包的网络接口。

 -e 在输出行打印出数据链路层的头部信息。

 -E 用spi@ipaddr algo:secret解密那些以addr作为地址，并且包含了安全参数索引值spi的IPsec ESP分组。

 -f 将外部的Internet地址以数字的形式打印出来。

 -F 从指定的文件中读取表达式，忽略命令行中给出的表达式。

 -i 指定监听的网络接口。

 -l 使标准输出变为缓冲行形式，可以把数据导出到文件。

 -L 列出网络接口的已知数据链路。

 -m 从文件module中导入SMI MIB模块定义。该参数可以被使用多次，以导入多个MIB模块。

 -M 如果tcp报文中存在TCP-MD5选项，则需要用secret作为共享的验证码用于验证TCP-MD5选选项摘要（详情可参考RFC 2385）。

 -b 在数据-链路层上选择协议，包括ip、arp、rarp、ipx都是这一层的。

 -n 不把网络地址转换成名字。

 -nn 直接以IP和端口号显示，而非主机与服务器名称。

 -N 不输出主机名中的域名部分。例如，‘nic.ddn.mil‘只输出’nic‘。

 -t 在输出的每一行不打印时间戳。（－tt   -ttt）

 -O 不运行分组分组匹配（packet-matching）代码优化程序。

 -P 不将网络接口设置成混杂模式。

 -q 快速输出。只输出较少的协议信息。

 -r 从指定的文件中读取包(这些包一般通过-w选项产生)。

 -S 将tcp的序列号以绝对值形式输出，而不是相对值。

 -s 从每个分组中读取最开始的snaplen个字节，而不是默认的68个字节。-s 0表示不限制长度，输出整个包。

 -T 将监听到的包直接解释为指定的类型的报文，常见的类型有rpc远程过程调用）和snmp（简单网络管理协议；）。

 -t 不在每一行中输出时间戳。

 -tt 在每一行中输出非格式化的时间戳。

 -ttt 输出本行和前面一行之间的时间差。

 -tttt 在每一行中输出由date处理的默认格式的时间戳。

 -u 输出未解码的NFS句柄。

 -v 输出一个稍微详细的信息，例如在ip包中可以包括ttl和服务类型的信息。

 -vv 输出更详细的信息。

 -vv 输出详细的报文信息。

 -w 直接将分组写入文件中，而不是不分析并打印出来。 （输出的.pcap文件可以在windows中用wireshark打开，进行进一步分析）

 要让wireshark能分析tcpdump的包，关键的地方是 -s 参数， 还有要为 -w保存输出文件。

 -X 以及-XX，以16进制与ASCII方式输出，即可读方式显示数据包，适合http、memcached ascii等明文传输的协议，可以看到内容；

 三、tcpdump的表达式介绍

 表达式是一个正则表达式，tcpdump利用它作为过滤报文的条件，如果一个报文满足表 达式的条件，则这个报文将会被捕获。如果没有给出任何条件，则网络上所有的信息包 将会被截获。

 在表达式中一般如下几种类型的关键字：

 第一种是关于类型的关键字，主要包括host，net，port，例如 host 210.27.48.2， 指明 210.27.48.2是一台主机，net 202.0.0.0指明202.0.0.0是一个网络地址，port 23 指明端口号是23。如果没有指定类型，缺省的类型是host。

 第二种是确定传输方向的关键字，主要包括src，dst，dst or src，dst and src， 这些关键字指明了传输的方向。举例说明，src 210.27.48.2 ，指明ip包中源地址是 210.27.48.2 ， dst net 202.0.0.0 指明目的网络地址是202.0.0.0。如果没有指明方向关键字，则缺省是src or dst关键字。

 第三种是协议的关键字，主要包括fddi，ip，arp，rarp，tcp，udp等类型。Fddi指明是在FDDI (分布式光纤数据接口网络)上的特定的网络协议，实际上它是”ether”的别名，fddi和ether 具有类似的源地址和目的地址，所以可以将fddi协议包当作ether的包进行处理和分析。 其他的几个关键字就是指明了监听的包的协议内容。如果没有指定任何协议，则tcpdump 将会 监听所有协议的信息包。

 除了这三种类型的关键字之外，其他重要的关键字如下：gateway， broadcast，less， greater， 还有三种逻辑运算，取非运算是 ‘not ‘ ‘! ‘， 与运算是’and’，’&&’;或运算是’or’ ，’||’； 这些关键字可以组合起来构成强大的组合条件来满足人们的需要。

 例：

 tcpdump -i lo -nn -A -s 0 tcp -w /home/open/1.txt  port 3306 and src host 112.142.34.24 and dst host 192.168.1.33

 tcpdump -X -n -s 0 tcp port 8033 -i lo

 tcpdump -A -n -x -s 0 tcp port 7430 and host 192.168.3.143

 tcpdump -x -n -s 0 tcp port 9024 or 9021 or 9023 or 9020

 四、输出结果介绍

 下面我们介绍几种典型的tcpdump命令的输出信息

 (1) 数据链路层头信息

 使用命令：

 #tcpdump --e host ICE

 ICE 是一台装有linux的主机。它的MAC地址是0：90：27：58：AF：1A H219是一台装有Solaris的SUN工作站。它的MAC地址是8：0：20：79：5B：46； 上一条命令的输出结果如下所示：

 21:50:12.847509 eth0 < 8:0:20:79:5b:46 0:90:27:58:af:1a ip 60: h219.33357 > ICE.  telne t 0:0(0) ack 22535 win 8760 (DF)

 21：50：12是显示的时间， 847509是ID号，eth0 <表示从网络接口eth0接收该分组， eth0 >表示从网络接口设备发送分组， 8:0:20:79:5b:46是主机H219的MAC地址， 它表明是从源地址H219发来的分组. 0:90:27:58:af:1a是主机ICE的MAC地址， 表示该分组的目的地址是ICE。 ip 是表明该分组是IP分组，60 是分组的长度， h219.33357 > ICE. telnet 表明该分组是从主机H219的33357端口发往主机ICE的 TELNET(23)端口。 ack 22535 表明对序列号是222535的包进行响应。 win 8760表明发 送窗口的大小是8760。

 (2) ARP包的tcpdump输出信息

 使用命令：

 #tcpdump arp

 得到的输出结果是：

 22:32:42.802509 eth0 > arp who-has route tell ICE (0:90:27:58:af:1a)

 22:32:42.802902 eth0 < arp reply route is-at 0:90:27:12:10:66 (0:90:27:58:af:1a)

 22:32:42是时间戳， 802509是ID号， eth0 >表明从主机发出该分组，arp表明是ARP请求包， who-has route tell ICE表明是主机ICE请求主机route的MAC地址。 0:90:27:58:af:1a是主机 ICE的MAC地址。

 (3) TCP包的输出信息

 用tcpdump捕获的TCP包的一般输出信息是：

 src > dst: flags data-seqno ack window urgent options

 src > dst:表明从源地址到目的地址， flags是TCP报文中的标志信息，S 是SYN标志， F (FIN)， P (PUSH) ， R (RST) “.” (没有标记); data-seqno是报文中的数据 的顺序号， ack是下次期望的顺序号， window是接收缓存的窗口大小， urgent表明 报文中是否有紧急指针。 Options是选项。

 (4) UDP包的输出信息

 用tcpdump捕获的UDP包的一般输出信息是：

 route.port1 > ICE.port2: udp lenth

 UDP十分简单，上面的输出行表明从主机route的port1端口发出的一个UDP报文 到主机ICE的port2端口，类型是UDP， 包的长度是lenth。

 五、举例

 (1) 想要截获所有210.27.48.1 的主机收到的和发出的所有的分组：

 #tcpdump host 210.27.48.1

 (2) 想要截获主机210.27.48.1 和主机210.27.48.2或210.27.48.3的通信，使用命令（注意：括号前的反斜杠是必须的）：

 #tcpdump host 210.27.48.1 and (210.27.48.2 or 210.27.48.3 )

 (3) 如果想要获取主机210.27.48.1除了和主机210.27.48.2之外所有主机通信的ip包，使用命令：

 #tcpdump ip host 210.27.48.1 and ! 210.27.48.2

 (4) 如果想要获取主机192.168.228.246接收或发出的ssh包，并且不转换主机名使用如下命令：

 #tcpdump -nn -n src host 192.168.228.246 and port 22 and tcp

 (5) 获取主机192.168.228.246接收或发出的ssh包，并把mac地址也一同显示：

 # tcpdump -e src host 192.168.228.246 and port 22 and tcp -n -nn

 (6) 过滤的是源主机为192.168.0.1与目的网络为192.168.0.0的报头：

 tcpdump src host 192.168.0.1 and dst net 192.168.0.0/24

 (7) 过滤源主机物理地址为XXX的报头：

 tcpdump ether src 00:50:04:BA:9B and dst……

 （为什么ether src后面没有host或者net？物理地址当然不可能有网络）。

 (8) 过滤源主机192.168.0.1和目的端口不是telnet的报头，并导入到tes.t.txt文件中：

 Tcpdump src host 192.168.0.1 and dst port not telnet -l > test.txt

 ip icmp arp rarp 和 tcp、udp、icmp这些选项等都要放到第一个参数的位置，用来过滤数据报的类型。

 例题：如何使用tcpdump监听来自eth0适配卡且通信协议为port 22，目标来源为192.168.1.100的数据包资料？

 答：tcpdump -i eth0 -nn port 22 and src host 192.168.1.100

 例题：如何使用tcpdump抓取访问eth0适配卡且访问端口为tcp 9080？

 答:tcpdump -i eth0 dst 172.168.70.35 and tcp port 9080

 例题：如何使用tcpdump抓取与主机192.168.43.23或着与主机192.168.43.24通信报文，并且显示在控制台上

 tcpdump -X -s 1024 -i eth0 host (192.168.43.23 or 192.168.43.24) and  host 172.16.70.35
 ---------------------------------------------------------------------------------
 补充：

 SYNOPSIS

        tcpdump [ -AdDeflLnNOpqRStuUvxX ] [ -c count ]

                [ -C file_size ] [ -F file ]

                [ -i interface ] [ -m module ] [ -M secret ]

                [ -r file ] [ -s snaplen ] [ -T type ] [ -w file

        ]

                [ -W filecount ]

                [ -E spi@ipaddr algo:secret,...  ]

                [ -y datalinktype ] [ -Z user ]

                [ expression ]

 c 设定抓多少个包后自动停止

 s 指定抓每个包的前多少字节(默认56字节)

 w 保存到某个文件

 r 读文件

 v 显示更详细

 n 不显示主机名,显示IP

 nn 也把端口显示为数值,否则显示端口服务名

 i 指定哪块网卡

 host 指定某个主机

 port 指定某个端口

 net 指定某个网络

 tcp 指定抓tcp包

 udp 指定抓udp包

 ip 指定抓ip包

 icmp 指定抓icmp包

 src host 指定源主机

 dst host 指定目的主机

 dst port 指定目的端口

 实例 抓164访问本地22端口的包 ,单向的

 [root@stu24 ~]# tcpdump -i eth0 -n src host 192.168.0.164 and dst port 22

 抓164ping本地的包

 [root@stu24 ~]# tcpdump -i eth0 -n icmp and src host 192.168.0.164

 当网卡工作于混杂模式里时

 [root@stu24 ~]# tcpdump -i eth0 -n dst port 22 or dst port 80

 有可能抓到别人的包

 有个包可解决...以后说

 两种条件一起抓

 [root@stu24 ~]# tcpdump -i eth0 -n 'src host 192.168.0.164 and dst port 22' or 'src host 192.168.0.4 and dst port 80'二者等价

 [root@stu24 ~]# tcpdump -i eth0 -n \(src host 192.168.0.164 and dst port 22\) or \(src host 192.168.0.4 and dst port 80\)

 老师笔记

 tcpdump -i eth0

 tcpdump -i eth0 -v -n

                       －v 显示包含有TTL，TOS值等等更详细的信息

       －n不要做IP解析为主机名

      －nn不做名字解析和端口解析

 更有针对性的抓包：

 针对IP，网段，端口，协议

 [root@ ftp]# tcpdump -i eth0 -vnn host 192.168.0.154

 [root@ ftp]# tcpdump -i eth0 -vnn net 192.168.0.0/24

 [root@ ftp]# tcpdump -i eth0 -vnn port 22

 [root@ ftp]# tcpdump -i eth0 -vnn  udp

 [root@ ftp]# tcpdump -i eth0 -vnn icmp

 [root@ ftp]# tcpdump -i eth0 -vnn arp

 [root@ ftp]# tcpdump -i eth0 -vnn ip

 [root@ ftp]# tcpdump -i eth0 -vnn src host 192.168.0.154

 [root@ ftp]# tcpdump -i eth0 -vnn dst host 192.168.0.154

 [root@ ftp]# tcpdump -i eth0 -vnn src port 22

 [root@ ftp]# tcpdump -i eth0 -vnn src host 202.106.0.254 and dst port 22

 [root@ ftp]# tcpdump -i eth0 -vnn src host 192.168.0.154 or port 22

 [root@ ftp]# tcpdump -i eth0 -vnn src host 192.168.0.154 and not port 22

 [root@ ftp]# tcpdump -i eth0 -vnn \( src host 192.168.0.2 and dst port 22 \) or   \( src host 192.168.0.65 and dst port 80 \)

 [root@ ~]# tcpdump -ieth0 -vnn -r  /tmp/fil1 tcp

 [root@ ~]# tcpdump -ieth0 -vnn -r  /tmp/fil1 host  202.106.0.258

 [root@ ~]# tcpdump -ieth0 -vnn -r  /tmp/fil1 tcp

 [root@ ~]# tcpdump -ieth0 -vnn -w  /tmp/fil1 -c 100
 
 更多的tcpdump  

本文来自网易云社区


当我们需要跟踪网络有关的信息时，经常会说“抓包”。这里抓包究竟是什么？抓到的包又能分析出什么？在本文中以TCP/IP协议为例，简单介绍TCP/IP协议以及如何通过wireshark抓包分析。
Wireshark 是最著名的网络通讯抓包分析工具。功能十分强大，可以截取各种网络封包，显示网络封包的详细信息。
Wireshark下载安装，略。注意，若在Windows系统安装Wireshark，安装成功后可能会出现Wireshark的两个图标，一个是Wireshark(中文版）；另外一个是Wireshark Legacy （英文版）。下面的内容会以Wireshark Legacy为例介绍。
打开Wireshark，开始界面如下：

   

Wireshark捕获的是网卡的网络包，当机器上有多块网卡的时候，需要先选择网卡。开始界面中的Interface List，即网卡列表，选择我们需要的监控的网卡。点击Capture Options，选择正确的网卡，然后点击"Start"按钮, 开始抓包。

   


我们打开浏览器输入任意http网址，连接再关闭，比如：http://blog.csdn.net。然后，我们回到Wireshark界面，点击左上角的停止按键。查看此时Wireshark的抓包信息。在看抓包信息之前，先简单介绍下Wireshark界面的含义。其中，封包列表的面板中显示编号、时间戳、源地址、目标地址、协议、长度，以及封包信息。

   





封包详细信息是用来查看协议中的每一个字段。各行信息分别对应TCP/IP协议的不同层级。以下图为例，分别表示：传输层、网络层、数据链路层、物理层，一共四层。如果有应用层数据会显示第五层，即一共会出现五层。

   

每一层都有一个字段指向上一层，表明上一层是什么协议。这大概是因为发包的时候会在数据上依次加上应用层、传输层、网络层、链路层的头部，但是对方收到数据包后是从最底层（链路层）开始层层剥去头部解包的，所以在每层上有一个字段指向上层，表明上层的协议，对方就知道下一步该怎么解包了。以TCP/IP协议为例，下图中分别是：IPv4、TCP。由于建立TCP连接用不到应用层协议，所以传输层就没有相应的指明上层(应用层)的字段了。

在了解Wireshark界面后，我们来分析TCP协议。这里有很多数据包，我们需要先过滤，添加对应的过滤条件。比如，我添加了目标的ip地址和端口号：tcp and ip.addr==47.95.47.253 and tcp.port==53992，此时获取到的封包列表如下。

   



在此之前，看下TCP/IP报文的格式。

   

根据上述报文格式我们可以将wireshark捕获到的TCP包中的每个字段与之对应起来，更直观地感受一下TCP通信过程。先看三次握手，下图中的3条数据包就是一次TCP建立连接的过程。

   

第一次握手，客户端发送一个TCP，标志位为SYN=1，序号seq为Sequence number=0， 53992 -> 80，代表客户端请求建立连接；

   

第二次握手，服务器向客户端返回一个数据包，SYN=1，ACK=1，80 -> 53992，将确认序号(Acknowledgement Number)设置为客户的序号seq(Sequence number)加1，即0+1=1；

   

第三次握手，客户端收到服务器发来的包后检查确认序号(Acknowledgement Number)是否正确，即第一次发送的序号seq加1（X+1= 0+1=1）。以及标志位ACK是否为1。若正确，客户端会再向服务器端发送一个数据包，SYN=0，ACK=1，确认序号(Acknowledgement Number)=Y+1=0+1=1，并且把服务器发来ACK的序号seq(Sequence number)加1发送给对方，发送序号seq为X+1= 0+1=1。客户端收到后确认序号值与ACK=1，53992 -> 80，至此，一次TCP连接就此建立，可以传送数据了。



   

还可以通过直接看标志位查看三次握手的数据包，如下图所示，第一个数据包标志位【SYN】，这是第一次握手；第二个数据包标志位【SYN,ACK】，这是第二次握手；第三个数据包标志位【ACK】，这是第三次握手。

在三次握手的三个数据包之后，第四个包才是HTTP的， 这说明HTTP的确是使用TCP建立连接的。

   

再往下看其他数据包，会发现存在大量的TCP segment of a reassembled PDU，字面意思是要重组的协议数据单元（PDU：Protocol Data Unit）的TCP段，这是TCP层收到上层大块报文后分解成段后发出去。

   

      每个数据包的Protocol Length都是1502 Byte，这是因为以太网帧的封包格式为：Frame = Ethernet Header + IP Header + TCP Header + TCP Segment Data。即：

1、Ethernet Header = 14 Byte = Dst Physical Address（6 Byte）+ Src Physical Address（6 Byte）+ Type（2 Byte），以太网帧头以下称之为数据帧。

2、IP Header = 20 Byte（without options field），数据在IP层称为Datagram，分片称为Fragment。

3、TCP Header = 20 Byte（without options field），数据在TCP层称为Stream，分段称为Segment（UDP中称为Message）。

4、TCP Segment Data = 1448 Byte（从下图可见）。
所以，每个数据包的Protocol Length = 14 Byte + 20 Byte + 20 Byte + 1448 Byte = 1502 Byte。

   

      我们再来看四次挥手。TCP断开连接时，会有四次挥手过程，标志位是FIN，我们在封包列表中找到对应位置，理论上应该找到4个数据包，但我试了好几次，实际只抓到3个数据包。查了相关资料，说是因为服务器端在给客户端传回的过程中，将两个连续发送的包进行了合并。因此下面会按照合并后的三次挥手解释，若有错误之处请指出。

   

第一次挥手：客户端给服务器发送TCP包，用来关闭客户端到服务器的数据传送。将标志位FIN和ACK置为1，序号seq=X=2242，确认序号ack=Z=17602，53992 -> 80；

   

第二次挥手：服务器收到FIN后，服务器关闭与客户端的连接，发回一个FIN和ACK(标志位FIN=1,ACK=1)，确认序号ack为收到的序号加1，即X=X+1=2243。序号seq为收到的确认序号=Z=17602，80 -> 53992；

   

第三次挥手：客户端收到服务器发送的FIN之后，发回ACK确认(标志位ACK=1),确认序号为收到的序号加1，即Y+1=17603。序号为收到的确认序号X=2243，53992 -> 80。

   

      至此，整个TCP通信过程已经介绍完毕。

      附：TCP通信过程：






原文：wireshark抓包分析——TCP/IP协议
网易云新用户大礼包：https://www.163yun.com/gift

本文来自网易云社区，经作者李莉授权发布。

 


相关文章：
【推荐】 nej+regular环境使用es6的低成本方案

 
文章目录
 
HTTP请求报文和响应报文的结构示意图
请求报文分析
响应报文分析
参考资料
 


         本次使用的测试的网站是：http://www.people.com.cn

         15 Agu 2019记下：最好是就使用http的网站来分析。因为现在很多网站都是支持的https协议。但是因为我现在也是一个小白，所以，具体他们之间的区别还不是特别清楚。所以，对于这一点以后再深究。
 
HTTP请求报文和响应报文的结构示意图
 
为了方便分析我先将HTTP的请求报文和响应报文格式贴出来：图片来源于网络
 
 
 
请求报文分析
 
        首先分析从我电脑上发出的一个请求，也就是这个请求：
 
 我双击之后打开就是这样子：因为这里主要就是分析HTTP协议的东西，所以仅仅只截下了HTTP请求报文的内容。
 
        请求行分析：
 
method:GET；
URL：是一个相对的URL。是相对下面的Host来说的。两者组合就是一个完整的URL；这里联合http组合之后就是：http://www.people.com.cn/
版本：HTTP/1.1；
CRLF:\r\n
 
       首部分析：在首部中，每一个字段名最后面都是会有一个cr和lf的。所以，我就在下面的内容中就不提及这个了。
 
Host: www.people.com.cn
 也就是是你要访问的主机的名字；
Connection：keep-alive
 值代表的意思是保持连接。这样子有利于在你访问的网页中有很多图片等其他资源的时候，可以使用同一个TCP连接接收，而不是针对每一个文件都建立一次TCP/IP的连接。这个也就是课本上面说的“持久连接”。
Upgrade-Insecure-Request:1。
 这个具体的意思我也不太清楚，要详细了解还是得自己去查；在我后面的参考资料中有提到。
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.87 Safari/537.36\r\n
 指明了发出请求的用户代理的浏览器的一些信息；
Accept:text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,/;q=0.8,application/signed-exchange;v=b3\r\n
 指明了浏览器接收对象的顺序，优先接收text/html文件，这个也是为什么每次服务器返回第一个文件是html了。
Referer: http://www.people.com.cn/
 这个代表服务器该该请求时从这个链接进来的。
Accept-Encoding: gzip, deflate
 说明该浏览器支持的编码格式，这里是压缩编码的方式。我猜想应该是服务器将浏览器请求的文件都是以压缩文件发送过来的。
Accept-Language: zh-CN,zh;q=0.9,en;q=0.8
 指明了该浏览器支持的语言类型，支持zh-CN,zh,en。然后优先发送zh-CN和zh的语言，因为他们的权重是0.9
\r\n 代表下面的信息就是请求体的实体部分了。
 
       实体部分分析：下面是我的实体截图
 
 按照理论上上来说，这里应该是一些实体的内容，但是我从抓包看到的数据却不是这个样子。可以看到箭头所指的方向，我个人感觉就是上面请求行和首部行的数据的总和而已.。在我百思不得其解的时候，在《计算机网络：自顶向下方法》中看到了这样的一句话：“使用GET方法是实体体为空，而是用post方式是才有该实体体。”所以我觉得应该是这里的是因为这里请求报文没有必要加上请求实体，所以就没有吧。但是后面响应报文的就是包含了响应实体的，通过抓包工具看到，转送过来的就是html代码。
 
响应报文分析
 
        接下来分析的就是这个响应请求了。
 
         具体的内容是这样的：
 
         响应行分析：HTTP/1.1 200 OK\r\n
 
Response Version: HTTP/1.1
Status Code: 200 （这个就是那个OK的的Description）
Response Phrase: OK
crlf
 
        首部行分析：
 
Content-Type: text/html\r\n
 就是说服务器给客户端传回来的是html的文件格式。这个也验证了请求报文中的Accept字段的值。因为那个字段表示的是浏览器优先接收的对象。的确是text/html文件排在第一个。
Connection: keep-alive\r\n
 同上
X-Cache: HIT from PDcache-42 :www.people.com.cn\r\n
 一看到Cache就想到了计组中的高速缓存Cache,和Linux内核中的热冷页。我查了一下，这里和其它Cache是一样的，就是为了增加存取效率出现的。后面的HIT就是表示命中了。具体的话还是得自己查资料看啦。后面的参考文献中也有。
Powered-By-ChinaCache: HIT from CHN-LN-u-3OZ\r\n
 这个暂时我还是一个刚刚学计网的孩子，我之后一定弄清楚，这里我就不深究了。不过查了一些文章，应该是想说这是一个CDN技术。
ETag: W/“5d53bd8c-256d3”\r\n
 Etag中有种Weak Tag，值为 W/“xxxxx”。他声明Tag是弱匹配的，只能做模糊匹配，在差异达到一定阈值时才起作用。（来自百度百科）
Content-Length: 36488\r\n
 这个是返回的实体在压缩之之后的长度为36488Byte,这个长度还是可以深究，看后面参考。
X-Cache-Hits: 21\r\n
 略去
Date: Wed, 14 Aug 2019 08:19:44 GMT\r\n
 这个就是你请求的东西被服务器创建的时间。时间格式是GMT，和北京时间有点误差。
Expires: Wed, 14 Aug 2019 08:20:44 GMT\r\n
 这个就是如果你在这个时间之内去再次访问的话，得到就是缓存中的内容
CACHE: TCP_HIT\r\n
 略去
Content-Encoding: gzip\r\n
 压缩方式
Last-Modified: Wed, 14 Aug 2019 07:51:40 GMT\r\n
 你所请求的东西上次修改的时间
age: 53\r\n
 代表该响应在缓存代理中存放了53秒。
Vary: Accept-Encoding\r\n
 我的理解就是：因为客户端和服务器之间可能有1个或者多个缓存服务器。那么，有时候会将缓存服务器的内容返回给客户端。现在有这样一个情景，A和B都请求的是文件C，文件C在缓存服务器中。但是两个用户使用的浏览器支持的编码不同，A仅仅支持gzip，而B仅仅支持的是compress，那么你把文件C使用gzip压缩的给B就是不对的，因为B无法解压得到一个正确的结果。所以Vary字段就是看看到底要不要把这个文件从缓存中拿出来给A和B。
Server: nginx\r\n
 设置服务器名称
Powered-By-ChinaCache: HIT from CMN-WH-3-D08\r\n
 略去
CC_CACHE: TCP_HIT\r\n
 略去
Accept-Ranges: bytes\r\n
 表示该服务器是否支持文件的范文请求。也就是说，我不想要一整个文件，而是32Byte~1024Btye之间的文件。
\r\n
 
        实体体分析
 
 按道理说应该只有箭头所指的地方才是实体体的内容，那么方框里面的内容是什么呢？目前我还是不知道。我还想要把这个实体信息复制下来看看是不是和书本上说到一样的，首先传输的是html页面，可能没有图片什么的。但是发现复制不了，所以这个还没有验证。
 
       这个是本人第一次实现抓包协议的分析，肯定有很多不足。之后如果有一些更新的话，再回来更新。
 
参考资料
 
HTTP协议常用头部实例详解（Request、Response）
 https://blog.csdn.net/selinda001/article/details/79338766
 Etag 和 If-None-Match
 https://www.cnblogs.com/xuzhudong/p/8339853.html
 【http】Keep-alive 知多少？作用？默认时长？
 https://blog.csdn.net/qfzhangwei/article/details/90614253
 从HTTP响应头看各家CDN缓存技术
 https://segmentfault.com/a/1190000006673084
 Http协议之Content-Length
 https://blog.csdn.net/love_hot_girl/article/details/81163085
 HTTP请求的响应头部Vary的理解
 https://blog.csdn.net/qq_29405933/article/details/84315254
 https://luchuan.iteye.com/blog/1058563

抓包分析，用抓包分析爬取腾讯视频某视频所有评论（Fiddler工具包的分享）
 


 
文章目录
 
抓包分析，用抓包分析爬取腾讯视频某视频所有评论（Fiddler工具包的分享）
一、抓包分析
1.下载工具并安装
2.Fiddler工具的使用
    
二、爬取腾讯视频某视频所有评论
1.思路分析
2.具体代码
3.结果展示
   
  
 

 
一、抓包分析
 
1.下载工具并安装
 
如果我们要进行抓包分析，首先，我们必须要有一款抓包的工具，只有用工具抓到包，我们才能进行分析，在这里我介绍一款抓包软件Fiddler，我这里有这个软件的分享：
 链接：https://pan.baidu.com/s/1JvJvH7wfRLzALluOrOlcvQ
 提取码：9099
 安装不需要过多的说，按照上面提示的步骤装就可以了。
 
2.Fiddler工具的使用
 
（1）首先，Fiddler工具分为四块：显示所抓的包、请求区、响应区和语句输入区
 
 （2）有的js包需要手动点击一下，才能解析出来：
 
 （3）一般，我们抓包分析都是点击响应区中的TextView，再观察。
 
二、爬取腾讯视频某视频所有评论
 
1.思路分析
 
这里我想爬取斗罗大陆的所有评论。
 （1）进入到斗罗大陆动画片的评论区：
 
 （2）打开Fiddler，然后，刷新页面，找到存放评论信息的js包：
 
 
 （3）因为评论是手动点击加载更多触发的，所有，我们多加载几个：
 
 （4）观察网址结构，得出结论：
 
 （5）下一个提取id我发现每次都可以在上一个js包中找到，这些js包像一个链表一样，是链式链接的。下面的图片是我在第一个js包中搜索第二个js包的id的例子：
 
 这样，我们就能找到所有的js包，从而爬取所有的评论。
 
2.具体代码
 
#提取10次，每次提取10个
import urllib.request,time
import urllib.error
import random,re


'''
作用：该模块为爬虫设置用户和ip代理
参数：thisUrl是要爬取的网址
    ip_pool是ip代理池
返回值：返回爬取网页信息的二进制数据
'''
def ua_ip(thisUrl, ip_pool):
    #构建用户代理池
    ua_pool = [
        'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.26 Safari/537.36 Core/1.63.5558.400 QQBrowser/10.1.1695.400',
        'User-Agent: Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SE 2.X MetaSr 1.0; SE 2.X MetaSr 1.0; .NET CLR 2.0.50727; SE 2.X MetaSr 1.0)',
        'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.16 (KHTML, like Gecko) Chrome/10.0.648.133 Safari/534.16',
        'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/38.0.2125.122 UBrowser/4.0.3214.0 Safari/537.36',
        'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; LBBROWSER)',
        "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
        "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Acoo Browser; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.0.04506)",
        "Mozilla/4.0 (compatible; MSIE 7.0; AOL 9.5; AOLBuild 4337.35; Windows NT 5.1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
        "Mozilla/5.0 (Windows; U; MSIE 9.0; Windows NT 9.0; en-US)",
        "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; Media Center PC 6.0)",
        "Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 1.0.3705; .NET CLR 1.1.4322)",
        "Mozilla/4.0 (compatible; MSIE 7.0b; Windows NT 5.2; .NET CLR 1.1.4322; .NET CLR 2.0.50727; InfoPath.2; .NET CLR 3.0.04506.30)",
        "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN) AppleWebKit/523.15 (KHTML, like Gecko, Safari/419.3) Arora/0.3 (Change: 287 c9dfb30)",
        "Mozilla/5.0 (X11; U; Linux; en-US) AppleWebKit/527+ (KHTML, like Gecko, Safari/419.3) Arora/0.6",
        "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.2pre) Gecko/20070215 K-Ninja/2.1.1",
        "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9) Gecko/20080705 Firefox/3.0 Kapiko/3.0",
        "Mozilla/5.0 (X11; Linux i686; U;) Gecko/20070322 Kazehakase/0.4.5",
        "Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.8) Gecko Fedora/1.9.0.8-1.fc10 Kazehakase/0.5.6",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11",
        "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_3) AppleWebKit/535.20 (KHTML, like Gecko) Chrome/19.0.1036.7 Safari/535.20",
        "Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; fr) Presto/2.9.168 Version/11.52",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.11 TaoBrowser/2.0 Safari/536.11",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.71 Safari/537.1 LBBROWSER",
        "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; LBBROWSER)",
        "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E; LBBROWSER)",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.84 Safari/535.11 LBBROWSER",
        "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E)",
        "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; QQBrowser/7.0.3698.400)",
        "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E)",
        "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SV1; QQDownload 732; .NET4.0C; .NET4.0E; 360SE)",
        "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E)",
        "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E)",
        "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.89 Safari/537.1",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.89 Safari/537.1",
        "Mozilla/5.0 (iPad; U; CPU OS 4_2_1 like Mac OS X; zh-cn) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8C148 Safari/6533.18.5",
        "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:2.0b13pre) Gecko/20110307 Firefox/4.0b13pre",
        "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:16.0) Gecko/20100101 Firefox/16.0",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11",
        "Mozilla/5.0 (X11; U; Linux x86_64; zh-CN; rv:1.9.2.10) Gecko/20100922 Ubuntu/10.10 (maverick) Firefox/3.6.10"
    ]
    
    thisUA = random.choice(ua_pool) #从用户代理池中随机选择一个用户代理
    thisIP = random.choice(ip_pool) #从ip代理池中随机选择一个ip代理
    print("用户代理：{}".format(thisUA))
    print("ip代理：{}".format(thisIP))
    #将IP代理格式化
    proxy = urllib.request.ProxyHandler({'http': thisIP})
    #安装IP代理,并构建开启工具
    opener = urllib.request.build_opener(proxy, urllib.request.HTTPHandler)
    #构造报头
    headers = ('user-agent', thisUA)
    #安装报头
    opener.addheaders = [headers]
    #将opener设置为全局
    urllib.request.install_opener(opener)
    #以二进制形式爬取信息
    respense = urllib.request.urlopen(thisUrl)
    data = respense.read()
    respense.close()    #避免持续链接导致被发现是爬虫
    return data

def main():
    ip_pool = [
        '127.0.0.1:8888'
    ]
    v_id = '2369303789'     #要爬取的视频的id，这里我爬取的是斗罗大陆的
    c_id = '0'    #第一次评论的id
    num = '10'  #每一页提取的评论数数目
    n = 1   #用来记录获取的评论总数
    fp = open('D:\\python\\new.txt', 'a+')
    for i in range(0, 10):
        try:
            # 网址格式：http://coral.qq.com/article/【视频id】/comment/v2?callback=_article2369303789commentv2&orinum=【一次提取的评论数目】&oriorder=o&pageflag=1&cursor=【下一个视频id】
            url = 'http://coral.qq.com/article/'+ v_id +'/comment/v2?callback=_article2369303789commentv2&orinum='+ num +'&oriorder=o&pageflag=1&cursor='+c_id
            #对获取的二进制数进行解码
            data = ua_ip(url, ip_pool).decode('utf-8', 'ignore')
            #构造获取下一页评论ip的正则表达式
            pat1 = '"last":"(.*?)"'
            c_ids = re.compile(pat1).findall(data)
            c_id = c_ids[0]     #c_ids是一个列表，获取他的第一个元素就是下一页评论id
            #构造获取评论内容的正则表达式
            pat2 = '"content":"(.*?)"'
            comment_list = re.compile(pat2).findall(data)
            for comment in comment_list:
                thisdata = "第"+str(n)+"个评论为：" + eval('u"' + comment + '"')
                print(thisdata)
                fp.write(thisdata + '\n')
                n += 1
        except urllib.error.HTTPError as e:
            if hasattr(e, 'code'):
                print(e.code)
            if hasattr(e, 'reason'):
                print(e.reason)
        except Exception as err:
            print(err)
        time.sleep(2)	# 每爬取一页，停顿2秒，减少频率，从而减少被发现的几率
    fp.close()
    
if __name__ == '__main__':  
	main()
 
3.结果展示