一、视频的时间冗余

1、帧内预测与帧间预测编码的区别

• 帧内编码：
  • 不依赖参考图像，可以独立解码，因而可以作为一个GOP的起点和随机接入点，即IDR帧
  • 输出的码率相对较高，即压缩率较低
  • 帧内编码为了确保可独立解码这一最关键的特性，只利用了图像的空间冗余进行压缩，无法充分利用视频信息前后帧之间的关联
• 帧间编码：
  • 帧间编码所利用的是视频的时间冗余，主要编码运动（运动矢量）和纹理（预测残差）信息
  • 压缩率较高
  • 通常在视频信息中，每一帧所包含的物体对象与其前后帧之间存在运动关系，这种物体的运动关系即构成帧与帧之间的时间冗余。由于帧与帧之间物体的运动相关性大于一帧内部相邻像素之间的相关性，尤其对于时间相近的图像之间，时间冗余比空间冗余更加明显。
• 图像之间物体的运动关系可由下图表示：
  

二、块结构的运动估计

• H.264：块结构的混合编码
• 帧间编码一一个宏块为最小执行单位
• 可分为几个模块:
  • 预测编码（包括运动估计/运动补偿过程）
  • 变换/量化编码
  • 熵编码
  • 参考帧管理
• 帧间编码中的变换、量化编码：类似帧内编码
• 预测编码：
  • **基于块的运动估计(Motion Estimation, ME)：**通过当前的像素块，然后在参考帧中查找与当前要编码像素块最匹配的参考块；
  • **运动补偿(Motion Compensation, MC)：**同运动估计是对应的，主要存在于解码的环路中，根绝解码得到的残差然后通过运动矢量查找到相应的参考块，然后参考块和残差还原出解码后的重建像素块
    为了给后续的帧内预测提供参考帧，还需要内部解码的环路过程，使用运动补偿还原出重建的像素块

三、运动矢量

运动估计，有时也称作运动搜索，即在相应参考帧中搜索当前像素块的对应参考像素块，使最终的编码代价最小。为了实现这个目标，相比帧内编码所定义的16×16和8×8两种宏块划分方式，帧间编码定义了更多、更复杂的方法。

1、运动估计宏块划分

• 一个宏块将按帧间编码进行编码时，按照预定义的方法进行分割
• 针对帧间预测，H.264定义了4种宏块分割和4种子宏块分割方式：
  • 宏块分割：16 * 16、16 * 8、8 * 16、8 *8
  • 子宏块分割：8 * 8、8 * 4、4 * 8、4 * 4
• 当某个宏块配置为8 * 8形式时，每个8 * 8宏块将按照子宏块的分割方法来进一步分割；当某个宏块配置为16 * 16、16 * 8、8 * 16就不再按照子宏块分割了
• 帧间预测的宏块分割如下图所示：
  

2、运动矢量

• 在一个帧间编码宏块中，每一个分割后的子块都会进行相应的运动搜索，在参考帧中查找对应的相同尺寸的像素块作为参考
• 运动矢量(Motion Vector, MV)： 当前像素块在当前帧中的位置同参考块在参考帧总的位置之间的相对位置代表了像素块中的物体在两帧之间的运动轨迹。这个相对位置以两个坐标值组成的矢量(MV_x, MV_y)表示
• 一个宏块最多可能包含16个MV（因为最多可能为16个4 * 4的像素块）
  
  在上图中某个像素块在参考帧和当前帧中不存在运动关系，因此运动矢量为(0,0)。
  
  参考帧相对于当前帧向下偏移了20，向右偏移了5，因此运动矢量为(20,5)。

四、运动矢量预测

• 一个帧内宏块最多可分割为16个子块
• 每个子块都按照完整的运动信息编码效率较低
• 运动矢量预测：提升运动信息的编码效率
• 计算运动矢量的方法：
  • 运动矢量预测：MVP，由相邻像素块信息计算得到
  • 运动矢量残差：MVD，由码流中的语法匀速解析得到

1、运动矢量预测的计算方法

当前块同相邻块之间的相互关系可由下图表示：

其中，当前块的MVP由A、B和C块的MV取中间值计算得到。如果像素块C不存在，那么以像素块D取而代之。如果当前宏块采用了SKIP模式编码（即码流中不传递相应的数据），则按照16×16模式宏块的方法计算MVP。（见标准文档8.4.1.3节）‘
’

2、亚像素插值

• 亚像素插值的目的：提升运动搜索的匹配精度
• H.264相对于前期标准进一步提升了ME（运动估计）精度
• 在H.264中，亮度分量的MV最高可达1/4像素精度，色度分量的MV最高可达1/8像素精度。无论1/2、1/4或1/8像素位置上的像素值在图像中都是不存在的，只是作为在运动估计过程中的一个临时值存在。
• 非整数像素：根据相邻像素值计算得到的，理论上存在于实际像素之间的一个中间值
• 计算方法：当前相邻的几个像素计算加权均值

2.1亚像素

大小字母表述的就是图像中实际存在的整数像素，其余的表示通过计算得到的亚像素点，至于这些亚像素点是怎么计算的呢，根据不同的情况进行不同的分析

• 1/2像素精度的亚像素可由下图表示：
  
  1/4像素精度的亚像素可由下图表示：
  
  1/8像素精度的亚像素可由下图表示：
  

2.2亚像素的计算方法

由上图可知，亚像素精度就是根据相邻像素值计算得到的，理论上存在于实际像素之间的一个中间值。其计算方法是由当前相邻的几个像素计算加权均值的方式得到，具体的计算方法定义在标准文档的8.4.2.2.1节中。亮度信息的插值如下图：

对于水平和垂直方向的半像素点b和h：

b = (( E − 5*F + 20*G + 20*H − 5*I + J) + 16) >> 5; 四舍五入
h = (( A − 5*C + 20*G + 20*M − 5*R + T) + 16) >> 5;

对于四个像素的中间点j，其计算方法与b和h类似，只是用于计算加权均值的像素变为了同方向上的6个半像素点：

j = (( cc − 5*dd + 20*h1 + 20*m1 − 5*ee + ff) + 512) >> 10;或
j = (( aa − 5*bb + 20*b1 + 20*s1 − 5*gg + hh) + 512) >> 10;

对于1/4像素位置的值，其计算方法更为简单，即取其相邻的整像素或半像素的值取平均即可：

n=(h+M+1)>>2

五、运动搜索快速算法

完全的运动搜索过程是一种极为耗时的操作，其主要原因有：

1. 运动搜索过程需要覆盖搜索区中的每个像素和亚像素；
2. 运动搜索需要在多个参考帧中进行；

为了解决这个问题，研究人员提出了多种运动搜索的优化算法，旨在降低运动搜索的总运算量。其中比较常见的有：

1. 三步搜索法；
2. 菱形搜索法；
3. 六边形搜索法；

5.1三步搜索法

三步搜索法对比全搜索只有约1/10的计算量，而算法性能基本一致。三步搜索法如图所示：

三步搜索法运行过程：
4. 从搜索窗口中心开始，以4为步长搜索8个点+中心点共9个点，以SAD最小的原则选择一个最佳匹配点；
5. 以步骤1得到的最佳匹配点为中心点，以2为步长继续搜索相似的9个点，得到第二个最佳匹配点；
6. 从第二个最佳匹配点开始，以1为步长重复上述步骤，得到最终的运动搜索匹配点；

5.2菱形搜索法

菱形搜索法使用大菱形和小菱形两种模板，大菱形包含9个点，小菱形包含5个点，如下图所示：

菱形搜索法执行步骤：
7. 从搜索窗口中心开始，按照大菱形模板搜索9个点，检查菱形中心点是否是大菱形中的最佳匹配点；
8. 如果最佳匹配点是菱形的中心点，则进一步按照小菱形模板进行搜索；
9. 如果最佳匹配点不是菱形中心点，则按照实际的最佳匹配点继续按大菱形模板搜索，直到找到某个最佳匹配点在大菱形模板的中心点，然后按小菱形模板搜索；

5.3六边形搜索法

六边形搜索的原理同菱形搜索法类似，区别在于其大模板采用的模板为7个点的六边形形状，而小六边形模板的形状同菱形模板相同，如下图所示：

六边形搜索执行步骤：

1. 从搜索窗口中心开始，按照大六边形模板搜索9个点，检查菱形中心点是否是大六边形中的最佳匹配点；
2. 如果最佳匹配点是六边形的中心点，则进一步按照小六边形模板搜索；
3. 如果最佳匹配点不是六边形中心点，则按照实际的最佳匹配点继续按大六边形模板搜索，直到找到某个最佳匹配点在大六边形模板的中心点，然后按小六边形模板搜索；

1.主机H1将数据进行逐层封装后，主机之间通过物理层进行互联。当主机H1向主机H2发送数据时，物理层将构成比特的数据包转换成电信号，发送到传输媒体。数据包到达路由器的时候，路由器根据数据宝的网络地址和自身转发表，确定数据包的转发端口，然后逐层进行封装最后到达主机H2.最后逐层解封数据。

2.
在数据链路传输的数据包叫做帧。所以数据链路层以帧为单位传输和处理数据。

3.
3-1：数据链路层中帧头数据就包括了要发送的目的地址和发送的源地址。

3-2:可靠传输

4.解决链路层遇到的问题。
4-1：如何标识帧数据发送给那台主机呢？采用编址方式加入源地址和目的地址既可以知道帧发送给哪台主机。

4-2：信息碰撞:采用协议来控制信息传输。

4.封装成帧知识:
4-1:以太网帧跟PPP帧格式不一样

4-3:以太网帧:
1.以太网帧不包含帧定界标志。实际上物理层会在MAC帧前添加8字节的前导码。前7字节尾前同步码作用是使接受双方的时钟同步。之后的一字节为帧开始定界符。表明后面紧跟着的就是MAC帧。

另外以太网还规定帧间隔时间为96比特的发送时间。

4-4:PPP帧：
1.在帧头和帧尾各包含一个字节的标志字段，称为帧定界。接收方就可以根据帧定界提取出一个个的帧。

4-5：透明传输。但如何避免上层的数据包含了帧定界呢？

解决方法：
1.面向字节的物理链路：在发送帧数据之前，每出现一个帧定界符，就在其前面插入一个转义字符。接收方接受帧是遇到第一个帧就知道就是帧开始，后面遇到转义字符就知道虽然内容跟帧定界符一样，但是并不是结束帧定界符而是数据。当最后提取到帧定界符时，就知道这是帧结束定界符了。

2.面向比特的物理链路使用比特填充的方法实现：

如图在帧的数据中出现了帧定界比特，则在帧数据中出现的帧定界符每5个1后加0，确保帧定界符唯一。接受的时候只需要把0剔除掉就好了。
例题：

4-6：

1.I帧、P帧、B帧：
帧是组成视频图像的基本单位。
关键帧也叫I帧，它是帧间压缩编码里的重要帧；它是一个全帧压缩的编码帧；
解码时仅用I帧的数据就可重构完整图像；
I帧不需要参考其他画面而生成。
视频文件是由多个连续的图片组成。

采用的压缩方法：把若干帧图像分为一组(GOP)：
1.定义帧：将每组内帧图像定义为三种类型，即I帧、P帧、B帧：
2.预测帧：以I帧为基础帧，以I帧预测P帧，再由I帧和P帧预测B帧；
3.数据传输：将I帧数据和预测的差值信息进行存储和传输；

(1)I帧(IDR frame)
I帧（I frame）又称为内部画面 (intra picture)，I 帧通常是每个 GOP（MPEG 所使用的一种视频压缩技术）的第一个帧，
经过适度地压缩，做为随机访问的参考点，可以当成图像。
I帧特点：
1.是全帧压缩编码帧，解码时仅用I帧数据就可重构完整图像；
2.I帧不需要参考其他帧而生成，所占的数据信息量比较大；；
3.I帧是GOP中的第一帧，是P帧和B帧的参考帧，其质量直接影响到同组的P帧和B帧；
4.I帧只能去处图像的空间信息冗余；

(2)P帧(Pre Frame)
P帧法是根据本帧与相邻的前一帧（I帧或P帧）的不同点来压缩本帧数据。
采取P帧和I帧联合压缩的方法可达到更高的压缩且无明显的压缩痕迹。
P帧是以I帧为参考帧，在I帧中找出P帧某点的预测值和运动矢量，取预测差值和运动矢量一起传送。
在接收端根据运动矢量从I帧中找出P帧某点的样值，并与差值相加得到P帧某点样值，从而可得到完整的P帧。

P帧特点：
1.P帧属于前向预测的帧间编码，它只参考前面最靠近它的I帧或P帧；
2.解码时必须将I帧中的预测值与预测误差求和后才能重构完整的P帧图像；
3.由于P帧是参考帧，它可能造成解码错误的扩；
4.P帧可以去除图像的时间冗余信息；

(3)B帧(Bidirectional Frame)
B图像（帧）是既考虑与源图像序列前面已编码帧，也顾及源图像序列后面已编码帧之间的时间冗余信息
来压缩传输数据量的编码图像，也叫双向预测帧；一般地，I帧压缩效率最低，P帧较高，B帧最高。

B帧特点：
1.B帧是双向预测编码帧，由前面的I帧或P帧和后面的P帧来预测的；
2.B帧记录的是前后图像的预测误差及运动矢量；
3.B帧不是参考帧，不会造成解码错误的扩；
4.B帧可以去除图像的时间冗余信息；

2.像素、宏块、片、帧、序列：
组成关系：
像素---->宏块---->片---->片组---->帧---->序列
Pixel---->Macro Block---->Slice---->Slice Group----->Frame---->GOP
(1)像素Pixel：
像素是指在由一个数字序列表示的图像中的一个最小单位，且不可再分割，
不可分割的意思是它不能够再切割成更小单位抑或是元素，它是以一个单一颜色的小格存在。
每一个点阵图像包含了一定量的像素，这些像素决定图像在屏幕上所呈现的大小。

一个像素所能表达的不同颜色数取决于比特每像素(BPP)。
这个最大数可以通过取二的色彩深度次幂来得到。
例如，常见的取值有：
8 bpp[2^8=256；(256色)]；
16 bpp[2^16=65536； （65,536色，称为高彩色）]；
24 bpp[2^24=16777216； (16,777,216色，称为真彩色）]；
48 bpp[2^48=281474976710656；281,474,976,710,656色，用于很多专业的扫描仪]。

(2)宏块Macro Block：
宏块是H.264编码的基本单位，一帧数据首先要划分为多个块(4x4像素)才能进行处理，
显然宏块就是若干个块组成的，通常宏块的大小为16x16个像素。
宏块分为I、P、B宏块：
I宏块:(即I帧的宏块)只能利当前片中已解码的像素作为参考，进行帧内预测；
P宏块:(即I帧的宏块)可以利前面已解码的帧作为参考帧进行帧内预测；
B宏块:(即B帧的宏块)则是用前后帧作为参考进行帧内预测；

(3)片Slice：
一个片只包含一个NALU；
一帧图像可编码成一个或多个片，每片包含整数个宏块，
即每片至少一个宏块，最多时包含整个图像的宏块。
片的目的是：为了限制误码的扩和传输，使编码片之间保持相互独立。
片的结构：
[slice header] 说明了片类型、属于哪个帧、参考帧等
[slice data] 里是整数个宏块

(3)片组Slice Group：
片组是一个编码图像中若干个宏块的一个子集，包含一个或若干个片。

(4)帧Frame：
帧，由片组组成的一幅图像信息就是帧，可以理解为我们平时看到的一幅幅图像，
帧也是组成视频流的最小单位，帧可分为I帧、P帧和B帧。
注：我们平时接触的图片是『RGB』格式的，而视频帧通常是『YUV』格式的。

(5)序列GOP：
一个序列就是一段内容差异不太大的图像编码后生成的一串数据流，也就是两I帧之间的一组视频帧；
对于一段变化不大图像画面，我们可以先编码出一个完整的图像帧A，随后的B帧就不编码全部图像，只写入与A帧的差别，
这样B帧的大小就只有完整帧的1/10或更小！B帧之后的C帧如果变化不大，我们可以继续以参考B的方式编码C帧，这样循环下去。
这段图像我们称为一个序列（序列就是有相同特点的一段数据），当某个图像与之前的图像变化很大，无法参考前面的帧来生成，
那我们就结束上一个序列，开始下一段序列，也就是对这个图像生成一个完整帧A1，随后的图像就参考A1生成，只写入与A1的差别内容。

3.图像的空间冗余、时间冗余：
空间冗余：
静态图像中存在的最主要的一种数据冗余，I帧数据只能去除图像的空间冗余信息。
同一景物表面上采样点的颜色之间往往存在着空间连贯性，但是基于离散像素采样来表示物体颜色的方式通常没有利用这种连贯性。
例如：图像中有一片连续的区域，其像素为相同的颜色，空间冗余产生。

时间冗余：
序列图像中经常包含的冗余，P帧和B帧就是去除图像的时间冗余信息。
一组连续的画面之间往往存在着时间和空间的相关性，但是基于离散时间采样来表示运动图像的方式通常没有利用这种连贯性。
例如：房间里的两个人在聊天，在这个聊天的过程中，背景（房间和家具）一直是相同的，同时也没有移动，
而且是同样的两个人在聊天，只有动作和位置的变化。

4.视频编码质量的影响因素：压缩比、算法复杂度、还原度：
压缩比：压缩比越大，压缩后的数据量越小，当然算法的复杂度也更高；
压缩比越小，压缩后的数据量越大，当然算法的复杂度也更低；
还原度：压缩比和算法复杂度都会对还原度产生影响；
压缩比、算法复杂度、还原度是三个矛盾的概念，要根据实际情况有所取舍。