摘要

Yolov5是一个基于pytorch的在在COCO数据集上进行预训练的目标检测体系结构和模型，是目前一个比较常用的目标检测模型，在现在很多实际项目中，有很好的效果，实用性较强，有模型尺寸小、部署成本低、灵活度高和检测速度快的特点。

网络结构

Focus：首先将多个slice结果Concat起来，然后将其送入CBL模块中（6.0版本以后替换成6×6卷积层）。
CSP1_X：借鉴CSPNet网络结构，该模块由CBL模块、Res unint模块以及卷积层、Concate组成。
CSP2_X：借鉴CSPNet网络结构，该模块由卷积层和X个Res unint模块Concate组成而成。

图1

创新点

输入端：Mosaic数据增强、自适应锚框计算、自适应图片缩放。
Backbone：Focus结构，CSP结构。
Neck：FPN+PAN结构。
Prediction：GIOU_Loss。

Mosaic数据增强

主要是将数据通过随机缩放、随机裁剪、随机排布的方式进行拼接，对于小目标的检测效果较好。

自适应锚框计算

针对不同的数据集，都会有初始设定长宽的锚框。
在初始锚框的基础上输出预测框，进而和真实框groundtruth进行比对，计算两者差距，再反向更新，迭代网络参数。
Yolov5中将此功能嵌入到代码中，每次训练时，自适应的计算不同训练集中的最佳锚框值。

自适应图片缩放

Yolo算法中常用416416，608608等尺寸。
缩放填充后，两端的黑边大小都不同，如果填充的比较多，则存在信息冗余，影响推理速度。yolov5对原始图像自适应的添加最少的黑边。图像高度上两端的黑边变少了，在推理时，计算量也会减少，即目标检测速度会得到提升。
注意只在检测时使用，在训练时仍使用传统填充方法。

图2

Focus

以Yolov5s的结构为例，原始6086083的图像输入Focus结构，采用切片操作，先变成30430412的特征图，再经过一次32个卷积核的卷积操作，最终变成30430432的特征图。
但是在6.1版本，这里被替换成了卷积核为6*6的卷积层，效果是一样的，但是可以适配更高版本的pytorch和cpu，提高计算速度。

图3

两种CSP

以Yolov5s网络为例，CSP1_X结构应用于Backbone主干网络，另一种CSP2_X结构则应用于Neck中。

图4

Neck

FPN+PAN的结构。
采用借鉴CSPnet设计的CSP2结构，加强网络特征融合的能力。

消除Grid敏感度

当真实目标中心点非常靠近网格的左上角点（$\sigma (t_x)$和$\sigma (t_y)$应该趋近与0）或者右下角点（$\sigma (t_x)$和$\sigma (t_y)$应该趋近与1）时，网络的预测值需要负无穷或者正无穷时才能取到，而这种很极端的值网络一般无法达到。
对偏移量进行了缩放从原来的(0,1)缩放到(−0.5,1.5)这样网络预测的偏移量就能很方便达到0或1。
公式：
$b_x=(2\cdot \sigma (t_x)-0.5)=c_x$
$b_y=(2\cdot \sigma (t_y)-0.5)=c_y$
$b_w=p_w\cdot (2\cdot \sigma (t_w){)}^2$
$b_h=p_h\cdot (2\cdot \sigma (t_h){)}^2$

正负样本的匹配

先去计算每个GT Box与对应的Anchor Templates模板的高宽比例，即：
$r_w=w_{gt}/w_{at}$
$r_h=h_{gt}/h_{at}$
然后统计这些比例和它们倒数之间的最大值，这里可以理解成计算GT Box和Anchor Templates分别在宽度以及高度方向的最大差异（当相等的时候比例为1，差异最小）：
$r_w^{max}=max(r_w,1/r_w)$
$r_h^{max}=max(r_h,1/r_h)$

接着统计$r_w^{max}$和$r_h^{max}$之间的最大值，即宽度和高度方向差异最大的值：
$r^{max}=max(r_w^{max},r_h^{max})$

如果GT Box和对应的Anchor Template的$r^{max}$小于阈值anchor_t（在源码中默认设置为4.0），即GT Box和对应的Anchor Template的高、宽比例相差不算太大，则将GT Box分配给该Anchor Template模板。假设对某个GT Box而言，其实只要GT Box满足在某个Anchor Template宽和高的0.25×0.25倍和4.0×4.0倍之间就算匹配成功。

其余步骤和YOLOv4中一致：
将GT投影到对应预测特征层上，根据GT的中心点定位到对应Cell，注意图中有三个对应的Cell。因为网络预测中心点的偏移范围已经调整到了( − 0.5 , 1.5 ) (-0.5, 1.5)(−0.5,1.5)，所以按理说只要Grid Cell左上角点距离GT中心点在( − 0.5 , 1.5 ) (−0.5,1.5)(−0.5,1.5)范围内它们对应的Anchor都能回归到GT的位置处。这样会让正样本的数量得到大量的扩充。
则这三个Cell对应的AT2和AT3都为正样本。

1.YOLO输入端

1.1 Mosaic数据增强

Yolov5的输入端采用了和Yolov4一样的Mosaic数据增强的方式。

Mosaic数据增强提出的作者也是来自Yolov5团队的成员，不过，随机缩放、随机裁剪、随机排布的方式进行拼接，对于小目标的检测效果还是很不错的。

• 4张图片拼接
• 随机缩放
• 随机裁剪
• 随机排布

算法优点：

• 丰富数据集
• 减少GPU计算

1.2 自适应锚框计算

在Yolo算法中，针对不同的数据集，都会有初始设定长宽的锚框。

在网络训练中，网络在初始锚框的基础上输出预测框，进而和真实框groundtruth进行比对，计算两者差距，再反向更新，迭代网络参数。

• Step1：读取训练集中所有图片的w、h以及检测框的w、h

• Step2：将读取的坐标修正为绝对坐标

• Step3：使用Kmeans算法对训练集中所有的检测框进行聚类，得到k个anchors

• Step4：通过遗传算法对得到的anchors进行变异，如果变异后效果好将其保留，否则跳过

• Step5：将最终得到的最优anchors按照面积返回

1.3 自适应图片缩放

在常用的目标检测算法中，不同的图片长宽都不相同，因此常用的方式是将原始图片统一缩放到一个标准尺寸，再送入检测网络中。

letterbox自适应图片缩放技术尽量保持高宽比，缺的用灰边补齐达到固定的尺寸。

2.YOLO总体架构图

2.1 BackBone

主要进行特征提取，将图像中的物体信息通过卷积网络进行提取，用于后面目标检测。

2.1.1 Focus模块

Focus层原理和PassThrough层很类似。它采用切片操作把高分辨率的图片拆分成多个低分辨率的图片/特征图，即隔列采样+拼接。

2.1.2 SPP模块

空间金字塔池化，能将任意大小的特征图转换成固定大小的特征向量。

2.1.3 CSP_X模块

backbone是较深的网络，增加残差结构可以增加层与层之间反向传播的梯度值，避免因为加深而带来的梯度消失，从而可以提取到更细粒度的特征并且不用担心网络退化。

2.2 Neck

对特征进行混合与组合，增强网络的鲁棒性，加强物体检测能力，并且将这些特征传递给Head层进行预测。

2.2.1 FPN

2.2.2 PAN

2.3 YOLO输出端

主要进行最终的预测输出。

2.3.1 Bounding Box损失函数

真实检测框和模型预测输出框的吻合程度，用于反向传播优化模型。

2.3.2 NMS非极大值抑制

判断相邻网格识别的是否是同一物体，消除掉多余检测框。

yolov5-5.0版本代码详解----augmentations.py的letterbox函数

1、作用

将图片缩放调整到指定大小

2、引用位置

在datasets.py多次调用，分别为
1、LoadImages类的__next__函数(242行)；
2、LoadWebcam类的__next__函数(288行)；
3、LoadStreams类的__init__函数(337行)；
4、LoadStreams类的__next__函数(366行)；
5、LoadImagesAndLabels类的__getitem__函数(566行)

3、原理

3.1 传统图片缩放

在常用的目标检测算法中，不同的图片长宽都不相同，因此常用的方式是将原始图片统一缩放到一个标准尺寸，再送入检测网络中。

缺点：缩放填充后，两端的黑边大小都不同，而如果填充的比较多，则存在信息冗余，影响推理速度。

3.2 Yolov5的自适应缩放

图像高度上两端的黑边变少了，在推理时，计算量也会减少，即目标检测速度会得到提升，通过这种简单的改进，推理速度得到了37%的提升，可以说效果很明显。

4、代码

4.1 参数

def letterbox(im, new_shape=(640, 640), color=(114, 114, 114),
              auto=True, scaleFill=False, scaleup=True, stride=32):
    """参数：
            im: 原图 hwc
            new_shape: 缩放后的尺寸
            color: pad的颜色（灰色边框，补齐调整后的区域）
            auto: True 保证缩放后的图片保持原图的比例 即 将原图最长边缩放到指定大小，再将原图较短边按原图比例缩放（不会失真）
                  False 将原图最长边缩放到指定大小，再将原图较短边按原图比例缩放,最后将较短边两边pad操作缩放到最长边大小（不会失真）
            scaleFill: True 简单粗暴的将原图resize到指定的大小，没有pad操作（失真）
            scaleup: True  
                     False 对于大于new_shape的原图进行缩放,小于的不变
            stride: 步长

4.2 计算缩放比例

    # 在满足多个步幅约束的情况下调整图像大小并填充图像

    # 第一层resize后图片大小[h, w]
    shape = im.shape[:2]

    # 如果new_shape参数是整数（这里不是），防止将new_shape = 640
    if isinstance(new_shape, int):
        new_shape = (new_shape, new_shape)

    # 计算比例 (new / old) 选择小的那个
    r = min(new_shape[0] / shape[0], new_shape[1] / shape[1])

原始缩放尺寸是416×416，都除以原始图像的尺寸后，可以得到0.52，和0.69两个缩放系数，选择小的缩放系数0.52。

4.3 计算缩放后的尺寸

    # 只进行下采样 因为上采样会让图片模糊
    if not scaleup:
        r = min(r, 1.0)

    # 计算pad长宽
    ratio = r, r  # 长宽比例
    new_unpad = int(round(shape[1] * r)), int(round(shape[0] * r))  # wh(512, 343) 保证缩放后图像比例不变

原始图片的长宽都乘以最小的缩放系数0.52，宽变成了416，而高变成了312。

4.4 计算黑边填充数值

    dw, dh = new_shape[1] - new_unpad[0], new_shape[0] - new_unpad[1]  # wh padding
    if auto:  # 保证原图比例不变，将图像最大边缩放到指定大小
        # 这里的取余操作可以保证padding后的图片是32的整数倍(416x416)，如果是(512x512)可以保证是64的整数倍
        dw, dh = np.mod(dw, stride), np.mod(dh, stride)  # wh padding
    elif scaleFill:  # 简单粗暴的将图片缩放到指定尺寸
        dw, dh = 0.0, 0.0
        new_unpad = (new_shape[1], new_shape[0])
        ratio = new_shape[1] / shape[1], new_shape[0] / shape[0]  # width, height ratios

    # 在较小边的两侧进行pad, 而不是在一侧pad
    dw /= 2  # divide padding into 2 sides
    dh /= 2

    if shape[::-1] != new_unpad:  # 将原图resize到new_unpad（长边相同，比例相同的新图）
        im = cv2.resize(im, new_unpad, interpolation=cv2.INTER_LINEAR)
    top, bottom = int(round(dh - 0.1)), int(round(dh + 0.1))   # 计算上下两侧的padding
    left, right = int(round(dw - 0.1)), int(round(dw + 0.1))  # 计算左右两侧的padding
    im = cv2.copyMakeBorder(im, top, bottom, left, right, cv2.BORDER_CONSTANT, value=color)  # add border

将416-312=104，得到原本需要填充的高度。再采用numpy中np.mod取余数的方式，得到8个像素，再除以2，即得到图片高度两端需要填充的数值。

4.5 返回

    return im, ratio, (dw, dh)
    """:img: letterbox后的图片 HWC
        ratio: wh比例
        (dw, dh): w和h的pad
    """

5、例子

import numpy as np
import cv2


#  将图片缩放调整到指定大小
#  在datasets.py多次调用，分别为1、LoadImages类的__next__函数(242行)；2、LoadWebcam类的__next__函数(288行)；
#  3、LoadStreams类的__init__函数(337行)；4、LoadStreams类的__next__函数(366行)；
#  5、LoadImagesAndLabels类的__getitem__函数(566行)
def letterbox(im, new_shape=(640, 640), color=(114, 114, 114),
              auto=True, scaleFill=False, scaleup=True, stride=32):
    """参数：
            im: 原图 hwc
            new_shape: 缩放后的尺寸
            color: pad的颜色（灰色边框，补齐调整后的区域）
            auto: True 保证缩放后的图片保持原图的比例 即 将原图最长边缩放到指定大小，再将原图较短边按原图比例缩放（不会失真）
                  False 将原图最长边缩放到指定大小，再将原图较短边按原图比例缩放,最后将较短边两边pad操作缩放到最长边大小（不会失真）
            scaleFill: True 简单粗暴的将原图resize到指定的大小，没有pad操作（失真）
            scaleup: True  对于小于new_shape的原图进行缩放,大于的不变
                     False 对于大于new_shape的原图进行缩放,小于的不变
            stride: 步长

    :return: img: letterbox后的图片 HWC
             ratio: wh比例
             (dw, dh): w和h的pad
    """

    # 在满足多个步幅约束的情况下调整图像大小并填充图像

    # 第一层resize后图片大小[h, w]
    shape = im.shape[:2]

    # 如果new_shape参数是整数（这里不是），防止将new_shape = 640
    if isinstance(new_shape, int):
        new_shape = (new_shape, new_shape)

    # 计算比例 (new / old)
    r = min(new_shape[0] / shape[0], new_shape[1] / shape[1])

    # 只进行下采样 因为上采样会让图片模糊
    if not scaleup:
        r = min(r, 1.0)

    # 计算灰边长宽
    ratio = r, r  # 长宽比例
    new_unpad = int(round(shape[1] * r)), int(round(shape[0] * r))  # wh(512, 343) 保证缩放后图像比例不变
    dw, dh = new_shape[1] - new_unpad[0], new_shape[0] - new_unpad[1]  # wh padding
    if auto:  # 保证原图比例不变，将图像最大边缩放到指定大小
        # 这里的取余操作可以保证padding后的图片是32的整数倍(416x416)，如果是(512x512)可以保证是64的整数倍
        dw, dh = np.mod(dw, stride), np.mod(dh, stride)  # wh padding
    elif scaleFill:  # 简单粗暴的将图片缩放到指定尺寸
        dw, dh = 0.0, 0.0
        new_unpad = (new_shape[1], new_shape[0])
        ratio = new_shape[1] / shape[1], new_shape[0] / shape[0]  # width, height ratios

    # 在较小边的两侧进行pad, 而不是在一侧pad
    dw /= 2  # divide padding into 2 sides
    dh /= 2

    if shape[::-1] != new_unpad:  # 将原图resize到new_unpad（长边相同，比例相同的新图）
        im = cv2.resize(im, new_unpad, interpolation=cv2.INTER_LINEAR)
    top, bottom = int(round(dh - 0.1)), int(round(dh + 0.1))   # 计算上下两侧的padding
    left, right = int(round(dw - 0.1)), int(round(dw + 0.1))  # 计算左右两侧的padding
    im = cv2.copyMakeBorder(im, top, bottom, left, right, cv2.BORDER_CONSTANT, value=color)  # add border
    return im, ratio, (dw, dh)


if __name__ == '__main__':
    img = r'2.jpg'
    im = cv2.imread(img)

    ni, _, _ = letterbox(im, new_shape=320)
    cv2.imwrite('res3.jpg', ni)

注意：
a.训练时没有采用缩减黑边的方式，还是采用传统填充的方式，即缩放到416×416大小。
只是在测试，使用模型推理时，才采用缩减黑边的方式，提高目标检测，推理的速度。
b.为什么np.mod函数的后面用32？因为Yolov5的网络经过5次下采样，而2的5次方，等于32。所以至少要去掉32的倍数，再进行取余。