目标检测与YOLO算法（用Python实现目标检测）

千次阅读 多人点赞 2020-07-27 23:54:36

最近在听Andrew Ng讲解目标检测的视频，包括目标定位，特征点检测，卷积的滑动窗口的实现，Bounding Box预测，交并比，非极大值抑制，AnchorBoxes，YOLO算法以及候选区域，并通过查阅相关的资料，对以上内容有了初步...

最近在听Andrew Ng讲解目标检测的视频，包括目标定位，特征点检测，卷积的滑动窗口的实现，Bounding Box预测，交并比，非极大值抑制，AnchorBoxes，YOLO算法以及候选区域，并通过查阅相关的资料，对以上内容有了初步的理解，趁热打铁，总结如下。

一、目标定位（Object Localization）

图片分类：图片分类问题已经不陌生了，例如，输入一张图片到多层卷积神经网络，它会输出一个特征向量，并反馈给softmax单元来预测图片的类型。

定位分类问题：不仅要用算法判断出图中是否有一辆汽车，而且还要标注汽车的位置，一般用边框（Bounding Box）来标注。通常只有一个较大的对象位于图片的中间位置，我们要对它进识别和定位。

对象检测问题：图片可以含有多个对象，甚至单张图片会有多个不同的分类对象。因此图像分类的思路可以帮助我们学习对象定位，而对象定位的思路又可以帮助我们学习对象检测。

举个栗子（example）：

如果你正在构建汽车自动驾驶系统，那么对象可以包括以下几类：行人、汽车、摩托车和背景，背景就是图片中没有行人、汽车、摩托车三类对象，输出结果便会是背景对象，这四个对象就是softmax函数可能输出的结果，这就是目标分类的过程。但是如果你还想定位图片中的位置，该怎么做呢？我们可以让神经网络多输出几个单元，输出一个边界框。具体说就是让神经网络再多输出 4 个数字，标记 $b_{x}$ ， $b_{y}$ ， $b_{h}$ ， $b_{w}$ 这四个数字是被检测对象的边界框的参数化表示。

图片的左上角是（0,0），右下角是（1,1），要确定边界框的具体位置，需要指定红色方框的中心点，这个点表示为（ $b_{x}$ , $b_{y}$ ）,边界框的高度为 $b_{h}$ ，宽度为 $b_{w}$ 。因此训练集不仅包含神经网络要预测的对象分类标签，还要包含表示边界框的这四个数字，接着采用监督学习算法，输出一个分类标签，还有四个参数值，从而给出检测对象的边框位置。此例中, $b_{x}$ 的理想值是 0.5， $b_{y}$ 大约是 0.7， $b_{h}$ 约为 0.3， $b_{w}$ 约为 0.4。

目标标签y的定义如下：

它是一个向量，第一个组件 $p_{c}$ 表示是否含有对象，如果对象属于前三类（行人，汽车，摩托车），则 $p_{c}$ = 1，如果是背景，则图片中没有要检测的对象，则 $p_{c}$ = 0，我们可以这样理解 $p_{c}$ ，它表示被检测对象属于某一分类的概率，背景分类除外。 $c_{1}$ ， $c_{2}$ ， $c_{3}$ 表示对象属于1-3类的哪一类，是行人，汽车，还是摩托车。神经网络中的损失函数，其参数为类别y和网络输出 $\hat{y}$ ，如果采用平方误差策略，则：损失值等于每个元素相应差值的平方和。当 $y_{1}$ = 1时，平方误差策略可以减少这 8 个元素预测值和实际输出结果之间差值的平方。当 $y_{1}$ 时，y矩阵中的后 7 个元素都不用考虑，只需要考虑神经网络评估y1y1(即pcpc)的准确度。

实际应用中，你可以对 $c_{1}$ ， $c_{2}$ ， $c_{3}$ 和 softmax 激活函数应用对数损失函数，并输出其中一个元素值，通常做法是对边界框坐标应用平方差或类似方法，对 $p_{c}$ 应用逻辑回归函数，甚至采用平方预测误差也是可以的。

二、特征点检测

上面，我们讲了如何利用神经网络进行对象定位，即通过输出四个参数值 $b_{x}$ ， $b_{y}$ ， $b_{h}$ 和 $b_{w}$ 给出图片中对象的边界框。更概括地说，神经网络可以通过输出图片上特征点的(x,y)坐标来实现对目标特征的识别，我们看几个例子。

假设你正在构建一个人脸识别应用，出于某种原因，你希望算法可以给出眼角的具体位置。眼角坐标为(x,y)，你可以让神经网络的最后一层多输出两个数字 $l_{x}$ 和 $l_{y}$ ,作为眼角的坐标值。如果你想知道两只眼睛的四个眼角的具体位置，那么从左到右，依次用四个特征点来表示这四个眼角。对神经网络稍做些修改，输出第一个特征点( $l_{1x}$ , $l_{1y}$ )第二个特征点（ $l_{2x}$ , $l_{2y}$ ），依此类推，这四个脸部特征点的位置就可以通过神经网络输出了。

也许除了这四个特征点，你还想得到更多的特征点输出值，这些（图中眼眶上的红色特征点）都是眼睛的特征点，你还可以根据嘴部的关键点输出值来确定嘴的形状，从而判断人物是在微笑还是皱眉，也可以提取鼻子周围的关键特征点。为了便于说明，你可以设定特征点的个数，假设脸部有 64 个特征点，有些点甚至可以帮助你定义脸部轮廓或下颌轮廓。选定特征点个数，并生成包含这些特征点的标签训练集，然后利用神经网络输出脸部关键特征点的位置。

具体做法是，准备一个卷积网络和一些特征集，将人脸图片输入卷积网络，输出1或0，1表示有人脸,0表示没有人脸，然后输出( $l_{1x}$ , $l_{1y}$ ) ……直到( $l_{64x}$ , $l_{64y}$ )。这里我用l代表一个特征，这里有 129个输出单元，其中1表示图片中有人脸，因为有 64个特征，64×2=128，所以最终输出 128+1=129 个单元，由此实现对图片的人脸检测和定位。这只是一个识别脸部表情的基本构造模块，如果你玩过 Snapchat 或其它娱乐类应用，你应该对 AR（增强现实）过滤器多少有些了解， Snapchat 过滤器实现了在脸上画皇冠和其他一些特殊效果。检测脸部特征也是计算机图形效果的一个关键构造模块，比如实现脸部扭曲，头戴皇冠等等。当然为了构建这样的网络，你需要准备一个标签训练集，也就是图片和标签的集合，这些点都是人为辛苦标注的。

最后一个例子，如果你对人体姿态检测感兴趣，你还可以定义一些关键特征点，如胸部的中点，左肩，左肘，腰等等。然后通过神经网络标注人物姿态的关键特征点，再输出这些标注过的特征点，就相当于输出了人物的姿态动作。当然，要实现这个功能，你需要设定这些关键特征点，从胸部中心点( $l_{1x}$ , $l_{1y}$ )一直往下，直到( $l_{32x}$ , $l_{32y}$ )。

三、目标检测（多个目标）

学过了对象定位和特征点检测，我们来构建一个对象检测算法。我们将学习如何通过卷积网络进行对象检测，采用的是基于滑动窗口的目标检测算法。

假如你想构建一个汽车检测算法，步骤是，首先创建一个标签训练集，也就是x和y表示适当剪切的汽车图片样本，这张图片(编号 1)x是一个正样本. ，因为它是一辆汽车图片，这几张图片(编号 2、 3)也有汽车，但这两张(编号 4、 5)没有汽车。出于我们对这个训练集的期望，你一开始可以使用适当剪切的图片，就是整张图片几乎都被汽车占据，你可以照张照片，然后剪切，剪掉汽车以外的部分，使汽车居于中间位置，并基本占据整张图片。有了这个标签训练集，你就可以开始训练卷积网络了，输入这些适当剪切过的图片(编号 6)，卷积网络输出y， 0 或 1 表示图片中有汽车或没有汽车。训练完这个卷积网络，就可以用它来实现滑动窗口目标检测，具体步骤如下:

假设这是一张测试图片，首先选定一个特定大小的窗口，比如图片下方这个窗口，将这个红色小方块输入卷积神经网络，卷积网络开始进行预测，即判断红色方框内有没有汽车。

滑动窗口目标检测算法接下来会继续处理第二个图像，即红色方框稍向右滑动之后的区域，并输入给卷积网络，因此输入给卷积网络的只有红色方框内的区域，再次运行卷积网络，然后处理第三个图像，依次重复操作，直到这个窗口滑过图像的每一个角落，这就是所谓的图像滑动窗口操作。

注意：滑动窗口目标检测算法也有很明显的缺点，就是计算成本，因为你在图片中剪切出太多小方块，卷积网络要一个个地处理。如果你选用的步幅很大，显然会减少输入卷积网络的窗口个数，但是粗糙间隔尺寸可能会影响性能。反之，如果采用小粒度或小步幅，传递给卷积网络的小窗口会特别多，这意味着超高的计算成本。

在上述我们已经说过滑动窗口目标检测算法也有很明显的缺点，如何解决这个算法的缺点呢？在卷积层上应用滑动窗口目标检测算法可以明显的提高这个算法的效率。为了构造滑动窗口的卷积应用，首先要知道如何把神经网络的全连接层转化为卷积层。下图可以直观的解释全连接层向卷积层转化的过程。

第一部分（上面那部分）是全连接层的过程，第二部分（下面那部分）是全连接层向卷积层的转化。下面举一个例子，解释一下在卷积层上应用滑动窗口检测的算法过程，如下图所示。

在上图中假设图像大小为16×16×3，窗口的大小为14×14×3，假设步长为2，那么窗口要经过4次才能遍历整个图像，也就是在卷积层里进行4次运算，这样也会使算法的效率很低。我们的解决办法是，直接将整个图像经过卷积层、池化层这样1次操作，在上图中可以看出，最后输出的2×2×4的结果便是经过4次的结果，例如2×2×4图像的左上角区域，对应着图像的左上角的滑动窗口。

四、Bounding Box预测

在上述的在卷积层应用窗口检测算法虽然效率很高，但是其输出的边框的精准度不是很高（如下图展示，不能很精准的输出汽车的边框），如何才能使输出的边框精准度变高呢？用YOLO算法（You Only Look Once）便可解决这个问题。

YOLO 算法做的就是，将图像分成n×n的网格（下图是分成3×3的网格），取两个对象的中点，然后将这个对象分配给包含对象中点的格子。所以左边的汽车就分配到绿色框标记的格子上，右边的汽车就分配到黄色框标记的格子上。即使中心格子同时有两辆车的一部分，我们就假装中心格子没有任何我们感兴趣的对象。

五、交并比

如评价目标检测算法的好坏呢？这里便可引入交并比。

在上图中假设红色区域是真实的汽车边框，蓝色区域是应用目标检测算法所检测的边框，那么交并比（LoU）就可以如上图所表示，即黄色区域 /绿色区域。如果LoU>=0.5就可以认定所检测输出的边框合格，这里的0.5称为阀门（人工定义的），也可以是0.6, 0.7等等。

六、非极大值抑制

到目前为止我们学习到的目标检测算法仍然存在一个问题，就是当我们使用目标检测算法时，我们对同一个对象可能检验多次，如同下面这个图所示，同一对象可能检测出多次。

我们分步介绍一下非极大值抑制是怎么起效的，因为你要在 361 个格子上都运行一次图像检测和定位算法，那么可能很多格子都会举手说我的Pc ，我这个格子里有车的概率很高，而不是 361 个格子中仅有两个格子会报告它们检测出一个对象。所以当你运行算法的时候，最后可能会对同一个对象做出多次检测，所以非极大值抑制做的就是清理这些检测结果。这样一辆车只检测一次，而不是每辆车都触发多次检测。非极大值抑制可以确保我们对一个对象只检验一次，非极大值抑制算法的具体细节如下图所示。

非极大值抑制算法步骤：

1、将所有的输出的 $p_{c}$ 进行排序，选出最高的 $p_{c}$ 及其对应输出框。

2、遍历其余的输出框，如果和当前最高 $p_{c}$ 的输出框的重叠面积(IOU)大于一定阈值，我们就将框删除。

3、从未处理的输出框中继续选一个最高 $p_{c}$ 的，重复上述过程。

七、Anchor Boxes

到目前为止我们所熟悉的目标检测算法每个格子只能检测出一个对象，如果想让一个格子检测出多个对象，那么便可引出Anchor Boxes这个概念，举个栗子：

对于上面那个图像，我们将它分割为3×3，那么可以清楚的看到，人的中点和车的中点落到了同一个格子里，如果按照上述的目标检测算法，便不知道要输出哪个结果，怎么解决这个问题呢？

此时我们可以预先定义两个不同形状的Anchor Box ,并把预测结果与这两个Anchor Box相关联，此时的y可以定义如下：

前8个的结果可以与Anchor Box1相关联，后8个的结果可以与Anchor Box2相关联。下图是无Anchor Box和有Anchor Box的对比过程。

八、YOLO算法

由上面所学习到的知识组装起来构成YOLO对象检测算法。

假设我们要在图片中检测三种目标：行人、汽车和摩托车，同时使用两种不同的Anchor box。

（1）训练集：

输入X：同样大小的完整图片；
目标Y：使用
对不同格子中的小图，定义目标输出向量Y。

（2）模型预测：

输入与训练集中相同大小的图片，同时得到每个格子中不同的输出结果：

（3）运行非最大值抑制（NMS）：

假设使用了2个Anchor box，那么对于每一个网格，我们都会得到预测输出的2个bounding boxes，其中一个比较高；
抛弃概率值低的预测bounding boxes；
对每个对象（如行人、汽车、摩托车）分别使用NMS算法得到最终的预测边界框。

九、python实现YOLO目标检测

我们将在这篇博客使用在COCO数据集上预训练好的YOLOv3模型。COCO 数据集包含80类，有people (人)，bicycle(自行车)，car(汽车)......，详细类别可查看链接：https://github.com/pjreddie/darknet/blob/master/data/coco.names。

# -*- coding: utf-8 -*-
# 载入所需库
import cv2
import numpy as np
import os
import time


def yolo_detect(pathIn='',
                pathOut=None,
                label_path='./cfg/coco.names',
                config_path='./cfg/yolov3.cfg',
                weights_path='./cfg/yolov3.weights',
                confidence_thre=0.5,
                nms_thre=0.3,
                jpg_quality=80):
    '''
    pathIn：原始图片的路径
    pathOut：结果图片的路径
    label_path：类别标签文件的路径
    config_path：模型配置文件的路径
    weights_path：模型权重文件的路径
    confidence_thre：0-1，置信度（概率/打分）阈值，即保留概率大于这个值的边界框，默认为0.5
    nms_thre：非极大值抑制的阈值，默认为0.3
    jpg_quality：设定输出图片的质量，范围为0到100，默认为80，越大质量越好
    '''

    # 加载类别标签文件
    LABELS = open(label_path).read().strip().split("\n")
    nclass = len(LABELS)

    # 为每个类别的边界框随机匹配相应颜色
    np.random.seed(42)
    COLORS = np.random.randint(0, 255, size=(nclass, 3), dtype='uint8')

    # 载入图片并获取其维度
    base_path = os.path.basename(pathIn)
    img = cv2.imread(pathIn)
    (H, W) = img.shape[:2]

    # 加载模型配置和权重文件
    print('从硬盘加载YOLO......')
    net = cv2.dnn.readNetFromDarknet(config_path, weights_path)

    # 获取YOLO输出层的名字
    ln = net.getLayerNames()
    ln = [ln[i[0] - 1] for i in net.getUnconnectedOutLayers()]

    # 将图片构建成一个blob，设置图片尺寸，然后执行一次
    # YOLO前馈网络计算，最终获取边界框和相应概率
    blob = cv2.dnn.blobFromImage(img, 1 / 255.0, (416, 416), swapRB=True, crop=False)
    net.setInput(blob)
    start = time.time()
    layerOutputs = net.forward(ln)
    end = time.time()

    # 显示预测所花费时间
    print('YOLO模型花费 {:.2f} 秒来预测一张图片'.format(end - start))

    # 初始化边界框，置信度（概率）以及类别
    boxes = []
    confidences = []
    classIDs = []

    # 迭代每个输出层，总共三个
    for output in layerOutputs:
        # 迭代每个检测
        for detection in output:
            # 提取类别ID和置信度
            scores = detection[5:]
            classID = np.argmax(scores)
            confidence = scores[classID]

            # 只保留置信度大于某值的边界框
            if confidence > confidence_thre:
                # 将边界框的坐标还原至与原图片相匹配，记住YOLO返回的是
                # 边界框的中心坐标以及边界框的宽度和高度
                box = detection[0:4] * np.array([W, H, W, H])
                (centerX, centerY, width, height) = box.astype("int")

                # 计算边界框的左上角位置
                x = int(centerX - (width / 2))
                y = int(centerY - (height / 2))

                # 更新边界框，置信度（概率）以及类别
                boxes.append([x, y, int(width), int(height)])
                confidences.append(float(confidence))
                classIDs.append(classID)

    # 使用非极大值抑制方法抑制弱、重叠边界框
    idxs = cv2.dnn.NMSBoxes(boxes, confidences, confidence_thre, nms_thre)

    # 确保至少一个边界框
    if len(idxs) > 0:
        # 迭代每个边界框
        for i in idxs.flatten():
            # 提取边界框的坐标
            (x, y) = (boxes[i][0], boxes[i][1])
            (w, h) = (boxes[i][2], boxes[i][3])

            # 绘制边界框以及在左上角添加类别标签和置信度
            color = [int(c) for c in COLORS[classIDs[i]]]
            cv2.rectangle(img, (x, y), (x + w, y + h), color, 2)
            text = '{}: {:.3f}'.format(LABELS[classIDs[i]], confidences[i])
            (text_w, text_h), baseline = cv2.getTextSize(text, cv2.FONT_HERSHEY_SIMPLEX, 0.5, 2)
            cv2.rectangle(img, (x, y - text_h - baseline), (x + text_w, y), color, -1)
            cv2.putText(img, text, (x, y - 5), cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0, 0, 0), 2)

    # 输出结果图片
    if pathOut is None:
        cv2.imwrite('with_box_' + base_path, img, [int(cv2.IMWRITE_JPEG_QUALITY), jpg_quality])
    else:
        cv2.imwrite(pathOut, img, [int(cv2.IMWRITE_JPEG_QUALITY), jpg_quality])

pathIn = '../image/yolo_test1.jpg'
pathOut = '../out/yolo_test1.jpg'
yolo_detect(pathIn,pathOut)

测试一：

原图：

经过YOLO目标检测之后result:

测试二：

原图：

经过YOLO目标检测之后result:

十、 候选区域（region proposals）

R-CNN（Regions with convolutional networks），会在我们的图片中选出一些目标的候选区域，从而避免了传统滑动窗口在大量无对象区域的无用运算。所以在使用了R-CNN后，我们不会再针对每个滑动窗口运算检测算法，而是只选择一些候选区域的窗口，在少数的窗口上运行卷积网络。

具体实现：运用图像分割算法，将图片分割成许多不同颜色的色块，然后在这些色块上放置窗口，将窗口中的内容输入网络，从而减小需要处理的窗口数量。

更快的算法：

（1）R-CNN：给出候选区域，对每个候选区域进行分类识别，输出对象标签和 bounding box，从而在确实存在对象的区域得到更精确的边界框，但速度慢；

（2）Fast R-CNN：给出候选区域，使用滑动窗口的卷积实现去分类所有的候选区域，但得到候选区的聚类步骤仍然非常慢；

（3）Faster R-CNN：使用卷积网络给出候选区域。

以上是我对吴恩达讲解目标检测知识的总结，如果有什么理解不到位的地方，还请指点改正

收起

展开全文

目标检测滑动窗口 YOLO算法

用YOLOV5初步实现目标检测

千次阅读 2021-12-12 18:07:29

用YOLOV5初步实现目标检测

文章目录

前言
一、目标检测是什么？
二、使用步骤
- 1.代码下载
- 2.用pycharm运行代码
总结

前言

随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就将分享用YOLOV5进行目标检测并进行机器学习的方法

一、目标检测是什么？

目标检测（Object Detection）也叫目标提取，是一种基于目标几何和统计特征的图像分割。就是在视频或者图像中，通过计算机自动检测出其中的物体，将其框出，并注释。它是计算机视觉领域的核心问题之一。随着计算机技术的发展和计算机视觉原理的广泛应用，利用计算机图像处理技术对目标进行实时跟踪研究越来越热门，对目标进行动态实时跟踪定位在智能化交通系统、智能监控系统、军事目标检测及医学导航手术中手术器械定位等方面具有广泛的应用价值。

二、使用步骤

1.代码下载

https://github.com/ultralytics/yolov5

2.用pycharm进行代码运行

1、打开pycharm新建工程，并打开下载源码的目录，找到detect.py并打开。（你也可以阅读README来获取更多代码的相关信息）

2、进行代码的初次运行，右键后点击‘运行 detect.py’，不出意外的话将会出现许多红色的报错，比如“No model named 'yaml’ ”这是因为在你的电脑上缺少运行此程序需要的model，只需要在命令行（cmd）上下载下来就可以。（当然要下载model，还需要配置环境以及将pip源转换到国内镜像）

3、拿缺少'yaml'为例子，打开命令行，输入pip install pyyaml,回车，就可以看到正在下载该model，如果成功下载会出现一下情景：

4、在下载完所有model后，打开“运行”（run）菜单，进入“编辑配置”（Edit Configurations）在

“参数”（Paramters）中输入 --source 0 ，则表示用0号摄像头（笔记本电脑自带位于屏幕上方）进行测试。如输入--source data/images，则表示用data/images下的所有图片进行测试，如果输入--source 1.mp4，则表示用1.mp4视频文件进行测试。

在这之后在运行detect.py，稍等片刻就会看到摄像头指示灯亮起，目标检测开始了：

当然这次目标检测初步识别也有识别失败的，如把凳子识别成交通信号灯，此外旁边的小数代表概率。接下来就需要进行大量的数据训练来提高识别精度了。

运行目标检测

命令行下的项目model下载

总结

以上就是用YOLOV5初步进行目标检测的步骤，此外还可以进一步进行数据训练，使计算机深度学习，达到有更准确的识别结果以及更广泛的识别对象的目的。

收起

展开全文

目标检测 python 计算机视觉

机器学习系列（7）:目标检测YOLO算法及Python实现以自动驾驶为例

千次阅读 2018-09-10 17:23:35

目标检测之YOLO算法原理及Python实现目标检测： 1.目标分类 2.目标定位 3.特征点检测 4.滑动窗口检测 5.卷积的滑动窗口实现 YOLO算法： 1.什么是YOLO 2.边界框（Bounding Box）回归 3.交并...

机器学习系列 (7)

图片挂了，大家可移步：
https://mp.weixin.qq.com/s?__biz=MzU4NTY1NDM3MA==&mid=2247483829&idx=1&sn=47e607838b88ebd87ecb104843ffd69d&chksm=fd8608b8caf181aee143675b16a17111f9bc3bfb2ee18bc2bbebb78e3edf3d42eadafe0092df&token=255604471&lang=zh_CN#rd

目标检测之YOLO算法原理及Python实现

目标检测：

1.目标分类
2.目标定位
3.特征点检测
4.滑动窗口检测
5.卷积的滑动窗口实现

YOLO算法：

1.什么是YOLO
2.边界框（Bounding Box）回归
3.交并比（IOU）
4.非极大抑制（NMS）
5.Anchor box
6.候选区域（Region proposals）(optional)
7.YOLO算法总结

YOLO的Python实现：

见文章内容

申明

本文原理解释及公式推导部分均由LSayhi完成，供学习参考，可传播；代码实现部分的框架由Coursera提供，由LSayhi完成，详细数据及代码可在github查阅。
https://github.com/LSayhi/DeepLearning

CSDN博客：https://blog.csdn.net/LSayhi

微信公众号:AI有点可ai(文末附有二维码，感谢您的关注)

一、目标检测

1.目标分类：

目标分类即对图像中的物体进行识别分类，是目标检测的第一阶，只要求分辨出对象的类别，常用卷积神经网络(CNN）实现。例如在自动驾驶应用中，目标分类的作用是识别出图片中的物体属于哪一个类别，属于是行人、汽车、自行车、红绿灯、护栏等。

2.目标定位：

目标定位即对图像中的物体进行位置识别，是目标检测的第二阶，要求输出对象的坐标信息，坐标常用中心点和长宽来表示。例如在自动驾驶中，目标定位的作用是确定图片中的行人、汽车等物体的具体位置。

3.特征点检测：

特征点检测即要对物体的某些特征进行识别，这可以通过神经网络输出相应特征点的坐标来实现，只需要把网络的输出改为特征点的坐标。例如在人脸识别应用中，识别出多组人脸特征点的信息，并根据识别出的特征点信息对此次检测的人脸进行识别。

4.滑动窗口检测：

滑动窗口检测即是要通过“滑动”检测窗口，对每一个窗口图像分别输入CNN进行识别，窗口大小可根据实际取值，例如图片像素为6286283，则可取正方形窗口边长为小于628的整数，然后滑动窗口到其它位置，按一定顺序遍历整张图片，输出每一次窗口里是否有物体，是什么物体，性能依赖于窗口大小的选取及滑动的步长，由于CNN需要一个个处理窗口图像，若步长和窗口较小，检测的精度提高，但需要很长的时间；如果步长和窗口较大，虽然时间减小，但可能会降低检测精度。

Figure 1 : 滑动窗口检测示意图

5.滑动窗口的卷积实现：

滑动窗口的卷积实现是为了解决滑动窗口检测中的矛盾而提出的一种检测方式。为了构建滑动窗口的卷积实现，首先要将CNN最后的全连接层转化成卷积层，举个例子看一下：假设用来做分类任务的CNN的输入大小是14×14×3的tensor，滤波器的大小是5×5×16,最大池化2×2,再经过两层全连接层，输出为softmax层的大小为4(对应四种检测对象，如行人、汽车、摩托车、背景)，那么通过把全连接层替换为卷积层，亦可实现和同样的效果，只不过此时的输出的是1×1×4的tensor，过程如下图所示。

Figure 2 : 全连接转卷积实现

现在通过这个例子来说明为什么滑动窗口的卷积实现更高效，假设现在整张图片的大小是16×16×3,滑动窗口检测的窗口大小为14×14，步长为2，那么对整张图片进行滑动窗口检测需要四次检测，也就是说CNN运行了四次，不难发现（嘿嘿，真的不难！）在四次CNN运行中，有许多计算（卷积操作）是重复的，那么如果减小这些重复计算呢？如果我们对整张16×16×3的团片一起输入CNN进行卷积操作，而不是分四次，那么则有许多公共部分的卷积操作可以共享，大大减小了计算量，结果就是一个2×2×4的块，从正视图的角度看，四个小格子就分别对应普通滑动窗口检测中每一次的结果。

Figure 3 : 滑动窗口的卷积实现

以上就是目标检测的基础内容，下个部分介绍YOLO算法在目标检测中的应用。

二、YOLO算法

1.什么是YOLO：

YOLO（you only look once）算法是目标检测算法的一种。YOLO算法在处理图像时，比滑动窗口算法时间复杂度更低，它只需“观察”图片一次，就可以检测出图片中的对象，并且可以检测多个对象，还能定位对象所在的位置（即边界），总结来说YOLO算法就是一种能够分类、定位的目标检测算法。接下来将介绍YOLO算法的具体实现。

2.边界框预测（bounding box predictions）：

在滑动窗口的实现中，我们在图像中哪一个位置检测物体取决于滑动窗口的大小和步长，所以很有可能出现检测的对象超出窗口的范围或者比窗口小得多，所以虽然能检测到物体，但是对于物体的位置信息却难以精确获得。
在YOLO算法中，我们通过bounding box预测，可以获得物体的精确位置信息。以下图为例，假设下图（figure 4）是一张100×100×3像素的图片，你要训练的CNN的输入为100×100×3，为了方便解释我们将整张图片划为3×3个网格（grid,实际可能划为19×19等更精细），每一个网格中若有物体（指的是物体的中心坐标在此网格内，如果物体有部分在某网格，但中心不在此网格，则该物体不属于此网格），则该网格的置信度设为1，否则设为0（1表示有物体，0表示没有物体）。bounding box就是指的图片中物体的边界信息，由中心坐标（x，y）和宽高（w，h）即可表示，然后对于每一个网格，外加 n 数字编码所需检测的n种类别的物体，在训练集中这些信息都是预先标注好的，中心坐标只有一个，必然属于某个网格，宽和高不属于任一网格，可以跨越多个网格，这就解决了滑动窗口和卷积实现的滑动窗口方法只能按窗口预测位置的不灵活。

Figure 4 : Bounding box 标签设定

总结起来，对于第i个网格，标签Yi为（Pc,bx,by,bh,bw,C1,C2,C3…Cn）,Pc取1或0，代表网格中有无物体，bx,by,bh,bw表示物体中心坐标和高度宽度，C1,C2,C3…Cn表示物体的种类的编码，如属于第一类则编码为（1，0，0……0），第二类则（0，1，0……0），依次类推,如果网格中没有物体，则Pc为0，剩下的数字我们不关系其具体值，所以对于整张图片，一共有9个网格，那么这张图片的标签Y就为9个网格标签的集合，示例如下（为了简便，图片中给出了其中三个网格的便签）。比如在这个例中，CNN的输入是100×100×3,经过卷积层池化层等输出的大小为3×3×8,3×3是网格的数量，实际是CNN提取到的3×3的网格特征，8是每个网格的标签，我们通过将训练集输入网络，让网络学习到这种标签的方式，在验证集上验证，并运用到测试集上，部署到实际系统中。

3.交并比：

交并比（IOU），即交集和并集的比值。在YOLO算法中，交并比是用来判断定位是否准确的一个指标。如果网络预测的边界框和实际的边界框是高度重合的，则交并比会比较大，反之，则小。所以，交并比越大，则预测的位置信息就越准确。一般我们认为IOU>0.6时定位准确，当然阈值越大，则精度越高。这一概念将运动到非极大抑制中。

Figure 5 : 交并比IOU

4.非极大抑制:

非极大抑制（Non-Max suppression,NMS），即是抑制非极大值（不是最大值，这点在讲述具体内容时可以更加明显理解）的表现。当我们在运行CNN进行Bouding box预测时，对于图像中的每一单个物体，我们需要做到的的是正确分类并且输出有且仅有一个边界框，然而在实际中，由于不是所有CNN提取的物体特征都属于一个网格（虽然一个物体的中心只有一个，但是CNN不一定能准确判断出对应区域只有一个物体），所以很有可能有多个网格输出同一区域同一个物体的积极标签，这时候它们输出的分类是一样的，只不过中心坐标和宽高不一样而已（但有交集）。那么如何解决这个问题呢？我们知道，由于网格大小和物体大小的非包含关系，可能出现对同一个物体进行多次预测，得到多个边界框，但可以理解的是，由于都是预测同一个物体，这些边界框是会有比较大交集的，这个时候想只保留其中的一个最可能是实际物体位置的边界框，由交并比的概念，我们可以对满足[①预测结果是同一个物体且②边界框交并比大于某选定阈值]这两个条件的边界框进行非极大抑制，就是去掉概率(Pc×Ci)小的,保留概率最大的那个框。当然，对于那些交并比低于阈值的，我们也同样对他们运行NMS。
具体流程，举例说明。对于这张图片，共有19×19个网格，我们让CNN输出19×19×8的大小预测每个网格是否有物体，是什么物体，物体坐标信息，在这个有19×19网格的图片中有两俩车，对于每辆车，可能会有多个网格输出它们那有车（Pc×ci大，且（bx,by）即中心坐标在它那），如Figure 6。

Figure 6 : 可能对同一物体多次预测

那么输出的边界框就可能为，如Figure 7,这时我们先找到对于车辆这一种类所有预测的框的置信度（概率值）中最大的一个，即右边那辆车的0.9的那个框，将它保留，然后将和它有很高交并比的其它框抑制（变暗），由于左边那辆车的几个框与右边交并比为0，所以暂时不会被抑制（这就是为什么称“非极大抑制”，而不是“非最大抑制”），同样的，在除去保留的那个框后，找到所有没有被抑制框中，找置信度最大的那个，也就是左边的那个0.8的框，然后同样对和它有高交并比的框进行非极大抑制，最后剩下了右边0.9和左边0.8两个框，完成预测。如Figure 8所示

Figure 7 : 非极大抑制过程

Figure 8 : 非极大抑制结果

Anchor box:

Anchor box, 是为了解决在同一网格中存在多个物体中心点的情形而提出的，即可以让一个格子拥有检测多个对象的能力。见Figure9，图中人和汽车的中点落在了同一个网格中，而根据标签的编码方式一个网格只能给出一个输出，如何解决，Anchor box就是一种解决方式。

Figure 9 : 同一网格多个对象

Figure 10 : 同一网格多个对象

该方法即是通过预先设定多个Anchor box,让对象不仅和网格对应，还对应Anchor box，anchor box的形状和新的标签编码方式可见图Figure10.此例中以两个Anchor box为例，标签Y相当于在原先的标签上复制了一次，对应两个不同形状的Anchor box。在训练集中，由于行人形状与Anchor box 1更相似，我们把其编码赋值给标签的第一部分（上半部分）里，汽车更像Anchor box 2,我们赋值给第二部分（下半部分）。这样，图像中的对象不仅和网格有关，还与Anchor box关联起来。那么Anchor box的形状如何选取？个数？一般是根据实际情况人工选取形状和个数，但也可以用K-means的方法自动选择，具体可见YOLO的论文。总结来说，Anchor box方法通过拓展标签向量的维数赋能YOLO的每一个网格，使其可以同时检测多个对象。

候选区域：

候选区域（RP）,候选区域是在计算机视觉领域一个比较有影响力的概念，它可以加快滑动窗口等方法的速度。候选区域即通过事先找出图像中可能会存在对象的区域（通过图像分割等），然后在对这些区域运行CNN，我们把这称为（作者Ross Girshick，Jeff Donahue，Trevor Darrell，Jitendra Malik），RCNN的速度比CNN快得多。

Figure 11 : 图像分割

后来，在此基础上又提出了（作者Ross Girshik）,大致就是把RCNN的滑动窗口实现改成了卷积滑动窗口实现，这进一步提高了速度；又后来（hahaha），Faster -RCNN（任少卿（Shaoqing Ren）、何凯明（Kaiming He）、 Ross Girshick和孙剑（Jiangxi Sun）被提出，这种方式通过CNN获得候选区域，比图像分割算法更快[Figure 12]。“但这些算法有一个共同的缺点是需要两步，第一步是得到候选区域，第二步对候选区域运行CNN，而YOLO算法只需一步，可能会是个长远来说更有希望的发展方向”[Andrew Ng]。

Figure 12 : 基于候选区域的算法对比

YOLO算法总结：

1.**Training ** :训练集集数据标签使用Anchor box方式，CNN结构输入为（j×j×k,j×j为像素维度，k为通道维度）,输出为（n×n×m×L，n×n为网格维度，m为Anchor的个数维度，L为每个Anchor的长度维度)，其中L=1+4+H，1是概率维度，4是box坐标维度，H是种类维度的tensor；
2.Prediction :将训练好的网络保存，输入想要测试的图片，输出（n×n×m×L）维度的tensor，得到预测的标签信息；
3.**Fliter + NMS **：将预测概率低于阈值标签所对应Anchor box过滤，然后分别对每一个类别单独运行非极大抑制，得到最终结果。

3.1 本文相应的代码及资料已经以.ipynb文件和.pdf形式在github中给出。

.ipynb文件在链接/Coursera-deeplearning深度学习/课程4/week3/

.pdf文件在链接/Coursera-deeplearning深度学习

github地址：https://github.com/LSayhi/DeepLearning

这里写图片描述

收起

展开全文

机器学习目标检测 YOLO 自动驾驶深度学习

10行代码实现目标检测
千次阅读 2018-06-23 09:46:58
作为人工智能的一个重要领域，计算机...在本教程中，我们将简要介绍包括当前目标检测的概念，软件开发人员所面临的挑战，相应的解决方案以及执行高性能目标检测的编码教程等内容。目标检测是指计算机和软件系统在图...
收起
人工智能，Python ，10行代码实现目标检测
千次阅读 2018-07-03 10:59:10
作为人工智能的一个重要领域，计算机...在本教程中，我们将简要介绍包括当前目标检测的概念，软件开发人员所面临的挑战，相应的解决方案以及执行高性能目标检测的编码教程等内容。目标检测是指计算机和软件系统在图...
收起
人工智能目标检测
目标分割、目标识别、目标检测和目标跟踪的区别
千次阅读 2019-07-16 13:15:39
3) 目标识别，即是在所有的给定数据中，分类出哪一些sample是目标，哪一些不是。这个仅仅做一下分类任务。 4）目标追踪，这个任务很重要的第一点是目标定位（Target Locating）。而且这个任务设计到的数据一般具有...
收起
目标分割目标检测目标识别目标追踪
如何用kettle实现比较源数据库中的所有表数据和目标数据库中的对应的表数据是否一致
2019-09-16 15:12:20
!... 如上图所示（转换中有两个表输入，一个叫源表，一个叫目标表，他们来自两个不同的库，表名是一个变量，抓取数据库中所有表，所以查询都是 select * from ${TABLENAME} ，表名相同表结构...有什么好方法可以实现
收起
oracle sql
深度学习之目标检测与目标识别
万次阅读 多人点赞 2018-06-05 21:58:54
本文主要讲述了目标识别中的第一种类型---基于region proposal的目标检测和目标识别的算法, 主要主要包括R-CNN,Fast R-CNN,Faster R-CNN等网络, 揭示了基于region proposal的目标检测和目标识别的算法的发展历程....
收起
R-CNN Fast R-CNN SSD 目标检测
目标检测原理与实现
千次阅读 2016-11-29 22:53:13
Detection）原理与实现(一) 基于阈值图像处理的目标检测从今天起开始要写一些关于目标检测的文章,涵盖从简单的阈值图像处理检测、霍夫变换（hough transform)检测、模版匹配检测（刚体匹配）、AAM+ASM+...
收起
多目标跟踪计数opencv（C++实现）
万次阅读 多人点赞 2017-08-08 17:44:49
今天小博就把多目标检测，追踪，计数的代码贴出来供大家把玩，如有有疑问，可...这里要根据区域分割过程给出的目标质心位置，计算出目标位移，并且根据质心位置的变化判断出目标的运动方向，以及运动目标是否在观察窗口
收起
算法 c语言
多目标线性规划求解方法及matlab实现
万次阅读 多人点赞 2018-01-21 14:51:02
求解多目标线性规划的基本思想是将多目标转化...多目标线性规划模型是有两个或两个以上的目标函数，且所有的目标函数和约束条件都是线性的，数学模型表示为：我们记则上述目标规划可简化为： ...
收起
matlab 多目标线性规划
2014年终总结，我决定要实现的三个目标
万次阅读 多人点赞 2014-12-31 09:09:24
我觉得目标对于每个人来讲应该是要一直存在的，去年我给自己定的三个目标，今年已经是全部完成了，那么现在我又要给自己制定新的目标了，从明天开始在新的一年当中还是要继续努力，尽可能地把新的目标也一一实现。...
收起
Android 年终总结
目标检测（Object Detection）
万次阅读 多人点赞 2020-11-20 19:38:58
什么是目标检测2. 目标检测的核心问题3. 目标检测算法分类1）Tow Stage2）One Stage4. 目标检测应用1）人脸检测2）行人检测3）车辆检测4）遥感检测二、目标检测原理1. 候选区域产生1）滑动窗口2）选择性搜索① 什么...
收起
目标检测
目标跟踪介绍（单目标）
万次阅读 多人点赞 2019-06-21 22:01:55
随着研究人员不断地深入研究，视觉目标跟踪在近十几年里有了突破性的进展，使得视觉跟踪算法不仅仅局限于传统的机器学习方法，更是结合了近些年人工智能热潮—深度学习（神经网络）和相关滤波器等方法，并取...
收起
SORT 多目标跟踪算法笔记
万次阅读 多人点赞 2019-04-21 15:20:46
sort 是一种简单的在线实时多目标跟踪算法。文章要点为：以 IoU 作为前后帧间目标关系度量指标；利用卡尔曼滤波器预测当前位置；通过匈牙利算法关联检测框到目标；应用试探期甄别虚检；使用 Faster R-...
收起
多目标跟踪卡尔曼滤波匈牙利匹配
目标识别
万次阅读 多人点赞 2016-08-28 23:15:40
众所周知，当前是信息时代，信息的获得、加工、处理以及应用都有了飞跃发展。人们认识世界的重要知识来源就是图像信息，在很多场合，图像所传送的信息比其他形式的信息更丰富、真切和具体。人眼与大脑的协作使得人们...
收起
目标检测
2018.5-2019.1基于FPGA平台的目标检测网络实现
千次阅读 多人点赞 2019-08-05 19:36:47
2018.5 - 2019.1 基于FPGA平台的目标检测网络实现，将目标检测模型实现为c++代码，成功通过HLS工具部署于FPGA平台上，实现公交摄像头画面中人头的检测。目录一、项目背景 1.1 公司背景 1.2 应用背景 1.3 技术...
收起
"目标-过程-结果"经验分享及OKR工作法
千次阅读 2019-08-04 15:21:20
最近两三年，我们部门都会在年初设定部门目标和个人目标，实施以来效果很明显，大家都知道部门要做什么，个人应该做什么，我们会在月末进行复盘和总结，这就是团队的进步，也是个人的进步。我们是比较传统的IT公司...
收起
过程
目标检测综述
万次阅读 多人点赞 2019-07-09 21:36:26
这意味着，我们不仅要用算法判断图片中是不是一辆汽车，还要在图片中标记出它的位置，用边框或红色方框把汽车圈起来，这就是目标检测问题。其中“定位”的意思是判断汽车在图片中的具体位置。近几年来，目标...
收起
目标检测
目标检测（降低误检测率及小目标检测系列笔记）
万次阅读 2021-11-25 14:04:31
深度学习中，为了提高模型的精度和泛化能力，往往着眼...2.为什么要训练负样本训练负样本的目的是为了降低误检测率、误识别率，提高网络模型的泛化能力。通俗地讲就是告诉检测器，这些“不是你要检测的目标”。 3.F
收起
python pytorch 目标检测
IGD反转世代距离-多目标优化评价指标概念及实现
千次阅读 多人点赞 2020-04-17 22:15:47
IGD反转世代距离-多目标优化评价指标概念及实现觉得有用的话,欢迎一起讨论相互学习~ 参考资料多目标进化优化[1]-郑金华老师，邹娟老师著实验室人手一本人人必看的宝藏图书！ IGD(Inverted Generational ...
收起
IGD 反转世代距离多目标优化
教学目标四个维度_教学目标很重要
千次阅读 2020-11-21 23:58:49
教学目标教学目标有也叫学习目标...教学目标还要分解为课堂目标，课堂目标包括学的目标，教的目标，策略的目标，这些目标组成一张课堂网，将知识学习，技能形成，思维培养连接起来，共同作用于学习的主体——学生。...
收起
教学目标四个维度
目标检测-RCNN系列
万次阅读 多人点赞 2017-01-11 16:26:12
• RCNN RCNN（Regions with CNN features）是将CNN方法应用到目标检测问题上的一个里程碑，由年轻有为的RBG大神提出，借助CNN良好的特征提取和分类性能，通过RegionProposal方法实现目标检测问题的转化。...
收起
RCNN YOLO SSD 目标检测
java 将源目录的所有文件(含子目录)拷贝到目标目录中(运用File类实现)
千次阅读 2017-08-14 08:44:26
* 将源目录的所有文件(含子目录)拷贝到目标目录中。 * * @param srcDir * 源目录 * @param destDir * 目标目录 */ public static void copyDiretory(File srcDir, File destDir) { File[] list...
收起
File类
运动目标跟踪算法
万次阅读 多人点赞 2019-02-17 12:53:17
在特定的场景中，有一些经典的算法可以实现比较好的目标跟踪效果。本文介绍了一般的目标跟踪算法，对几个常用的算法进行对比，并详细介绍了粒子滤波算法和基于轮廓的目标跟踪算法。最后简单介绍了目标遮挡的处理、多...
收起
目标跟踪
入门指南：用Python实现实时目标检测（内附代码）
千次阅读 2020-03-09 12:00:00
用Python实现目标检测现在所有的依赖项都已经安装完毕，可以用Python实现目标检测了。在下载的代码仓库中，将目录更改为： models/research/object_detection 这个目录下有一个叫object_detection_tutorial.ipynb...
收起
深度学习（目标检测）---目标检测20年
万次阅读 多人点赞 2018-05-30 11:39:42
目标检测二十年“目标检测是当前计算机视觉和机器学习领域的研究热点。从Viola-Jones Detector、DPM等冷兵器时代的智慧到当今RCNN、YOLO等深度学习土壤孕育下的GPU暴力美学，整个目标检测的发展可谓是计算机视觉领域...
收起
目标检测
Windows下利用dlib19.2实现多目标追踪
千次阅读 2017-07-08 12:03:22
Windows下利用dlib19.2实现多目标追踪
收起
目标跟踪 dlib vs2015 多目标跟踪算法

如何制定人生目标和实现目标

如何制定人生目标和实现目标

目标检测与YOLO算法（用Python实现目标检测）

用YOLOV5初步实现目标检测

​前言

一、目标检测是什么？

二、使用步骤

1.代码下载

2.用pycharm进行代码运行

总结

机器学习系列（7）:目标检测YOLO算法及Python实现以自动驾驶为例

机器学习系列 (7)

目标检测之YOLO算法原理及Python实现

一、目标检测

二、YOLO算法

10行代码实现目标检测

人工智能，Python ，10行代码实现目标检测

目标分割、目标识别、目标检测和目标跟踪的区别

如何用kettle实现比较源数据库中的所有表数据和目标数据库中的对应的表数据是否一致

深度学习之目标检测与目标识别

目标检测原理与实现

多目标跟踪计数opencv（C++实现）

多目标线性规划求解方法及matlab实现

2014年终总结，我决定要实现的三个目标

目标检测（Object Detection）

目标跟踪介绍（单目标）

SORT 多目标跟踪算法笔记

目标识别

2018.5-2019.1基于FPGA平台的目标检测网络实现

"目标-过程-结果"经验分享及OKR工作法

目标检测综述

目标检测（降低误检测率及小目标检测系列笔记）

IGD反转世代距离-多目标优化评价指标概念及实现

教学目标四个维度_教学目标很重要

目标检测-RCNN系列

java 将源目录的所有文件(含子目录)拷贝到 目标目录中(运用File类实现)

运动目标跟踪算法

入门指南：用Python实现实时目标检测（内附代码）

深度学习（目标检测）---目标检测20年

Windows下利用dlib19.2实现多目标追踪

为什么所有的目标都能实现

前言

java 将源目录的所有文件(含子目录)拷贝到目标目录中(运用File类实现)