1、SVM+HOG
 
区域生成方法：滑动窗口；
 特征：HOG；
 检测范式：手工特征+分类器；
 SVM+HOG过去常常用于行人检测和车辆检测。以行人检测为例，该方法将目标检测规约为一个二分类问题。首先在训练过程中，根据标注信息将正样本剪裁，并缩放至统一分辨率，然后随机剪裁一些背景图像作为负样本。分别提取正样本和负样本的HOG特征，利用HOG特征训练二分类SVM分类器。在测试阶段，采用滑动窗口的方式，建立一个图像金字塔。金字塔的每一层对应图像中的一个区域。提取金字塔每一层上子图像的HOG特征，并用SVM分类器判断样本属于正类还是负类。如果是正类，则认为该区域对应了行人。最后将所有检测到的结果用非最大值抑制算法进行后处理，得到最终的检测结果。
 
2、DPM
 
区域生成方法：滑动窗口；
 特征：HOG；
 检测范式：手工特征+根分类器+部件分类器；
 DPM检测框架主要用于检测形变物体。与SVM+HOG相比，DPM不仅训练整体目标的根检测器，还训练目标部件的部件检测器。在检测过程中，分别用根检测器和部件检测器在图像的HOG特征图上做二分类，得到各自的响应图。然后将根检测器、部件检测器的响应图相加，得到融合响应图。融合响应图上幅值较大的区域为潜在的目标区域。最后同样采用非最大值抑制对检测框后处理，得到最终检测结果。
 
3、R-CNN/Fast R-CNN
 
区域生成方法：Selective search；
 特征：CNN；
 检测范式：区域建议+卷积特征的非端到端检测；
 
4、Faster R-CNN/R-FCN
 
区域生成方法：RPN网络；
 特征：CNN；
 检测范式：端到端的特征提取+分类；
 
5、Mask R-CNN
 
区域生成方法：RPN网络；
 特征：CNN；
 检测范式：多任务联合学习；
 
6、SSD/DSSD
 
区域生成方法：直接构造（锚点）；
 特征：CNN；
 检测范式：端到端检测（one stage）；
 
7、YOLO v1-v3
 
区域生成方法：直接构造（网格）；
 特征：CNN；
 检测范式：端到端检测（one stage）；
 
R-CNN与SVM+HOG框架的检测思路一致，区别在于釆用的区域生成算法和特征提取算法不同。为了降低检测算法的搜索空间，R-CNN采用selective search区域建议算法来代替滑动窗口。与滑动窗口方法相比，selective search能够极大的减少候选窗口的数量，从而加快检测速度，并降低误检率。另一方面，R-CNN采用卷积神经网络提取图像特征，代替原有的HOG特征。与低层HOG特征相比，卷积特征具有层级式的特征结构和更强的表达能力。因此，R-CNN的检测准确度要远超SVM+HOG框架。
 
尽管采用卷积神经网络提取图像特征能显著提高检测准确度，但R-CNN检测算法存在较多的冗余计算，当selective search算法给出的候选窗口存在重叠区域时，R-CNN会重复提取这部分的特征。对此，Girshick等提出先整体对全图提取卷积特征，再根据候选窗口在特征图上截取相应的区域，作为该候选窗口的特征，最后釆用ROI-Pooloing进行分辨率对齐。采用这一方法，Fast R-CNN相比R-CNN算法在检测速度上有显著提升。Faseter R-CNN是基于Fast R-CNN的改进算法。尽管Fast R-CNN降低了特征提取阶段的计算时间，但区域建议算法selective search算法本身的时间复杂度仍然较高。为此，Faster R-CNN提出了端到端训练的RPN区域建议网络，能够极大的降低区域建议算法的计算时间。与R-CNN、Fast R-CNN相比，Faster R-CNN能够在提高检测准确度的同时降低检测时间消耗。
 
尽管Fast R-CNN通过在后选窗口之间共享特征图的方式来避免重复地提取特征，但全连接层在ROI-Pooloing之后仍然存在冗余计算，对此，He等提出了Region-based Fully Convolution Network(R-FCN**)检测算法，采用类似的思想，使得全连接层共享ROI-Pooloing的输出结果，最终提高了检测速度。
 
多尺度特征通常能够提高目标检测算法的性能，但Faster R-CNN测算法并未考虑这一点。针对这一问题，Lin等提出了FPN检测算法。祌经网络的感受野随深度的增加而不断扩大，这使得位于不同层级的卷积特征具有拉普拉斯金字塔的多尺度结构。利用这一性质，FPN检测算法采用跳跃链接，将不同层的输出进行融合，作为多尺度特征。这一方法可以在不显著增加计算复杂度的前提下提高目标检测系统的性能。
 
Fast R-CNN和Faster R-CNN均采用区域建议算法生成候选框，这种先生成候选框再检测的框架一般被称为两步检测算法（Two-stage）。这种检测范式的优点是准确度高，正样本和负样本较为平衡。但缺点是区域建议算法需要消耗额外的计算时间。SSD是一类单步检测算法（One-stage），采用一组默认的候选框来代替区域建议算法。在检测阶段，该算法在每一个候选框上预测目标类型，并根据标注信息对检测框微调。因此，SSD成功的将目标检测中所有的运算集成到了单个卷积神经网络中，大大提高目标检测的速度。另一个具有代表性的单步检测算法是YOLO。这类单步检测算法随着检测速度快，但是由于采用了默认候选框，因此很难保证正样本和负样本之间的平衡。
 
Mask R-CNN是基于Faster R-CNN的改进算法，在原有检测任务的基础上添加语义分割侧枝，实现目标识别、检测和语义分割的并行处理。其中，新增的语义分割侧支是一个以ROI为输入的小型全卷积网络FCN(Fully Convolution Network)网络，并进行端到端的像素式分类预测。该方法是一个简单、高效和灵活的一般性框架，不仅可以用于目标识别、检测和语义分割，也可以用于姿态估计等。多任务联合学习是一个有潜力的研宄方向，联合学习通常能够比单任务学习获得更好的性能。
 
主流的检测算法在大尺度物体上的检测效果较好，但对小目标的检测效果不佳。针对这一问题，Bharat等对目标检测中的尺度问题进行深入分析，并通过实验验证了上采样有助于小物体的检测，并据此提出了SNIP检测算法。主流的目标检测算法在训练时不区分大小物体的梯度信号，而SNIP算法将梯度信号视为尺度的一个函数，在训练的后向传递阶段，根据目标尺度选择性的回传梯度信号，在预测阶段，建立图像金字塔并筛选出在指定尺度范围内的输出，最后采用NMS算法融合不同分辨率下的检测结果。该方法在COCO检测数据集上取得了很好的结果。

前言：学长讲的目标检测入门，我就随手记了个大框架，感觉深度学习迭代太快，具体模型特点还是各自看论文吧~
 本文可能存在拼写/部分错误，重点是框架啊哈哈哈。 另，欢迎指正！
 

 
目标检测框架
 
目标检测框架组成
Backbone
Head
Neck
  
提升检测效率
全卷积FCN
多特征检测—不同尺度的特征图相加SSD
多尺度融合—特征金字塔FPN
注意力机制
  
目标检测的评价参数
Acc
Precision—查准率
Recall—查全率
AP—PR曲线下面积
mAP—mean Average Precision
IoU
  
目标检测的平台
目标检测方法
目标检测过程
数据集打标签
数据集类型
环境配置注意
设置参数训练Train&验证validation&(测试test)&调参
 

 
目标检测框架组成
 
Backbone
 
提取：目标独有（黑盒子）的特征
特征提取器：VGG，ResNet
 
Head
 
识别/分割/掩码-马赛克等具体任务
 
Neck
 
FPN结构(2016)
ASFF
RFB
SPP
 
提升检测效率
 
目的：提取有效特征
 
全卷积FCN
 
全连接转化为1*1的全卷积
 
优点：可以接受任意大小的输入图像，更加高效
缺点：得到结果不够精细，缺乏空间一致性
 
多特征检测—不同尺度的特征图相加SSD
 
2016 Single Shot MultiBox–SSD
 
多尺度融合—特征金字塔FPN
 
同Neck部分
 
注意力机制
 
目的：更快get目标
 
自上而下——主动——聚焦式注意力【normal】
自下而上——被动——显著性注意力
例如：SENet（2018），SKNet（2019），CBAM
 
目标检测的评价参数
 
TP—IoU>0.5的检测框数量
 True Positive (TP): （同一Ground Truth只计算一次）
FP—IoU<=0.5的检测框数量
 False Positive (FP): 检测到同一个GT的多余检测框的数量
FN—没有检测到的GT数量
TN—不会使用到mAP中
 
Acc
 
所有样本
 $$Acc=\frac{TP+TN}{TP+TN+FP+FN}$$
 
Precision—查准率
 
所有正样本（检测出来的）
 $$Precision=\frac{TP}{TP+FP}$$
 
Recall—查全率
 
所有正确识别的概率
 $$Precision=\frac{TP}{TP+FN}$$
 
AP—PR曲线下面积
 
$$AP=\frac{\sum P_r}{\sum r}$$
 
mAP—mean Average Precision
 
$$mAP=\frac{AP}{tota{l}_{class}}$$
 
IoU
 
交并比（IOU）是度量两个检测框（对于目标检测来说）的交叠程度。
 $$\begin{gathered} IoU=\frac{area(B_p\cap B_{gt})}{area(B_p\cup B_{gt})} \\ {B}_{gt}目标实际的边框；B_p预测的边框 \end{gathered}$$
 
目标检测的平台
 
detection2 
  
pytorch
 
MMdetection 
  
pytorch
港中文-商汤
github/open-mmlab/mmdetection
 
maskrcnn-benchmark
SimpleDet 
  
pytorch
图森未来
 
Tensorpack 
  
tensorflow
 
 
目标检测方法
 
$$\{\begin{array}{l}阶段\{\begin{array}{l}one-stage:YOLO1(2016),SSD,Polar-Net(2019)\\ two-stage:R-CNN2014,DynamicR-CNN2020\end{array}\\ 锚框\{\begin{array}{l}anchor:Faster-R-CNN,SSD,YOLOv2+\\ anchor-free:FCOS\end{array}\end{array}$$
 
目标检测过程
 
数据集打标签
 
LabelIme：曲面边缘
OpenCV/CVAT：MASK-R-CNN
VOTT，VIA
PixelAnnotationTool：超分辨率
 
数据集类型
 
语义分割：semantic segmentation
实例分割：instance
常用：VOC&COCO
 
数据集的文件格式，需要转换为模型输入的格式（比如记录锚框位置信息的XML）
 
环境配置注意
 
CUDA的版本需要对应硬件GPU，cudan
 
设置参数训练Train&验证validation&(测试test)&调参

目标检测三大开源神器：Detectron2/mmDetection/SimpleDet
 http://blog.itpub.net/69946223/viewspace-2674254/
 
2019下半年最新监测方法
 https://zhuanlan.zhihu.com/p/96115519

Detectron2
 
维护团队：Facebook
 
所属框架：PyTorch
 
https://github.com/facebookresearch/detectron2
 
基于Detectron2二次开发的开源项目
 
AdelaiDet：实例级识别任务开源工具箱
 
https://github.com/aim-uofa/AdelaiDet
 
这个项目后面 Amusi 会单独写一篇文章来介绍，AdelaiDet 主要是阿德莱德大学沈春华团队维护的项目，涉及目标检测、实例分割、文本检测等方向。比如包含了SOLOv1-v2、FCOS、BlendMask、CondInst等工作。
 
像最近 CVPR 2020、ECCV 2020上有不少好的工作也都是基于 Detectron2开发的，比如DETR、CenterMask：
 
https://github.com/facebookresearch/detr
 
https://github.com/youngwanLEE/centermask2
 
https://github.com/youngwanLEE/vovnet-detectron2
 
https://github.com/shenyunhang/NA-fWebSOD/
 
mmDetection
 
维护团队：香港中文大学-商汤联合实验室
 
所属框架：PyTorch
 
https://github.com/open-mmlab/mmdetection
 
基于mmdetection二次开发的开源项目
 
基于mmdetection 开发的开源项目特别特别多，比如最近CVPR 2020上很多检测工作就是基于此开发的。这里就不一一介绍，简单列几个较为知名的：
 
https://github.com/Gus-Guo/AugFPN
 
https://github.com/FishYuLi/BalancedGroupSoftmax
 
https://github.com/JialeCao001/D2Det
 
https://github.com/caiqi/sample-weighting-network
 
https://github.com/jshilong/SEPC
 
https://github.com/Sense-X/TSD
 
https://github.com/ggjy/HitDet.pytorch
 
SimpleDet
 
维护团队：图森未来（TuSimple）
 
所属框架：MXNet
 
https://github.com/TuSimple/simpledet
 
SimpleDet 是一套简单且多功能的目标检测与实例分割的框架。就这么说吧，如果你是用MXNet来开发检测项目，那么直接用SimpleDet就行。SimpleDet 包含的库也相当丰富，如：Faster R-CNN，Mask R-CNN，Cascade R-CNN，RetinaNet，DCNv1/v2，TridentNet，NASFPN , EfficientNet, FOCS，FreeAnchor，RepPoints，和SEPC等
 
darknet
 
维护团队：AlexeyAB（个人开发者）
 
所属框架：darknet（基于C语言编写）
 
https://github.com/AlexeyAB/darknet
 
说起 darknet 可能有些人并不熟悉，但直接说出它的目标检测真身：YOLO，很多人就知道了。darknet 本身是 YOLO系列中著名的backbone，然后YOLO项目一直放在darknet中。
 
本文介绍的darknet并非YOLOv1-v3作者（Joseph Redmon）的darknet，而是YOLOv4作者（AlexeyAB）的darknet，因为Joseph Redmon不再继续维护darknet。
 
值得提一下，本文介绍的darknet的github star数是11667！这个数量要高于上面介绍的Detectron2、mmDetection和SimpleDet。而且这三个项目的commits数量全部加起来都比不过darknet。
 
darknet中包含的目标检测模型相对上面三大神器要少很多，但个个都是扛把子的，比如YOLO、YOLOv2、YOLOv3和YOLOv4。
 
如果你想用C/C++来开发目标检测模型，那么darknet是最适合你的神器
 
转自：https://mp.weixin.qq.com/s/CrdkKj2nPiuUVYDs3Ky05g