可变形卷积：Deformable ConvNets

DCNv1论文网址：Deformable Convolutional Networks
DCNv2论文网址：Deformable ConvNets v2: More Deformable, Better Results
DCNv2代码：https://github.com/CharlesShang/DCNv2/tree/pytorch_0.4

DCNv1

1. 空洞卷积（dilated conv）

• 在图像分割领域，图像输入到CNN（典型的网络比如FCN）中，FCN先像传统的CNN那样对图像做卷积再pooling，降低图像尺寸的同时增大感受野，但是由于图像分割预测是pixel-wise的输出，所以要将pooling后较小的图像尺寸upsampling到原始的图像尺寸进行预测，之前的pooling操作使得每个pixel预测都能看到较大感受野信息。因此图像分割FCN中有两个关键，一个是pooling减小图像尺寸增大感受野，另一个是upsampling扩大图像尺寸。
• 在先减小再增大尺寸的过程中，肯定有一些信息损失掉了，那么能不能设计一种新的操作，不通过pooling也能有较大的感受野看到更多的信息呢？答案就是dilated conv。

• （a）普通卷积，1-dilated convolution，卷积核的感受野为3×3
  图中对应3x3的1-dilated conv，和普通的卷积操作一样.

• (b)空洞卷积，2-dilated convolution，卷积核的感受野为7×7
  图中对应3x3的2-dilated conv，实际的卷积kernel size还是3x3（红点）。 可以看到虽然kernel size只有3x3，但是这个卷积的感受野已经增大到了7x7。

• ( c) 空洞卷积，4-dilated convolution，卷积核的感受野为15×15
  图中是4-dilated conv操作，同理跟在两个1-dilated和2-dilated conv的后面，能达到15x15的感受野。

• 空洞卷积与普通卷积的相同点在于，卷积核的大小是一样的，在神经网络中即参数数量不变，区别在于扩张卷积具有更大的感受野。

• 空洞卷积在保持参数个数不变的情况下增大了卷积核的感受野，同时它可以保证输出的特征映射（feature map）的大小保持不变。

• dilated的好处是不做pooling损失信息的情况下，加大了感受野，让每个卷积输出都包含较大范围的信息。在图像需要全局信息或者语音文本需要较长的sequence信息依赖的问题中，都能很好的应用dilated conv。

• 将普通的卷积stride步长设为大于1，也会达到增加感受野的效果，但是stride大于1就会导致downsampling，图像尺寸变小。

2. 反卷积（Deconv）

• deconv的其中一个用途是做upsampling，即增大图像尺寸。而dilated conv并不是做upsampling，而是增大感受野。
• 卷积操作可以形象的做个解释：对于标准的k*k卷积操作，stride为s，分三种情况：
  （a）s>1，即卷积的同时做了downsampling，卷积后图像尺寸减小；
  （b）s=1，普通的步长为1的卷积，比如在tensorflow中设置padding=SAME的话，卷积的图像输入和输出有相同的尺寸大小；
  （c）0<s<1，deconv，相当于对图像做upsampling。比如s=0.5时，意味着在图像每个像素之间padding一个空白的像素后，stride改为1做卷积，得到的feature map尺寸增大一倍。

3. 可变形卷积（Deformable convolution）

• 文章提出了可变卷积和可变ROI采样。原理是一样的，就是在这些卷积或者ROI采样层上，添加了位移变量，这个变量根据数据的情况学习，偏移后，相当于卷积核每个方块可伸缩的变化，从而改变了感受野的范围，感受野成了一个多边形。

• （a）是普通的卷积，卷积核大小为3*3，采样点排列非常规则，是一个正方形。
  （b）是可变形的卷积，给每个采样点加一个offset（这个offset通过额外的卷积层学习得到），排列变得不规则。
  （c）和（d）是可变形卷积的两种特例。对于（c）加上offset，达到尺度变换的效果；对于（d）加上offset，达到旋转变换的效果。

• 如上图所示，有一个额外的conv层来学习offset，共享input feature maps。然后input feature maps和offset共同作为deformable conv层的输入，deformable conv层操作采样点发生偏移，再进行卷积。

• 事实上，可变形卷积单元中增加的偏移量是网络结构的一部分，通过另外一个平行的标准卷积单元计算得到，进而也可以通过梯度反向传播进行端到端的学习。加上该偏移量的学习之后，可变形卷积核的大小和位置可以根据当前需要识别的图像内容进行动态调整，其直观效果就是不同位置的卷积核采样点位置会根据图像内容发生自适应的变化，从而适应不同物体的形状、大小等几何形变。

• 上图展示了两层的3*3卷积层的映射。对于标准的卷积，后面层的feature map上的一个点，映射到前面层所对应的感受野是规则的，无法考虑到不同目标的外形、大小不同；而可变形的卷积则考虑到了目标的形变，映射到前面层的采样点大多会覆盖在目标上面，采样到更多我们感兴趣的信息。

4. 可变形ROI pooling（Deformable RoI pooling）

• RoI pooling是把不同大小的RoI(w*h)对应的feature map 统一到固定的大小(k x k);可形变RoI pooling则是先对RoI对应的每个bin按照RoI的长宽比例的倍数进行整体偏移(同样偏移后的位置是小数，使用双线性差值来求)，然后再pooling。
• 由于按照RoI长宽比例进行水平和竖直方向偏移，因此每一个bin的偏移量只需要一个参数来表示，具体可以用全连接来实现。
  
• 如上图所示，RoI被分为3*3个bin，被输入到一个额外的fc层来学习offset，然后通过一个deformable RoI pooling层来操作使每个bin发生偏移。
• 对于普通的ROI pooling，将ROI分解成k×k个bin，输出为k×k的特征图y，对于第 (i, j)个 bin (0 ≤ i, j < k)，有：
  
• 对于 deformable RoI pooling，offsets {∆pij |0 ≤ i, j < k} 加入到空间bin的位置，有：
  

DCNv2

1. 简介

• 目标检测一个主要挑战：尺度，姿势，视角和部件变形引起的几何变化。
• 在DCN v1中引入了两种新的模块来提高卷积神经网络对变换的建模能力，即可变形卷积 (deformable convolution) 和可变形兴趣区域池化 (deformable ROI pooling)。
• DCNv1引入了可变形卷积，能更好的适应目标的几何变换。但是v1可视化结果显示其感受野对应位置超出了目标范围，导致特征不受图像内容影响（理想情况是所有的对应位置分布在目标范围以内）。
• 提出DCNv2，主要改进有：（1）扩展可变形卷积，增强建模能力；（2）提出了特征模拟方案指导网络培训：feature mimicking scheme.

2. 可变形卷积可视化

• 可视化三个内容：
  有效感受野 ： 可视化感受野
  有效采样位置： 对采样点求梯度，然后可视化
  误差界限显著性区域 ： 参考显著性分析理论，进行可视化

• 从中观察到：
  （1）常规卷积可以一定程度上模拟几何变化，通过网络权重做到的；
  （2）可变形卷积DCNv1模拟几何变化能力显著提升，但是不够精确。

3. DCNv2改进

• 3点改进：
  （1）使用更多的可变形卷积；
  （2）在DCNv1基础（添加offset）上添加幅值参数；
  （3）R-CNN Feature Mimicking.

3.1 使用更多的可变形卷积

• DCNv1：ResNet-50 Conv5里边的3×​3的卷积层都使用可变形卷积替换。Aligned RoI pooling 由 Deformable RoI Pooling取代。
• DCNv2：在Conv3, Conv4, Conv5中所有的3×​3的卷积层全部被替换掉。

3.2 在DCNv1基础（添加offset）上添加幅值参数

在DCNV1里，Deformable Conv只学习offset：

而在DCNV2中，加入了对每个采样点的权重：

其中Δpk是学到的offset，Δmk是学到的权重。这样的好处是增加了更大的自由度，对于某些不想要的采样点权重可以学成0。

• Δpk和Δmk都是通过在相同的输入feature map 上应用的单独卷积层获得的。 该卷积层具有与当前卷积层相同的空间分辨率。 输出为3K通道，其中前2K通道对应于学习的偏移，剩余的K通道进一步馈送到sigmoid层以获得调制量。
• 对于deformable RoIPooling，DCNV2的修改类似：
  
  Δpk和Δmk的值由输入特征图上的分支产生。 在这个分支中，RoIpooling在RoI上生成特征，然后是两个1024-D的fc层。 额外的fc层产生3K通道的输出（权重被初始化为零）。 前2K通道是可学习偏移Δpk， 剩余的K个通道由sigmoid层标准化以产生Δmk。

3.3 R-CNN Feature Mimicking

• Revisiting RCNN中作者发现把R-CNN和Faster RCNN的classification score结合起来可以提升performance，说明R-CNN学到的focus在物体上的feature可以解决redundant context的问题。但是增加额外的R-CNN会使inference速度变慢很多。
• DCNV2里的解决方法是把R-CNN当做teacher network，让DCNV2的ROIPooling之后的feature去模拟R-CNN的feature。
  
• 得到ROI之后，在原图中抠出这个ROI，resize到224x224，再送到一个RCNN中进行分类，这个RCNN只分类，不回归。然后，主网络fc2的特征去模仿RCNN fc2的特征，实际上就是两者算一个余弦相似度，1减去相似度作为loss即可.

4. 实验结果

文章提出了一种通过在模块中增加额外偏移量的空间采样位置和从目标任务中学习到偏移量且不需要额外的监督的方法来增强CNN的变换建模能力。基于这种思想提出了两个新模块：可变形卷积和可变形RoI池化。新模块可以很容易地取代现有CNN中的普通模块，并且可以通过标准反向传播轻松地进行端到端训练。

参考目录

可变形卷积原文：Deformable Convolutional Networks

学习DCN时我看了很多别人的文章，都写得很好，我把对我有帮助的罗列在下面。
1、这篇非常直白，可以先了解个大概： 可变形卷积从概念到实现过程
2、这篇可以先看前面的解析增加了解，后面还有代码：deformable convolution（可变形卷积）算法解析及代码分析
3、这篇比较生动活泼：更灵活、有个性的卷积——可变形卷积（Deformable Conv）
4、最后这两篇写的比较细致完整，我最后还是看这两篇最多：
目标检测之Deformable Convolutional Networks(2017）
Deformable Convolution 关于可变形卷积
当然别忘记看原文，最后知乎的那篇评论有各路神仙发言，可以帮助理解。

下面仅记录我自己的一些理解。

可变形卷积

整个过程：

1. 输入图片经过一个普通卷积得到input feature map 。
2. 将input feature map先由一路（上图粉色部分）卷积得到偏移量$\Delta p_n$。
3. 偏移量可能是浮点数，而图像位置都是整数，所以使用双线性插值来表示偏移位置。其次也是为了方便梯度反传。
4. 将获得偏移量加到input feature map 得到新的采样位置，然后使用一个3×3卷积核提取特征（蓝色部分）得到output feature map。

其实非常简单，有几个注意点：

粉色虚线部分： 通过conv（与图中对应）得到整张input feature map图的偏移量（offset field）大小为$h\ast w\ast 2N$ 。偏移的是input feature map图像位置而不是卷积。

1. 2N是什么：2 是指x和y两个方向。N是k×k卷积核大小，具体到这张图就是3×3。也就是说offset field的维度2N=18是每个位置上xy两个方向分别九个偏移量的展开。得到两个offsets（x、y）刚好可以加到二维图像input feature map 的每个位置上。
2. Offset field对应整个input feature map的大小，所以一次求得了每个像素位置的偏移量。
3. Input feature map应该有C个通道，粉色中实现的是每个通道的偏移量，所以应该有对应的C个粉色虚线部分。

蓝色部分：：

1. 每个3×3的卷积核和特征图像做卷积前，先从粉色一路获取特征图像偏移量，得到偏移位置，用偏移位置的特征值做卷积。
2. 形象表达一下，可以帮助理解，但是是错的！！！！！：就好像蓝色一路的卷积核做了一个形变然后印在特征图像上，和特征图像对应位置的特征值做卷积。
3. 实际上卷积核是不动的，改变的是对应特征图像的位置。

最后再说一点：这个网络学习的不是偏移offset本身，而是如何从原图学习产生offsets的核的过程

最后祝各位科研顺利，身体健康，万事胜意~

近来在学习anchor-free网络，看到了可变形卷积（Deformable Convolutional Networks(DCN)）的内容，大致总结一下，便于后面回顾。
可变形卷积可从以下三篇论文去学习，它们也被称为DCNv1、DCNv2、RepPoints（DCNv3）,
DCNv1:http://xxx.itp.ac.cn/pdf/1703.06211.pdf
DCNv2:http://cn.arxiv.org/pdf/1811.11168v2
RepPoints（DCNv3）:http://xxx.itp.ac.cn/pdf/1904.11490v2

这几篇论文是可变形卷积的提出和发展，最基础的都是建立在可变形卷积之上，那就有必要仔细学一下什么是可变形卷积了。

由尺度、姿态、视角和部分形变等因素引起的几何变化是目标识别和检测的主要挑战。在卷积/RoI池化模块中，DCN通过学习采样点的位置来得到几何形变建模的能力。

采样点的个数一般是设置成9个，传统的卷积是图a所示，要实现可形变卷积，并不是卷积核具有变形的能力，而是对这9个样本点的位置增加了一个偏移量进行训练学习。

2D卷积包含两步：1)用规则的网格R(3*3)在输入特征映射x上采样；2)对w加权的采样值求和。网格R定义了感受野的大小和扩张。例如定义了一个扩张大小为1的3×3卷积核。

对于输出特征映射y上的每个位置p0，我们有

其中Pn枚举了R中的位置。
在可变形卷积中，规则的网格R通过偏移{∆pn|n=1，…，N}增大，其中N=|R|。方程(1)变为

现在，采样是在不规则且有偏移的位置Pn+∆pn上。由于偏移∆pn通常是小数，方程(2)可以通过双线性插值实现

其中p表示任意（小数）位置（公式(2)中p=Po+Pn+∆Pn)，q枚举了特征映射x中所有整体空间位置，G()是双线性插值的核。注意G是二维的。它被分为两个一维核

如何进行双线性插值呢？

如图2所示，通过在相同的输入特征映射上应用卷积层来获得偏移。卷积核具有与当前卷积层相同的空间分辨率和扩张(例如，在图2中也具有扩张为1的3×3）。输出偏移域与输入特征映射具有相同的空间分辨率。通道维度2N对应于N个2D偏移量。在训练过程中，同时学习用于生成输出特征的卷积核和偏移量。为了学习偏移量，梯度通过方程(3)和(4)中的双线性插值运算进行反向传播。

对于输入的一张feature map，假设原来的卷积操作是3×3的，那么为了学习偏移量offset，我们定义另外一个3×3的卷积层（图中上面的那层），输出的维度其实就是原来feature map大小，channel数等于2N（分别表示x,y方向的偏移）。下面的可变形卷积可以看作先基于上面那部分生成的offset做了一个插值操作，然后再执行普通的卷积。

理解了上面这段话基本上就理解了可变形卷积，其余都是在这基础上的变化，上面那层的卷积是用于学习偏移量的，并没有对变形的区域进行卷积，卷积区域也不会突然变形。通过学习到的偏移量与对应像素的位置索引值相加，像素位置的索引值发生了变化，从整数变成了小数，不再对应之前位置的像素值。这时如何确定新的像素值？使用双线性插值，把每个样本点的4邻域像素值加权平均得到新的对应位置的像素值。这样，每个点对应着四个位置的像素，9个样本点最多可以表示36个位置的像素，而这个位置根据偏移量变化是不固定的，于是就实现了可变形卷积。

关于RepPoints,它是在可变形卷积的基础上实现的，增加了两个阶段的可变形卷积

提出RepPoints一组样本点集，默认是9个


通过学习样本点x和y方向的偏移量，结合像素特征进行分类回归。

这是这篇文章提出的检测器结构。输入图像进入FPN网络进行特征提取，这里只画了一层的处理过程。在这层，提取到的特征图有两条走向，上面那条是进行可变形卷积获得偏移量，下面那条是常规的卷积操作，得到新的特征图。学习到的偏移量与新特征图进行结合，上面提过，就是新特征图的像素索引加上偏移量，在进行双线性插值进一步得到新的特征图。在最新的特征图中，有9个样本点对应学习出来的目标边界，这时根据这些目标边界产生伪框与ground truth对比进行分类回归。
下面是一个更具体的检测器结构图。

参考博客：
全面解析可变形卷积家族（Deformable Convolutional Networks v1+ v2）
可变形卷积 deformable convolution 学习记录