FCN论文详解

FCN算法Pytorch实现：https://github.com/codecat0/CV/tree/main/Semantic_Segmentation/FCN

1. 将全连接层替换为卷积层

语义分割的目的是对图像中每一个像素点进行分类，与普通的分类任务只输出图像某个类别不同，语义分割任务输出的是与输入图像大小相同的图像，输出图像的每个像素对应输入图像每个像素的类别，这也就是论文中提到的dense prediction。

FCN全卷积网络是图像分割开山之作，其核心思想非常简单，用卷积层代替分类网络中的全连接层。

用于分类的神经网络由卷积层、池化层和最后连接的全连接层组成，经过最后的全连接层后，二维的图像信息被映射为具体的一维类别信息进行输出，得到分类标签。

对于语义分割问题，我们需要的不是具体的类别标签，而是一个二维的分割图，FCN方法丢弃全连接层，并将其换成卷积层，最后输出与原图相同大小的分割图

论文作者认为：全连接层让目标的位置信息消失了，只保留了语义信息，而将全连接层更换为卷积层可以同时保留位置信息和语义信息

2. 上采样

由于经过多次卷积之后图像的大小会缩小，需要通过上采样对其进行尺寸大小的恢复，使最后的分割图与原图尺寸一样

2.1 反卷积

下图为stride=1、paddding=0的反卷积的工作过程

下图为stride=2、padding=1的反卷积的工作过程

根据卷积的尺寸计算公式
$$o=\frac{i-k+2\cdot p}{s}+1$$
得反卷积的尺寸就算公式为：
$$i=(o-1)\cdot s+k-2\cdot p$$

Pytorch实现：nn.ConvTranspose2d

2.2 插值

2.2.1 最近邻插值

计算P与Q11、Q12、Q22、Q21的距离，可知P与Q11最近，所以P像素点的值与Q11像素点的值一样

2.2.2 双线性插值

双线性插值就是做两次线性变换，先在X轴上做一次线性变换，求出每一行的R点
$$\begin{gathered} R_1=\frac{x_2-x}{x_2-x_1}{Q}_{11}+\frac{x-x_1}{x_2-x_1}{Q}_{21} \\ {R}_2=\frac{x_2-x}{x_2-x_1}{Q}_{12}+\frac{x-x_1}{x_2-x_1}{Q}_{22} \end{gathered}$$
再在Y轴上做一次线性变换，求该区域的P点
$$P=\frac{y_2-y}{y_2-y_1}{R}_1+\frac{y-y_1}{y_2-y_1}{R}_2$$

2.3 UpPooling

2.4 Upsample

3. 跳跃结构

如果直接用全卷积后的层进行上采样的话，得到的结果往往不够精细，所以本文中采取了跳级结构的方法，将更靠前的卷积层和经过上采样的层相结合，如下图所示：

采用这种方法，能够在保留全局特征的前提下，尽可能使得图像的划分更为精细

daily：作为深度学习图片分割第一个学习的网络结构

Q1： 为什么要用FCN？

A1：应为和以前网络R-CNN，SDS相比提升比较大

Q2：与CNN什么区别？

A2:使用全卷积层代替全连接层

Q3：为什么要进行代替？

A3：1.全连接层训练时输入节点个数是固定的，如果输入节点发生变化就会报错（以后解决了），使用全卷积代替全连接层可以不用对于图片大小做规定。

        2.如果使用全连接层结果是一个柱状图的形式（向量），但是使用全卷积代替全连接得到的结果是一个2D的形式，可以将其可视化为一个heatmap形式。

 Q4：如何将全连接替换成全卷积(论文中，达到最高精度的分类网络是VGG16，但提供的模型基于AlexNet)

   全连接层和卷积层之间唯一的不同就是卷积层中的神经元只与输入数据中的一个局部区域连接，并且在卷积列中的神经元共享参数。然而在两类层中，神经元都是计算点积，所以它们的函数形式是一样的。因此，将此两者相互转化是可能的：
   （1）对于任一个卷积层，都存在一个能实现和它一样的前向传播函数的全连接层。权重矩阵是一个巨大的矩阵，除了某些特定块，其余部分都是零。而在其中大部分块中，元素都是相等的。
   （2）任何全连接层都可以被转化为卷积层。比如VGG16中第一个全连接层是25088 * 4096的数据尺寸，将它转化为512 * 7 * 7 * 4096的数据尺寸，即一个K=4096的全连接层，输入数据体的尺寸是7 * 7 * 512，这个全连接层可以被等效地看做一个F=7, P=0, S=1, K=4096 的卷积层。换句话说，就是将滤波器的尺寸设置为和输入数据体的尺寸一致7 * 7, 这样输出就变为1 * 1 * 4096, 本质上和全连接层的输出是一样的。
   输出激活数据体深度是由卷积核的数目决定的(K=4096)。
   在两种变换中，将全连接层转化为卷积层在实际运用中更加有用。假设一个卷积神经网络的输入是227x227x3的图像，一系列的卷积层和下采样层将图像数据变为尺寸为7x7x512的激活数据体, AlexNet的处理方式为使用了两个尺寸为4096的全连接层，最后一个有1000个神经元的全连接层用于计算分类评分。我们可以将这3个全连接层中的任意一个转化为卷积层：
   （1）第一个连接区域是[7x7x512]的全连接层，令其滤波器尺寸为F=7,K=4096，这样输出数据体就为[1x1x4096]。
   （2）第二个全连接层，令其滤波器尺寸为F=1,K=4096，这样输出数据体为[1x1x4096]。
   （3）最后一个全连接层也做类似的，令其F=1,K=1000，最终输出为[1x1x1000]。

Q5: FCN-32s,FCN-16s,FCN-8s有什么区别?

A5:FCN-32S就是上采样32倍，FCN16s就是上采样16倍，FCN-8s就是上采样8倍，所以FCN-8s效果更好

Q6:为什么传统CNN的输入图片是固定大小？

A6:对于CNN，一幅输入图片在经过卷积和pooling层时，这些层是不关心图片大小的。比如对于一个卷积层，outputsize = (inputsize - kernelsize) / stride + 1，它并不关心inputsize多大，对于一个inputsize大小的输入feature map，滑窗卷积，输出outputsize大小的feature map即可。pooling层同理。但是在进入全连接层时，feature map（假设大小为n×n）要拉成一条向量，而向量中每个元素（共n×n个）作为一个结点都要与下一个层的所有结点（假设4096个）全连接，这里的权值个数是4096×n×n，而我们知道神经网络结构一旦确定，它的权值个数都是固定的，所以这个n不能变化，n是conv5的outputsize，所以层层向回看，每个outputsize都要固定，那每个inputsize都要固定，因此输入图片大小要固定。

Q8:把全连接层的权重W重塑成卷积层的滤波器有什么好处？

A8:这样的转化可以在单个向前传播的过程中, 使得卷积网络在一张更大的输入图片上滑动，从而得到多个输出(可以理解为一个label map)。
   比如: 我们想让224×224尺寸的浮窗，以步长为32在384×384的图片上滑动，把每个经停的位置都带入卷积网络，最后得到6×6个位置的类别得分, 那么通过将全连接层转化为卷积层之后的运算过程为:
   如果224×224的输入图片经过卷积层和下采样层之后得到了[7x7x512]的数组，那么，384×384的大图片直接经过同样的卷积层和下采样层之后会得到[12x12x512]的数组, 然后再经过上面由3个全连接层转化得到的3个卷积层，最终得到[6x6x1000]的输出((12 – 7)/1 + 1 = 6), 这个结果正是浮窗在原图经停的6×6个位置的得分。
   一个确定的CNN网络结构之所以要固定输入图片大小，是因为全连接层权值数固定，而该权值数和feature map大小有关, 但是FCN在CNN的基础上把1000个结点的全连接层改为含有1000个1×1卷积核的卷积层，经过这一层，还是得到二维的feature map，同样我们也不关心这个feature map大小, 所以对于输入图片的size并没有限制。

FCN流程

原理：FCN将传统卷积网络后面的全连接层换成了卷积层，这样网络输出不再是类别而是 heatmap；同时为了解决因为卷积和池化对图像尺寸的影响，提出使用上采样的方式恢复。

 1.卷积：

以原图像进行卷积conv1、pool1后原图像缩小为1/2；之后对图像进行第二次conv2、pool2后图像缩小为1/4；接着继续对图像进行第三次卷积操作conv3、pool3缩小为原图像的1/8，此时保留pool3的featureMap；接着继续对图像进行第四次卷积操作conv4、pool4，缩小为原图像的1/16，保留pool4的featureMap；最后对图像进行第五次卷积操作conv5、pool5，缩小为原图像的1/32，

2.全卷积：

然后把原来CNN操作中的全连接变成卷积操作conv6、conv7，图像的featureMap数量改变但是图像大小依然为原图的1/32，此时图像不再叫featureMap而是叫heatMap。

 3.上采样：

现在我们有1/32尺寸的heatMap，1/16尺寸的featureMap和1/8尺寸的featureMap，1/32尺寸的heatMap进行upsampling（上采样）操作之后，因为这样的操作还原的图片仅仅是conv5中的卷积核中的特征，限于精度问题不能够很好地还原图像当中的特征，因此在这里向前迭代。把conv4中的卷积核对上一次upsampling之后的图进行反卷积补充细节（相当于一个差值过程），最后把conv3中的卷积核对刚才upsampling之后的图像进行再次反卷积补充细节，最后就完成了整个图像的还原。

notes:上采样upsample

图像上采样upsampling的主要目的是放大图像，主要包括：

（1）几乎都是采用内插值法，即在原有图像像素的基础上，在像素点值之间采用合适的插值算法插入新的元素；

（2）反卷积方法（Deconvolution），又称转置卷积法(Transposed Convolution)；

（3）反池化方法（Unpooling）。

详情见：图像上采样--双线性插值_qinghuaci666的博客-CSDN博客_双线性采样

 4.跳跃结构：

对第5层的输出执行32倍的反卷积得到原图，得到的结果不是很精确，论文中同时执行了第4层和第3层输出的反卷积操作（分别需要16倍和8倍的上采样），再把这3个反卷积的结果图像融合，提升了结果的精确度：

FNC模型实现过程：

用AlexNet，VGG16或者GoogleNet训练好的模型做初始化，在这个基础上做fine-tuning，全部都fine-tuning，只需在末尾加上upsampling，参数的学习还是利用CNN本身的反向传播原理。
   （2）采用whole image做训练，不进行patchwise sampling。实验证明直接用全图已经很effective and efficient。
   （3）对class score的卷积层做全零初始化。随机初始化在性能和收敛上没有优势。
举例：
   FCN例子: 输入可为任意尺寸图像彩色图像；输出与输入尺寸相同，深度为：20类目标+背景=21，模型基于AlexNet。
   蓝色：卷积层。
   绿色：Max Pooling层。
   黄色: 求和运算, 使用逐数据相加，把三个不同深度的预测结果进行融合：较浅的结果更为精细，较深的结果更为鲁棒。
   灰色: 裁剪, 在融合之前，使用裁剪层统一两者大小, 最后裁剪成和输入相同尺寸输出。
   对于不同尺寸的输入图像，各层数据的尺寸（height，width）相应变化，深度（channel）不变。

 （1）全卷积层部分进行特征提取, 提取卷积层（3个蓝色层）的输出来作为预测21个类别的特征。

 （2）图中虚线内是反卷积层的运算, 反卷积层（3个橙色层）可以把输入数据尺寸放大。和卷积层一样，升采样的具体参数经过训练确定。

        1.以经典的AlexNet分类网络为初始化。最后两级是全连接（红色），参数弃去不用。

  2.从特征小图（蓝色）预测分割小图（橙色），之后直接升采样为大图。

反卷积（橙色）的步长为32，这个网络称为FCN-32s

   3.升采样分为两次完成（橙色×2）, 在第二次升采样前，把第4个pooling层（绿色）的预测结果（蓝色）融合进来。使用跳级结构提升精确性。

第二次反卷积步长为16，这个网络称为FCN-16s

   4. 升采样分为三次完成（橙色×3）, 进一步融合了第3个pooling层的预测结果。

第三次反卷积步长为8，记为FCN-8s

• 其他参数: minibatch：20张图片。   
• learning rate：0.001。   
• 初始化：分类网络之外的卷积层参数初始化为0。   
• 反卷积参数初始化为bilinear插值。   
• 最后一层反卷积固定位bilinear插值不做学习。

 FCN缺点

   （1）得到的结果还是不够精细。进行8倍上采样虽然比32倍的效果好了很多，但是上采样的结果还是比较模糊和平滑，对图像中的细节不敏感。
   （2）对各个像素进行分类，没有充分考虑像素与像素之间的关系。忽略了在通常的基于像素分类的分割方法中使用的空间规整（spatial regularization）步骤，缺乏空间一致性。

BTY:部分转载于DeepLearning-500-questions

1. FCN网络结构图

原论文链接：https://paperswithcode.com/paper/fully-convolutional-networks-for-semantic
参考B站视频：https://www.bilibili.com/video/BV1J3411C7zd/?spm_id_from=333.788

简介：Backbone用的是VGG16(pytorch实现用的是Resnet)，将原来的卷积网络的最后两层（全连接和池化）去掉，替换为1X1的卷积和转置卷积。在原来的分类网络中，全连接层的大小限制了图像的输入，因为全连接层的需要固定输入和输出，而卷积层不需要，所以考虑将全连接转换为卷积。

通道数为21，每个通道上的值是一个概率，每个像素的预测类别分别取21个通道上概率值最大的那个类别。

转换之后就变成了这样：卷积层 + 1X1卷积 + 转置卷积

论文中给出的三个模型：FCN-32s，FCN-16s，FCN-8s

给出VGG16模型作为上图参考

2. FCN-32s

原论文中设置了backbone的第一个卷积层处设置了padding=100，是为了适应不同大小的输入图像，如果不设置padding，那么当输入图片大小小于192X192，则在下图中7X7的卷积核处做卷积时会报错，因为此时经过下采样后图像大小已经小于7X7了，无法进行卷积操作。同时，如果输入图像小于32X32，那在backbone中就已经报错了。但是在实际使用时，很少有人会对小于32X32的图像做语义分割（因为本来就是对像素分割，你这么低分辨率的图像那分割出来岂不是很丑）。所以这个padding100可以不用设置，根据自己的需求来做。

在VGG16去掉最后两层的基础上，在FC6的卷积层出加上padding=3，使用4096个卷积核，输出图像大小不变；再经过FC7输出图像大小和通道数未发生改变；然后经过一个1X1大小的卷积，通道数是num_class，即分类的类别；最后再经过一个转置卷积层（上采样），将图像放大32倍后，使用双线性插值的参数来初始化转置卷积的参数，所以最终的输出和原图大小一样，最后用softmax对一个像素的num_class个类别做处理，就可以得到最终的预测类别。

注：原论文中直接将转置卷积层的权重冻结了，相当于直接为双线性插值的参数，因为冻结和不冻结结果没什么差别，所以冻结了还可以不用训练权重。可能是因为上采样率太大，上采样32倍，效果不是很好，所以这个转置卷积层好像用处不大。

3. FCN-16s

和FCN32s的区别在于融合了一次底层特征图信息，经过FC7后先做一次转置卷积，上采样是2倍，然后将BackBone中MaxPool4（下采样16倍，在Backbone中的特征图）的特征图相加后在经过一轮上采样为16倍的转置卷积，得到最终结果。

4. FCN-8s

和FCN-16s的区别在于融合了两次底层特征图信息，经过FCN-16s的中的两部分特征图相加后，再做一次上采样2倍的转置卷积，再加上来自Backbone中MaxPool3（下采样8倍），然后再经过上采样8倍的转置卷积，得到最终结果。

5. 膨胀卷积

如图所示，也叫空洞卷积，和普通卷积的区别在于增加了一个膨胀因子r，也就是每两个卷积参数之间的距离，当r=1时，膨胀卷积和普通卷积之间并无区别。

• 作用：

  • 增大感受野，从图中可以很明显看出来，在相同3X3卷积核参数的情况下，感受野是5X5。
  • 可以保持原输入特征图的宽和高不变。

  在VGG16中使用池化来增大感受野，但是池化层会导致原图的特征丢失，并且输出特征图大小也发生了改变。如果去掉池化层就会使感受野变小，所以可以考虑使用膨胀卷积。
  
  gridding effect问题，关于膨胀卷积使用不当引起的问题及解决可以阅读论文：“Understanding Convolution for Semantic Segmentatio” https://arxiv.org/pdf/1702.08502v3.pdf 有时间再补充这部分的内容
  未完待续……