为什么卷积层可以“代替”全连接层？
  卷积和全连接的区别大致在于：卷积是局部连接，计算局部信息；全连接是全局连接，计算全局信息。（但二者都是采用的点积运算）
  但如果卷积核的kernel_size和输入feature maps的size一样，那么相当于该卷积核计算了全部feature maps的信息，则相当于是一个$kernel\_size*1$的全连接。
  在全连接层上，相当于是$n*m$（其中$n$是输入的维度，$m$是输出的维度）的全连接，其计算是通过一次导入到内存中计算完成；如果是在最后一个feature maps上展开后进行的全连接，这里若不进行展开，直接使用$output\_size$的卷积核代替，则相当于是$n*1$的全连接（这里的$n$就是feature maps展开的向量大小，也就是卷积核的大小$kernel\_size*kernel\_size$），使用$m$个卷积核则可以相当于$n*m$的全连接层。
 但用卷积层代替全连接层的方式，其卷积核的计算是并行的，不需要同时读入内存中，所以使用卷积层的方式代替全连接层可以加开模型的优化。
为什么(在分类网络上)不能直接用卷积层代替全连接层的方式，使得模型处理不同大小的输入？
  因为卷积层的运算是通过卷积核，说到底也就是点积运算，是需要事先设定参数的大小。

  但如果这种操作用于处理不同size的输入，则实际上每次训练时，该层的参数size是不一样的，也就是模型不能得到训练。

  虽然使用卷积层代替全连接层来处理不同大小输入的模型在整个流程上看起来没什么问题，但根本上，该模型是不能得到良好训练的。（从代替的那层卷积层开始，其后的每一层得到的输入分布其实是一直在变化的，所以波动会比较大。）

全连接层的作用是，可以将卷积得到的局部特征连接起来，综合考虑整个图像。

当1*1卷积层的channel个数等于全连接层的节点个数时，可以看成全连接层，其中空间维度高和宽上的每个元素相当于样本，通道相当于特征。

 

用1*1卷积层代替全连接层的好处：

1、不改变图像空间结构

全连接层会破坏图像的空间结构，而1*1卷积层不会破坏图像的空间结构。

2、输入可以是任意尺寸

全连接层的输入尺寸是固定的，因为全连接层的参数个数取决于图像大小。而卷积层的输入尺寸是任意的，因为卷积核的参数个数与图像大小无关。

卷积层的特点：

可以提取更深层的特征
	
减少w计算量（相对于全连接层）和权值共享
全连接层的特点：

每个神经元都和上一层的所有神经元相连接
不同点是：卷积层是局部连接的全连接层，因此可以相互替换

卷积层替换全连接层的优点：

输入可以不用限制死输入图像的大小，提供方便。
	
并且在前向传播时效率更高（减少w计算量）。
举个例子：

     假设最后一个卷积层的输出为：7 * 7 * 512，我们经过4096个7 * 7 * 4096 个卷积核进行卷积后输出1 * 1 * 4096的特征图，等价于4096个神经元（全连接网络）。

Network in Network 这篇论文中 提出了 11卷积层，那么问题来了，为什么可以用11卷积层来代替全连接层
假设当前输入张量维度为6×6×32，卷积核维度为1×1×32，取输入张量的某一个位置(如图黄色区域)与卷积核进行运算。实际上可以看到，如果把1×1×32卷积核看成是32个权重W，输入张量运算的1×1×32部分为输入x，那么每一个卷积操作相当于一个Wx过程，多个卷积核就是多个神经元，相当于一个全连接网络。
综上，可以将1×1卷积过程看成是将输入张量分为一个个输入为1×1×32的x，他们共享卷积核变量(对应全连接网络的权重)W的全连接网络。
显然用1*1的卷积核W来遍历图像时，就相当于图像每个pixel点*卷积核的值W，这就同全连接层乘以权重W是一个含义，所以等同。
总结一下：
全连接层的作用是，可以将卷积得到的局部特征连接起来，综合考虑整个图像。
当1*1卷积层的channel个数等于全连接层的节点个数时，可以看成全连接层，其中空间维度高和宽上的每个元素相当于样本，通道相当于特征。
那么还有人想问，1*1 卷积的作用
1*1 卷积的作用
一、 实现特征通道的升维和降维
通过控制卷积核的数量达到通道数大小的放缩。而池化层只能改变高度和宽度，无法改变通道数。
二、 增加非线性
如上所述，1×1卷积核的卷积过程相当于全连接层的计算过程，并且还加入了非线性激活函数，从而可以增加网络的非线性，使得网络可以表达更加复杂的特征。
三、 减少卷积核参数(简化模型)
在Inception Network中，由于需要进行较多的卷积运算，计算量很大，可以通过引入1×1确保效果的同时减少计算量。具体可以通过下面例子量化比较
3.3.1 - 不引入1×1卷积的卷积操作
3.3.2 - 引入1×1卷积的卷积操作
总共需要的计算量为(28×28×16)×(1×1×192)+(28×28×32)×(5×16×16)≈ 12.4 million，明显少于不引入1×1卷积的卷积过程的计算量。其本质我觉得可以理解成，通过1×1卷积操作提取出输入张量的重要特征(相当于降维)，然后通过5×5卷积的计算量可以减少很多(减少的比引入1×1卷积所需额外的计算量多多了)。
用1*1卷积层代替全连接层的好处：
1、不改变图像空间结构
全连接层会破坏图像的空间结构，而1*1卷积层不会破坏图像的空间结构。
2、输入可以是任意尺寸
全连接层的输入尺寸是固定的，因为全连接层的参数个数取决于图像大小。而卷积层的输入尺寸是任意的，因为卷积核的参数个数与图像大小无关。
参考博客：
https://blog.csdn.net/wydbyxr/article/details/84061410
https://blog.csdn.net/qq_32172681/article/details/95971492
https://www.cnblogs.com/tianqizhi/p/9665436.html
ding_programmer
发布了79 篇原创文章 · 获赞 149 · 访问量 3万+
私信
关注
标签：卷积,32,张量,代替,图像,连接,输入
来源： https://blog.csdn.net/ding_programmer/article/details/104109895