感受野大小计算、卷积参数量与计算量、空洞卷积计算量与参数量
 
卷积计算，反卷积计算，特征图大小计算，空洞卷积计算
 
转自：https://www.jianshu.com/p/09ea4df7a788?utm_source=oschina-app
 
卷积计算过程（单/RGB多通道）
特征图大小计算公式
转置卷积（反卷积）计算过程
空洞卷积计算过程
 
 
卷积计算过程（单/RGB多通道）
 
假设输入层的大小为 5 x 5，局部感受野（或称卷积核）的大小为 3 x 3，那么输出层一个神经元所对应的计算过程（下文简称「卷积计算过程」）如下：
 
 
每个卷积核对应的权重 W 在计算卷积过程中，值是固定的，我们称为权重共享。
 
 
如果将输入层想像成黑板，局部感受野就像是黑板擦，他会从左往右，从上至下的滑动，每次滑动 1 个步长（Stride）并且每次滑动都重复上述的计算过程，我们就可以得到输出的特征图（feature map），如下图：
 
 
有时候，按照规定步数滑动到黑板边缘时，黑板擦一部分会露出在黑板外，这个时候就 不能够顺利执行卷积过程了，解决的方法是填充，常见的有两种填充（Padding）方法，第一种方法为 Valid，第二种方法为 Same，如下图所示：
 
 
Valid 是丢弃的方法，比如上述的 input_width = 7，kernel_width = 5，stride = 3，只允许滑动 1 次，多余的元素则丢掉。
 
 
Same 是补全的方法,对于上述的情况,允许滑动 3 次,但是需要补 4 个元素，左边补 2 个 0，右边补 2 个 0，这种方法则不会抛弃边缘的信息，关于如何计算填充数量会在下小节中讲到。
 
在实际应用中，输入的都为彩色图像（RGB 三通道），也就是说输入的维度是 [图片数，图片高，图片宽，通道数]，这个时候，执行卷积的过程如下：
 
 
特征图大小的计算公式
 
我们在设计和调整网络结构的时候，还需要快速知道调整了卷积核后，输出特征图的大小，假定：
 
输入图片 i（只考虑输入宽高相等）
卷积核大小 f
步长 s
填充的像素数 p
那么输出的特征图大小 o 的计算公式则如下：
 
 
 
当填充方式为 VALID 时，p 值等于 0，代入相应的 i，f，p，s 就可以相应的计算出 o 值了。
 
 
当填充方式为 SAME 时，步长 s 为 1 时，输出的 o == i，我们则可以计算出相应的 P 值为 p = (f-1) / 2
 
转置卷积（反卷积，逆卷积）的计算过程
 
 
O=(i-1)*s + k
 
空洞卷积的计算过程
 
空洞卷积（Dilated convolutions）在卷积的时候，会在卷积核元素之间塞入空格，如下图所示：
 
 
这里引入了一个新的超参数 d，(d - 1) 的值则为塞入的空格数，假定原来的卷积核大小为 k，那么塞入了 (d - 1) 个空格后的卷积核大小 n 为：
 
 
进而，假定输入空洞卷积的大小为 i，步长 为 s ,空洞卷积后特征图大小 o 的计算公式为：
 
 
 

引言
 
相信刚学卷积神经网络的人来说，要理解卷积神经网络是一件不容易的事情，我们先来看看卷积神经网络中要知道的卷积计算
 
相关词汇
 
filter = 卷积核
 feature map = 卷积之后得到的输出结果
 感受野（Receptive Field） = 卷积神经网络各输出层每个像素点在原始图像上的映射区域大小
 两层 33 卷积操作的有效区域(感受野)是55 (所有filter的stride=1,pad=0),示意图如下：
 
 
卷积过程
 

 如上图是一个6x6的输入和一个3x3的卷积核以步长为1进行卷积。
 
卷积神经网络结构
 
一个卷积神经网络里包括5个部分——输入层、若干卷积操作和池化层结合的部分、全局平均池化层、输出层：
 
输入层：将每个像素代表一个特征节点输入网络。
卷积操作部分：由多个滤波器组合的卷积层
池化层：将卷积结果降维
全局平均池化层：对生成的 feature map 取全局平均值
输出层：需要分成几类，相应的就会有几个输出节点。每个输出节点都代表当前样本属于该类型的概率。
 
padding规则
 
padding 属性的意义是定义元素框与元素内容之间的空间。
 为了方便解释，我们先定义几个变量
 
输入的尺寸中高和宽定义成 in_height、in_width。
卷积核的高和宽定义成 filter_height、filter_width。
输出的尺寸中高和宽定义成 output_height、output_width。
步长的高宽方向定义成 strides_height、strides_width。
 
1. VALID情况
 
输出宽和高的公式表示如下：
 output_width = (in_width-filter_width + 1) / strides_width （结果向上取整）
 output_height = (in_height-filter_height + 1) / strides_height（结果向上取整）
 
2. SAME情况
 
输出的宽和高将与卷积核没有关系，具体公式表示如下：
 output_width = (in_width-filter_width + 1) / strides_width （结果向上取整）
 output_height = (in_height-filter_height + 1) / strides_height（结果向上取整）
 $注意$：补零规则
 pad_height = max((output_height-1) x strides_height +filter_height-in_height, 0)
 pad_width = max((output_width-1) x strides_width +filter_height-in_width, 0)
 pad_top = pad_height / 2
 pad_bottom = pad_height - pad_top
 pad_left = pad_width / 2
 pad_right = pad_width - pad_left
 上面公式表示中：
 
pad_height：代表高度方向要填充 0 的行列
pad_width：代表宽度方向要填充 0 的列数
pad_top、pad_bottom、pad_left、pad_right：分别代表上、下、左、右这四个方向填充0的行、列数。
 
3.举例
 
假设用‘一个一维数据来举例，输入是 13，filter是 6，步长是 5，对于 padding 的取值有如下表示：
 “VALID"相当于 padding，生成的宽度为 (13-6+1）/ 5 = 2 （向上取整）个数字。
 inputs: 
 ”SAME“=相当于 padding，生成的宽度为 13/5 = 3（向上取整）个数字
 Padding 的方式可以如下计算：
 Pad_width = (3-1) x 5+6-13 = 3
 Pad_left = Pad_width / 2 = 3/2 = 1
 Pad_right = pad_width - pad_left = 2
 
在左边补 1 个0，右边补 2 个0。
 
 
卷积有什么作用？
 
减少参数量，提取数据的重要特征，卷积的方式就可以看作是一个映射的过程。
 
参考资料
 
如果你想更加了解卷积神经网络的相关内容，请点击下方链接获取更多内容
 https://pan.baidu.com/s/14jBtdx2d-4QHRgN7twdjSQ 提取码：ownj

卷积计算过程如下，假设有一个k×k×N的卷积核，通道数为N，将这个卷积核与输入图片H×H×N的每个通道对应位置相乘，再将所得的数相加，得到最后的输出结果。
 
 卷积层的计算过程如下图所示，为单通道的卷积过程。输入一张原始图像，中间是卷积核，图中显示的是卷积核的一次工作过程，计算方式就是将其对应位置的数据相乘然后相加（注意不是像矩阵乘法一样的一行乘一列）：
 
 -8=0×4+0×0+0×0+0×0+1×0+1×0+0×0+1×0+2×(-4)
 对三个通道的输入图像进行卷积操作，卷积过程如下，整个计算过程和之前的单通道的卷积过程大同小异，可以将三通道的卷积过程看作三个独立的单通道卷积过程，最后将三个独立的单通道卷积过程的结果进行相加，就得到了最后的输出结果。如果输入8个卷积核，输出也为8，得到的结果就为8层。
 

 9=2×1（一通道）+1×1+2×1（二通道）+1×1+1×2（三通道）+1（偏置）
 
最初输入的图片样本的channels，取决于图片类型，比如RGB三通道；
 卷积操作完成后输出的out_channels，取决于卷积核的数量。此时的out_channels也会作为下一次卷积时的卷积核的in_channels；如果是第一次做卷积，就是样本图片的 channels。

 
文章目录
 
全连接网络（NN）
卷积计算过程
   
  
 

 
全连接网络（NN）
 
1、定义
 每个神经元与前后相邻层的每一个神经元都有连接关系，输入是特征，输出为预测的结果。
 
2、参数个数计算如下
 
 3、例子
 第一层参数：784×128个w+128个b
 第二层参数：128×10个w+10个b
 共101770个待训练参数
 
 
卷积计算过程
 
1、引入背景
 实际项目中，图片多是高分辨率彩色图，因此待优化参数过多易导致模型过拟合。
 为了减少待训练参数，在实际应用时，会先对原始图像进行特征提取，再把提取到的特征送给全连接网络。
 卷积计算是一种有效的特征提取方法。
 
 2、计算过程
 （1）思路：一般会用一个正方形的卷积核，按指定步长，在输入特征图上滑动，遍历输入特征图中的每个像素点，每一个步长，卷积核会与输入特征图出现重合区域，重合区域对应元素相乘求和，再加上偏置项得到输出特征的一个像素点。
 
输入特征是单通道灰度图，使用深度为1的单通道卷积核
输入特征是三通道灰度图，可以使用3×3×3的卷积核，或者5×5×3的卷积核
 
总之，要使卷积核的通道数与输入特征图的通道数一致，也就是卷积核的深度与输入特征图的深度一致。所以输入特征图的深度决定了当前层卷积核的深度。
 在卷积计算后会得到一张输出特征图，所以当前层使用了几个卷积核，就有几张输出特征图，所以当前层卷积核的个数决定了当前层输出特征图的深度。
 如果觉得某层模型的特征提取能力不足，可以在该层多用几个卷积核，提高这层的特征提取能力。
 
 
 
输入特征图的深度决定了当前层卷积核的深度
当前层卷积核的个数决定了当前层输出特征图的深度
 
 

 在执行卷积计算时，卷积核里的参数是固定的，当每次反向传播时，这些待训练参数，会用梯度下降法更新。
 （2）计算过程
 单通道的输入特征图：
 
 三通道输入特征图