卷积层

2020-12-11 16:28:48

与普通神经网络相比较，卷积神经网络不同的地方在于其包含了一个由卷积层和池化层构成的特征提取器。通常把卷积神经网络中的卷积层叫作 C 层(特征提取层)，卷积层的输入来源于输入层或者池化层，在卷积层中，每个...

与普通神经网络相比较，卷积神经网络不同的地方在于其包含了一个由卷积层和池化层构成的特征提取器。通常把卷积神经网络中的卷积层叫作 C 层(特征提取层)，卷积层的输入来源于输入层或者池化层，在卷积层中，每个神经元与上一层的输入(特征图)中的神经元仅仅只是部分连接的。

通常对卷积神经网络的任何一个卷积层来说，其里面均包含若干个由一些矩形排列的神经元组成的特征平面，拥有同一特征平面的神经元权值共享，而卷积核就是这里所说的共享的权值。一般用随机小数矩阵的形式初始化卷积核，卷积核在网络的训练过程中将学习得到合理的权值。相比普通神经网络，权值共享带来的直接好处是减少了网络中各层之间的连接，从而使得权值数量变得更少，大大减小了计算量，同时又降低了过拟合的风险。

卷积层中的每一个特征图都有一个与之相对应的卷积核，并且与卷积核的大小相同，卷积层的每一个特征图是通过不同的卷积核在前一层输入的特征图上作卷积，然后将对应元素累加之后再加一个偏置，最后通过激活函数所获得到得。假设现在第 l 层的卷积层，那么该卷积层中第 j 个特征图的计算公式如式(1)所示。

在这里插入图片描述

式中:xl j表示当前第 l 层的第 j 个输出，Mj表示先从第 l－1 层的特征图里，选择若干个组成第 l 输入特征图的集合，xl－1 i 表示第 l－1 层的第 i 个特征图，kl ij表示第 l 层的卷积核，bl j 表示第 l 层的第 j 个偏置，f 表示激活函数。

收起

展开全文

由浅入深CNN中卷积层与转置卷积层的关系
2021-02-24 21:40:51
本文来自于云社区，本文章主要介绍了转置卷积层和正卷积层的关系和区别是什么呢，转置卷积层实现过程又是什么样的呢,希望读后会给您带来帮助。在CNN提出之前，我们所提到的人工神经网络应该多数情况下都是前馈神经...
收起

卷积层与池化层

万次阅读 多人点赞 2018-08-04 16:08:16

卷积神经网络（Convolutional Neural Layer, CNN)，除了全连接层以外（有时候也不含全连接层，因为出现了Global average pooling），还包含了卷积层和池化层。卷积层用来提取特征，而池化层可以减少参数数量。卷...

构建了最简单的网络之后，是时候再加上卷积和池化了。这篇，虽然我还没开始构思，但我知道，一定是很长的文章。

卷积神经网络（Convolutional Neural Layer, CNN)，除了全连接层以外（有时候也不含全连接层，因为出现了Global average pooling），还包含了卷积层和池化层。卷积层用来提取特征，而池化层可以减少参数数量。

卷积层

先谈一下卷积层的工作原理。

我们是使用卷积核来提取特征的，卷积核可以说是一个矩阵。假如我们设置一个卷积核为3*3的矩阵，而我们图片为一个分辨率5*5的图片。那么卷积核的任务就如下所示：

来自：https://mlnotebook.github.io/post/CNN1/

从左上角开始，卷积核就对应着数据的3*3的矩阵范围，然后相乘再相加得出一个值。按照这种顺序，每隔一个像素就操作一次，我们就可以得出9个值。这九个值形成的矩阵被我们称作激活映射（Activation map)。这就是我们的卷积层工作原理。也可以参考下面一个gif:
其中，卷积核为

\begin{matrix} 1 & 0 & 1 \\ 0 & 1 & 0 \\ 1 & 0 & 1 \end{matrix}

$\begin{matrix} 1 & 0 & 1 \\ 0 & 1 & 0 \\ 1 & 0 & 1 \end{matrix}$

来自：https://blog.csdn.net/yunpiao123456/article/details/52437794

其实我们平时举例的卷积核已经被翻转180度一次了，主要是因为计算过程的原因。详细不用了解，但原理都一样。

但其实我们输入的图像一般为三维，即含有R、G、B三个通道。但其实经过一个卷积核之后，三维会变成一维。它在一整个屏幕滑动的时候，其实会把三个通道的值都累加起来，最终只是输出一个一维矩阵。而多个卷积核(一个卷积层的卷积核数目是自己确定的）滑动之后形成的Activation Map堆叠起来，再经过一个激活函数就是一个卷积层的输出了。

来自：CS231n，卷积与池化

卷积层还有另外两个很重要的参数：步长和padding。

所谓的步长就是控制卷积核移动的距离。在上面的例子看到，卷积核都是隔着一个像素进行映射的，那么我们也可以让它隔着两个、三个，而这个距离被我们称作步长。

而padding就是我们对数据做的操作。一般有两种，一种是不进行操作，一种是补0使得卷积后的激活映射尺寸不变。上面我们可以看到5*5*3的数据被3*3的卷积核卷积后的映射图，形状为3*3，即形状与一开始的数据不同。有时候为了规避这个变化，我们使用“补0”的方法——即在数据的外层补上0。

下面是示意图：

步长为2 （图片来自于机器之心）

补0的变化（图片来自于机器之心）

了解卷积发展史的人都应该知道，卷积神经网络应用最开始出现是LeCun（名字真的很像中国人）在识别手写数字创建的LeNet-5。

后面爆发是因为AlexNet在ImageNet比赛中拔得头筹，硬生生把误差变成去年的一半。从此卷积网络就成了AI的大热点，一大堆论文和网络不断地发挥它的潜能，而它的黑盒性也不断被人解释。

能否对卷积神经网络工作原理做一个直观的解释？ - Owl of Minerva的回答 - 知乎里面通过我们对图像进行平滑的操作进而解释了卷积核如何读取特征的。

我们需要先明确一点，实验告诉我们人类视觉是先对图像边缘开始敏感的。在我的理解中，它就是说我们对现有事物的印象是我们先通过提取边界的特征，然后逐渐的完善再进行组装而成的。而我们的卷积层很好的做到了这一点。

来自https://ujjwalkarn.me/2016/08/11/intuitive-explanation-convnets/

这是两个不同的卷积核滑动整个图像后出来的效果，可以看出，经过卷积之后图像的边界变得更加直观。我们也可以来看下VGG-16网络第一层卷积提取到的特征:

由此来看，我们也知道为什么我们不能只要一个卷积核。在我的理解下，假使我们只有一个卷积核，那我们或许只能提取到一个边界。但假如我们有许多的卷积核检测不同的边界，不同的边界又构成不同的物体，这就是我们怎么从视觉图像检测物体的凭据了。所以，深度学习的“深”不仅仅是代表网络，也代表我们能检测的物体的深度。即越深，提取的特征也就越多。

Google提出了一个项目叫Deepdream，里面通过梯度上升、反卷积形象的告诉我们一个网络究竟想要识别什么。之前权重更新我们讲过梯度下降，而梯度上升便是计算卷积核对输入的噪声的梯度，然后沿着上升的方向调整我们的输入。详细的以后再讲，但得出的图像能够使得这个卷积核被激活，也就是说得到一个较好的值。所以这个图像也就是我们卷积核所认为的最规范的图像（有点吓人）：

其实这鹅看着还不错，有点像孔雀。

池化层 (pooling layer)

前面说到池化层是降低参数，而降低参数的方法当然也只有删除参数了。

一般我们有最大池化和平均池化，而最大池化就我认识来说是相对多的。需要注意的是，池化层一般放在卷积层后面。所以池化层池化的是卷积层的输出！

来自：https://blog.csdn.net/yunpiao123456/article/details/52437794

扫描的顺序跟卷积一样，都是从左上角开始然后根据你设置的步长逐步扫描全局。有些人会很好奇最大池化的时候你怎么知道哪个是最大值，emmm，其实我也考虑过这个问题。CS2131n里面我记得是说会提前记录最大值保存在一个矩阵中，然后根据那个矩阵来提取最大值。

至于要深入到计算过程与否，应该是没有必要的。所以我也没去查证过程。而且给的都是示例图，其实具体的计算过程应该也是不同的，但效果我们可以知道就好了。

至于为什么选择最大池化，应该是为了提取最明显的特征，所以选用的最大池化。平均池化呢，就是顾及每一个像素，所以选择将所有的像素值都相加然后再平均。

池化层也有padding的选项。但都是跟卷积层一样的，在外围补0，然后再池化。

代码解析

import tensorflow as tf
import numpy as np
from tensorflow.examples.tutorials.mnist import input_data

mnist = input_data.read_data_sets("MNIST_data/", one_hot=True)
summary_dir = './summary'
#批次
batch_size = 100

n_batch = mnist.train.num_examples // batch_size

x = tf.placeholder(tf.float32, [None, 784], name='input')
y = tf.placeholder(tf.float32, [None, 10], name='label')

def net(input_tensor):
    conv_weights = tf.get_variable('weight', [3, 3, 1, 32],
                                    initializer=tf.truncated_normal_initializer(stddev=0.1))
    conv_biases = tf.get_variable('biase', [32], initializer=tf.constant_initializer(0.0))

    conv = tf.nn.conv2d(input_tensor, conv_weights, strides=[1, 1, 1, 1], padding='SAME')
    relu = tf.nn.relu(tf.nn.bias_add(conv, conv_biases))

    pool = tf.nn.max_pool(relu, ksize=[1, 3, 3, 1], strides=[1, 2, 2, 1], padding='SAME')

    pool_shape = pool.get_shape().as_list()
    nodes = pool_shape[1] * pool_shape[2] * pool_shape[3]
    pool_reshaped = tf.reshape(pool, [-1, nodes])

    W = tf.Variable(tf.zeros([nodes, 10]), name='weight')
    b = tf.Variable(tf.zeros([10]), name='bias')
    fc = tf.nn.softmax(tf.matmul(pool_reshaped, W) + b)

    return fc

reshaped = tf.reshape(x, (-1, 28, 28, 1))
prediction = net(reshaped)
loss_ = tf.nn.sparse_softmax_cross_entropy_with_logits(labels=tf.argmax(y, 1), logits=prediction, name='loss')
loss = tf.reduce_mean(loss_)

train_step = tf.train.GradientDescentOptimizer(0.2).minimize(loss)

correct_prediction = tf.equal(tf.argmax(y, 1), tf.argmax(prediction, 1))
accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32), name='accuracy')

init = tf.global_variables_initializer()

with tf.Session() as sess:
    sess.run(init)
    for epoch in range(31):
        for batch in range(n_batch):
            batch_xs, batch_ys = mnist.train.next_batch(batch_size)
            sess.run(train_step, feed_dict={x: batch_xs, y: batch_ys})
        acc = sess.run(accuracy, feed_dict={x: mnist.test.images, y: mnist.test.labels})
        print('Iter' + str(epoch) + ",Testing Accuracy" + str(acc))

这相对于我第一个只用全连接的网络只多了一个net函数，还有因为卷积层的关系进来的数据x需要改变形状。只讲这两部分：

reshaped = tf.reshape(x, (-1, 28, 28, 1))
prediction = net(reshaped)

由于我们feedict上面是，feed_dict={x: mnist.test.images, y: mnist.test.labels}，而这样子调用tensorflow的句子我们得到的x是固定的形状。因此我们应用tf.reshape(x_need_reshaped,object_shape)来得到需要的形状。

其中的 $-1$ 表示拉平，不能用None，是固定的。

conv_weights = tf.get_variable('weight', [3, 3, 1, 32],
                                    initializer=tf.truncated_normal_initializer(stddev=0.1))
conv_biases = tf.get_variable('biase', [32], initializer=tf.constant_initializer(0.0))

conv = tf.nn.conv2d(input_tensor, conv_weights, strides=[1, 1, 1, 1], padding='SAME')
relu = tf.nn.relu(tf.nn.bias_add(conv, conv_biases))

pool = tf.nn.max_pool(relu, ksize=[1, 3, 3, 1], strides=[1, 2, 2, 1], padding='SAME')

大部分都是应用内置的函数，来初始化weight(就是卷积核)和biases(偏置项)。偏置项我们没有提到，但其实就是多了一个参数来调控，因此我们讲卷积层的时候也没怎么讲。按照代码就是出来Activation Map之后再分别加上bias。池化也是用到了最大池化。

注意一下relu。它也是一个激活函数，作用可以说跟之前讲的softmax一样，不过它在卷积层用的比较多，而且也是公认的比较好的激活函数。它的变体有很多。有兴趣大家可以自己去查阅资料。以后才会写有关这方面的文章。

    pool_shape = pool.get_shape().as_list()
    nodes = pool_shape[1] * pool_shape[2] * pool_shape[3]
    pool_reshaped = tf.reshape(pool, [-1, nodes])

    W = tf.Variable(tf.zeros([nodes, 10]), name='weight')

池化层的输出我们并不知道它是如何的形状（当然，你也可以动手算）。因此就算把池化层拉成一维的矩阵，我们也不知道W需要如何的形状。因此，我们查看pool（即池化层的输出）的形状，我暗地里print了一下为[None, 14, 14, 32]，因此pool拉平后，就是[None, 14*14*32, 10]。为了接下来进行全连接层的计算，我们的W的形状也应该为[14*14*32, 10]。这段代码的原理就是如此。

准确率也一样取后15次：

emmm, 不用跟之前比了，明显比以前好很多了。下一章决定总结一下，优化的方法好了。

参考
https://mlnotebook.github.io/post/CNN1/（可惜是全英）
能否对卷积神经网络工作原理做一个直观的解释？ - Owl of Minerva的回答 - 知乎
CS231n

收起

展开全文

池化层 MNIST 卷积原理

由浅入深：CNN中卷积层与转置卷积层的关系

2018-11-22 11:38:00

导语：转置卷积层（Transpose Convolution Layer）又称反卷积层或分数卷积层，在最近提出的卷积神经网络中越来越常见了，特别是在对抗生成神经网络（GAN）中，生成器网络中上采样部分就出现了转置卷积层，用于恢复...

欢迎大家前往腾讯云+社区，获取更多腾讯海量技术实践干货哦~

本文由forrestlin发表于云+社区专栏

导语：转置卷积层（Transpose Convolution Layer）又称反卷积层或分数卷积层，在最近提出的卷积神经网络中越来越常见了，特别是在对抗生成神经网络（GAN）中，生成器网络中上采样部分就出现了转置卷积层，用于恢复减少的维数。那么，转置卷积层和正卷积层的关系和区别是什么呢，转置卷积层实现过程又是什么样的呢，笔者根据最近的预研项目总结出本文。

1. 卷积层和全连接层

在CNN提出之前，我们所提到的人工神经网络应该多数情况下都是前馈神经网络，两者区别主要在于CNN使用了卷积层，而前馈神经网络用的都是全连接层，而这两个layer的区别又在于全连接层认为上一层的所有节点下一层都是需要的，通过与权重矩阵相乘层层传递，而卷积层则认为上一层的有些节点下一层其实是不需要的，所以提出了卷积核矩阵的概念，如果卷积核的大小是nm，那么意味着该卷积核认为上一层节点每次映射到下一层节点都只有nm个节点是有意义的，具体的映射方式下一节会讲到。到这里，有些初学者会认为全连接层也可以做到，只要让权重矩阵某些权重赋值为0就可以实现了，例如假设在计算当前层第2个节点时认为上一层的第1个节点我不需要，那么设置w01=0就可以了。其实没错，卷积层是可以看做全连接层的一种特例，卷积核矩阵是可以展开为一个稀疏的包含很多0的全连接层的权重矩阵，下图就是一个由44图片经过33卷积核生成一个大小为2*2output时，卷积核所展开的全连接层的权重矩阵。

卷积核对应的全连接层权重矩阵

可以看到，上面的矩阵大小为416，比卷积核33大了不少，因此使用卷积层而不用全连接层第一个原因就是可以极大的减少参数的个数，第二个原因就是卷积核关注的是某几个相邻的节点之间的关系，学习了图片的局部特征，可以说是带有目的性的学习，例如33的卷积核学习的就是相互距离为2的节点之间的关系。这与全连接层无区别的对待所有节点进行学习有极大的差别，这样一来就解决了前馈神经网络不能学习位移不变性的缺点。举个栗子，当我们在前馈神经网络中学习一个44的图片中是否有横折图案时，使用下图中4个训练数据进行训练，那么最终只会对5，6，9，a这四个节点的权重有所调节，然后如果出现如下图最后一张图片作为测试时，就会导致网络无法识别，而由于卷积核在不同节点间权重是共享的，所以就自然而然克服了这个问题。

卷积克服平移不变性

2. 卷积层的运算过程

2.1 最简单的卷积

卷积层的运算其实就是将多个卷积核作用于输入上，如下图所示，是最简单的一个卷积核所做的运算，no padding，no stride，底下蓝色方块看做是输入的图片，阴影部分就是33的卷积核（一般卷积核是个正方形，且边长为奇数），卷积核扫过时便与输入相乘再相加，最终得到22的输出，对应青色区域。

no padding, no stride的卷积

通常一层卷积层会包含多个卷积核，代表着卷积层的输出深度，例如下图就是我们经常在论文中看到的深度网络的架构，其中第一层就是卷积层+最大池化层，先不管最大池化层，至少我们可以明确卷积核的大小是55，卷积核个数是16，该层输出的size是1818。

论文常见的卷积层

2.2 带padding的卷积

从最简单的卷积动图中我们可以看到，经过卷积操作，输出会比输入要小，但是有时候我们希望输出的size要与输入保持一致，而padding就是为了这个而引入的，而这种为了让输入和输出size保持一样的padding，我们会称之为"same padding"，可参考下面的动图，卷积核大小是3*3，padding是1，padding实际的表现就是在输入的四周补0，padding是多少就补多少层，且上限是卷积核大小-1，正如下图中虚线区域，一般来说，论文中是不会给出padding的大小，需要我们自己推导，推导公式可见下文。

padding=1的卷积

根据padding大小不同，我们可以分为三种padding：

same padding: 为了让输出和输入的size一样而补上的padding，例如33的核，same padding = 1，55的核，same padding = 2。
full padding: padding = kernel size - 1
valid padding: padding = 0

2.3 stride大于1的卷积

stride就是步长，表示卷积核两次卷积操作的距离，默认是1，上述讲的两个例子步长都是1，而下面两个动图展示的是stride为2的情况，分别是无padding和有padding的情况。通常stride大于1时我们称为等距下采样，因为这样输出肯定会丢失信息，size比输入的小。

no padding, stride=2的卷积

padding=1, stride=2的卷积

2.4 卷积核输入输出size与卷积核的关系

上文中我们提到padding通常需要我们自己算出来，那么我们该怎么算呢，其实就是根据输入输出size和卷积核大小的关系算出来的，上面提到的几种卷积，其实就是卷积操作的三个参数，核大小(F)、padding(P)和stride(S)，如果细心的读者在看动图时就会发现输出size是可以根据输入size和那三个参数计算出来的，公式如下，这里只给出宽度的计算，高度也是一样的。

W2=(W1−F+2P)÷S+1

这里我们注意到上面的公式是有除法的，所以就会存在除不尽的情况，这时候我们需要向下取整，这种情况我们称为odd卷积，其过程可参考下面动图。

odd卷积

3. 转置卷积层

讲完卷积层后，我们来看CNN中另一个进行卷积操作的层次转置卷积层，有时我们也会称做反卷积层，因为他的过程就是正常卷积的逆向，但是也只是size上的逆向，内容上不一定，所以有些人会拒绝将两者混为一谈。转置卷积层最大的用途就是上采样了，刚刚我们说到在正常卷积中stride大于1时我们进行的是等距下采样，会让输出的size比输入小，而转置卷积层我们就会用stride小于1的卷积进行上采样，使输出的size变大，所以转置卷积层还有个别称就是分数卷积层。上采样最常见的场景可以说就是GAN中的生成器网络，如下图所示，虽然论文作者使用的是conv，但由于它的步长为1/2，所以代表的就是转置卷积层。

转置卷积例子

为了理解转置卷积层，我们需要明白什么叫做正常卷积的逆向，这通常也是新手难以理解的地方，下面笔者通过两个图来更好的解释，第一个图是正常卷积的过程，第二个图就是其对应的转置卷积，在第一个图中，大的正方形中数字1只参与小正方形中数字1的计算，那么在转置卷积中，大正方形的1也只能由小正方形的1生成，这就是逆向的过程。

no padding, no stride的卷积

转置卷积.png

和讲述正常卷积的过程一样，笔者下面也会一一给出相对应的转置卷积。

3.1 no padding no stride的卷积对应的转置卷积

上面用作解释转置卷积的逆向过程时用到的图其实就是最简单(no padding, no stride)卷积以及其对应的转置卷积，这里给出它的动图。

no padding, no stride的卷积转置

3.2 带padding的卷积的转置卷积

在正卷积中如果是有padding，那么在转置卷积中不一定会有padding，其计算公式下文会给出，这里先给出2.2对应的转置卷积动图。

padding为1的卷积转置

3.3 stride大于1的卷积的转置卷积

在本节一开始就讲到，stride大于1的卷积是下采样，那么其对应的转置卷积便是stride小于1的上采样，但是不管是在pyTorch还是TensorFlow中，convTranspose函数的参数都是整数，不可能将stride设置为小于1的浮点数，那么我们会依然给convTranspose函数传入正卷积的stride，而convTranspose是怎么做的呢，可见下面的动图，它是2.3中无padding卷积对应的转置卷积，我们先不看转置卷积中的转置padding，也就是动图中外部的虚线区域，然后会发现每两个蓝色块之间都插入了白色块，也就是0，这样一来，卷积核每移动一步不就相当于是只移动了1/2步嘛，所以我们可以得出每两个蓝色块之间需要插入stride -1个0。

stride为2的卷积转置

3.4 正卷积和转置卷积的换算关系

3.4.1 转置卷积的padding

从上面3个例子的转置卷积中我们可以发现，如果用正卷积实现转置卷积时，卷积核的大小是保持不变的，而stride是为正卷积stride的倒数（只是我们插入0来模拟分数移动），最后，转置卷积的padding要怎么算呢，虽然如果我们调用pyTorch或TensorFlow时不需要管，传入正卷积的padding即可，但是理解convTranspose是怎么做的也有助于我们理解转置卷积。说了这么多，其实在我们为了让转置卷积保证是正卷积的逆向时，我们就不得不补充转置padding，我们用PT表示，其计算公式为：PT=F−P−1，其中F为正卷积的核大小，P为正卷积的padding。

3.4.2 转置卷积的输出size

这个其实很好算，因为我们都说转置卷积的逆向，所以我们只需在2.4给出公式中转换下求出W1即可，公式如下：

W1=(W2−1)×S−2P+F

其中S是正卷积的stride，P是正卷积的padding，F是正卷积的核边长。

3.4.3 odd卷积的转置卷积

这个可以说是转置卷积中最难理解的一种情况，在2.4中我们提到在除以stride时可能会除不尽要向下取整，那么我们在求W1时就会有不确定性，举个栗子，还是第3节一开始给出的图，我们是希望将W/4的图放大到W/2的程度，这是一个转置卷积的过程，我们先算一遍正卷积，从W/2下采样到W/4，k代表核边长为3，s是stride为1/2的倒数，即2，padding根据2.4的公式推导为1，所以正卷积的计算公式是：(W2−3+2)÷2+1=W4+12，然后向下取整就是W4，和图上显示的是一样，但是如果我们通过3.4.2的公式反过来计算，就是(W4−1)×2−2+3=W2−1，这就是odd转置卷积的不确定性，我们再回头看2.4给出的动图，会发现右边和下边的填充区域我们并没有进行卷积运算，因为向下取整而忽略了，所以我们在转置卷积时需要将这部分加回来，因此，在PyTorch中convTranspose函数还有一个参数output_padding就是负责处理这个的，TensorFlow应该也有相应的参数，笔者不太熟悉，下面就是PyTorch对该参数的描述，和我们遇到的情形一模一样。

PyTorch中转置卷积的output_padding参数

至于output_padding的值，应该为(W1−F+2P)%S，在上面提到的例子中就应该是1。

4. 总结

本文先是介绍了卷积神经网络和传统的前馈神经网络的联系和区别，然后再通过不同参数的卷积过程阐述卷积运算，最后再介绍刚入门深度学习时晦涩难懂的转置卷积，给出不同参数下正卷积所对应的转置卷积，最后总结出在卷积运算中所用到的公式。希望笔者上述的分析和解释能对刚入门CNN的同学有所帮助，而且笔者是从事iOS开发的，对于CNN和深度学习也是刚刚入门，希望各位AI大牛们不吝指教。

5. 参考文档

相关阅读
【每日课程推荐】机器学习实战！快速入门在线广告业务及CTR相应知识

此文已由作者授权腾讯云+社区发布，更多原文请点击

搜索关注公众号「云加社区」，第一时间获取技术干货，关注后回复1024 送你一份技术课程大礼包！

海量技术实践经验，尽在云加社区！

转载于:https://www.cnblogs.com/qcloud1001/p/10000106.html

收起

展开全文

卷积层的主要作用_卷积层与池化层
2020-11-22 07:59:20
本文关注以下四个问题： 卷积层的作用？池化层的作用？ 卷积层的卷积核的大小选取？池化层的参数设定？引出的另外两个问题：全链接层的作用？ 1*1的卷积核的作用？卷积神经网络为什么效果这么好？卷积层的作用？...
收起
TF之DD：实现输出Inception模型内的某个卷积层或者所有卷积层的形状
千次阅读 2018-09-26 11:12:23
TF之DD：实现输出Inception模型内的某个卷积层或者所有卷积层的形状目录输出结果整体思路架构实现(部分)代码输出结果整体思路架构实现(部分)代码 #TF之DD：实现输出Inception模型内的...
收起
TensorFlow卷积层函数(卷积层+池化层)
千次阅读 2018-05-10 22:34:12
TensorFlow中卷积神经网络常用的有卷积层和池化层，下面对常用函数的常用参数进行总结：主要是三个函数：import tensorflow as tf tf.nn.conv2d() tf.nn.max_pool() tf.nn.avg_pool()1.tf.nn.conv2d 一般常用的卷...
收起
TensorFlow 深度学习卷积神经网络机器学习
cnn卷积伸进刚落_由浅入深：CNN中卷积层与转置卷积层的关系
2020-12-21 22:55:13
欢迎大家前往腾讯云+社区，获取更多腾讯海量技术实践干货哦~导语：转置卷积层(Transpose Convolution Layer)又称反卷积层或分数卷积层，在最近提出的卷积神经网络中越来越常见了，特别是在对抗生成神经网络(GAN)中，...
收起
如何只使用预训练模型的卷积层
收起
python
卷积神经网络中卷积层、反卷积层和相关层
2019-04-10 22:37:23
卷积层、反卷积层和相关层三个层之间有很大的相似之处，现在好好分析一下。 1.卷积层下图较大网格表示一幅图片，有颜色填充的网格表示一个卷积核，卷积核的大小为33。假设我们做步长为1的卷积操作，表示卷积核...
收起
卷积神经网络
卷积层类
2021-04-11 16:58:59
创建卷积层类时，只需要指定卷积核数量参数filters，卷积核大小kernel_size，步长strides,填充padding等。创建了4个3*3大小的卷积核的卷积层，步长为1 ，padding设置为‘SAME’ import tensorflow as tf import ...
收起
二维卷积层
2020-09-09 15:10:56
《动手学深度学习pytorch》部分学习笔记，仅用作自己...虽然卷积层得名于卷积（convolution）运算，但我们通常在卷积层中使⽤更加直观的互相关（cross-correlation）运算。在二维卷积层中，一个二维输入数组和⼀个二维
收起
TensorFlow 卷积层
2019-09-28 09:00:23
TensorFlow 卷积层 让我们看下如何在 TensorFlow 里面实现 CNN。 TensorFlow 提供了tf.nn.conv2d()和tf.nn.bias_add()函数来创建你自己的卷积层。 1 # Output depth 2 k_output = 64 ...
收起
【动手学深度学习：卷积神经网络基础】【二维卷积层+填充和步幅+多输入通道和多输出通道+卷积层与全连接层...
2020-02-19 21:09:25
本章主要内容：二维卷积层，填充和步幅，多输入通道和多输出通道，卷积层与全连接层的对比，卷积层的简洁实现，池化。
收起
python 深度学习
【待写】小白对深度学习中卷积层与反卷积层的理解
2018-04-07 00:18:00
卷积层与反卷积层是CNN中最常用的两个操作层，网上有很多关于他们的介绍，但是看过后都觉得不是那么易懂，深度学习的大佬太多，但是缺少针对初学者的理解教程和文章，先挖个坑，有空会写一下我对卷积层和反卷积层的...
收起
如何得到卷积层输出的深度--CNN卷积层
万次阅读 2017-04-07 13:23:53
tensorflow代码（Tensorflow官方文档）中： w_conv1=weight_variable([5,5,1,32])，一直不明白这个32是怎么来的，表示的是什么？...就用上面的例子，在第一个卷积层就有55x55x96=290,400个神经元，每个有11x11
收起

卷积层

由浅入深CNN中卷积层与转置卷积层的关系

Caffe源代码之卷积层和反卷积层

Caffe源代码之卷积层和反卷积层

举例

Conv_layer头文件

Conv_layer源文件

BaseConvolutionLayer头文件

BaseConvolutionLayer源文件

im2col col2im

卷积层与池化层

卷积层

池化层 (pooling layer)

代码解析

由浅入深：CNN中卷积层与转置卷积层的关系

1. 卷积层和全连接层

2. 卷积层的运算过程

2.1 最简单的卷积

2.2 带padding的卷积

2.3 stride大于1的卷积

2.4 卷积核输入输出size与卷积核的关系

3. 转置卷积层

3.1 no padding no stride的卷积对应的转置卷积

3.2 带padding的卷积的转置卷积

3.3 stride大于1的卷积的转置卷积

3.4 正卷积和转置卷积的换算关系

3.4.1 转置卷积的padding

3.4.2 转置卷积的输出size

3.4.3 odd卷积的转置卷积

4. 总结

5. 参考文档

卷积层的主要作用_卷积层与池化层

TF之DD：实现输出Inception模型内的某个卷积层或者所有卷积层的形状

TensorFlow卷积层函数(卷积层+池化层)

cnn卷积伸进刚落_由浅入深：CNN中卷积层与转置卷积层的关系

如何只使用预训练模型的卷积层

卷积神经网络中卷积层、反卷积层和相关层

卷积层类

二维卷积层

TensorFlow 卷积层

【动手学深度学习：卷积神经网络基础】【二维卷积层+填充和步幅+多输入通道和多输出通道+卷积层与全连接层...

【待写】小白对深度学习中卷积层与反卷积层的理解

如何得到卷积层输出的深度--CNN卷积层

卷积层