卷积神经网络(CNN) 属于人工神经网络的一种，它的权重共享的网络结构显著降低了模型的复杂度，减少了权值的数量。卷积神经网络可以直接将图片作为网络的输入，自动提取特征，并且对图片的变形（如平移、比例缩放、倾斜）等具有高度不变形。

神经网络(NN) 的基本组成包括输入层、隐藏层、输出层。卷积神经网络的特点在于隐藏层分为卷积层和池化层（又叫采样层）。卷积层通过一块块卷积核在原始图像上平移来提取特征。


1.什么是卷积神经网络？



       我们先把卷积神经网络这个词拆开来看。“卷积” 和 “神经网络”。卷积也就是说神经网络不再是对每个像素的输入信息做处理了，而是图片上每一小块像素区域进行处理，这种做法加强了图片信息的连续性。 使得神经网络能看到图形， 而非一个点。这种做法同时也加深了神经网络对图片的理解。具体来说，卷积神经网络有一个批量过滤器，持续不断的在图片上滚动收集图片里的信息，每一次收集的时候都只是收集一小块像素区域，然后把收集来的信息进行整理，这时候整理出来的信息有了一些实际上的呈现，比如这时的神经网络能看到一些边缘的图片信息，然后在以同样的步骤，用类似的批量过滤器扫过产生的这些边缘信息，神经网络从这些边缘信息里面总结出更高层的信息结构，比如说总结的边缘能够画出眼睛，鼻子等等。再经过一次过滤，脸部的信息也从这些眼睛鼻子的信息中被总结出来。最后我们再把这些信息套入几层普通的全连接神经层进行分类，这样就能得到输入的图片能被分为哪一类的结果了。

2.用卷积来干什么？



​       我们截取一段 google 介绍卷积神经网络的视频，具体说说图片是如何被卷积的。下面是一张猫的图片，图片有长、宽、高 三个参数。对! 图片是有高度的! 这里的高指的是计算机用于产生颜色使用的信息。如果是黑白照片的话，高的单位就只有1，如果是彩色照片，就可能有红绿蓝三种颜色的信息，这时的高度为3。我们以彩色照片为例子。过滤器就是影像中不断移动的东西，他不断在图片收集小批小批的像素块，收集完所有信息后，输出的值，我们可以理解成是一个高度更高，长和宽更小的”图片”。这个图片里就能包含一些边缘信息。然后以同样的步骤再进行多次卷积，将图片的长宽再压缩，高度再增加，就有了对输入图片更深的理解。将压缩，增高的信息嵌套在普通的分类神经层上，我们就能对这种图片进行分类了。

3.池化(pooling)是做什么的？



​       研究发现，在每一次卷积的时候，神经层可能会无意地丢失一些信息。这时，池化 (pooling) 就可以很好地解决这一问题。而且池化是一个筛选过滤的过程，能将layer中有用的信息筛选出来，给下一个层分析。同时也减轻了神经网络的计算负担 (具体细节参考)。也就是说在卷积的时候，我们不压缩长宽，尽量地保留更多信息，压缩的工作就交给池化了，这样的一项附加工作能够很有效的提高准确性。有了这些技术，我们就可以搭建一个属于我们自己的卷积神经网络啦。

4.所以卷积神经网络(CNN)是什么结构？



​        比较流行的一种搭建结构是这样，从下到上的顺序，首先是输入的图片(image)，经过一层卷积层 (convolution)，然后在用池化(pooling)方式处理卷积的信息，这里使用的是 max pooling 的方式。然后在经过一次同样的处理，把得到的第二次处理的信息传入两层全连接的神经层 (fully connected)，这也是一般的两层神经网络层，最后在接上一个分类器(classifier)进行分类预测。这仅仅是对卷积神经网络在图片处理上一次简单的介绍。


本人简书文章地址：https://www.jianshu.com/u/3dbb0292f6a4

参考资料：https://morvanzhou.github.io

作者：飘哥

链接：https://www.zhihu.com/question/29366638/answer/864113705

 

DNN是指深度神经网络，它是一个很广的概念，某种意义上CNN、RNN、GAN等都属于其范畴之内。DNN与CNN（卷积神经网络）的区别是DNN特指全连接的神经元结构，并不包含卷积单元或是时间上的关联。DNN是指包含多个隐层的神经网络，根据神经元的特点，可以分为MLP、CNNs、RNNs等，从神经元的角度来讲解，MLP是最朴素的DNN，CNNs是encode了空间相关性的DNN，RNNs是encode进了时间相关性的DNN。

一.神经网络的发展

1.感知机

神经网络技术起源于上世纪五、六十年代，当时叫感知机（perceptron），拥有输入层、输出层和一个隐含层。输入的特征向量通过隐含层变换达到输出层，在输出层得到分类结果。早期感知机的推动者是Rosenblatt。但是，Rosenblatt的单层感知机有一个严重得不能再严重的问题，对于计算稍微复杂的函数其计算力显得无能为力。

2.多层感知机

随着数学的发展，这个缺点直到上世纪八十年代才被Rumelhart、Williams、Hinton、LeCun等人发明的多层感知机（multilayer perceptron)克服。多层感知机，顾名思义，就是有多个隐含层的感知机。

多层感知机可以摆脱早期离散传输函数的束缚，使用sigmoid或tanh等连续函数模拟神经元对激励的响应，在训练算法上则使用Werbos发明的反向传播BP算法。对，这就是我们现在所说的神经网络( NN)！多层感知机解决了之前无法模拟异或逻辑的缺陷，同时更多的层数也让网络更能够刻画现实世界中的复杂情形。多层感知机给我们带来的启示是，神经网络的层数直接决定了它对现实的刻画能力——利用每层更少的神经元拟合更加复杂的函数。

即便大牛们早就预料到神经网络需要变得更深，但是有一个梦魇总是萦绕左右。随着神经网络层数的加深，优化函数越来越容易陷入局部最优解，并且这个“陷阱”越来越偏离真正的全局最优。利用有限数据训练的深层网络，性能还不如较浅层网络。同时，另一个不可忽略的问题是随着网络层数增加，“梯度消失”现象更加严重。具体来说，我们常常使用 sigmoid 作为神经元的输入输出函数。对于幅度为1的信号，在BP反向传播梯度时，每传递一层，梯度衰减为原来的0.25。层数一多，梯度指数衰减后低层基本上接受不到有效的训练信号。

3.深度神经网络（DNN）

2006年，Hinton利用预训练方法缓解了局部最优解问题，将隐含层推动到了7层(参考论文：Hinton G E, Salakhutdinov R R. Reducing the Dimensionality of Data with Neural Networks[J]. Science, 2006, 313(5786):504-507.)，神经网络真正意义上有了“深度”，由此揭开了深度学习的热潮。这里的“深度”并没有固定的定义——在语音识别中4层网络就能够被认为是“较深的”，而在图像识别中20层以上的网络屡见不鲜。为了克服梯度消失，ReLU、maxout等传输函数代替了 sigmoid，形成了如今 DNN 的基本形式。单从结构上来说，全连接的DNN和上图的多层感知机是没有任何区别的。值得一提的是，今年出现的高速公路网络（highway network）和深度残差学习（deep residual learning）进一步避免了梯度弥散问题，网络层数达到了前所未有的一百多层（深度残差学习：152层）

4.卷积神经网络(CNN)

我们看到全连接DNN的结构里下层神经元和所有上层神经元都能够形成连接，带来的潜在问题是参数数量的膨胀。假设输入的是一幅像素为1K*1K的图像，隐含层有1M个节点，光这一层就有10^12个权重需要训练，这不仅容易过拟合，而且极容易陷入局部最优。另外，图像中有固有的局部模式（比如轮廓、边界，人的眼睛、鼻子、嘴等）可以利用，显然应该将图像处理中的概念和神经网络技术相结合。此时我们可以祭出题主所说的卷积神经网络CNN。对于CNN来说，并不是所有上下层神经元都能直接相连，而是通过“卷积核”作为中介。同一个卷积核在所有图像内是共享的，图像通过卷积操作后仍然保留原先的位置关系。

对于图像，如果没有卷积操作，学习的参数量是灾难级的。CNN之所以用于图像识别，正是由于CNN模型限制了参数的个数并挖掘了局部结构的这个特点。顺着同样的思路，利用语音语谱结构中的局部信息，CNN照样能应用在语音识别中。在普通的全连接网络或CNN中，每层神经元的信号只能向上一层传播，样本的处理在各个时刻独立，因此又被称为前向神经网络(Feed-forward Neural Networks)。

神经网络计算方法与传统方法的区别？

神经网络具备:

- 并行

- 容错

- 硬件实现

- 自我学习

以上是神经网络计算方法与传统方法的区别所在。

多层神经网络包含哪几层？

传统意义上的多层神经网络包含三层：

- 输入层

- 隐藏层

- 输出层

其中隐藏层的层数根据需要而定，没有明确的理论推导来说明到底多少层合适，多层神经网络做的步骤是：特征映射到值，特征是人工挑选。

二.DNN(深度神经网络)

传统的人工神经网络（ANN）由三部分组成：输入层，隐藏层，输出层，这三部分各占一层。而深度神经网络的“深度”二字表示它的隐藏层大于2层，这使它有了更深的抽象和降维能力。

三.CNN(卷积神经网络)

对卷积神经网络的研究始于二十世纪80至90年代，时间延迟网络和LeNet-5是最早出现的卷积神经网络；在二十一世纪后，随着深度学习理论的提出和数值计算设备的改进，卷积神经网络得到了快速发展，并被大量应用于计算机视觉、自然语言处理等领域 。

1.什么是卷积神经网络

卷积神经网络（Convolutional Neural Networks, CNN）是一类包含卷积计算且具有深度结构的前馈神经网络（Feedforward Neural Networks），是深度学习（deep learning）的代表算法之一 。由于卷积神经网络能够进行平移不变分类（shift-invariant classification），因此也被称为“平移不变人工神经网络（Shift-Invariant Artificial Neural Networks, SIANN）” 。

《百度百科》

2.卷积神经网络的基本概念

局部感受野（local receptive fields）
	
共享权重（shared weights）
	
池化（pooling）
3.卷积神经网络的构成

典型的卷积神经网络由3部分构成：

卷积层
	
池化层
	
全连接层
卷积层负责提取图像中的局部特征；池化层用来大幅降低参数量级(降维)；全连接层类似传统神经网络的部分，用来输出想要的结果。

A.卷积——提取特征

卷积层的运算过程如下图，用一个卷积核扫完整张图片：



这个过程我们可以理解为我们使用一个过滤器（卷积核）来过滤图像的各个小区域，从而得到这些小区域的特征值。

在具体应用中，往往有多个卷积核，可以认为，每个卷积核代表了一种图像模式，如果某个图像块与此卷积核卷积出的值大，则认为此图像块十分接近于此卷积核。如果我们设计了6个卷积核，可以理解：我们认为这个图像上有6种底层纹理模式，也就是我们用6中基础模式就能描绘出一副图像。以下就是25种不同的卷积核的示例：

 



总结：卷积层的通过卷积核的过滤提取出图片中局部的特征，跟上面提到的人类视觉的特征提取类似。

B.池化层（下采样）——数据降维，避免过拟合

池化层简单说就是下采样，他可以大大降低数据的维度。其过程如下：



上图中，我们可以看到，原始图片是20×20的，我们对其进行下采样，采样窗口为10×10，最终将其下采样成为一个2×2大小的特征图。

之所以这么做的原因，是因为即使做完了卷积，图像仍然很大（因为卷积核比较小），所以为了降低数据维度，就进行下采样。

总结：池化层相比卷积层可以更有效的降低数据维度，这么做不但可以大大减少运算量，还可以有效的避免过拟合。

C.全连接层——输出结果

这个部分就是最后一步了，经过卷积层和池化层处理过的数据输入到全连接层，得到最终想要的结果。

经过卷积层和池化层降维过的数据，全连接层才能”跑得动”，不然数据量太大，计算成本高，效率低下。



典型的 CNN 并非只是上面提到的3层结构，而是多层结构，例如 LeNet-5 的结构就如下图所示：

卷积层 – 池化层- 卷积层 – 池化层 – 卷积层 – 全连接层



 

4.卷积神经网络有2大特点

能够有效的将大数据量的图片降维成小数据量
	
能够有效的保留图片特征，符合图片处理的原则
5.卷积神经网络的擅长处理领域

卷积神经网络 – 卷积神经网络最擅长的就是图片的处理

6.卷积神经网络解决了什么问题？

在卷积神经网络出现之前，图像对于人工智能来说是一个难题，有2个原因：

图像需要处理的数据量太大，导致成本很高，效率很低
	
图像在数字化的过程中很难保留原有的特征，导致图像处理的准确率不高
A.需要处理的数据量太大

图像是由像素构成的，每个像素又是由颜色构成的。现在随随便便一张图片都是 1000×1000 像素以上的， 每个像素都有RGB 3个参数来表示颜色信息。假如我们处理一张 1000×1000 像素的图片，我们就需要处理3百万个参数！

1000×1000×3=3,000,000

这么大量的数据处理起来是非常消耗资源的，而且这只是一张不算太大的图片！

卷积神经网络 – CNN 解决的第一个问题就是「将复杂问题简化」，把大量参数降维成少量参数，再做处理。

更重要的是：我们在大部分场景下，降维并不会影响结果。比如1000像素的图片缩小成200像素，并不影响肉眼认出来图片中是一只猫还是一只狗，机器也是如此。

B.保留图像特征

假如一张图像中有圆形是1，没有圆形是0，那么圆形的位置不同就会产生完全不同的数据表达。但是从视觉的角度来看，图像的内容（本质）并没有发生变化，只是位置发生了变化。

所以当我们移动图像中的物体，用传统的方式的得出来的参数会差异很大！这是不符合图像处理的要求的。

而 CNN 解决了这个问题，他用类似视觉的方式保留了图像的特征，当图像做翻转，旋转或者变换位置时，它也能有效的识别出来是类似的图像。

7.卷积神经网络的典型架构

LeNet-5
	
AlexNet
	
VGG-16
	
Inception-V1
	
Inception-V3
	
RESNET-50
	
Xception
	
Inception-V4
	
Inception-ResNets
	
ResNeXt-50到

什么是卷积神经网络
以下解释来源于ujjwalkarn的博客：
卷积神经网络(ConvNets 或者 CNNs)属于神经网络的范畴，在图像识别和分类领域具有高效的能力。卷积神经网络可以成功识别人脸、物体和交通信号，从而为机器人和自动驾驶汽车提供视力。
在上图中，卷积神经网络可以识别场景，也可以提供相关的标签，比如“桥梁”、“火车”和“网球”；而下图展示了卷积神经网络可以用来识别日常物体、人和动物。最近，卷积神经网络也在一些自然语言处理任务(比如语句分类)。
因此，卷积神经网络对于今天大多数的机器学习用户来说都是一个重要的工具。
卷积操作
“卷积”这一词在多个领域里都有定义(比如信号处理领域的傅里叶变换中也有卷积)。具体在图像处理领域，卷积操作是指使用一个小的“模板窗口”对一个图片中的所有与模板大小相同的区域进行“卷积运算”。“卷积运算”其实很简单，就是将模板中的每一个数字与图片中相同大小区域的对应数字(像素值)进行相乘，再求和。具体操作如下图：
“模板窗口”每移动到一个位置，就和图片中的对应元素进行一次卷积运算，注意我们一般把“模板窗口”称为卷积核(kernel)。 比如在第一个位置，图片上的四个像素值为[[0,0],[1,1]], 而卷积核中的数值为[[-1,1],[-1,1]], 对应元素相乘再求和，得到0*-1+0*1+1*-1+1*1=0
比如在第二个位置，图片上的四个像素值为[[0,0],[1,0]], 对应元素相乘再求和，得到0*-1+0*1+1*-1+0*1=-1 对图片中的所有可能位置进行卷积操作，就得到了最终的卷积结果。
使用卷积神经网络识别交通标志
上文中我们提到过，卷积神经网络可以成功识别人脸、物体和交通信号。
因此，介绍了卷积神经网络的基本知识点之后，我要推荐一个“实验楼”近期新出教程《使用卷积神经网络识别交通标志》，这同时也是一个在线实验，大家可以在线上写代码，完成这个实验。
介绍
实验采用德国交通标志数据集，使用 TensorFlow 实现的卷积神经网络解决交通标志分类问题。
训练前对原数据进行了数据扩充保证了训练集数据类型的平衡，并对数据进行了预处理，来改善特征提取。
使用深度神经网络分类器作为模型，采用扩充后的平衡数据集进行训练，其准确率达到 98%以上，可以通过预训练或者降低学习率对模型进行微调来进一步提高模型性能。
知识点
数据预处理
数据扩充
深度神经网络分类器
Tensorflow卷积网络实现
课程说明

课程基于 Alex Staravoitau 的 开源项目 改编制作，原内容使用 Apache License 2.0 授权协议，实验楼同时获得了书面授权。我们对原英文题目内容进行了编译，以适合中文理解。同时，课程修改了部分解题和单元测试代码以适应实验楼在线环境。
你将学到：
适合人群
有 TensorFlow 基础的同学。
建议先修课程：
《TensorFlow 实现卷积神经网络》
注：文中提到的两门课程《使用卷积神经网络识别交通标志》《TensorFlow 实现卷积神经网络》均可在“实验楼”官网搜索到。另外，今天是“实验楼”高级VIP会员打折最后一天，大家抓紧时间抢购噢，高级会员可免费学习价值9000元的全部编程课。

为什么要对卷积神经网络进行压缩？
因为卷积神经网络需要的参数个数非常多，计算所需的次数和代价都非常大，因此需要进行压缩。


两种压缩策略不存在绝对的好坏，各种方法均有其各自的适应场景。并且，两种压缩技术可以相互结合，将“前端压缩”的输出作为“后端压缩”的输入，能够在最大程度上减少模型的复杂度。
低秩近似
低秩近似属于后端压缩技术中的一种。

卷积神经网络中的基本计算模式是进行卷积运算。具体实现中，卷积操作由矩阵相乘完成。但是，通常权重矩阵旺旺稠密并且巨大，从而带来计算和存储上的巨大开销。为解决这种情况的一种直观想法是，如果能将该稠密矩阵由若干个小规模矩阵近似重构出来，那么便能有效降低存储和计算开销。这类算法大多采用低秩近似的技术来重构权重矩阵，因此将其归类为低秩近似算法。


使用结构化矩阵来进行低秩分解
结构化矩阵是一系列拥有特殊结构的矩阵，例如Toeplitz矩阵，该矩阵的特点是任意一条平行于主对角线的直线上的元素都相同。

使用Toeplitz矩阵来近似重构原权重矩阵：$\boldsymbol{W}=\alpha_1\boldsymbol{T}_1\boldsymbol{T}_2^{-1}+\alpha_2\boldsymbol{T}_3\boldsymbol{T}_4^{-1}\boldsymbol{T}_5$;$\boldsymbol{W}$和 $\boldsymbol{T}$都是方阵。每个Toeplitz矩阵都可以通过置换操作转化为一个非常非常低秩的矩阵。

但是该低秩矩阵和原矩阵并不存在直接的等价性，为了保证两者之间的等价性，还需要截止一定的数学工具来达到使用低秩矩阵来重构原结构化矩阵的目的，从而减少了存储开销。
使用矩阵分解来降低权重矩阵的参数



剪枝
剪枝属于后端压缩。
给定一个预训练好的网络模型，常用的剪枝算法一般都遵从如下的操作流程：

衡量神经元的重要程度：剪枝算法中最重要的核心步骤。根据剪枝粒度的不同，神经元的定义可以是一个权重连接，也可以是整个滤波器。衡量其重要程度的方法从一些基本的启发式算法到基于梯度的方法，各有千秋。
移除掉一部分不重要的神经元：可以根据某个阈值或者按照重要程度排序来判断神经元是否被剪除。
对网络进行微调：剪枝操作会不可避免地影响网络的精度，为了防止对分类性能造成过大的破坏，需要对剪枝后的模型进行微调。
进行下一轮剪枝：反复迭代上述步骤，直到在性能和规模上达到一个较好的平衡。

参数量化
参数量化是一种常用的后端压缩技术。

量化是指从权重中归纳出若干“代表”，由这些“代表”来表示某一类权重的具体数值。“代表”被存储在码本之中，而原权重矩阵只需记录各自“代表”的索引即可，从而极大地降低了存储开销。

最简单也是最基本的一种量化算法便是标量量化。



基于k-均值算法的标量量化尽管简单，但是在很多应用中非常有效。
为了避免标量量化能力有限的弊端，也有很多算法考虑结构化的向量量化方法。其中最常用的一种算法是乘积量化。该算法的基本思路是**先将向量空间划分成若干个不相交的子空间，之后一次对每个子空间执行量化操作。


知识蒸馏
思想：不改变模型复杂度的情况下，通过增加监督信息的丰富程度，可以带来性能上的提升。

“知识蒸馏”是迁移学习的一种，最终目的是将一个庞大而复杂的模型所学到的知识，通过一定的技术手段迁移到精简的小模型上，使得小模型能够获得与大模型相近的性能。

知识蒸馏中两个基本要素起着决定性作用：

如何提取模型中的知识
如何完成知识转移的任务