通俗理解卷积神经网络（cs231n与5月dl班课程笔记）
 
 
1 前言
 
    2012年我在北京组织过8期machine learning读书会，那时“机器学习”非常火，很多人都对其抱有巨大的热情。当我2013年再次来到北京时，有一个词似乎比“机器学习”更火，那就是“深度学习”。
 
    本博客内写过一些机器学习相关的文章，但上一篇技术文章“LDA主题模型”还是写于2014年11月份，毕竟自2015年开始创业做在线教育后，太多的杂事、琐碎事，让我一直想再写点技术性文章但每每恨时间抽不开。然由于公司在不断开机器学习、深度学习等相关的在线课程，耳濡目染中，总会顺带着学习学习。
 
    我虽不参与讲任何课程（我所在公司“七月在线”的所有在线课程都是由目前讲师团队的数百位讲师讲），但依然可以用最最小白的方式 把一些初看复杂的东西抽丝剥茧的通俗写出来。这算重写技术博客的价值所在。
 
    在dl中，有一个很重要的概念，就是卷积神经网络CNN，基本是入门dl必须搞懂的东西。本文基本根据斯坦福的机器学习公开课、cs231n、与七月在线寒老师讲的5月dl班所写，是一篇课程笔记。
 
    一开始本文只是想重点讲下CNN中的卷积操作具体是怎么计算怎么操作的，但后面不断补充，包括增加不少自己的理解，故写成了关于卷积神经网络的通俗导论性的文章。有何问题，欢迎不吝指正。
 
 
2 人工神经网络
 
2.1 神经元
 
    神经网络由大量的神经元相互连接而成。每个神经元接受线性组合的输入后，最开始只是简单的线性加权，后来给每个神经元加上了非线性的激活函数，从而进行非线性变换后输出。每两个神经元之间的连接代表加权值，称之为权重（weight）。不同的权重和激活函数，则会导致神经网络不同的输出。
 
    举个手写识别的例子，给定一个未知数字，让神经网络识别是什么数字。此时的神经网络的输入由一组被输入图像的像素所激活的输入神经元所定义。在通过非线性激活函数进行非线性变换后，神经元被激活然后被传递到其他神经元。重复这一过程，直到最后一个输出神经元被激活。从而识别当前数字是什么字。
 
    神经网络的每个神经元如下
 
 
 
 
 
    基本wx + b的形式，其中
 
、表示输入向量
、为权重，几个输入则意味着有几个权重，即每个输入都被赋予一个权重
b为偏置bias
g(z) 为激活函数
a 为输出
    如果只是上面这样一说，估计以前没接触过的十有八九又必定迷糊了。事实上，上述简单模型可以追溯到20世纪50/60年代的感知器，可以把感知器理解为一个根据不同因素、以及各个因素的重要性程度而做决策的模型。
 
    举个例子，这周末北京有一草莓音乐节，那去不去呢？决定你是否去有二个因素，这二个因素可以对应二个输入，分别用x1、x2表示。此外，这二个因素对做决策的影响程度不一样，各自的影响程度用权重w1、w2表示。一般来说，音乐节的演唱嘉宾会非常影响你去不去，唱得好的前提下 即便没人陪同都可忍受，但如果唱得不好还不如你上台唱呢。所以，我们可以如下表示：
 
：是否有喜欢的演唱嘉宾。 = 1 你喜欢这些嘉宾， = 0 你不喜欢这些嘉宾。嘉宾因素的权重 = 7
：是否有人陪你同去。 = 1 有人陪你同去， = 0 没人陪你同去。是否有人陪同的权重 = 3。
    这样，咱们的决策模型便建立起来了：g(z) = g( * + * + b )，g表示激活函数，这里的b可以理解成 为更好达到目标而做调整的偏置项。
 
    一开始为了简单，人们把激活函数定义成一个线性函数，即对于结果做一个线性变化，比如一个简单的线性激活函数是g(z) = z，输出都是输入的线性变换。后来实际应用中发现，线性激活函数太过局限，于是人们引入了非线性激活函数。
 
2.2 激活函数
 
    常用的非线性激活函数有sigmoid、tanh、relu等等，前两者sigmoid/tanh比较常见于全连接层，后者relu常见于卷积层。这里先简要介绍下最基础的sigmoid函数（btw，在本博客中SVM那篇文章开头有提过）。
 
    sigmoid的函数表达式如下
 

 
 
    其中z是一个线性组合，比如z可以等于：b + * + *。通过代入很大的正数或很小的负数到g(z)函数中可知，其结果趋近于0或1。
 
    因此，sigmoid函数g(z)的图形表示如下（ 横轴表示定义域z，纵轴表示值域g(z) ）：
 
 
 
 
 
    也就是说，sigmoid函数的功能是相当于把一个实数压缩至0到1之间。当z是非常大的正数时，g(z)会趋近于1，而z是非常小的负数时，则g(z)会趋近于0。
 
    压缩至0到1有何用处呢？用处是这样一来便可以把激活函数看作一种“分类的概率”，比如激活函数的输出为0.9的话便可以解释为90%的概率为正样本。
 
    举个例子，如下图（图引自Stanford机器学习公开课）
 
 
 
 
 
    z = b + * + *，其中b为偏置项 假定取-30，、都取为20
 
如果 = 0  = 0，则z = -30，g(z) = 1/( 1 + e^-z )趋近于0。此外，从上图sigmoid函数的图形上也可以看出，当z=-30的时候，g(z)的值趋近于0
如果 = 0  = 1，或 =1  = 0，则z = b + * + * = -30 + 20 = -10，同样，g(z)的值趋近于0
如果 = 1  = 1，则z = b + * + * = -30 + 20*1 + 20*1 = 10，此时，g(z)趋近于1。
    换言之，只有和都取1的时候，g(z)→1，判定为正样本；或取0的时候，g(z)→0，判定为负样本，如此达到分类的目的。
 
2.3 神经网络
 
    将下图的这种单个神经元
 
 
 
 
 
    组织在一起，便形成了神经网络。下图便是一个三层神经网络结构
 
 
 
 
 
    上图中最左边的原始输入信息称之为输入层，最右边的神经元称之为输出层（上图中输出层只有一个神经元），中间的叫隐藏层。
 
    啥叫输入层、输出层、隐藏层呢？
 
输入层（Input layer），众多神经元（Neuron）接受大量非线形输入讯息。输入的讯息称为输入向量。
输出层（Output layer），讯息在神经元链接中传输、分析、权衡，形成输出结果。输出的讯息称为输出向量。
隐藏层（Hidden layer），简称“隐层”，是输入层和输出层之间众多神经元和链接组成的各个层面。如果有多个隐藏层，则意味着多个激活函数。
    同时，每一层都可能由单个或多个神经元组成，每一层的输出将会作为下一层的输入数据。比如下图中间隐藏层来说，隐藏层的3个神经元a1、a2、a3皆各自接受来自多个不同权重的输入（因为有x1、x2、x3这三个输入，所以a1 a2 a3都会接受x1 x2 x3各自分别赋予的权重，即几个输入则几个权重），接着，a1、a2、a3又在自身各自不同权重的影响下 成为的输出层的输入，最终由输出层输出最终结果。
 
 
    上图（图引自Stanford机器学习公开课）中
 
表示第j层第i个单元的激活函数/神经元
表示从第j层映射到第j+1层的控制函数的权重矩阵 
    此外，输入层和隐藏层都存在一个偏置（bias unit)，所以上图中也增加了偏置项：x0、a0。针对上图，有如下公式
 
 
 
 
 
    此外，上文中讲的都是一层隐藏层，但实际中也有多层隐藏层的，即输入层和输出层中间夹着数层隐藏层，层和层之间是全连接的结构，同一层的神经元之间没有连接。
 
 
 
3 卷积神经网络之层级结构
 
   cs231n课程里给出了卷积神经网络各个层级结构，如下图
 
 
    上图中CNN要做的事情是：给定一张图片，是车还是马未知，是什么车也未知，现在需要模型判断这张图片里具体是一个什么东西，总之输出一个结果：如果是车 那是什么车
 
    所以
 
最左边是数据输入层，对数据做一些处理，比如去均值（把输入数据各个维度都中心化为0，避免数据过多偏差，影响训练效果）、归一化（把所有的数据都归一到同样的范围）、PCA/白化等等。CNN只对训练集做“去均值”这一步。
    中间是
 
CONV：卷积计算层，线性乘积 求和。
RELU：激励层，上文2.2节中有提到：ReLU是激活函数的一种。
POOL：池化层，简言之，即取区域平均或最大。
    最右边是
 
FC：全连接层
    这几个部分中，卷积计算层是CNN的核心，下文将重点阐述。
 

 4 CNN之卷积计算层
 
4.1 CNN怎么进行识别
    简言之，当我们给定一个"X"的图案，计算机怎么识别这个图案就是“X”呢？一个可能的办法就是计算机存储一张标准的“X”图案，然后把需要识别的未知图案跟标准"X"图案进行比对，如果二者一致，则判定未知图案即是一个"X"图案。

    而且即便未知图案可能有一些平移或稍稍变形，依然能辨别出它是一个X图案。如此，CNN是把未知图案和标准X图案一个局部一个局部的对比，如下图所示 [图来自参考文案25]

 而未知图案的局部和标准X图案的局部一个一个比对时的计算过程，便是卷积操作。卷积计算结果为1表示匹配，否则不匹配。

 具体而言，为了确定一幅图像是包含有"X"还是"O"，相当于我们需要判断它是否含有"X"或者"O"，并且假设必须两者选其一，不是"X"就是"O"。
 
 
 理想的情况就像下面这个样子：
 
 
标准的"X"和"O"，字母位于图像的正中央，并且比例合适，无变形

 对于计算机来说，只要图像稍稍有一点变化，不是标准的，那么要解决这个问题还是不是那么容易的：
 
 
计算机要解决上面这个问题，一个比较天真的做法就是先保存一张"X"和"O"的标准图像（就像前面给出的例子），然后将其他的新给出的图像来和这两张标准图像进行对比，看看到底和哪一张图更匹配，就判断为哪个字母。

 但是这么做的话，其实是非常不可靠的，因为计算机还是比较死板的。在计算机的“视觉”中，一幅图看起来就像是一个二维的像素数组（可以想象成一个棋盘），每一个位置对应一个数字。在我们这个例子当中，像素值"1"代表白色，像素值"-1"代表黑色。
 
 
当比较两幅图的时候，如果有任何一个像素值不匹配，那么这两幅图就不匹配，至少对于计算机来说是这样的。

 对于这个例子，计算机认为上述两幅图中的白色像素除了中间的3*3的小方格里面是相同的，其他四个角上都不同：
 
 
因此，从表面上看，计算机判别右边那幅图不是"X"，两幅图不同，得出结论：
 
 
但是这么做，显得太不合理了。理想的情况下，我们希望，对于那些仅仅只是做了一些像平移，缩放，旋转，微变形等简单变换的图像，计算机仍然能够识别出图中的"X"和"O"。就像下面这些情况，我们希望计算机依然能够很快并且很准的识别出来：
 
 
这也就是CNN出现所要解决的问题。

 Features
 
 
对于CNN来说，它是一块一块地来进行比对。它拿来比对的这个“小块”我们称之为Features（特征）。在两幅图中大致相同的位置找到一些粗糙的特征进行匹配，CNN能够更好的看到两幅图的相似性，相比起传统的整幅图逐一比对的方法。

 每一个feature就像是一个小图（就是一个比较小的有值的二维数组）。不同的Feature匹配图像中不同的特征。在字母"X"的例子中，那些由对角线和交叉线组成的features基本上能够识别出大多数"X"所具有的重要特征。
 
 
这些features很有可能就是匹配任何含有字母"X"的图中字母X的四个角和它的中心。那么具体到底是怎么匹配的呢？如下：
 
 
 
 
 
 
看到这里是不是有了一点头目呢。但其实这只是第一步，你知道了这些Features是怎么在原图上面进行匹配的。但是你还不知道在这里面究竟进行的是怎样的数学计算，比如这个下面3*3的小块到底干了什么？
 
 
这里面的数学操作，就是我们常说的“卷积”操作。接下来，我们来了解下什么是卷积操作。
 
 
4.2 什么是卷积
 
    对图像（不同的数据窗口数据）和滤波矩阵（一组固定的权重：因为每个神经元的多个权重固定，所以又可以看做一个恒定的滤波器filter）做内积（逐个元素相乘再求和）的操作就是所谓的『卷积』操作，也是卷积神经网络的名字来源。
 
    非严格意义上来讲，下图中红框框起来的部分便可以理解为一个滤波器，即带着一组固定权重的神经元。多个滤波器叠加便成了卷积层。
 
 
 
 
 
    OK，举个具体的例子。比如下图中，图中左边部分是原始输入数据，图中中间部分是滤波器filter，图中右边是输出的新的二维数据。
 
 
    分解下上图
 
 
 
 对应位置上是数字先相乘后相加  = 
 
 
    中间滤波器filter与数据窗口做内积，其具体计算过程则是：4*0 + 0*0 + 0*0 + 0*0 + 0*1 + 0*1 + 0*0 + 0*1 + -4*2 = -8
 
4.3 图像上的卷积
 
    在下图对应的计算过程中，输入是一定区域大小(width*height)的数据，和滤波器filter（带着一组固定权重的神经元）做内积后等到新的二维数据。
 
    具体来说，左边是图像输入，中间部分就是滤波器filter（带着一组固定权重的神经元），不同的滤波器filter会得到不同的输出数据，比如颜色深浅、轮廓。相当于如果想提取图像的不同特征，则用不同的滤波器filter，提取想要的关于图像的特定信息：颜色深浅或轮廓。
 
    如下图所示
 
 
 
  
 
 
4.4 GIF动态卷积图
 
    在CNN中，滤波器filter（带着一组固定权重的神经元）对局部输入数据进行卷积计算。每计算完一个数据窗口内的局部数据后，数据窗口不断平移滑动，直到计算完所有数据。这个过程中，有这么几个参数： 
　　a. 深度depth：神经元个数，决定输出的depth厚度。同时代表滤波器个数。
　　b. 步长stride：决定滑动多少步可以到边缘。
 
　　c. 填充值zero-padding：在外围边缘补充若干圈0，方便从初始位置以步长为单位可以刚好滑倒末尾位置，通俗地讲就是为了总长能被步长整除。 
 
 
 
　　 
 
 
    cs231n课程中有一张卷积动图，貌似是用d3js 和一个util 画的，我根据cs231n的卷积动图依次截取了18张图，然后用一gif 制图工具制作了一gif 动态卷积图。如下gif 图所示
 
 
 
 
 
    可以看到：
 
两个神经元，即depth=2，意味着有两个滤波器。
数据窗口每次移动两个步长取3*3的局部数据，即stride=2。
zero-padding=1。
    然后分别以两个滤波器filter为轴滑动数组进行卷积计算，得到两组不同的结果。
 
    如果初看上图，可能不一定能立马理解啥意思，但结合上文的内容后，理解这个动图已经不是很困难的事情：
 
左边是输入（7*7*3中，7*7代表图像的像素/长宽，3代表R、G、B 三个颜色通道）
中间部分是两个不同的滤波器Filter w0、Filter w1
最右边则是两个不同的输出
    随着左边数据窗口的平移滑动，滤波器Filter w0 / Filter w1对不同的局部数据进行卷积计算。
 
    值得一提的是：左边数据在变化，每次滤波器都是针对某一局部的数据窗口进行卷积，这就是所谓的CNN中的局部感知机制。
 
打个比方，滤波器就像一双眼睛，人类视角有限，一眼望去，只能看到这世界的局部。如果一眼就看到全世界，你会累死，而且一下子接受全世界所有信息，你大脑接收不过来。当然，即便是看局部，针对局部里的信息人类双眼也是有偏重、偏好的。比如看美女，对脸、胸、腿是重点关注，所以这3个输入的权重相对较大。
与此同时，数据窗口滑动，导致输入在变化，但中间滤波器Filter w0的权重（即每个神经元连接数据窗口的权重）是固定不变的，这个权重不变即所谓的CNN中的参数（权重）共享机制。
 
再打个比方，某人环游全世界，所看到的信息在变，但采集信息的双眼不变。btw，不同人的双眼 看同一个局部信息 所感受到的不同，即一千个读者有一千个哈姆雷特，所以不同的滤波器 就像不同的双眼，不同的人有着不同的反馈结果。
    我第一次看到上面这个动态图的时候，只觉得很炫，另外就是据说计算过程是“相乘后相加”，但到底具体是个怎么相乘后相加的计算过程 则无法一眼看出，网上也没有一目了然的计算过程。本文来细究下。
 
    首先，我们来分解下上述动图，如下图
 
 
 
 
 
    接着，我们细究下上图的具体计算过程。即上图中的输出结果1具体是怎么计算得到的呢？其实，类似wx + b，w对应滤波器Filter w0，x对应不同的数据窗口，b对应Bias b0，相当于滤波器Filter w0与一个个数据窗口相乘再求和后，最后加上Bias b0得到输出结果1，如下过程所示：
 

 
 
 
1* 0 + 1*0 + -1*0 
 
+
 
-1*0 + 0*0 + 1*1
 
+
 
-1*0 + -1*0 + 0*1
 
 
+
 
 
-1*0 + 0*0 + -1*0
 
+
 
0*0 + 0*1 + -1*1
 
+
 
1*0 + -1*0 + 0*2
 
 
+
 
 
0*0 + 1*0 + 0*0
 
+
 
1*0 + 0*2 + 1*0
 
+
 
0*0 + -1*0 + 1*0
 
 
+
 
 
1
 
=
 
1
 
    然后滤波器Filter w0固定不变，数据窗口向右移动2步，继续做内积计算，得到0的输出结果
 
 
 
 
 
    最后，换做另外一个不同的滤波器Filter w1、不同的偏置Bias b1，再跟图中最左边的数据窗口做卷积，可得到另外一个不同的输出。
 
 
 
 
 
 
5 CNN之激励层与池化层
 
5.1 ReLU激励层
 
    2.2节介绍了激活函数sigmoid，但实际梯度下降中，sigmoid容易饱和、造成终止梯度传递，且没有0中心化。咋办呢，可以尝试另外一个激活函数：ReLU，其图形表示如下
 
 
 
 
 
    ReLU的优点是收敛快，求梯度简单。
 
5.2 池化pool层
 
    前头说了，池化，简言之，即取区域平均或最大，如下图所示（图引自cs231n）
 
 
    上图所展示的是取区域最大，即上图左边部分中 左上角2x2的矩阵中6最大，右上角2x2的矩阵中8最大，左下角2x2的矩阵中3最大，右下角2x2的矩阵中4最大，所以得到上图右边部分的结果：6 8 3 4。很简单不是？
 

 6 参考文献及推荐阅读
 
人工神经网络wikipedia
斯坦福机器学习公开课
Neural networks and deep learning
雨石 卷积神经网络：卷积神经网络_雨石-CSDN博客_卷积神经网络
cs231n 神经网络结构与神经元激励函数：CS231n Convolutional Neural Networks for Visual Recognition，中译版
cs231n 卷积神经网络：CS231n Convolutional Neural Networks for Visual Recognition
七月在线寒老师讲的5月dl班第4次课CNN与常用框架视频，已经剪切部分放在七月在线官网：julyedu.com
七月在线5月深度学习班第5课CNN训练注意事项部分视频：视频播放
七月在线5月深度学习班：5 月深度学习班 [国内第1个DL商业课程] - 七月在线
七月在线5月深度学习班课程笔记——No.4《CNN与常用框架》：CNN与常用框架_会思考的蜗牛-CSDN博客_cnn框架
七月在线6月数据数据挖掘班第7课视频：数据分类与排序
手把手入门神经网络系列(1)_从初等数学的角度初探神经网络：手把手入门神经网络系列(1)_从初等数学的角度初探神经网络
深度学习与计算机视觉系列(6)_神经网络结构与神经元激励函数：深度学习与计算机视觉系列(6)_神经网络结构与神经元激励函数
深度学习与计算机视觉系列(10)_细说卷积神经网络：深度学习与计算机视觉系列(10)_细说卷积神经网络
zxy 图像卷积与滤波的一些知识点：图像卷积与滤波的一些知识点_zouxy09的专栏-CSDN博客_图像卷积
zxy 深度学习CNN笔记：Deep Learning（深度学习）学习笔记整理系列之（七）_zouxy09的专栏-CSDN博客_深度学习 笔记
Understanding Convolutional Neural Networks for NLP – WildML，中译版
《神经网络与深度学习》中文讲义：Sina Visitor System
ReLU与sigmoid/tanh的区别：请问人工神经网络中的activation function的作用具体是什么？为什么ReLu要好过于tanh和sigmoid function? - 知乎
CNN、RNN、DNN内部网络结构区别：CNN（卷积神经网络）、RNN（循环神经网络）、DNN（深度神经网络）的内部网络结构有什么区别？ - 知乎
理解卷积：如何通俗易懂地解释卷积？ - 知乎
神经网络与深度学习简史：1 感知机和BP算法、4 深度学习的伟大复兴
在线制作gif 动图：在线Photoshop 在线ps
支持向量机通俗导论（理解SVM的三层境界）
CNN究竟是怎样一步一步工作的？ 本博客把卷积操作具体怎么个计算过程写清楚了，但这篇把为何要卷积操作也写清楚了，而且配偶图非常形象，甚赞。

7 后记
 
    本文基本上边看5月dl班寒讲的CNN视频边做笔记，之前断断续续看过不少CNN相关的资料（包括cs231n），但看过视频之后，才系统了解CNN到底是个什么东西，作为听众 寒讲的真心赞、清晰。然后在写CNN相关的东西时，发现一些前置知识（比如神经元、多层神经网络等也需要介绍下），包括CNN的其它层次机构（比如激励层），所以本文本只想简要介绍下卷积操作的，但考虑到知识之间的前后关联，所以越写越长，便成本文了。
 
    此外，在写作本文的过程中，请教了我们讲师团队里的寒、冯两位，感谢他两。同时，感谢爱可可老师的微博转发，感谢七月在线所有同事。
 
 
以下是修改日志：
 
2016年7月5日，修正了一些笔误、错误，以让全文更通俗、更精准。有任何问题或槽点，欢迎随时指出。
2016年7月7日，第二轮修改完毕。且根据cs231n的卷积动图依次截取了18张图，然后用制图工具制作了一gif 动态卷积图，放在文中4.3节。
2016年7月16日，完成第三轮修改。本轮修改主要体现在sigmoid函数的说明上，通过举例和统一相关符号让其含义更一目了然、更清晰。
2016年8月15日，完成第四轮修改，增补相关细节。比如补充4.3节GIF动态卷积图中输入部分的解释，即7*7*3的含义（其中7*7代表图像的像素/长宽，3代表R、G、B 三个颜色通道）。不断更易懂。
2016年8月22日，完成第五轮修改。本轮修改主要加强滤波器的解释，及引入CNN中滤波器的通俗比喻。
    July、最后修改于二零一六年八月二十二日中午于七月在线办公室。

项目github地址：bitcarmanlee easy-algorithm-interview-and-practice
 经常有同学私信或留言询问相关问题，V号bitcarmanlee。github上star的同学，在我能力与时间允许范围内，尽可能帮大家解答相关问题，一起进步。
 
啰嗦开场白
 
读本科期间，信号与系统里面经常讲到卷积(convolution)，自动控制原理里面也会经常有提到卷积。硕士期间又学了线性系统理论与数字信号处理，里面也是各种大把大把卷积的概念。至于最近大火的深度学习，更有专门的卷积神经网络(Convolutional Neural Network, CNN)，在图像领域取得了非常好的实际效果，已经把传统的图像处理的方法快干趴下了。啰啰嗦嗦说了这么多卷积，惭愧的是，好像一直以来对卷积的物理意义并不是那么清晰。一是上学时候只是简单考试，没有仔细思考过具体前后的来龙去脉。二是本身天资比较愚钝，理解能力没有到位。三则工作以后也没有做过强相关的工作，没有机会得以加深理解。趁着年前稍微有点时间，查阅了一些相关资料，力争将卷积的前世今生能搞明白。
 
1.知乎上排名最高的解释
 
首先选取知乎上对卷积物理意义解答排名最靠前的回答。
 不推荐用“反转/翻转/反褶/对称”等解释卷积。好好的信号为什么要翻转？导致学生难以理解卷积的物理意义。
 这个其实非常简单的概念，国内的大多数教材却没有讲透。
 
直接看图，不信看不懂。以离散信号为例，连续信号同理。
 
已知x[0] = a, x[1] = b, x[2]=c
 
 
已知y[0] = i, y[1] = j, y[2]=k
 
 
下面通过演示求x[n] * y[n]的过程，揭示卷积的物理意义。
 
第一步，x[n]乘以y[0]并平移到位置0：
 
 
第二步，x[n]乘以y[1]并平移到位置1
 
 
第三步，x[n]乘以y[2]并平移到位置2：
 
 
最后，把上面三个图叠加，就得到了x[n] * y[n]：
 
 
简单吧？无非是平移（没有反褶！）、叠加。
 从这里，可以看到卷积的重要的物理意义是：一个函数（如：单位响应）在另一个函数（如：输入信号）上的加权叠加。
 
重复一遍，这就是卷积的意义：加权叠加。
 
对于线性时不变系统，如果知道该系统的单位响应，那么将单位响应和输入信号求卷积，就相当于把输入信号的各个时间点的单位响应 加权叠加，就直接得到了输出信号。
 
通俗的说：
 在输入信号的每个位置，叠加一个单位响应，就得到了输出信号。
 这正是单位响应是如此重要的原因。
 
在输入信号的每个位置，叠加一个单位响应，就得到了输出信号。
 这正是单位响应是如此重要的原因。
 
在输入信号的每个位置，叠加一个单位响应，就得到了输出信号。
 这正是单位响应是如此重要的原因。
 
以上是知乎上排名最高的回答。比较简单易懂。
 
有个回复也可以参考：
 楼主这种做法和通常教材上的区别在于：书上先反褶再平移，把输入信号当作一个整体，一次算出一个时间点的响应值；而楼主把信号拆开，一次算出一个信号在所有时间的响应值，再把各个信号相加。两者本质上是相同的。
 
2.卷积的另外解释
 
卷积表示为$y(n)=x(n)\ast h(n)$
 使用离散数列来理解卷积会更形象一点，我们把y(n)的序列表示成$y(0),y(1),y(2),\cdots$, 这是系统响应出来的信号。
 同理，$x(n)$的对应时刻的序列为$x(0),x(1),x(2),\cdots$
 其实我们如果没有学过信号与系统，就常识来讲，系统的响应不仅与当前时刻系统的输入有关，也跟之前若干时刻的输入有关，因为我们可以理解为这是之前时刻的输入信号经过一种过程（这种过程可以是递减，削弱，或其他）对现在时刻系统输出的影响，那么显然，我们计算系统输出时就必须考虑现在时刻的信号输入的响应以及之前若干时刻信号输入的响应之“残留”影响的一个叠加效果。
 假设0时刻系统响应为$y(0)$,若其在1时刻时，此种响应未改变，则1时刻的响应就变成了$y(0)+y(1)$,叫序列的累加和（与序列的和不一样）。但常常系统中不是这样的，因为0时刻的响应不太可能在1时刻仍旧未变化，那么怎么表述这种变化呢，就通过h(t)这个响应函数与x(0)相乘来表述，表述为$x(m)\times h(m-n)$，具体表达式不用多管，只要记着有大概这种关系，引入这个函数就能够表述$y(0)$在1时刻究竟削弱了多少，然后削弱后的值才是$y(0)$在1时刻的真实值，再通过累加和运算，才得到真实的系统响应。
 再拓展点，某时刻的系统响应往往不一定是由当前时刻和前一时刻这两个响应决定的，也可能是再加上前前时刻，前前前时刻，前前前前时刻，等等，那么怎么约束这个范围呢，就是通过对$h(n)$这个函数在表达式中变化后的$h(m-n)$中的m的范围来约束的。即说白了，就是当前时刻的系统响应与多少个之前时刻的响应的“残留影响”有关。
 当考虑这些因素后，就可以描述成一个系统响应了，而这些因素通过一个表达式（卷积）即描述出来不得不说是数学的巧妙和迷人之处了。
 
3.卷积的数学定义
 
前面讲了这么多，我们看看教科书上对卷积的数学定义。
 
 
4.卷积的应用
 
用一个模板和一幅图像进行卷积，对于图像上的一个点，让模板的原点和该点重合，然后模板上的点和图像上对应的点相乘，然后各点的积相加，就得到了该点的卷积值。对图像上的每个点都这样处理。由于大多数模板都是对称的，所以模板不旋转。卷积是一种积分运算，用来求两个曲线重叠区域面积。可以看作加权求和，可以用来消除噪声、特征增强。
 把一个点的像素值用它周围的点的像素值的加权平均代替。
 卷积是一种线性运算,图像处理中常见的mask运算都是卷积，广泛应用于图像滤波。
 卷积关系最重要的一种情况，就是在信号与线性系统或数字信号处理中的卷积定理。利用该定理，可以将时间域或空间域中的卷积运算等价为频率域的相乘运算，从而利用FFT等快速算法，实现有效的计算，节省运算代价。
 
5.补充
 
另外在知乎上看到非常好也非常生动形象的解释，特意复制粘贴过来。(知乎马同学的解释)
 
从数学上讲，卷积就是一种运算。
 某种运算，能被定义出来，至少有以下特征：
 1.首先是抽象的、符号化的
 2.其次，在生活、科研中，有着广泛的作用
 
比如加法：
 1.a+b，是抽象的，本身只是一个数学符号
 2.在现实中，有非常多的意义，比如增加、合成、旋转等等
 
卷积，是我们学习高等数学之后，新接触的一种运算，因为涉及到积分、级数，所以看起来觉得很复杂。
 
 
这两个式子有一个共同的特征：
 
 
这个特征有什么意义？
 
只看数学符号，卷积是抽象的，不好理解的，但是，我们可以通过现实中的意义，来习惯卷积这种运算，正如我们小学的时候，学习加减乘除需要各种苹果、糖果来帮助我们习惯一样。
 
我们来看看现实中，这样的定义有什么意义。
 
2 离散卷积的例子：丢骰子
 
我有两枚骰子：
 
 
把这两枚骰子都抛出去：
 
 
求：两枚骰子点数加起来为4的概率是多少?
 这里问题的关键是，两个骰子加起来要等于4，这正是卷积的应用场景。
 
我们把骰子各个点数出现的概率表示出来：
 
 
那么，两枚骰子点数加起来为4的情况有：
 
 
 
 
因此，两枚骰子点数加起来为4的概率为：
 f(1)g(3)+f(2)g(2)+f(3)g(1)
 
符合卷积的定义，把它写成标准的形式就是：
 
$$(f\ast g)(4)=\sum _{m=1}^{3}f(4-m)g(m)$$
 
3 连续卷积的例子：做馒头
 
楼下早点铺子生意太好了，供不应求，就买了一台机器，不断的生产馒头。
 假设馒头的生产速度是 f(t) ，那么一天后生产出来的馒头总量为：
 ${\int }_0^{24}f(t)dt$
 馒头生产出来之后，就会慢慢腐败，假设腐败函数为 g(t) ，比如，10个馒头，24小时会腐败：
 $10\ast g(t)$
 想想就知道，第一个小时生产出来的馒头，一天后会经历24小时的腐败，第二个小时生产出来的馒头，一天后会经历23小时的腐败。
 如此，我们可以知道，一天后，馒头总共腐败了：
 ${\int }_0^{24}f(t)g(24-t)dt$
 这就是连续的卷积。
 
4 图像处理
 4.1 原理
 
有这么一副图像，可以看到，图像上有很多噪点：
 
 
高频信号，就好像平地耸立的山峰：
 
 
看起来很显眼。
 
平滑这座山峰的办法之一就是，把山峰刨掉一些土，填到山峰周围去。用数学的话来说，就是把山峰周围的高度平均一下。
 
平滑后得到：
 
 
4.2 计算
 
卷积可以帮助实现这个平滑算法。
 
有噪点的原图，可以把它转为一个矩阵：
 
 
然后用下面这个平均矩阵（说明下，原图的处理实际上用的是正态分布矩阵，这里为了简单，就用了算术平均矩阵）来平滑图像：
 
$g=\left[\begin{array}{ccc}\frac{1}{9}& \frac{1}{9}& \frac{1}{9}\\ \frac{1}{9}& \frac{1}{9}& \frac{1}{9}\\ \frac{1}{9}& \frac{1}{9}& \frac{1}{9}\end{array}\right]$
 
记得刚才说过的算法，把高频信号与周围的数值平均一下就可以平滑山峰。
 
比如我要平滑$ a_{1,1}$ 点，就在矩阵中，取出$ a_{1,1} $点附近的点组成矩阵 f ,和 g 进行卷积计算后，再填回去
 
 
要注意一点，为了运用卷积， g 虽然和 f 同维度，但下标有点不一样：
 
 
 
写成卷积公式就是：
 
$(f\ast g)(1,1)=\sum _{k=0}^2\sum _{h=0}^{2}f(h,k)g(1-h,1-k)$
 
要求$ c_{4,5} $，一样可以套用上面的卷积公式。
 
这样相当于实现了 g 这个矩阵在原来图像上的划动（准确来说，下面这幅图把 g 矩阵旋转了$180^{\circ }$ ）：
 
6.另外一个关于卷积的有意思的解释
 
看了好多关于卷积的答案，看到这个例子才彻底地理解了这个过程～
 关于卷积的一个血腥的讲解
 比如说你的老板命令你干活，你却到楼下打台球去了，后来被老板发现，他非常气愤，扇了你一巴掌（注意，这就是输入信号，脉冲），于是你的脸上会渐渐地（贱贱地）鼓起来一个包，你的脸就是一个系统，而鼓起来的包就是你的脸对巴掌的响应，好，这样就和信号系统建立起来意义对应的联系。下面还需要一些假设来保证论证的严谨：假定你的脸是线性时不变系统，也就是说，无论什么时候老板打你一巴掌，打在你脸的同一位置（这似乎要求你的脸足够光滑，如果你说你长了很多青春痘，甚至整个脸皮处处连续处处不可导，那难度太大了，我就无话可说了哈哈），你的脸上总是会在相同的时间间隔内鼓起来一个相同高度的包来，并且假定以鼓起来的包的大小作为系统输出。好了，那么，下面可以进入核心内容——卷积了！
 如果你每天都到地下去打台球，那么老板每天都要扇你一巴掌，不过当老板打你一巴掌后，你5分钟就消肿了，所以时间长了，你甚至就适应这种生活了……如果有一天，老板忍无可忍，以0.5秒的间隔开始不间断的扇你的过程，这样问题就来了，第一次扇你鼓起来的包还没消肿，第二个巴掌就来了，你脸上的包就可能鼓起来两倍高，老板不断扇你，脉冲不断作用在你脸上，效果不断叠加了，这样这些效果就可以求和了，结果就是你脸上的包的高度随时间变化的一个函数了（注意理解）；如果老板再狠一点，频率越来越高，以至于你都辨别不清时间间隔了，那么，求和就变成积分了。可以这样理解，在这个过程中的某一固定的时刻，你的脸上的包的鼓起程度和什么有关呢？和之前每次打你都有关！但是各次的贡献是不一样的，越早打的巴掌，贡献越小，所以这就是说，某一时刻的输出是之前很多次输入乘以各自的衰减系数之后的叠加而形成某一点的输出，然后再把不同时刻的输出点放在一起，形成一个函数，这就是卷积，卷积之后的函数就是你脸上的包的大小随时间变化的函数。本来你的包几分钟就可以消肿，可是如果连续打，几个小时也消不了肿了，这难道不是一种平滑过程么？反映到剑桥大学的公式上，f(a)就是第a个巴掌，g(x-a)就是第a个巴掌在x时刻的作用程度，乘起来再叠加就ok了，大家说是不是这个道理呢？我想这个例子已经非常形象了，你对卷积有了更加具体深刻的了解了吗？
 
参考资料：
 1.https://www.zhihu.com/question/22298352
 2.http://blog.csdn.net/yeeman/article/details/6325693
 3.http://muchong.com/html/201001/1773707.html
 4.https://www.zhihu.com/question/39753115
 5.https://zh.wikipedia.org/wiki/%E5%8D%B7%E7%A7%AF%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C
 6.http://blog.csdn.net/tiandijun/article/details/40080823
 7.https://zh.wikipedia.org/wiki/%E5%8D%B7%E7%A7%AF%E5%AE%9A%E7%90%86
 8.https://www.zhihu.com/question/19714540/answer/14738630 如何理解傅里叶变换公式？

卷积神经网络
 
转载请注明：http://blog.csdn.net/stdcoutzyx/article/details/41596663
 
自今年七月份以来，一直在实验室负责卷积神经网络（Convolutional Neural Network，CNN），期间配置和使用过theano和cuda-convnet、cuda-convnet2。为了增进CNN的理解和使用，特写此博文，以其与人交流，互有增益。正文之前，先说几点自己对于CNN的感触。先明确一点就是，Deep Learning是全部深度学习算法的总称，CNN是深度学习算法在图像处理领域的一个应用。
 
 
第一点，在学习Deep learning和CNN之前，总以为它们是很了不得的知识，总以为它们能解决很多问题，学习了之后，才知道它们不过与其他机器学习算法如svm等相似，仍然可以把它当做一个分类器，仍然可以像使用一个黑盒子那样使用它。
 
 
第二点，Deep Learning强大的地方就是可以利用网络中间某一层的输出当做是数据的另一种表达，从而可以将其认为是经过网络学习到的特征。基于该特征，可以进行进一步的相似度比较等。
 
 
第三点，Deep Learning算法能够有效的关键其实是大规模的数据，这一点原因在于每个DL都有众多的参数，少量数据无法将参数训练充分。
 
接下来话不多说，直接奔入主题开始CNN之旅。
 
1. 神经网络
 
首先介绍神经网络，这一步的详细可以参考资源1。简要介绍下。神经网络的每个单元如下：
 
 
 
 
其对应的公式如下：
 
 
 
 
其中，该单元也可以被称作是Logistic回归模型。当将多个单元组合起来并具有分层结构时，就形成了神经网络模型。下图展示了一个具有一个隐含层的神经网络。
 
 
 
 
其对应的公式如下：
 
 
 
 
比较类似的，可以拓展到有2,3,4,5，…个隐含层。
 
神经网络的训练方法也同Logistic类似，不过由于其多层性，还需要利用链式求导法则对隐含层的节点进行求导，即梯度下降+链式求导法则，专业名称为反向传播。关于训练算法，本文暂不涉及。
 
2 卷积神经网络
 
在图像处理中，往往把图像表示为像素的向量，比如一个1000×1000的图像，可以表示为一个1000000的向量。在上一节中提到的神经网络中，如果隐含层数目与输入层一样，即也是1000000时，那么输入层到隐含层的参数数据为1000000×1000000=10^12，这样就太多了，基本没法训练。所以图像处理要想练成神经网络大法，必先减少参数加快速度。就跟辟邪剑谱似的，普通人练得很挫，一旦自宫后内力变强剑法变快，就变的很牛了。
 
2.1 局部感知
 
卷积神经网络有两种神器可以降低参数数目，第一种神器叫做局部感知野。一般认为人对外界的认知是从局部到全局的，而图像的空间联系也是局部的像素联系较为紧密，而距离较远的像素相关性则较弱。因而，每个神经元其实没有必要对全局图像进行感知，只需要对局部进行感知，然后在更高层将局部的信息综合起来就得到了全局的信息。网络部分连通的思想，也是受启发于生物学里面的视觉系统结构。视觉皮层的神经元就是局部接受信息的（即这些神经元只响应某些特定区域的刺激）。如下图所示：左图为全连接，右图为局部连接。
 
 
 
 
在上右图中，假如每个神经元只和10×10个像素值相连，那么权值数据为1000000×100个参数，减少为原来的万分之一。而那10×10个像素值对应的10×10个参数，其实就相当于卷积操作。
 
2.2 参数共享
 
但其实这样的话参数仍然过多，那么就启动第二级神器，即权值共享。在上面的局部连接中，每个神经元都对应100个参数，一共1000000个神经元，如果这1000000个神经元的100个参数都是相等的，那么参数数目就变为100了。
 
怎么理解权值共享呢？我们可以这100个参数（也就是卷积操作）看成是提取特征的方式，该方式与位置无关。这其中隐含的原理则是：图像的一部分的统计特性与其他部分是一样的。这也意味着我们在这一部分学习的特征也能用在另一部分上，所以对于这个图像上的所有位置，我们都能使用同样的学习特征。
 
更直观一些，当从一个大尺寸图像中随机选取一小块，比如说 8x8 作为样本，并且从这个小块样本中学习到了一些特征，这时我们可以把从这个 8x8 样本中学习到的特征作为探测器，应用到这个图像的任意地方中去。特别是，我们可以用从 8x8 样本中所学习到的特征跟原本的大尺寸图像作卷积，从而对这个大尺寸图像上的任一位置获得一个不同特征的激活值。
 
如下图所示，展示了一个3×3的卷积核在5×5的图像上做卷积的过程。每个卷积都是一种特征提取方式，就像一个筛子，将图像中符合条件（激活值越大越符合条件）的部分筛选出来。
 
 
 
 
2.3 多卷积核
 
上面所述只有100个参数时，表明只有1个10*10的卷积核，显然，特征提取是不充分的，我们可以添加多个卷积核，比如32个卷积核，可以学习32种特征。在有多个卷积核时，如下图所示：
 
 
 
 
上图右，不同颜色表明不同的卷积核。每个卷积核都会将图像生成为另一幅图像。比如两个卷积核就可以将生成两幅图像，这两幅图像可以看做是一张图像的不同的通道。如下图所示，下图有个小错误，即将w1改为w0，w2改为w1即可。下文中仍以w1和w2称呼它们。
 
下图展示了在四个通道上的卷积操作，有两个卷积核，生成两个通道。其中需要注意的是，四个通道上每个通道对应一个卷积核，先将w2忽略，只看w1，那么在w1的某位置（i,j）处的值，是由四个通道上（i,j）处的卷积结果相加然后再取激活函数值得到的。
 
 
 
 
 
 
 
 
 
所以，在上图由4个通道卷积得到2个通道的过程中，参数的数目为4×2×2×2个，其中4表示4个通道，第一个2表示生成2个通道，最后的2×2表示卷积核大小。
 
2.4 Down-pooling
 
在通过卷积获得了特征 (features) 之后，下一步我们希望利用这些特征去做分类。理论上讲，人们可以用所有提取得到的特征去训练分类器，例如 softmax 分类器，但这样做面临计算量的挑战。例如：对于一个 96X96 像素的图像，假设我们已经学习得到了400个定义在8X8输入上的特征，每一个特征和图像卷积都会得到一个 (96 − 8 + 1) × (96 − 8 + 1) = 7921 维的卷积特征，由于有 400 个特征，所以每个样例 (example) 都会得到一个 7921 × 400 = 3,168,400 维的卷积特征向量。学习一个拥有超过 3 百万特征输入的分类器十分不便，并且容易出现过拟合 (over-fitting)。
 
为了解决这个问题，首先回忆一下，我们之所以决定使用卷积后的特征是因为图像具有一种“静态性”的属性，这也就意味着在一个图像区域有用的特征极有可能在另一个区域同样适用。因此，为了描述大的图像，一个很自然的想法就是对不同位置的特征进行聚合统计，例如，人们可以计算图像一个区域上的某个特定特征的平均值 (或最大值)。这些概要统计特征不仅具有低得多的维度 (相比使用所有提取得到的特征)，同时还会改善结果(不容易过拟合)。这种聚合的操作就叫做池化 (pooling)，有时也称为平均池化或者最大池化 (取决于计算池化的方法)。
 
 
 
 
至此，卷积神经网络的基本结构和原理已经阐述完毕。
 
2.5 多层卷积
 
在实际应用中，往往使用多层卷积，然后再使用全连接层进行训练，多层卷积的目的是一层卷积学到的特征往往是局部的，层数越高，学到的特征就越全局化。
 
3 ImageNet-2010网络结构
 
ImageNet LSVRC是一个图片分类的比赛，其训练集包括127W+张图片，验证集有5W张图片，测试集有15W张图片。本文截取2010年Alex Krizhevsky的CNN结构进行说明，该结构在2010年取得冠军，top-5错误率为15.3%。值得一提的是，在今年的ImageNet LSVRC比赛中，取得冠军的GoogNet已经达到了top-5错误率6.67%。可见，深度学习的提升空间还很巨大。
 
下图即为Alex的CNN结构图。需要注意的是，该模型采用了2-GPU并行结构，即第1、2、4、5卷积层都是将模型参数分为2部分进行训练的。在这里，更进一步，并行结构分为数据并行与模型并行。数据并行是指在不同的GPU上，模型结构相同，但将训练数据进行切分，分别训练得到不同的模型，然后再将模型进行融合。而模型并行则是，将若干层的模型参数进行切分，不同的GPU上使用相同的数据进行训练，得到的结果直接连接作为下一层的输入。
 
 
 
 
上图模型的基本参数为：
 
输入：224×224大小的图片，3通道
第一层卷积：11×11大小的卷积核96个，每个GPU上48个。
第一层max-pooling：2×2的核。
第二层卷积：5×5卷积核256个，每个GPU上128个。
第二层max-pooling：2×2的核。
第三层卷积：与上一层是全连接，3*3的卷积核384个。分到两个GPU上个192个。
第四层卷积：3×3的卷积核384个，两个GPU各192个。该层与上一层连接没有经过pooling层。
第五层卷积：3×3的卷积核256个，两个GPU上个128个。
第五层max-pooling：2×2的核。
第一层全连接：4096维，将第五层max-pooling的输出连接成为一个一维向量，作为该层的输入。
第二层全连接：4096维
Softmax层：输出为1000，输出的每一维都是图片属于该类别的概率。
4 DeepID网络结构
 
DeepID网络结构是香港中文大学的Sun Yi开发出来用来学习人脸特征的卷积神经网络。每张输入的人脸被表示为160维的向量，学习到的向量经过其他模型进行分类，在人脸验证试验上得到了97.45%的正确率，更进一步的，原作者改进了CNN，又得到了99.15%的正确率。
 
如下图所示，该结构与ImageNet的具体参数类似，所以只解释一下不同的部分吧。
 
 
 
 
上图中的结构，在最后只有一层全连接层，然后就是softmax层了。论文中就是以该全连接层作为图像的表示。在全连接层，以第四层卷积和第三层max-pooling的输出作为全连接层的输入，这样可以学习到局部的和全局的特征。
 
5 参考资源
 
[1] http://deeplearning.stanford.edu/wiki/index.php/UFLDL%E6%95%99%E7%A8%8B 栀子花对Stanford深度学习研究团队的深度学习教程的翻译
[2] http://blog.csdn.net/zouxy09/article/details/14222605 csdn博主zouxy09深度学习教程系列
[3] http://deeplearning.net/tutorial/ theano实现deep learning
[4] Krizhevsky A, Sutskever I, Hinton G E. Imagenet classification with deep convolutional neural networks[C]//Advances in neural information processing systems. 2012: 1097-1105.
[5] Sun Y, Wang X, Tang X. Deep learning face representation from predicting 10,000 classes[C]//Computer Vision and Pattern Recognition (CVPR), 2014 IEEE Conference on. IEEE, 2014: 1891-1898.
更多内容欢迎关注微信公众后【雨石记】。
 
 
 

 
卷积
 
什么是卷积
卷积的数学定义
一维卷积示意图
二维卷积示意图
  
卷积的物理意义

 
什么是卷积
 
卷积的数学定义
 
$$(f\ast g)(t)={\int }_{R}f(x)g(t-x)dx$$
 一般称为$g$为作用在$f$上的filter或kernel
 
一维卷积示意图
 
 
二维卷积示意图
 
 
卷积的物理意义
 
小明存入100元钱，年利率是5%，按复利计算（即将每一年所获利息加入本金，以计算下一年的利息），那么在五年之后他能拿到的钱数是$100(1+5\%{)}^5$，如下表所示：
 
 将这笔钱存入银行的一年之后，小明又往银行中存入了100元钱，年利率仍为5%，那么这笔钱按复利计算，到了第五年，将收回的钱数是$100(1+5\%{)}^4$，我们将这一结果作为新的一行加入上面的表格中：
 
 以此类推，如果小明每年都往银行中存入新的100元钱，那么这个收益表格将是这样的：
 
 可见，最终小明拿到的钱将等于他各年存入的钱分别计算复利之后得到的钱数的总和，即：
 用求和符号来简化这个公式，可以得到：
 $$\sum _{i=1}^{5}f(i)g(5-i),wheref(i)=100,g(5-i)=(1.05{)}^{5-i}$$
 在上式中，$f(i)$为小明的存钱函数，而$g(i)$为存入银行的每一笔钱的复利计算函数。
 
将这个公式推广到连续的情况，也就是说，小明在从0到$t$的这一段时间内，每时每刻都往银行里存钱，他的存钱函数为$f(\tau )(0\le \tau \le t)$，而银行也对他存入的每一笔钱按复利公式计算收益：$g(t-\tau )=(1+5\%{)}^{t-\tau }$，则小明到时间t将得到的总钱数为：
 $${\int }_0^{t}f(\tau )g(t-\tau )d\tau ={\int }_0^{t}f(\tau )(1+5\%{)}^{t-\tau }d\tau$$
 这也就是卷积的表达式了，上式可以记为$(f\ast g)(t)$。
 
我们将小明的存款函数视为一个信号发生（也就是激励）的过程，而将复利函数$g(t-\tau )$视为一个系统对信号的响应函数（也就是响应），那么二者的卷积$(f\ast g)(t)$就可以看做是在t时刻对系统进行观察，得到的观察结果（也就是输出）将是过去产生的所有信号经过系统的「处理／响应」后得到的结果的叠加，这也就是卷积的物理意义了。
 
整理自：
 https://zhuanlan.zhihu.com/p/54505069
 https://blog.csdn.net/jzwong/article/details/47422645