转自：https://www.cnblogs.com/sevenyuan/p/7810755.html

原创：https://www.zhihu.com/question/22298352

从数学上讲，卷积就是一种运算。

某种运算，能被定义出来，至少有以下特征：

• 首先是抽象的、符号化的
• 其次，在生活、科研中，有着广泛的作用

比如加法：

•  ，是抽象的，本身只是一个数学符号
• 在现实中，有非常多的意义，比如增加、合成、旋转等等

卷积，是我们学习高等数学之后，新接触的一种运算，因为涉及到积分、级数，所以看起来觉得很复杂。

1 卷积的定义

我们称  为  的卷积

其连续的定义为：

其离散的定义为：

这两个式子有一个共同的特征：

这个特征有什么意义？

我们令  ，那么  就是下面这些直线：

如果遍历这些直线，就好比，把毛巾沿着角卷起来：

此处受到 荆哲：卷积为什么叫「卷」积？ 答案的启发。

只看数学符号，卷积是抽象的，不好理解的，但是，我们可以通过现实中的意义，来习惯卷积这种运算，正如我们小学的时候，学习加减乘除需要各种苹果、糖果来帮助我们习惯一样。

我们来看看现实中，这样的定义有什么意义。

2 离散卷积的例子：丢骰子

我有两枚骰子：

把这两枚骰子都抛出去：

求：

这里问题的关键是，两个骰子加起来要等于4，这正是卷积的应用场景。

我们把骰子各个点数出现的概率表示出来：

那么，两枚骰子点数加起来为4的情况有：

因此，两枚骰子点数加起来为4的概率为：

符合卷积的定义，把它写成标准的形式就是：

3 连续卷积的例子：做馒头

楼下早点铺子生意太好了，供不应求，就买了一台机器，不断的生产馒头。

假设馒头的生产速度是  ，那么一天后生产出来的馒头总量为：

馒头生产出来之后，就会慢慢腐败，假设腐败函数为  ，比如，10个馒头，24小时会腐败：

想想就知道，第一个小时生产出来的馒头，一天后会经历24小时的腐败，第二个小时生产出来的馒头，一天后会经历23小时的腐败。

如此，我们可以知道，一天后，馒头总共腐败了：

这就是连续的卷积。

4 图像处理

4.1 原理

有这么一副图像，可以看到，图像上有很多噪点：

高频信号，就好像平地耸立的山峰：

看起来很显眼。

平滑这座山峰的办法之一就是，把山峰刨掉一些土，填到山峰周围去。用数学的话来说，就是把山峰周围的高度平均一下。

平滑后得到：

4.2 计算

卷积可以帮助实现这个平滑算法。

有噪点的原图，可以把它转为一个矩阵：

然后用下面这个平均矩阵（说明下，原图的处理实际上用的是正态分布矩阵，这里为了简单，就用了算术平均矩阵）来平滑图像：

记得刚才说过的算法，把高频信号与周围的数值平均一下就可以平滑山峰。

比如我要平滑  点，就在矩阵中，取出  点附近的点组成矩阵  ，和  进行卷积计算后，再填回去：

要注意一点，为了运用卷积，  虽然和  同维度，但下标有点不一样：

我用一个动图来说明下计算过程：

写成卷积公式就是：

要求  ，一样可以套用上面的卷积公式。

这样相当于实现了  这个矩阵在原来图像上的划动（准确来说，下面这幅图把  矩阵旋转了  ）：

参考：

【OpenCV学习笔记】之卷积及卷积算子（convolution）_点滴成海~的博客-CSDN博客_卷积算子（关于卷积运算）

opencv RNG函数 - 0MrMKG - 博客园（对于RNG函数的解答）

（一）首先是对于边缘的填充（避免有些像素卷积不了）

C++ void copyMakeBorder（
                           Mat src, // 输入图像
                           Mat dst, // 添加边缘图像
                           int top, // 边缘长度，一般上下左右都取相同值，
                           int bottom,
                           int left,
                           int right, 
                           int borderType // 边缘类型
                           Scalar value ）

关于borderType的值：

- BORDER_CONSTANT – 填充边缘用指定像素值

 - BORDER_REPLICATE – 填充边缘像素用已知的边缘像素值。

 - BORDER_WRAP – 用另外一边的像素来补偿填充

下面实现对于图片边缘地区进行填补像素：#include <iostream>
#include <opencv2/opencv.hpp>
using namespace std;
using namespace cv;
int main()
{
    Mat Origin = imread("0003.jpg");
    if (!Origin.data)
    {
        cout << "ERROR" << endl;
        return -1;
    }
    Mat OutPut1 = Mat(Origin.size(), Origin.type());
    Mat OutPut2 = Mat(Origin.size(), Origin.type());
    Mat OutPut3 = Mat(Origin.size(), Origin.type());
    int added_cols = Origin.cols * 0.06;
    int added_rows = Origin.rows * 0.06;
    RNG rng(14);
    Scalar color = (rng.uniform(0, 255), rng.uniform(0, 255), rng.uniform(0, 255));
    copyMakeBorder(Origin, OutPut1, added_cols, added_cols, added_rows, added_rows,BORDER_ISOLATED, color);
    copyMakeBorder(Origin, OutPut2, added_cols, added_cols, added_rows, added_rows,BORDER_DEFAULT, color);
    copyMakeBorder(Origin, OutPut3, added_cols, added_cols, added_rows, added_rows, BORDER_CONSTANT, color);
    imshow("OUTPUT    BORDER_ISOLATED", OutPut1);
    imshow("OUTPUT    BORDER_DEFAULT", OutPut2);
    imshow("OUTPUT    BORDER_CONSTANT", OutPut3);
    waitKey(0);
    
}

（二）卷积运算代码基础

<1>自定义卷积模糊：

卷积核的定义，以及调用卷积核的函数Api：

 Mat Model = (Mat_<char>(3,3) << 1, 0, 0, 0, 1, 0, 0, 0, 1);

C++ void filter2D(
                    Mat src, //输入图像
                    Mat dst, // 模糊图像
                    int depth, // 图像深度32/8
                    Mat kernel, // 卷积核/模板
                    Point anchor, // 锚点位置
                    double delta // 计算出来的像素+delta)其中 kernel是可以自定义的卷积核

#include <iostream>
#include <opencv2/opencv.hpp>
using namespace std;
using namespace cv;
int main()
{
    Mat Input = imread("0004.jpg");
    Mat Output_1 = Mat(Input.size(), Input.type());
    Mat Output_2 = Mat(Input.size(), Input.type());
    Mat Output_3 = Mat(Input.size(), Input.type());
    if (!Input.data)
    {
        cout << "ERROR" << endl;
        return -1;
    }
    Mat Model_1 = (Mat_<char>(3,3) << 0, 1 , 0, 0, 1, 0, 0, 1, 0);
    Mat Model_2 = (Mat_<char>(3, 3) << -1, 0, 1, -2, 0, 2, -1, 0, 1);
    Mat Model_3 = (Mat_<char>(3, 3) << 0, -1, 0, -1, 4, -1, 0, -1, 0);
    Point ANCHOR = Point(-1, -1);

    filter2D(Input, Output_1,-1, Model_1,ANCHOR,BORDER_DEFAULT);
    filter2D(Input, Output_2, -1, Model_2, ANCHOR,100, BORDER_DEFAULT);
    filter2D(Input, Output_3, -1, Model_3, ANCHOR,100 ,BORDER_DEFAULT);
    imshow("input", Input);
    imshow("output1", Output_1);
    imshow("output2", Output_2);
    imshow("output3", Output_3);
    waitKey(0);
}

<2>Sobel算子：

关于sobel算子具体内容，移步：

科学网—Sobel算子的数学基础 - 彭真明的博文

OpenCV函数Sobel算子详解-代码狗

C++ void Sobel ( 
                    InputArray Src // 输入图像
                    OutputArray dst// 输出图像，大小与输入图像一致
                    int depth // 输出图像深度. 
                    Int dx  // X方向，几阶导数
                    int dy // Y方向，几阶导数 
                    int ksize, SOBEL算子kernel大小，必须是1、3、5、7、
                    double scale  = 1
                    double delta = 0
                    int borderType = BORDER_DEFAULT)
 
参数解释：
src：原图ddepth：处理结果图像深度，一般我们都填-1，即与原图深度相同。但在这里我们需要填写cv2.CV_64F。简单来说就是如果填写-1，我们在计算梯度时产生的负数就会被程序默认为0，导致有一边的边缘出不来。而cv2.CV_64F范围更大，可以保留负数。dx：计算x方向的梯度dy：计算y方向的梯度ksize：卷积核的尺寸。默认为3，即3*3的矩阵。原文链接：https://blog.csdn.net/weixin_45939019/article/details/104410567
//改进版本的sobel算子：C++ void Scharr (                    InputArray Src // 输入图像                    OutputArray dst// 输出图像，大小与输入图像一致                    int depth // 输出图像深度.                     Int dx.  // X方向，几阶导数                    int dy // Y方向，几阶导数.                     double scale  = 1                    double delta = 0                    int borderType = BORDER_DEFAULT)

 （to be continued。。。。。。）

（三）常用卷积核

以下为原图片：

<1>什么都不处理（3*3）

很容易理解，就是0*8+中间原像素值

<2>图像锐化滤波器Sharpness Filter（3*3）（梯度锐化和拉普拉斯锐化）

 注意一下，中间值为8就是边缘检测，为9就是原图的图像锐化

 另外，如果卷积核更大，则锐化的程度也会更细致。

具体分析见：

Matlab图像处理—锐化滤波器__三三_的博客-CSDN博客_锐化滤波

<3>边缘检测Edge Detection

相当于求导的离散版本：你将当前的像素值减去前一个像素值，这样你就可以得到这个函数在这两个位置的差别或者斜率。

 上面的是垂直边缘检测，以此类推，可以实现水平和斜向45度的边缘检测。

<4>Canny边缘检测Edge Detection

<5>浮雕Embossing Filter

浮雕滤波器可以给图像一种3D阴影的效果。只要将中心一边的像素减去另一边的像素就可以了。这时候，像素值有可能是负数，我们将负数当成阴影，将正数当成光，然后我们对结果图像加上128的偏移。这时候，图像大部分就变成灰色了。（转载）

这里我将灰度值调高了100

<6>均值模糊Box Filter (Averaging)

 注意这里的1应该是十三分之一，这里没有处理，只是将最后输出的图片的灰度值更改了。

均值就得求平均。

你想要更模糊的效果，加大滤波器的大小即可。或者对图像应用多次模糊也可以。

<7>高斯模糊

  均值模糊很简单，但不是很平滑。高斯模糊就有这个优点，所以被广泛用在图像降噪上。特别是在边缘检测之前，都会用来移除细节。高斯滤波器是一个低通滤波器。（转载）

低通滤波可以简单的认为：设定一个频率点，当信号频率高于这个频率时不能通过，在数字信号中，这个频率点也就是截至频率，当频域高于这个截止频率时，则全部赋值为0。因为在这一处理过程中，让低频信号全部通过，所以称为低通滤波。

低通过滤的概念存在于各种不同的领域，诸如电子电路，数据平滑，声学阻挡，图像模糊等领域经常会用到。

在数字图像处理领域，从频域看，低通滤波可以对图像进行平滑去噪处理。

//_src _IN_ 输入的源影像
//_dst _OUT_ 输出的目标影像
//kSize 核大小 如果大小为负数的话，那么根据输入的sigma进行计算
//ksize 大小可以为1，3，5，7，最大值为7
//计算的公式为 sigma = 0.3\*((ksize - 1)\*0.5 - 1) + 0.8
//sigmal1 X方向上的sigma值
//sigmal2 Y方向上的sigma值
//如果sigmal值为负数的话，那么使用默认的滤波过滤器
void cv::GaussianBlur( InputArray _src, OutputArray _dst, Size ksize,
                   double sigma1, double sigma2,
                   int borderType )

<8>运动模糊Motion Blur

(to be continued.......)

(还有很多要补充的）

卷积神经网络（Convolutional Neural Network，CNN）针对全连接网络 的局限做出了修正，加入了卷积层（Convolution层）和池化层（Pooling 知 层）。

CNN被广泛应用于图像识别、语音识别等各种场合，在图像识别的比赛中， 基于深度学习的方法几乎都以CNN为基础（比如，AlexNet、VGGNet、 Google Inception Net及微软的ResNet等）上。近几年深度学习大放异彩， CNN功不可没。

单通道，二维卷积运算示例：

如上图所示，红色的方框圈中的数字和卷积核乘积再相加得到输出数据。

单通道，二维，带偏置的卷积示例：

带偏置的计算实在上述乘积运算之后加上偏置。

带填充的单通道，二维卷积运算示例：

输出矩阵的大小计算

卷积运算输出矩阵大小计算公式

其中，输入大小为(H, W)，滤波器大小为(FH, FW)，输出大小为(OH, OW)，填 充为P，步幅为S。例如：输入大小（28,31）；填充2；步幅3；滤波器大小 (5,5)，则输出矩阵大小为：

多通道卷积计算

多通道卷积会按通道进行输入数据和滤波器的卷积运算，并将结果相加， 从而得到输出

多通道、多卷积核卷积计算：

• 每个通道先与第一组卷积核执行卷 积，然后多通道结果叠加，产生一 个输出
• 每个通道与下一组卷积核执行卷积， 产生另一个输出
• 有多少组卷积核，就有多少个通道 输出