精华内容
下载资源
问答
  • 常用卷积网络概念

    2021-04-08 11:36:23
    常用卷积网络概念 转置卷积 在深度卷积网络中,放大图像往往是通过转置卷积。首先回顾卷积的运算,8个像素,经过大小为4,外衬为2,步长为2的卷积,会得到5个像素,如下图 而转置卷积类似于将上图的x和y交换,并将...

    常用卷积网络概念

    转置卷积

    在深度卷积网络中,放大图像往往是通过转置卷积。首先回顾卷积的运算,8个像素,经过大小为4,外衬为2,步长为2的卷积,会得到5个像素,如下图
    在这里插入图片描述

    而转置卷积类似于将上图的x和y交换,并将矩形做转置。
    在这里插入图片描述

    一般而言,如果A个像素经过某种卷积会变成B个像素,那么B个像素经过相应的转置卷积会变成A 个像素

    扩张卷积

    在这里插入图片描述

    第1层的3X3卷积对应正常的3X3个点
    在经过第1层和第2层后的3X3卷积对应7X7个点
    在经过第1层、第2层和第3层后的3X3卷积对应15X15个点
    扩张卷积能明显扩大感受野。

    可变形卷积

    让3X3卷积的采样点更为自由,并通过训练得到最佳的采样点
    在这里插入图片描述

    图a是普通的3X3卷积的采样点,而图b、c、d是几种不同的采样方法,它可以让卷积核学会只看它所关心的图像区域。如图所示是经过3层可变性卷积核后,上层的3个神经元的最终采样点情况
    在这里插入图片描述

    可见每个神经元的采样点都集中到了具有语义的图像位置上,这对于图像分割问题也会有帮助。

    迁移学习、预训练

    迁移学习

    如果把人脑认为是一个巨型神经网络,那么它每时每刻都在训练之中,我们并不会每次在学习一个新任务前把大脑清零重新初始化,而是恰好相反,希望能将一个问题上的训练所得,用于改进在另一个问题上的效果。
    目前迁移学习在深度学习中的常见做法是,先下载其他研究人员在大数据集上练过的网络模型,然后可做两种事情:

    • 精调:用我们的数据继续训练
    • 用于特征提取,达成其他目的

    预训练

    即使训练数据已经很充分,也可先在其他数据集上训练,以改善过拟合,同时提高性能,这称为预训练
    技巧:

    • 如果额外数据很少,可固定网络的前几层,以防止过拟合,因为网络的前几层对应的是更底层、更通用的特征。所以可只训练最后的一层或几层
    • 可使用相对更低的学习速率,因为网络的初始值已经不错

    感受野与缩小卷积核

    感受野

    经过1次kXk卷积后,输入图像的kXk像素会变成输出图像的1X1像素,所以输出图像的每1个像素与输入图像的kXk像素有关,就称为输出图像的感受野是kXk.

    1X1卷积核

    最小的卷积核是1X1卷积核,它只是将图像的每个点都乘以1个权重,在加上1个偏置。

    • 如需将图像分为N类,可在最后用1X1卷积层将M张图像转换为N张图像,再通过全局池化变为N个数字,送入SoftMax作为输出
    • 可以用1X1卷积层作为瓶颈层。
      举例如下
      在这里插入图片描述在这里插入图片描述

    我们可灵活的在通道数很多的卷积层之间,插入通道数更少的1X1卷积层,作为瓶颈层。

    • 只要我们希望改变通道数或图像尺寸,简单的方法就是用1X1卷积层
    • 通过连续使用多个1X1卷积层,可在图像的每个点上实现1个小型的MLP网络

    批规范化BN

    批规范化是现代深度网络架构中最常用的技巧之一,原理是让网络中数据的分布尽量规范化,可显著加速深度网络的训练,并拥有一定的正则化能力,可改善过拟合。
    通常将BN层放在非线性激活层的前面
    在这里插入图片描述

    如果用sigmoid作为非线性激活,容易出现梯度消失,因此不利于训练深度神经网络。可以通过加入BN,可明显增进效果。
    在这里插入图片描述

    图a说明使用BN后,训练速度明显更快,准确率更高。
    图b和图c说明使用BN后分布更稳定、对称,且均值更接近0.

    例如,考虑这样的情况
    y=xw1w2*w3
    一组参数为w1=1,w2=1,w3=1,则y=x
    另一组参数w1=100,w2=0.0001,w3=100,也有y=x
    但第二组参数不稳定,做少许变动,就会对输出造成很大的影响
    BN层原理:希望神经元的每个输入通道尽量满足均值为0,方差为1的分布。但这种分布并不一定适合后续的非线性激活函数,所以BN为每个通道再引入2个可训练的额外参数β和γ,然后BN让每个通道尽量满足均值为β,方差为γ的分布,且β和γ对于每个通道可以不一样。因此BN层会给每个通道增加2个参数
    运行网络时,可采用训练时收集的均值m和方差v,其中x为BN层输入,y为BN层输出。
    在这里插入图片描述

    展开全文
  • 图像卷积详细解释 常用卷积核解释说明

    千次阅读 多人点赞 2019-10-22 11:33:14
    神经网络中的卷积层,它的原理就来源于图像卷积 概述 卷积在信号处理领域有极其广泛的应用, 也有严格的物理和数学定义. 本文只讨论卷积在数字图像处理中的应用. 在数字图像处理中, 有一种基本的处理方法:线性滤波...

    神经网络中的卷积层,它的原理就来源于图像卷积

    概述

    卷积在信号处理领域有极其广泛的应用, 也有严格的物理和数学定义. 本文只讨论卷积在数字图像处理中的应用.

    在数字图像处理中, 有一种基本的处理方法:线性滤波. 待处理的平面数字图像可被看做一个大矩阵, 图像的每个像素对应着矩阵的每个元素, 假设我们平面的分辨率是 1024*768, 那么对应的大矩阵的行数1024列数=768.

    用于滤波的是一个滤波器小矩阵(也叫卷积核), 滤波器小矩阵一般是个方阵, 也就是 行数 和 列数 相同, 比如常见的用于边缘检测的 Sobel 算子 就是两个 3*3 的小矩阵.

    进行滤波就是对于大矩阵中的每个像素, 计算它周围像素和滤波器矩阵对应位置元素的乘积, 然后把结果相加到一起, 最终得到的值就作为该像素的新值, 这样就完成了一次滤波.

    上面的处理过程可以参考这个示意图:

    图像卷积计算示意图:

    对图像大矩阵和滤波小矩阵对应位置元素相乘再求和的操作就叫卷积(Convolution)或协相关(Correlation).

    协相关(Correlation)和卷积(Convolution)很类似, 两者唯一的差别就是卷积在计算前需要翻转卷积核, 而协相关则不需要翻转.

    以 Sobel 算子为例

    Sobel 算子 也叫 Sobel 滤波, 是两个 3*3 的矩阵, 主要用来计算图像中某一点在横向/纵向上的梯度, 看了不少网络上讲解 Sobel 算子 的文章, 发现人们常常把它的横向梯度矩阵和纵向梯度矩阵混淆. 这可能与 Sobel 算子 在它的两个主要应用场景中的不同用法有关.

    Sobel 算子的两个梯度矩阵: Gx 和 Gy

    这里以 Wiki 资料为准, Sobel 算子 有两个滤波矩阵: Gx 和 GyGx 用来计算横向的梯度, Gy 用来计算纵向的梯度, 下图就是具体的滤波器:

     

    • 注意:这里列出的这两个梯度矩阵对应于横向从左到右, 纵向从上到下的坐标轴, 也就是这种:
    原点
    O ------->  x轴
    |
    |
    |
    V  y轴

    Sobel 算子的用途

    它可以用来对图像进行边缘检测, 或者用来计算某个像素点的法线向量. 这里需要注意的是:

    • 边缘检测时: Gx 用于检测纵向边缘, Gy 用于检测横向边缘.
    • 计算法线时: Gx 用于计算法线的横向偏移, Gy 用于计算法线的纵向偏移.

    计算展开

    假设待处理图像的某个像素点周围的像素如下:

    左上右上
    中心像素
    左下右下

    那么用 Gx 计算展开为:

    横向新值 = (-1)*[左上] + (-2)*[左] + (-1)*[左下] + 1*[右上] + 2*[右] + 1*[右下]

    用 Gy 计算展开为:

    纵向新值 = (-1)*[左上] + (-2)*[上] + (-1)*[右] + 1*[左下] + 2*[下] + 1*[右下]

    前面说过, 做图像卷积时需要翻转卷积核, 但是我们上面的计算过程没有显式翻转, 这是因为 Sobel 算子 绕中心元素旋转 180 度后跟原来一样. 不过有些 卷积核 翻转后就变了, 下面我们详细说明如何翻转卷积核.

    卷积核翻转

    前面说过, 图像卷积计算, 需要先翻转卷积核, 也就是绕卷积核中心旋转 180度, 也可以分别沿两条对角线翻转两次, 还可以同时翻转行和列, 这3种处理都可以得到同样的结果.

    对于第一种卷积核翻转方法, 一个简单的演示方法是把卷积核写在一张纸上, 用笔尖固定住中心元素, 旋转 180 度, 就看到翻转后的卷积核了.

    下面演示后两种翻转方法, 示例如下:

    假设原始卷积核为:

    abc
    def
    ghi

    方法2:沿两条对角线分别翻转两次

    先沿左下角到右上角的对角线翻转, 也就是 aibfdh交换位置, 结果为:

    ifc
    heb
    gda

    再沿左上角到右下角的对角线翻转, 最终用于计算的卷积核为:

    ihg
    fed
    cba

    方法3:同时翻转行和列

    在 Wiki 中对这种翻转的描述:

    convolution is the process of flipping both the rows and columns of the kernel and then multiplying locationally similar entries and summing.

    也是把卷积核的行列同时翻转, 我们可以先翻转行, 把 a b c跟 g h i 互换位置, 结果为:

    ghi
    def
    abc

    再翻转列, 把 g d a 和 i f c 互换位置, 结果为:

    ihg
    fed
    cba

    在 Wiki 中有一个计算展开式, 也说明了这种翻转:

     

    • 注意:这里要跟矩阵乘法区分开, 这里只是借用了矩阵符号, 实际做的是对应项相乘, 再求和.

    图像边缘像素的处理

    以上都默认待处理的像素点周围都有像素, 但是实际上图像边缘的像素点周围的像素就不完整, 比如顶部的像素在它上方就没有像素点了, 而图像的四个角的像素点的相邻像素更少, 我们以一个图像矩阵为例:

    左上角... ...右上角
    ...............
    左侧.........右侧
    ...............
    左下角... ...右下角

    位于左上角的像素点的周围就只有右侧和下方有相邻像素, 遇到这种情况, 就需要补全它所缺少的相邻像素,就是网络中的padding操作;

    时域卷积 = 频域相乘

    时域卷积 = 频域相乘

    时域卷积 = 频域相乘

     

    不同卷积核下卷积意义

    我们经常能看到的,平滑,模糊,去燥,锐化,边缘提取等等工作,其实都可以通过卷积操作来完成,下面我们一一举例说明一下: 
    (1)一个没有任何作用的卷积核: 
    这里写图片描述 
    将原像素中间像素值乘1,其余全部乘0,显然像素值不会发生任何变化。 
    (2)平滑均值滤波: 
    选择卷积核: 
    这里写图片描述 
    该卷积核的作用在于取九个值的平均值代替中间像素值,所以起到的平滑的效果: 
    这里写图片描述 
    这里写图片描述 
    (3)高斯平滑: 
    卷积核: 
    这里写图片描述 
    高斯平滑水平和垂直方向呈现高斯分布,更突出了中心点在像素平滑后的权重,相比于均值滤波而言,有着更好的平滑效果。 
    这里写图片描述 
    (4)图像锐化: 
    卷积核: 
    这里写图片描述 
    该卷积利用的其实是图像中的边缘信息有着比周围像素更高的对比度,而经过卷积之后进一步增强了这种对比度,从而使图像显得棱角分明、画面清晰,起到锐化图像的效果。 
    这里写图片描述 
    除了上述卷积核,边缘锐化还可以选择: 
    这里写图片描述 
    (5)梯度Prewitt: 
    水平梯度: 
    这里写图片描述 
    这里写图片描述 
    垂直梯度: 
    这里写图片描述 
    这里写图片描述

    梯度Prewitt卷积核与Soble卷积核的选定是类似的,都是对水平边缘或垂直边缘有比较好的检测效果。

    (6)Soble边缘检测: 
    Soble与上述卷积核不同之处在于,Soble更强调了和边缘相邻的像素点对边缘的影响。 
    水平梯度: 
    这里写图片描述 
    这里写图片描述 
    垂直梯度: 
    这里写图片描述 
    这里写图片描述

    以上的水平边缘与垂直边缘检测问题可以参考:Soble算子水平和垂直方向导数问题

    (7)梯度Laplacian:

    卷积核: 
    这里写图片描述

    这里写图片描述

    Laplacian也是一种锐化方法,同时也可以做边缘检测,而且边缘检测的应用中并不局限于水平方向或垂直方向,这是Laplacian与soble的区别。下面这张图可以很好的表征出二者的区别:来源于OpenCV官方文档 
    这里写图片描述

    卷积的一些作用还参考了网上的一些解释,罗列如下:

    (1)

    (2)

    一种是滤波,比如最简单的高斯模板,就是把模板内像素乘以不同的权值然后加起来作为模板的中心像素值,如果模板取值全为1,就是滑动平均;如果模板取值为高斯,就是加权滑动平均,权重是中间高,四周低,在频率上理解就是低通滤波器;如果模板取值为一些边缘检测的模板,结果就是模板左边的像素减右边的像素,或者右边的减左边的,得到的就是图像梯度,方向不同代表不同方向的边缘;

    另一种理解是投影,因为当前模板内部图像和模板的相乘累加操作就是图像局部patch和模板的内积操作,如果把patch和模板拉直,拉直的向量看成是向量空间中的向量,那么这个过程就是patch向模板方向上的投影,一幅图像和一个模板卷积,得到的结果就是图像各个patch在这个方向上的response map或者feature map;如果这样的模板有一组,我们可以把这一组看成一组基,得到的一组feature map就是原图像在这组基上的投影。常见的如用一组Garbor滤波器提取图像的特征,以及卷积神经网络中的第一层,图像在各个卷积核上的投影。

    展开全文
  • CNN常用卷积方法一览

    2021-08-04 15:55:03
    这篇文章的主题是卷积(Convlution)。想必熟悉CNN的你一定对卷积很熟悉了,或许也听过用过深度学习可分离卷积、转置卷积等概念和方法。那么目前为止,深度学习中都有哪些典型的卷积方式?本篇笔者就和大家一起来...

    这篇文章的主题是卷积(Convlution)。想必熟悉CNN的你一定对卷积很熟悉了,或许也听过用过深度学习可分离卷积、转置卷积等概念和方法。那么目前为止,深度学习中都有哪些典型的卷积方式?本篇笔者就和大家一起来总结一下这些功能强大的卷积。本文的目录如下:

    • 卷积的本质

    • 常规卷积

      • 单通道卷积

      • 多通道卷积

    • 3D卷积

    • 转置卷积

    • 1x1卷积

    • 深度可分离卷积

    • 空洞卷积

    卷积的本质

    在具体介绍各种卷积之前,我们有必要再来回顾一下卷积的真实含义,从数学和图像处理应用的意义上来看一下卷积到底是什么操作。目前大多数深度学习教程很少对卷积的含义进行细述,大部分只是对图像的卷积操作进行了阐述。以至于卷积的数学意义和物理意义很多人并不是很清楚,究竟为什么要这样设计,这么设计的原因如何。

    追本溯源,我们先回到数学教科书中来看卷积。在泛函分析中,卷积也叫旋积或者褶积,是一种通过两个函数x(t)和h(t)生成的数学算子。其计算公式如下:

    连续形式:

    图片

    离散形式:

    展开全文
  • 卷积的基本构件2.1 卷积层2.1.1 全连接神经网络 处理图像的问题2.2 卷积的基本构件卷积层的特性2.3 卷积层的几个重要概念2.2 池化层2.3 CNN架构设计原则3. 卷积的经典结构 1. 图像基础 1.1 图像如何存储在计算机中 ...

    1. 图像基础

    1.1 图像如何存储在计算机中

    • 灰度图矩阵

      0:白色
      1:黑色
      0-255:灰色
      在这里插入图片描述

    • 彩色图三个矩阵的叠加

    彩色图 = 三个图层/三个通道每个图层由 0-255 的数字组成,用来表示红/绿/蓝 颜色的深浅)

    比如,用0来表示最不红,255表示最红。
    在这里插入图片描述
    重要概念:width、height、channel

    1.2 传统的图像处理

    • 人工算子(矩阵形式):参数
    • 卷积:运算
      在这里插入图片描述
      可以使用使用卷积神经网络,来自动学习参数。

    2. 卷积的基本构件

    2.1 卷积层

    2.1.1 全连接神经网络 处理图像的问题

    • 全连接神经网络(DNN):上下层每一个神经元全部连接

    • 思路
      一张灰度图像(28x28)的全部像素 flatten 成一个n 维(28x28=784)向量,然后接上不同维度(64和32)的全连接层,最后接上 softmax ,输出相应维度(10)的向量,进行最后分类。

    • 采用全连接网络的问题:

    1. 参数太多
    2. 像素之间相关性太大
      在这里插入图片描述

    2.1.2 卷积层的特性/作用

    • 共享参数:大大降低了网络参数——保证了网络的稀疏性,防止过拟合(之所以可以“参数共享”,是因为样本存在局部相关的特性。)
    • 局部感受野:解决相关性太大的问题

    2.1.3 卷积层的几个重要概念

    • channel
      在这里插入图片描述
      可以理解为矩阵的叠加个数,如:
      彩色图的输入channel:3
      灰度图的输入channel:1

    • padding
      在这里插入图片描述
      填充(padding)的目的,比如0填充,是为了使得下一层的神经元的个数或者说 feature map 满足一定的条件(比如变大)。

    • strides
      增大步长(strides)可以增加感受野外。

    • kernel size
      卷积核的大小(kernel size)一般都选择的是奇数大小——因为奇数是对称的,它都有一个中心。

    • filters
      有几个不同的卷积核就有几个不同的 filter。

    • feature map
      一个卷积核“扫过“一次可以生成一个 feature map;
      几个 feature map 堆叠在一起就有几个channel

    • 感受野
      在这里插入图片描述
      感受野是非常重要的概念,对我们后期的建模有一定的指导意义(选择宏观信息还是局部信息?)

      比如顶层神经元的感受野是”全局感受野“,意味着顶层神经元蕴含着底层所有像素的信息。

    注:关于(对底层 feature map) padding 的两个参数

    • SAME 参数:做padding 且自动计算(有公式)

    • VALID 参数:不做 padding

    • 特殊卷积:1x1 卷积
      1x1 卷积 虽然不能改变 feature map 的长和宽,但是可以在channel 维度做一些文章,比如压缩通道扩展通道

      在这里插入图片描述

    2.2 池化层

    化层层需要学习参数

    • 平均池化
    • 最大池化

    注: 特殊池化,比如 global 池化(全局效果的池化)

    2.3 CNN架构设计原则

    在这里插入图片描述

    • feature map 会越来越小
    • channel 会越来越大

    3. 卷积的经典结构

    在这里插入图片描述

    3.1 Lenet 结构

    Lenet (GoogleNet)是 CNN 运用到真实场景的一个开端。
    在这里插入图片描述

    3.2 Alexnet 结构

    Alexnet 是第一次运用在非常大的数据集( ImageNet )
    在这里插入图片描述
    重要的创新/技巧:

    • Dropout
      在倒数2-3层的全连接层上加入了Dropout 机制,随机屏蔽一些神经元(后期还需要对参数进行还原)

    该技巧提升了模型的泛化能力

    • Data augment
      数据增强可以大大提升可以训练的数据量。

    3.3 Inception 结构

    (Google)

    使用不同处理手段,最后按照 channel 维度拼接(需满足长和宽的维度大小——需要做padding),作为下一层的输入。
    在这里插入图片描述

    • 不同感受野
      引入了 block,相当于引入了不同的感受野(集合到了一块)——相当于拥有了看”宏观信息“和”微观信息“的能力。
    • 引入 1x1 的卷积
    1. 使得通道(channel)之间有了一定的沟通
    2. 压缩了 feature map,使得下一层卷积核的参数大大减少。
    • Batchnorm 的引入
      注意:CNN 和 DNN 的使用方法有些不一样(维度不一样)

    • 2 个3x3 代替 5x5
      真正理解”感受野“才行——让最顶层的神经元获取底层的所有信息即可:
      5x5 的 feature map 可以用 5x5 的卷积核直接进行卷积,得到 1 个神经元;
      5x5 的 feature map 也可以 由 1 个 3x3 的卷积核进行卷积得到 3x3的 feature map,最后再接一个卷积核就可以得到一个 1x1 的 feature map。
      即用 2 个 3x3 的卷积核可以达到 1 个 5x5 卷积核达到的感受野
      同时,5x5的参数个数是 5x5=25 个,2 个3x3的只需要 3x3 + 3x3=18 个参数。参数越少越不容易过拟合,而且易于计算。

    3.3 VGGNet

    (微软)

    VGGNet 完全依照 CNN的基本设计原则:
    channel 越来越大;
    feature map 的size 越来越小

    VGGNet完全由卷积层和池化层的得加而来。
    在这里插入图片描述
    VGGNet完全由卷积层和池化层的得加而来。但是不能做得太深,直到微软又发明出了 Resnet(残差网络)

    3.4 Resnet

    残差网络在模型深度上有了新的突破,能轻易地训练到100多层!

    在这里插入图片描述
    注意: 图中的加号➕指的是维度上相加,所以 feature map 的长、宽以及 channel 必须统一。
    (注:长跟宽-可以通过 padding 来完成统一;channel-可以通过 1x1的卷积来完成扩展或压缩)

    • Skip connection 跳层连接

    假设在一个深度网络中,我们期望一个非线性单元(可以为一层或多层的 卷积层)f(x, θ)去逼近一个目标函数为h(x)。
    有论文指出,残差函数—— h(x) - x 相比原始函数h(x) 更容易学习。
    因此, 原来的优化问题可以转换为:让非线性单元 f (x, θ) 去近似残差函数 h(x) − x,并 用f(x,θ)+x 去逼近h(x)。
    在这里插入图片描述

    • Resnet 为什么效果很好,简单分析:
    1. 纯数学上,可以解决梯度消失的问题(BP角度)
    2. 集成模型(high way 角度)
    3. 是 ODE 方程的一个数学近似

    3.4 Xception

    深度可分离卷积
    在这里插入图片描述
    思想:先卷积区域,再融合通道

    参数量会少很多;
    将空间信息和通道信息分离;(假设)

    比如,人脸 RGB 三种颜色、三层信息应该都能单独识别出人脸信息,而不应该非要融合在一起才能起作用。

    可以继续参考:
    4. 卷积神经网络中十大拍案叫绝的操作

    展开全文
  • 在实际实验中,同样的网络结构下,这种分组的卷积效果是好于未分组的卷积的效果的。 计算过程 特征图尺寸减半 参考DenseNet、ResNet中常见的一些结构, bottleneck之前对输入数据的处理 #1. Conv2d(...
  • 然后我们将输入跳过这两个卷积运算后直接加在最后的ReLU激活函数前。这样的设计要求两个卷积层的输出与输入形状一样,从而可以相加。如果想改变通道数,就需要引入一个额外的1 × 1卷积层来将输入变换成需要的形状后...
  • 本文将系统地整理目前出现的一些经典的卷积神经网络架构,包括最早的LeNet-5网络结构,到最新的CSPNet(跨阶段局部网络),并对比其在ImageNet数据集上的分类效果。 LeNet-5 LeNet-5最早由Lecun在1998年提出(LeNet-...
  • 【DL】常用卷积核 1x1, 3x3

    千次阅读 2019-05-29 17:09:18
    列举几个常用卷积核 1x1 conv: k(1,1) 经常出现,乍一看无用,其实非常巧妙。如果仅从二维(H, W)考虑,确实无用。但实际上,在 cnn 中,必然还有着潜藏的维度 – 深度/Channels ©。这才是 1x1 起作用的地方: ...
  • 今天我们就继续讲讲卷积核的基本参数以及卷积核有哪些基本类型。 卷积核的基本参数 卷积神经网络的核心操作就是卷积层,我们这里以caffe框架为例子来介绍一下卷积核都有哪些基本的参数。下面先上一段代码,是caffe...
  • 6、常用卷积操作及经典网络解析

    千次阅读 2017-11-26 11:13:31
    一、普通卷积 1、tf.nn.conv2d() :Arbitrary filters that can mix channels together tf.nn.conv2d(input, filter, strides, padding, use_cudnn_on_gpu =True, data_format=None, name=None) ...
  • 上面所述只有100个参数时,表明只有1个100*100的卷积核,显然,特征提取是不充分的,我们可以添加多个卷积核,比如32个卷积核,可以学习32种特征。在有多个卷积核时,如下图所示: 上图右,不同颜色表明不同的卷积核...
  • 带你认识9种常用卷积神经网络

    千次阅读 2021-06-28 10:37:09
    摘要:在卷积神经网络中,通过使用filters提取不同的特征,这些filters的权重是在训练期间自动学习的,然后将所有这些提取的特征“组合”以做出决策。
  • 转载自: &...0、标准卷积 ...那么一般的操作就是用32个3×3的卷积核来分别同输入数据卷积,这样每个卷积核需要3×3×16个参数,得到的输出是只有一个通道的数据。之所以会得...
  • 那么一般的操作就是用32个3×3的卷积核来分别同输入数据卷积,这样每个卷积核需要3×3×16个参数,得到的输出是只有一个通道的数据。之所以会得到一通道的数据,是因为刚开始3×3×16的卷积核的每个通道会在输入...
  • 0、标准卷积 默认你已经对卷积有一定的了解,此处不对标准卷积细讲。 举个例子,假设有一个3×3大小的卷积层,其输入通道为16、输出通道为32。 那么一般的操作就是用32个3×3的卷积核来分别同输入数据卷积,这样每...
  • 卷积方式 特点 代表 传统卷积 LeNet、AlexNet、VGG 多隐层非线性 Inception-v1、v2、v3、v4 空洞卷积 FCN 深度可分离卷积 Xception 可变形卷积 ...
  • CNN常用卷积及pooling

    2019-11-14 21:52:39
    CNN常用卷积及pooling如下:
  • 卷积和通道2.1 分组卷积(Group Convolution)2.2 Convolution VS Group Convolution2.3 Group Convolution的用途2.4 Depthwise Convolution && Pointwise Convolution && Depthwise Separable ...
  • 常用图像卷积核小结

    千次阅读 多人点赞 2020-05-09 10:25:07
    图像的卷积或滤波操作在各种场合应用很普遍,如各种滤镜、卷积神经网络等。下面这张图片就很能说明图像卷积的基本原理了: CSDN上这篇博客对图像卷积的解释也很到位。在此先总结几个点: 卷积操作的主要
  • 卷积积分

    千次阅读 多人点赞 2019-03-20 14:03:08
    文章目录卷积积分信号的时域分解卷积公式卷积积分定义卷积积分图解法:卷积的性质:常用卷积重要公式卷积求解方法用梳状函数卷积产生周期信号矩形脉冲的卷积产生三角形和梯形脉冲自相关互相关函数定义相关与卷积 ...
  • 2.19常用卷积重要公式

    万次阅读 2020-08-07 13:44:52
  • 一、卷积神经网络CNN与一般神经网络的区别和共同点 相同点:卷积神经网络和一般神经网络都是一种反向传播算法来训练的 不同点:网络结构不同,卷积神经网络的网络连接具有局部连接、参数共享的特点。局部连接:是相...
  • CNN1.1 基本结构1.2 CNN 网络1.2.0 卷积和通道1.2.0.1 分组卷积(Group Convolution)1.2.0.2 Convolution VS Group Convolution1.2.0.3 Group Convolution的用途1.2.0.4 Depthwise Convolution && Point...
  • 常用3*3卷积

    2019-12-16 17:40:14
    二倍下采样:卷积核33,stride=1 same卷积卷积核33,stride=2
  • CNN中四种常用卷积操作详解

    千次阅读 2020-04-28 17:27:35
    卷积在数学上用通俗的话来说就是输入矩阵与卷积核(卷积核也是矩阵)进行对应元素相乘并求和,所以一次卷积的结果的输出是一个数,最后对整个输入输入矩阵进行遍历,最终得到一个结果矩阵,说白了就是...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 46,026
精华内容 18,410
关键字:

常用卷积