精华内容
下载资源
问答
  • 空洞卷积优缺点

    千次阅读 2021-01-14 19:56:52
    空洞卷积优缺点 空洞卷积(atrous convolution)又叫扩张卷积(dilated convolution),其实就是向卷积层引入了一个称为“扩张率(dilation rate)”的新参数,这个参数定义了卷积核处理数据时各值的间距。普通卷积和...

    空洞卷积的优缺点

    空洞卷积(atrous convolution)又叫扩张卷积(dilated convolution),其实就是向卷积层引入了一个称为“扩张率(dilation rate)”的新参数,这个参数定义了卷积核处理数据时各值的间距。普通卷积和空洞卷积图示如下(以3*3卷积为例)
    在这里插入图片描述

    (普通卷积)

    在这里插入图片描述

    (空洞卷积)

    那么这样的结构是为了解决什么问题呢?

    这又不得不提起传统网络VGG,在VGG的设计中,作者发现了卷积叠加过程中的一个巧妙规律,即77的卷积层正则等效于3个33卷积层的叠加,在减少参数的同时,这样的结构更容易学到一个可生成的、表现力良好的特征空间,这也是为什么我们现在看到的网络结构几乎都是33,55的卷积层的原因。

    但与此同时,伴随产生了对于deep cnn中上采样和下采样的一系列问题,一方面是pooling导致的内部数据结构和空间层级化的信息丢失,另一方面,小物体(在一定条件下)经过下采样之后数据会丢失,导致信息无法重建。这个问题在语义分割中尤其显著,而空洞卷积的设计很好的避免了这些问题。

    空洞卷积的两大优势:

    1.特征图相同情况下,空洞卷积可以得到更大的感受野,从而获得更加密集的数据

    2.特征图相同情况下,更大的感受野可以提高在目标检测和语义分割的任务中的小物体识别分割的的效果。

    我们可以显而易见的看到,使用空洞卷积代替下采样/上采样可以很好的保留图像的空间特征,也不会损失图像信息。当网络层需要更大的感受野,但是由于计算资源有限无法提高卷积核数量或大小时,可以考虑使用空洞卷积。

    空洞卷积存在的问题:

    1.网格效应

    当多次叠加扩张率为2的3*3 kernel时,会产生如下问题:
    在这里插入图片描述

    由此可见,并不是所有的pixel都用来计算了,这样的方式会损失信息的连续性,这对于像素级的任务来说是致命的。

    2.远距离信息可能不相关

    需要注意的是,如果光采用大的扩张率的卷积可能只对一些大物体分割有效果。设计好空洞卷积层的关键在于如何同时处理不同大小物体的关系。

    一个称为HDC(混合空洞卷积)的结构被设计出来解决卷积核不连续的问题,它具有如下几个特性:

    1.叠加卷积的扩张率不能有大于1的公约数

    2.将扩张率设计成锯齿状结构,如[1,2,5,1,2,5]

    在这里插入图片描述

    图(a)是连续做rate = 2的空洞卷积的结果,图(b)是分别做rate为1/2/3空洞卷积的结果。

    后者的优势在于,从一开始就保留了完整连续的3*3区域,之后的几个rate设计又保证了感受野的连贯性,即使有重叠也密不透风。

    展开全文
  • 空洞卷积为何有用及弊端

    千次阅读 2020-02-16 18:46:05
    空洞卷积能够在不减小感受野的情况下降低空间特征的损失,可以获取long-ranged information。但是也有弊端:比如空间上的连续所能给出的信息可能因此而丢失(比如边缘之类的),同时对于小物体的分割未必有利。为了...

    空洞卷积能够在不减小感受野的情况下降低空间特征的损失,可以获取long-ranged information。但是也有弊端:比如空间上的连续所能给出的信息可能因此而丢失(比如边缘之类的),同时对于小物体的分割未必有利。同时,当空洞卷积的rate调得很大时,比如rate和feature map大小一致时,3x3卷积会退化成1x1卷积。为了解决这些问题,图森提出了称为HDC(Hybrid Dilated Convolution)的结构

    展开全文
  • 空洞卷积(dilated convolution)是针对图像语义分割问题中下采样会降低图像分辨率、丢失信息而提出的一种卷积思路。 dilated的好处是不做pooling损失信息的情况下,加大了感受野,让每个卷积输出都包含较大范围的...

    一.提出原因

    空洞卷积(dilated convolution)是针对图像语义分割问题中下采样会降低图像分辨率、丢失信息而提出的一种卷积思路。

    dilated的好处是不做pooling损失信息的情况下,加大了感受野,让每个卷积输出都包含较大范围的信息。在图像需要全局信息或者语音文本需要较长的sequence信息依赖的问题中,都能很好的应用dilated conv。

    二.空洞卷积

    Dilated/Atrous Convolution 或者是 Convolution with holes 从字面上就很好理解,是在标准的 convolution map 里注入空洞,以此来增加 reception field。相比原来的正常convolution,dilated convolution 多了一个 hyper-parameter 称之为 dilation rate 指的是kernel的间隔数量(e.g. 正常的 convolution 是 dilatation rate 1)。

    利用添加空洞扩大感受野,让原本3 x3的卷积核,在相同参数量和计算量下拥有5x5(dilated rate =2)或者更大的感受野,从而无需下采样。扩张卷积(dilated convolutions)又名空洞卷积(atrous convolutions),向卷积层引入了一个称为 “扩张率(dilation rate)”的新参数,该参数定义了卷积核处理数据时各值的间距。换句话说,相比原来的标准卷积,扩张卷积(dilated convolution) 多了一个hyper-parameter(超参数)称之为dilation rate(扩张率),指的是kernel各点之前的间隔数量,正常的convolution 的 dilatation rate为 1。

    在这里插入图片描述
    (a)图对应3x3的1-dilated conv,和普通的卷积操作一样。(b)图对应3x3的2-dilated conv,实际的卷积kernel size还是3x3,但是空洞为1,需要注意的是空洞的位置全填进去0,填入0之后再卷积即可。【此变化见下图】(c)图是4-dilated conv操作。

    在上图中扩张卷积的感受野可以由以下公式计算得到

    在这里插入图片描述
    其中i+1表示dilated rate。

    比如上图中(a),dilated=1,F(dilated) = 3×3;图(b)中,dilated=2,F(dilated)=7×7;图(c)中,dilated=4, F(dilated)=15×15。dilated=2时具体的操作,即按照下图在空洞位置填入0之后,然后直接卷积就可以了。

    在这里插入图片描述
    在相同的计算条件下,空洞卷积提供了更大的感受野。空洞卷积经常用在实时图像分割中。当网络层需要较大的感受野,但计算资源有限而无法提高卷积核数量或大小时,可以考虑空洞卷积

    但是!有一个问题一直困扰着我,对空洞卷积而言,他的中间有一部分都是0,那么使用这些0元素进行卷积的pixel,信息不会丢失吗?,通过查阅资料,这恰好是空洞卷积所存在的问题之一

    潜在问题 1:The Gridding Effect

    假设我们仅仅多次叠加 dilation rate 2 的 3 x 3 kernel 的话,则会出现这个问题:

    我们发现我们的 kernel 并不连续,也就是并不是所有的 pixel 都用来计算了,因此这里将信息看做 checker-board 的方式会损失信息的连续性。这对 pixel-level dense prediction 的任务来说是致命的。

    潜在问题 2:Long-ranged information might be not relevant.

    我们从 dilated convolution 的设计背景来看就能推测出这样的设计是用来获取 long-ranged information。然而光采用大 dilation rate 的信息或许只对一些大物体分割有效果,而对小物体来说可能则有弊无利了。如何同时处理不同大小的物体的关系,则是设计好 dilated convolution 网络的关键。

    通向标准化设计:Hybrid Dilated Convolution (HDC)

    对于上个 section 里提到的几个问题,图森组的文章对其提出了较好的解决的方法。他们设计了一个称之为 HDC 的设计结构。

    第一个特性是,叠加卷积的 dilation rate 不能有大于1的公约数。比如 [2, 4, 6] 则不是一个好的三层卷积,依然会出现 gridding effect。

    第二个特性是,我们将 dilation rate 设计成 锯齿状结构,例如 [1, 2, 5, 1, 2, 5] 循环结构。

    第三个特性是,我们需要满足一下这个式子:
    M i = max ⁡ [ M i + 1 − 2 r i , M i + 1 − 2 ( M i + 1 − r i ) , r i ] M_i=\max[M_{i+1}-2r_i,M_{i+1}-2(M_{i+1}-r_i),r_i] Mi=max[Mi+12ri,Mi+12(Mi+1ri),ri]

    其中 r i r_i ri是第 i i i层的dilation rate,而 M i M_i Mi 是指在 i 层的最大dilation rate,那么假设总共有n层的话,默认 M n = r n M_n=r_n Mn=rn,假设我们应用于 kernel 为 k ∗ k k * k kk 的话,我们的目标则是 M 2 ≤ k M_2\leq k M2k ,这样我们至少可以用 dilation rate 1 即 standard convolution 的方式来覆盖掉所有洞。

    一个简单的例子: dilation rate [1, 2, 5] with 3 x 3 kernel (可行的方案)

    而这样的锯齿状本身的性质就比较好的来同时满足小物体大物体的分割要求(小 dilation rate 来关心近距离信息,大 dilation rate 来关心远距离信息)。

    这样我们的卷积依然是连续的也就依然能满足VGG组观察的结论,大卷积是由小卷积的 regularisation 的 叠加。

    以下的对比实验可以明显看出,一个良好设计的 dilated convolution 网络能够有效避免 gridding effect.

    多尺度分割的另类解:Atrous Spatial Pyramid Pooling (ASPP)

    在处理多尺度物体分割时,我们通常会有以下几种方式来操作:

    然仅仅(在一个卷积分支网络下)使用 dilated convolution 去抓取多尺度物体是一个不正统的方法。比方说,我们用一个 HDC 的方法来获取一个大(近)车辆的信息,然而对于一个小(远)车辆的信息都不再受用。假设我们再去用小 dilated convolution 的方法重新获取小车辆的信息,则这么做非常的冗余。

    基于港中文和商汤组的 PSPNet 里的 Pooling module (其网络同样获得当年的SOTA结果),ASPP 则在网络 decoder 上对于不同尺度上用不同大小的 dilation rate 来抓去多尺度信息,每个尺度则为一个独立的分支,在网络最后把他合并起来再接一个卷积层输出预测 label。这样的设计则有效避免了在 encoder 上冗余的信息的获取,直接关注与物体之间之内的相关性。

    参考文章:

    https://zhuanlan.zhihu.com/p/89425228
    https://www.zhihu.com/question/54149221

    展开全文
  • 空洞卷积

    千次阅读 2019-08-12 15:03:21
    空洞卷积 # 在原始卷积核的每两个元素之间插入 d − 1个空洞 # 膨胀的卷积核尺寸 = 膨胀系数 * (原始卷积核尺寸 - 1) + 1 # 也可以写成 m + (m − 1) × (d − 1) 二者是相等的 # m为原始卷积核尺寸 d为膨胀系数 # ...

    空洞卷积

    # 在原始卷积核的每两个元素之间插入 d − 1个空洞
    # 膨胀的卷积核尺寸 = 膨胀系数 * (原始卷积核尺寸 - 1) + 1
    # 也可以写成 m + (m − 1) × (d − 1) 二者是相等的
    # m为原始卷积核尺寸  d为膨胀系数
    
    # 首先由于卷积的操作特性,卷积核尺寸是奇数,则原始卷积核尺寸减一为偶数。
    # 那么,在上述公式中,膨胀系数*偶数-1为奇数,保证了膨胀的卷积核尺寸为奇数。
    # 其次,笔者认为,卷积核的膨胀系数刻画了卷积核高和宽方向的扩张倍数,可将上述公式看作:
    # 膨胀的卷积核尺寸 - 1 = 膨胀系数 * (原始卷积核尺寸 - 1)
    
    
    # dilation_rate: 一个整数或 2 个整数的元组或列表, 指定膨胀卷积的膨胀率。 
    # 可以是一个整数,为所有空间维度指定相同的值。 
    # 当前,指定任何 dilation_rate 值 != 1 与 指定 stride 值 != 1 两者不兼容
    

    img

    1. 空洞卷积的优点:在不做池化损失信息的情况下,加大感受野,让每个卷积的输出都包含较大范围的信息。

      在图像需要全局信息,或者语音、文本需要较长序列信息的问题中,空洞卷积都能很好的应用。

    2. 空洞卷积的缺点:

      • 网格效应(Gridding Effect )。如果仅仅多次叠加多个 dilation rate=23x3 的卷积核时,会发现:并不是所有的输入像素都得到计算,也就是卷积核不连续。

        这对于逐像素的预测任务来说,是致命的问题。
        在这里插入图片描述

      • 长距离信息可能与任务无关。采用空洞卷积可能对大物体的分割有效果,但是对于小物体的分割可能没有好处。

        如何同时处理不同大小的物体,则是设计好空洞卷积网络的关键。

    3. 为了解决空洞卷积的缺点,人们提出了一种混合空洞卷积的结构(Hybrid Dilated Convolution:HDC) 。

      该结构有三个特性:

      • 叠加的空洞卷积的dilation rate 不能有大于 1 的公约数。这是为了对抗网格效应。

        如:[2,4,6] 不是一个好的三层空洞卷积,因为会出现网格效应。

      • dilation rate 设计成锯齿状结构。这是为了同时满足小物体、大物体的分割要求。

        [1,2,5,1,2,5] 的循环结构。

      • 最后一层的空洞卷积的dilation rate 最大,且dilation rate 小于等于卷积核的大小。

        这也是为了对抗网格效应。

      下面是一组dilation rate 分别为[1,2,5] 的卷积核,卷积核的尺寸为3x3

    展开全文
  • 关于dilated convolution(空洞卷积)感受野的计算

    万次阅读 热门讨论 2018-11-01 20:20:00
     公式 F后 = (F前 - 1) + K 此时K代表前一层层的空洞卷积的大小   F前 = F后 - 1 + 1   因此 倒数第二层的感受野为:67 - 1 + 1 = 67   倒数第三层的感受野:  67 - 3 + 1 = 65 倒数...
  • 3 weight_filler { type: "xavier" } bias_filler { type: "constant" value: 0.0 } dilation: 6 } } caffe源码中conv_layer.cpp关于空洞卷积的计算: const int kernel_extent = dilation_data[i] * (kernel_shape...
  • 卷积(deconvolution & transposed convolution); 反池化(unpooling)。 上采样upsampling的主要目的是放大图像,几乎都是采用内插值法,即在原有图像像素的基础上,在像素点值之间采用合适的插值算法插入新的...
  • ASPP空洞卷积详解

    千次阅读 2019-01-28 17:20:12
    空洞卷积的引入 空洞卷积的引入: 由于普通下采样(max pooling)方法导致分辨率下降、局部信息丢失。 为什么要用max pooling:每个像素有较大receptive field,且减小图像尺寸。 想使用一种方法,不进行max ...
  • 此篇博客主要是讲一些目前较好的网络发展,提出问题,解决了什么问题,有什么优缺点。 1、Alexnet网络,本网络是2012年的分类冠军,掀起来深度学习的热潮,Alexnet参数量巨大,由于受限于硬件计算,作者采用了group ...
  • 重新审视Faster RCNN:优缺点与改进

    千次阅读 多人点赞 2021-03-09 18:52:08
    Faster RCNN作为当前广泛使用的一种检测方法,其必定存在很有多点,当然也会有一些不足之处,在这里对这些优缺点进行一点讨论,并且提一些相关的改进的方法。
  • Fully Convolution Networks (FCNs) 全卷积网络 SegNet U-Net DeepLab v1 DeepLab v2 DeepLab v3 Fully Convolutional DenseNet E-Net 和 Link-Net Mask R-CNN PSPNet RefineNet G-...
  • 图像分割综述

    万次阅读 多人点赞 2019-07-09 22:03:48
    阀值分割方法的优缺点: 计算简单,效率较高; 只考虑像素点灰度值本身的特征,一般不考虑空间特征,因此对噪声比较敏感,鲁棒性不高。 从前面的介绍里我们可以看出,阈值分割方法的最关键就在于阈值的选择。...
  • 深谈VGG卷积神经网络

    2021-04-08 16:56:54
    在vgg出现之前,大多数网络比如alexnet用的都是大卷积核提取特征,但是vgg采用堆叠小卷积核来达到大卷积核的方式,最显著的优点有两个: 1、堆叠3*3卷积核在和7*7卷积核达到相同效果时,产生的参数更小,计算如下 ...
  • 1. 深度可分离卷积(depthwise separable convolution) 在可分离卷积(separable convolution)中,通常将卷积操作拆分成多个步骤。而在神经网络中通常使用的就是深度可分离卷积(depthwise separable convolution...
  • 1、空洞卷积 优点:在不增加参数量的情况下,增大卷积核的感受野,同时它可以保证输出的特征映射(feature map)的大小保持不变。 缺点:容易造成网格效应,局部信息丢失,每一层得到的卷积结果来自上一层的独立...
  • 现在流行的这几个深度分割网络都是基于传统的CNN网络机构进行变化的,比如说FCN网络是由加州伯克利分校的Long等人提出的全卷积网络(Fully Convolutional Network),其推广了原有的CNN结构,在不带有全连接层的情况...
  • 卷积神经网络(Convolutional Neural Networks)是一种深度前馈神经网络,基于视觉神经感受野的理论而提出,已成功应用于图像识别、语音识别、运动分析、自然语言处理等领域。CNN的核心思想是:将局部感受野、权值...
  • 深度卷积神经网络及各种改进

    千次阅读 2020-08-09 13:26:50
    x),(x,1)卷积代替(x,x)卷积4、采用瓶颈(Bottleneck)结构5、深度可分离卷积6、改进版深度可分离卷积+残差网络7、倒转残差(Inverted residuals)结构8、并行空洞卷积 1、残差网络 这个网络主要源自于Resnet网络,其作用...
  • PSPNet网络要点

    千次阅读 2018-07-13 21:43:26
    基础层经过预训练的模型(ResNet101)和空洞卷积策略提取feature map,提取后的feature map是输入的1/8大小feature map经过Pyramid Pooling Module得到融合的带有整体信息的feature,在上采样与池化前的feature map相...
  • 膨胀卷积与IDCNN

    2018-06-17 12:01:00
    Dilation 卷积,也被称为:空洞卷积、膨胀卷积。 一、一般的卷积操作: 首先,可以通过动态图,理解正常卷积的过程: 如上图,可以看到卷积操作。 对于CNN结构,通常包括如下部分: 输入层 (input layer)--...
  • 卷积知识点

    2021-08-19 21:37:44
    空洞卷积8.空间可分离卷积9.深度可分离卷积10.分组卷积11.可变形卷积12. 1*1卷积13. 3D卷积 卷积知识点 参考文献找不到了,略 1.什么是卷积 对图像和滤波矩阵(滤波器、卷积核)做内积的操作就是卷积。单次卷积操作...
  • 卷积的总结

    2021-04-27 00:12:41
    卷积的总结 几种常见的卷积 一、2D卷积 2D的单通道卷积不再赘述,这里主要说的是2D的多通道卷积。 这 3 个通道都合并到一起(元素级别的加法)组成了一个大小为 3 x 3 x 1 的单通道。这个通道是输入层(5 x 5 x 3 ...
  • 挖坑-算法题目

    2021-04-20 22:54:52
    -什么是空洞卷积? -XGB的参数怎么调? -ArcfaceLoss的原理 -样本不均衡的处理办法 -手写Transformer -RF和GBDT的区别 -介绍自注意力机制 -K-means如何选取K值 -常用的...
  • 前言:语义分割(Semantic Segmentation)是计算机视觉领域的热点领域之一,当前与目标检测、实例分割等都是非常热门的研究,但是语义分割的历史溯源却非常早,知道深度学习的兴起,特别是卷积神经网络的兴起,给...
  • 如果你在深度学习中听说过不同类型的卷积(例如2d/3d/1x1/转置卷积/空洞卷积(ATROUS)/深度可分离卷积/深度卷积/扁平卷积/分组卷积/随机分组卷积),并且对它们的实际含义感到困惑,那么本文就是为了让你理解它们是...
  • 1.空洞卷积(Dilated convolution) 传统的CNN通常采用pooling或up-sampling来整合多尺度上下文信息,这种方式会损失分辨率。FCN的做法是先像传统的CNN那样对图像做卷积再做pooling,降低图像尺寸的同时增大感受野。up...
  • 深度学习基本网络层1.1 卷积层1.2 1x1卷积层1.3 池化层1.4 激活层1.5 Batchnorm层(BN层)1.6 Dropout层1.7 空洞卷积(AtrousConvolution)2. 深度学习经典网络模块2.1 NiN块——cccp层(cascaded cross channel ...
  • Kunlun Bai 是一位人工智能、机器学习、物体学以及工程学领域的研究型科学家,在本文中,他详细地介绍了 2D、3D、1x1 、转置 、空洞(扩张)、空间可分离、深度可分离、扁平化、 分组等十多种卷积网络类型。...
  • 目标检测领域有个较新的方向:基于关键点进行目标物体检测。...相关论文1 ...空洞卷积与普通卷积的相同点在于,卷积核的大小是一样的,在神经网络中即参数数量不变,区别在于空洞卷积具有更大的感受野。 潜在.

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 396
精华内容 158
关键字:

空洞卷积的优缺点