精华内容
下载资源
问答
  • 空洞卷积
    2022-05-02 18:34:25

    膨胀卷积(dilated convolution)又叫空洞卷积(Atrous convolution).
    论文:Understanding Convolution for Semantic Segmentation
    在这里插入图片描述
    上图左边是一个普通的卷积,右边这幅就是我们要讲的膨胀卷积,与左边对比可以看出,同样都是采用3x3的kernel,但是我们在膨胀卷积中发现kenerl元素之间是存在间隙的。间隙我们在膨胀卷积中称为膨胀因子r。上图中r=2,表示记录的是每两个参数间的距离,当r=1,即元素之间相邻的话,它就是一个普通卷积了。

    膨胀卷积的作用:

    • 增大感受野
    • 保持原输入特征图的W、H(通过padding的方式)

    空洞卷积通过对初始卷积核设置不同的膨胀系数以获取不同的感受野 具体来说,膨胀系数越大,空洞卷积的感受野越大。相较于池化来说,空洞卷积在扩大感受野的同时不会降低特征的分辨率,有利于保留完整的空间信息。另外,相较于直接扩大卷积核尺寸来增大感受野的方式,空洞卷积不会引入额外参数,减小了过拟合的风险 。

    为什么要使用膨胀卷积

    在语义分割任务,比如FCN。通常会使用分类网络作为网络的backbone,通过backbone之后会对我们图片进行一系列下采样ÿ

    更多相关内容
  • 今天小编就为大家分享一篇PyTorch 普通卷积和空洞卷积实例,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
  • 博客见:https://blog.csdn.net/qq_37534947/article/details/109727232,主要是空洞卷积以及残差网络的代码实现,包含数据集,框架是pytorch
  • 主要介绍了Tensorflow tf.nn.atrous_conv2d如何实现空洞卷积的,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
  • 在填充锯齿状空洞卷积通路上构建并行三维卷积神经网络,提取多尺度图像块进行训练,捕获大范围空间信息。利用密集连接的恒等映射特性,将浅层特征叠加到网络末端,在MRI多模态图像中分割出水肿区、增强区、核心区和囊...
  • 空洞卷积能够在不减小感受野的情况下降低空间特征的损失,可以获取long-ranged information。但是也有弊端:比如空间上的连续所能给出的信息可能因此而丢失(比如边缘之类的),同时对于小物体的分割未必有利。同时,...
  • 充分提取微表情细微特征,提出结合空洞卷积核及人脸自动校正算法,完善 CNN 网络特征提取过程,通过自动人脸矫正适应实际应用中的实时识别分类,在 CASME 及 CASMEⅡ微表情公开数据集上完成模型训练及测试,通过损失...
  • 深入理解空洞卷积

    2022-03-16 01:03:04
    点击上方“小白学视觉”,选择加"星标"或“置顶”重磅干货,第一时间送达导读空洞卷积在图像分割需要增加感受野同时保持特征图的尺寸的需求中诞生,本文详细介绍了空洞卷积的诞生、原理、计算过程以...

    点击上方“小白学视觉”,选择加"星标"或“置顶

    重磅干货,第一时间送达b4ec55570f1bb504a0109db440deaa21.png

    导读

     

    空洞卷积在图像分割需要增加感受野同时保持特征图的尺寸的需求中诞生,本文详细介绍了空洞卷积的诞生、原理、计算过程以及存在的两个潜在的问题,帮助大家将空洞卷积这一算法“消化吸收”。

    一、空洞卷积的提出

    空洞卷积中文名也叫膨胀卷积或者扩张卷积,英文名也叫Atrous Convolution

    空洞卷积最初的提出是为了解决图像分割的问题而提出的,常见的图像分割算法通常使用池化层和卷积层来增加感受野(Receptive Filed),同时也缩小了特征图尺寸(resolution),然后再利用上采样还原图像尺寸,特征图缩小再放大的过程造成了精度上的损失,因此需要一种操作可以在增加感受野的同时保持特征图的尺寸不变,从而代替下采样和上采样操作,在这种需求下,空洞卷积就诞生了(略有修改,引自[4])

    玖零猴:感受野(Receptive Field)的理解与计算@玖零猴

    https://zhuanlan.zhihu.com/p/113487374

    当然,如果不用空洞卷积这种方案,那怎么去弥补经过下采样而造成信息损失呢?其实,这是另一个思路了,于是才有了我们熟知的skip connection,它可以为上采样弥补信息,像FCN、U-Net这种典型的拓扑网络,如下图所示,其实我个人认为,如果一个问题如果从不同的思路去想的话,就会出现不同的解决方案

    f52a1f2243ea7d9f5e830919554de3c0.png

    图1 FCN、U-Net典型的分割拓扑结构:下采样、上采样、skip connection(图来自[6])

    空洞卷积自2016在ICLR(International Conference on Learning Representation)上才被提出后,本身是用在图像分割领域,但立马被deepmind拿来应用到语音(WaveNet)和NLP领域,它在物体检测也发挥了重要的作用,虽然不要求逐个像素检测,但对于小物体的检测也是十分重要的

    二、空洞卷积的原理

    与正常的卷积不同的是,空洞卷积引入了一个称为 “扩张率(dilation rate)”的超参数(hyper-parameter),该参数定义了卷积核处理数据时各值的间距。扩张率中文也叫空洞数(Hole Size)。

    在此以outside_default.png 卷积为例,展示普通卷积和空洞卷积之间的区别,如图2所示

    c860e0ebf2c9aa45636e22cfd3d7d21f.png

    图2 普通卷积和空洞卷积的对比(来自[4])

    图2中从左到右分别为a、b、c子图,三幅图是相互独立进行卷积的(区别于下面图4),大框表示输入图像(感受野默认为1),黑色的圆点表示outside_default.png的卷积核,灰色地带表示卷积后的感受野(后面有相关计算公式,这里都是一层卷积的,直接可以看出来)

    • a是普通的卷积过程(dilation rate = 1),卷积后的感受野为3

    • b是dilation rate = 2的空洞卷积,卷积后的感受野为5

    • c是dilation rate = 3的空洞卷积,卷积后的感受野为8

    可以这么说,普通卷积是空洞卷积的一种特殊情况

    另外,空洞卷积可以增大感受野,但是可以不改变图像输出特征图的尺寸(分辨率,resolution),这句话怎么理解?

    为了更好地理解这一点,我们从一维去分析容易理解点

    29a0c128368bfa92cd97e41068b88ce7.png

    图3 一维版的普通卷积(a、b)和空洞卷积(c),黑色的圆表示填充部分,a、b、c它们相互独立进行卷积 (来自[8])

    从b和c可以看出,有无空洞卷积,并不影响输出特征图的尺寸,也就是说输出特征图的尺和空洞数无关,因此可以利用空洞卷积增大感受野,而输出特征图的尺寸可以保持不变

    影响输出特征图尺寸的因素有输入特征图的尺寸 outside_default.png ,卷积核的大小 outside_default.png ,填充 outside_default.png ,步长 outside_default.png ,计算公式如下:

    cfe6a62ee8aa11e44ff211050a7d3b70.png

    由于保持特征图尺寸不变,所以导致了计算过程的计算量比较大

    保持住特征图不变,那怎么能利用多尺度信息?

    在解答这个问题之前,先补充两点知识

    知识一:我们知道,神经元感受野的值越大表示其能接触到的原始图像范围就越大,也意味着它可能蕴含更为全局,语义层次更高的特征;相反,值越小则表示其所包含的特征越趋向局部和细节。因此感受野的值可以用来大致判断每一层的抽象层次。

    知识二:在赢得其中一届ImageNet比赛里VGG网络的文章中,他最大的贡献并不是VGG网络本身,而是他对于卷积叠加的一个巧妙观察。1个 7 x 7 的卷积层的正则等效于 3 个 3 x 3 的卷积层的叠加。而这样的设计可以大幅度的减少参数,有正则化的效果,参数少了就没那么容易发生过拟合。这也是现在绝大部分基于卷积的深层网络都在用小卷积核的原因,常常使用3 x 3的卷积核

    一般每一层的卷积核都是用3 x 3 大小的,而每一层只要设置不同dilation rate时,感受野就会不一样,也即获取了多尺度信息,当然这样操作并不影响特征图的尺寸,这样一来,又避免下采样那样造成信息损失,同时也利用到多尺度信息,真是一举两得啊

    获取多尺度信息在视觉任务中相当重要,尤其是在Dense prediction(对每个像素进行分类)问题上,它能够提高准确性的,如语义分割

    dense prediction problems such as semantic segmentation ... to increase the performance of dense prediction architectures by aggregating multi-scale contextual information(来自[1])

    三、感受野的计算

    为了好看,我们把图2放下来

    94b1f53784939f893f3fc592382da3ea.png

    图2 普通卷积和空洞卷积的对比(来自[4])

    从图2可以看出,同样一个 outside_default.png 的卷积,却可以起到 outside_default.png 、 outside_default.png 等卷积的效果,空洞卷积在不增加参数量的前提下(参数量=卷积核大小+偏置),却可以增大感受野,假设空洞卷积的卷积核大小为 outside_default.png ,空洞数为 outside_default.png ,则其等效卷积核大小 outside_default.png ,例如 outside_default.png 的卷积核,则 outside_default.png ,公式如下(来自[4])

    outside_default.png


    当前层的感受野计算公式如下,其中, outside_default.png 表示当前层的感受野, outside_default.png 表示上一层的感受野, outside_default.png 表示卷积核的大小

    outside_default.png


    outside_default.png表示之前所有层的步长的乘积(不包括本层),公式如下:

    outside_default.png

    同样的,当前层的步长并不影响当前层的感受野,感受野和填补(padding)没有关系

    下面举个例子练练手,此图4和上面的图2有区别,图2的三幅图是独立的,而图4是从左到右连续进行卷积,它们属于top-bottom关系

    f23244123653384e024ca8520fec990d.png

    图4 三个不同的空洞卷积,卷积核的kernel size=3, stride=1, 但是空洞卷积的dilation rate分别是1,2,4。默认初始化感受野是1。(来自[1])

    感受野的计算

    输入图像: 1

    第一层卷积:3

    第二层卷积:

    outside_default.png
    outside_default.pngoutside_default.png

    综上,得

    outside_default.png

    第三层卷积:

    outside_default.png

    outside_default.png
    outside_default.png

    综上,得

    outside_default.png

    四、潜在的问题及解决方法

    潜在问题 1:The Gridding Effect

    假设我们仅仅多次叠加 dilation rate 2 的 3 x 3 kernel 的话,则会出现这个问题:

    fb28cf0d3f246610112c537f953278b5.png

    由于空洞卷积的计算方式类似于棋盘格式,某一层得到的卷积结果,来自上一层的独立的集合,没有相互依赖,因此该层的卷积结果之间没有相关性,即局部信息丢失。这对 pixel-level dense prediction 的任务来说是致命的。

    潜在问题 2 :Long-ranged information might be not relevant.

    远距离获取的信息没有相关性:由于空洞卷积稀疏的采样输入信号,使得远距离卷积得到的信息之间没有相关性,影响分类结果。

    解决方案

    具体可参考[5,9]

    • Panqu Wang,Pengfei Chen, et al**.Understanding Convolution for Semantic Segmentation.//**WACV 2018

    • Fisher Yu, et al. Dilated Residual Networks. //CVPR 2017

    • Zhengyang Wang,et al.**Smoothed Dilated Convolutions for Improved Dense Prediction.//**KDD 2018.

    • Liang-Chieh Chen,et al.Rethinking Atrous Convolution for Semantic Image Segmentation//2017

    • Sachin Mehta,et al. ESPNet: Efficient Spatial Pyramid of DilatedConvolutions for Semantic Segmentation. //ECCV 2018

    • Tianyi Wu**,et al.Tree-structured Kronecker Convolutional Networks for Semantic Segmentation.//AAAI2019**

    • Hyojin Park,et al.Concentrated-Comprehensive Convolutionsfor lightweight semantic segmentation.//2018

    • Efficient Smoothing of Dilated Convolutions for Image Segmentation.//2019

    reference

    1、Yu, Fisher, and Vladlen Koltun. "Multi-scale context aggregation by dilated convolutions." arXiv preprint arXiv:1511.07122 (2015).(https://arxiv.org/abs/1511.071220)

    2、Understanding Convolution for Semantic Segmentation(https://arxiv.org/abs/1702.08502)

    3、Rethinking Atrous Convolution for Semantic Image Segmentation(https://arxiv.org/abs/1706.05587)

    4、书籍《深度学习之PyTorch物体检测实战》

    5、如何理解空洞卷积(dilated convolution)?(https://www.zhihu.com/question/54149221)

    6、U-Net++作者对U-Net的分析(https://zhuanlan.zhihu.com/p/44958351)

    7、GIF动图,加深普通卷积和空洞卷积的区别: https://github.com/vdumoulin/conv_arithmetic/blob/master/README.md

    8、如何理解Dilated Convolutions(空洞卷积)

    9、yyfyan:总结-空洞卷积(Dilated/Atrous Convolution)(https://zhuanlan.zhihu.com/p/50369448)

    下载1:OpenCV-Contrib扩展模块中文版教程

    在「小白学视觉」公众号后台回复:扩展模块中文教程即可下载全网第一份OpenCV扩展模块教程中文版,涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。

    下载2:Python视觉实战项目52讲

    在「小白学视觉」公众号后台回复:Python视觉实战项目即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目,助力快速学校计算机视觉。

    下载3:OpenCV实战项目20讲

    在「小白学视觉」公众号后台回复:OpenCV实战项目20讲即可下载含有20个基于OpenCV实现20个实战项目,实现OpenCV学习进阶。

    交流群

    欢迎加入公众号读者群一起和同行交流,目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群(以后会逐渐细分),请扫描下面微信号加群,备注:”昵称+学校/公司+研究方向“,例如:”张三 + 上海交大 + 视觉SLAM“。请按照格式备注,否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告,否则会请出群,谢谢理解~

    d5152bd5ad67d4a6df8eec54666e2783.png

    b0debaf08d53027b9add5b03b6eac3ac.png

    展开全文
  • 深度学习之空洞卷积

    2018-03-09 13:46:35
    深度学习之空洞卷积原始出处论文,介绍了空洞卷积实现方法以及实现意义。
  • 空洞卷积

    2020-04-17 21:39:37
    空洞卷积的意义 空洞卷积(Dilated/Atrous Convolution)最初是为解决图像语义分割的问题而提出的。常见的图像分割算法通常使用池化层来增大感受野,同时也缩小了特征图尺寸,然后再利用上采样还原图像尺寸。特征图...

    空洞卷积的意义

    空洞卷积(Dilated/Atrous Convolution)最初是为解决图像语义分割的问题而提出的。常见的图像分割算法通常使用池化层来增大感受野,同时也缩小了特征图尺寸,然后再利用上采样还原图像尺寸。特征图缩小再放大的过程造成了精度上的损失,因此需要有一种操作可以在增加感受野的同时保持特征图的尺寸不变,从而代替池化与上采样操作,在这种需求下,空洞卷积就诞生了。

    空洞卷积的定义

    空洞卷积就是跳过一些元素进行卷积。下图a代表普通3*3卷积。下图b代表空洞数为2的空洞卷积(在特征图上每两行或两列选取元素与卷积核卷积),虽然其卷积核尺寸为3*3,但是其感受野已经增大到5*5。下图c代表空洞数为3的空洞卷积。pytorch中conv2d函数的dilation参数即代表空洞数。

    上图中,同样的一个3*3卷积,却可以起到5*5、7*7等卷积的效果。可以看出,空洞卷积在不增加参数量的前提下,增大了感受野。假设空洞卷积的卷积核大小为k,空洞数为d,则其等效卷积核大小k^{'}计算如下所示:

                                                                                           k^{'}=k+\left ( k-1 \right )\left ( d-1 \right )

    空洞卷积的优缺点

    优点

    在不引入额外参数的前提下可以任意扩大感受野。同时保持特征图的分辨率不变。这一点在分割与检测任务中十分有用,感受野的扩大可以检测大物体,而特征图分辨率不变使得物体定位更加准确。

    缺点

    • 网格效应(Gridding Effect):由于空洞卷积是一种稀疏的采样方式,当多个空洞卷积叠加时,有些像素根本没有被利用到,会损失信息的连续性和相关性,进而影响分割、检测等要求较高的任务。
    • 远距离的信息没有相关性:空洞卷积是一种稀疏的采样方式,导致远距离卷积得到的结果之间缺乏相关性,进而影响分类结果。
    • 不同尺度物体的关系:大的空洞数对于大物体的分割与检测有利,但是对于小物体则有弊无利,如何处理好多尺度问题的检测,是空洞卷积设计的重点

    空洞卷积缺点的解决办法

    对于上述问题,图森未来提出了HDC(Hybrid Dilated Convolution)结构,详情请查看:https://www.zhihu.com/question/54149221

     

    本文摘抄自:《深度学习之Pytorch物体检测实战》一书

    展开全文
  • 空洞卷积学习

    2022-03-08 22:05:49
    空洞卷积 空洞卷积(dilated convolution)是针对图像语义分割问题中下采样会降低图像分辨率、丢失信息而提出的一种卷积思路。利用添加空洞扩大感受野,让原本 3×33\times 33×3的卷积核,在相同参数量的情况下,...

    空洞卷积

    空洞卷积(dilated convolution)是针对图像语义分割问题中下采样会降低图像分辨率、丢失信息而提出的一种卷积思路。利用添加空洞扩大感受野,让原本 3 × 3 3\times 3 3×3的卷积核,在相同参数量的情况下,用于 5 × 5 ( d i l a t e d r a t e = 2 ) 5 \times 5(dilated rate=2) 5×5(dilatedrate=2)或者更大的感受野,无须下采样。

    扩张卷积(Dilated Convolution)又称空洞卷积(Atrous Convolution),向卷积层引入了一个称为 “扩张率(dilation rate)”的新参数,该参数定义了卷积核处理数据时各值的间距。换句话说,相比原来的标准卷积,扩张卷积多了一个超参数称之为dilation rate(扩张率),指的是kernel各点之间的间隔数量,正常的卷积核的扩张率为1。

    空洞卷积

    空洞卷积动态采样展示

    上图是一个扩张率为2,尺寸为 3 × 3 3×3 3×3 的空洞卷积,感受野与 5 × 5 5×5 5×5的卷积核相同,而且仅需要9个参数。你可以把它想象成一个5×5的卷积核,每隔一行或一列删除一行或一列。在相同的计算条件下,空洞卷积提供了更大的感受野。空洞卷积经常用在实时图像分割中。当网络层需要较大的感受野,但计算资源有限而无法提高卷积核数量或大小时,可以考虑空洞卷积。

    我们来探究一下感受野

    第一层的一个 5 × 5 5×5 5×5大小的区域经过2次3×3的标准卷积之后,变成了一个点。也就是说从size上来讲,2层 3 ∗ 3 3*3 33卷积转换相当于1层 5 ∗ 5 5*5 55卷积。从以上图的演化也可以看出,一个5×5的卷积核是可以由2次连续的3×3的卷积代替。

    但对于 d i l a t e d = 2 dilated=2 dilated=2 3 × 3 3 \times 3 3×3 的扩张卷积核。可以看到第一层 13 × 13 13\times 13 13×13的区域,经过2次 3 × 3 3 \times 3 3×3的扩张卷积之后,变成了一个点。即从size上来讲,连续2层的 3 × 3 3 \times 3 3×3空洞卷积转换相当于1层 13 × 13 13 \times 13 13×13卷积。

    意义与问题

    • 最早出现在DeeplLab系列中,作用:可以在不改变特征图尺寸的同时增大感受野,摈弃了pool的做法(丢失信息);
    • Dilation convolution(扩张卷积)的原理其实也比较简单,就是在kernel各个像素点之间加入0值像素点,变向的增大核的尺寸从而增大感受野。

    经过dilation rate放大后,卷积核尺寸为: d × ( k − 1 ) + 1 d \times (k-1)+1 d×(k1)+1

    扩张卷积的输入和输出特征图的尺寸关系如下:
    W 2 = W 1 + 2 p − d ( k − 1 ) − 1 s + 1 {\color{Purple}W_{2} = \frac{ W_{1} + 2p -d(k-1)-1}{s} + 1 } W2=sW1+2pd(k1)1+1

    当在s=1,k=3时,令d = p,则输出特征图尺寸不变;

    空洞卷积存在的问题:

    Gridding效应

    • 局部信息丢失:由于空洞卷积的计算方式类似于棋盘格式,某一层得到的卷积结果,来自上一层的独立的集合,没有相互依赖,因此该层的卷积结果之间没有相关性,即局部信息丢失。

    通过图a解释了空洞卷积存在的问题,三层卷积均为r=2的空洞卷积,可以看出红色像素的感受野为13。这种空洞卷积核并不连续,所以不是所有的pixel都用来计算,且参与实际计算的只有 75 % 75 \% 75%,损失了信息的连续性,这对像素级密集预测任务来说事不适用的。

    多次叠加多个具有相同空洞率的卷积核会造成格网中有一些像素自始至终都没有参与运算,不起任何作用,这对于像素级别的预测是不友好的。

    Long-ranged information might be not relevant.

    • 远距离获取的信息没有相关性:由于空洞卷积稀疏的采样输入信号,用来获取远距离信息。但是这种信息之间没有相关性,同时当对大物体分割时,会有一定的效果,但是对于小物体来说,有弊无利。

    我们从空洞卷积的设计背景来看就能推测出这样的设计是用来获取长距离信息。然而光采用大采样率的信息或许只对一些大物体分割有效果,而对小物体来说可能则有弊无利了。如何同时处理不同大小的物体的关系,则是设计好 dilated convolution 网络的关键。

    总结:简单来说,就是空洞卷积虽然在参数不变的情况下保证了更大的感受野,但是对于一些很小的物体,本身就不要那么大的感受野来说,这是不友好的。

    图森组提出HDC的方案解决该问题。

    1. 第一个特性是,叠加卷积的空洞率不能有大于1的公约数。比如 [2, 4, 6] 则不是一个好的三层卷积,依然会出现 gridding effect。
    2. 第二个特性是,我们将空洞率设计成锯齿状结构,例如 [ 1 , 2 , 5 , 1 , 2 , 5 ] [1, 2, 5, 1, 2, 5] [1,2,5,1,2,5] 循环结构。
    3. 第三个特性是,我们需要满足一下这个式子:
      M i = m a x [ M i + 1 − 2 r i ,   M i + 1 − 2 ( M i + 1 − r i ) ,   r i ] M_i = max \begin{bmatrix} M_{i+1} -2r_i, \ M_{i+1} - 2(M_{i+1} - r_i), \ r_i \end{bmatrix} Mi=max[Mi+12ri, Mi+12(Mi+1ri), ri]

    其中 r i r_i ri i i i 层的 空洞率,而 M i M_i Mi 是指在 i i i 层的最大空洞率,那么假设总共有 n n n 层的话,默认 M n = r n M_n = r_n Mn=rn 。假设我们应用于 kernel 为 k × k k \times k k×k 的话,我们的目标则是 M 2 < = k M_2 <= k M2<=k ,这样我们至少可以用空洞率为1,即标准卷积的方式来覆盖掉所有洞。

    一个简单的例子: dilation rate [1, 2, 5] with 3 x 3 kernel (可行的方案)

    而这样的锯齿状本身的性质就比较好的来同时满足小物体大物体的分割要求(小 dilation rate 来关心近距离信息,大 dilation rate 来关心远距离信息)。这样我们的卷积依然是连续的也就依然能满足VGG组观察的结论,大卷积是由小卷积的 regularisation 的 叠加。以下的对比实验可以明显看出,一个良好设计的 dilated convolution 网络能够有效避免 gridding effect.

    参考

    • https://www.zhihu.com/question/54149221/answer/323880412
    展开全文
  • 空洞卷积的详细分析,对输入输出的大小进行了推导;并介绍了相关改进版本。
  • 空洞卷积的超详细解释

    万次阅读 多人点赞 2021-03-09 18:21:31
    目录什么是空洞卷积为什么需要空洞卷积卷积的问题空洞卷积的好处总结空洞卷积存在的问题潜在问题 1:The Gridding Effect 什么是空洞卷积 Dilated/Atrous Convolution(中文叫做空洞卷积或者膨胀卷积) 或者是 ...
  • Pytorch:卷积神经网络-空洞卷积

    千次阅读 2022-02-03 20:54:50
    Pytorch: 空洞卷积神经网络 Copyright: Jingmin Wei, Pattern Recognition and Intelligent System, School of Artificial and Intelligence, Huazhong University of Science and Technology Pytorch教程专栏链接 ...
  • 空洞卷积详解

    千次阅读 2022-02-23 11:01:16
    感受野指:卷积神经网络每一层输出的特征图上的像素点在输入图片上映射的区域大小,即FC层每个输出节点的值都依赖FC层所有输入,而CONV层每个输出节点的值仅依赖CONV层输入的一个区域,这个区域之外的其他输入值都...
  • 空洞卷积(膨胀卷积)的相关知识以及使用建议(HDC原则)
  • 文章目录普通卷积的感受野空洞卷积dilation rate 普通卷积的感受野 感受野的定义是,某层的特征图上的每一个像素点对于原图的感知尺寸 对于原图,即第 0 层的特征图,其每个像素的感受野尺寸是 1×11×11×1 ...
  • 点击上方“小白学视觉”,选择加"星标"或“置顶”重磅干货,第一时间送达...本文详细介绍了空洞卷积的诞生、原理、计算过程以及存在的两个潜在的问题,帮助大家将空洞卷积这一算法“消化吸收”。一、空洞卷积的提出...
  • 空洞卷积: 转置空洞卷积: 上述二者计算公式参考pytorch源码 感受野的计算(参考:吃透空洞卷积 (Dilated Convolutions) - 极市社区): latex源码: F_{0} = 1\\ k'_{n} = k_{n} + (k_{n}-1)\times(d_{n...
  • 空洞卷积(Dilated/Atrous Convolution) 相比原来的正常convolution,dilated convolution 多了一个 hyper-parameter 称之为 dilation rate 指的是kernel的间隔数量: a是普通的卷积过程(dilation rate = 1),卷积...
  • 前两篇我们对卷积层的原理和实现做了一些介绍。这一节我们来深入了解两个常用的卷积——转置卷积和空洞卷积。传送门:卷积核的基本概况转置卷积利用神经网络去生成图片,通察情况下是从低像素、粗糙的图...
  • 文章目录PapersDeeplabV1一、网络结构二、训练过程三、条件随机场DeeplabV2一、网络结构二、训练策略deeplabV3一、网络结构1)用级联的方式设计了空洞卷积模块2) 使用了Multi-Grid 策略3)将 batch normalization 加入...
  • 分组卷积和空洞卷积总结
  • 吃透空洞卷积

    2020-12-04 20:03:00
    作者丨玖零猴@知乎来源丨https://zhuanlan.zhihu.com/p/113285797编辑丨极市平台一、空洞卷积的提出空洞卷积中文名也叫膨胀卷积或者扩张卷积,英文名也叫At...
  • 空洞卷积(Dilated Convolution)简介

    千次阅读 2021-11-20 14:42:27
    一、空洞卷积(Dilated Convolution) Dilated Convolution(空洞卷积/膨胀卷积)是在标准的 convolution map 里注入空洞,以此来扩大感受野。膨胀卷积与普通的卷积相比:除了卷积核的大小以外,还有一个扩张率(dilation...
  • 基于残差空洞卷积神经网络的网络安全实体识别方法.pdf

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 6,638
精华内容 2,655
关键字:

空洞卷积

友情链接: birch_1.1-2 (1).tar.gz