精华内容
下载资源
问答
  • Deeplab

    千次阅读 2019-12-16 17:22:42
    有什么问题欢迎留言指正~~~...Deeplab至今总共有四个版本: deeplabv1: https://arxiv.org/abs/1412.7062 由于这个版本时间太早,同时主要说的CRF在后面的版本里也被删除了,这里就不进行过多介绍了。 deeplabv2: ...

    有什么问题欢迎留言指正~~~

    Deeplab至今总共有四个版本:

    deeplabv1:

    https://arxiv.org/abs/1412.7062

    由于这个版本时间太早,同时主要说的CRF在后面的版本里也被删除了,这里就不进行过多介绍了。

    deeplabv2:

    https://arxiv.org/pdf/1606.00915.pdf

    主要引入了空洞卷积(atrous convolution)和ASPP(atrous spatial pyramid pooling)结构。

    这里主要讲解一下空洞卷积:

    空洞卷积的出现是为了解决小核(3*3)感受野过小,而采用下采样会降低图片精度的问题而提出的。空洞卷积可以有效的扩大感受野,是现在语义分割中比较好用的利器之一。

                                                               

    推荐一下讲的比较好的一篇文章:https://www.zhihu.com/question/54149221

    ASPP(atrous spatial pyramid pooling)

    通过使用不同rate的空洞卷积解决了多尺度问题。ASPP是根据何凯明提出的SPP思想产生的(https://arxiv.org/pdf/1406.4729.pdf),spp主要解决了对于不同尺度大小的图片如何把他进行缩放能够使得输入固定,方便网络对于不同大小的图片进行处理。换一种角度,我们想解决图像处理中的多尺度问题,也就可以把同一张图片变换成不同尺度让网络学习进行训练,也就可以认为是将同一张图片经过不同大小感受野的卷积核实现(金字塔思想)。

    此外该模型还采用了CRF

    卷积网络生成的结果只能表示粗糙的物体位置,但不能很好的描述物体边界。而全连接的CRF能够很好的恢复物体边界。

    传统的CRF被用于平滑噪声分割图,将相邻的节点耦合起来,倾向于将相同的标签分配到空间上的近端像素,换句话,他会根据每个像素点周围的像素点标签分配该像素点的标签。

    这里CRF就是一个后处理的过程。后期就被抛弃了。。。

    deeplabv3:

    https://arxiv.org/abs/1706.05587

    对deeplabv2提出了ASPP进行了改进,可以看作采用了并行空洞卷积和串行空洞卷积,下面会详细解释并行和串行空洞卷积。同时废除了后处理CRF也得到了很好的结果。

    串行空洞卷积:

    卷积操作虽然好用但存在着致命的缺陷,就是感受野小。为了解决这个问题提出了池化操作,但随着网络层数的加深,过多的池化层会导致原图像缩小过多,丢失图片细节甚至是小物体,更不利于语义分割。为了解决池化带来的问题同时增大卷积网络的感受野提出了空洞卷积。

    deeplabv3使用resnet作为backbone提取图片特征,然后在resnet后面又重复放了三个Block4(也就是重新命名的block5,nlock6,block7),但由于block本来带有的池化层,会导致图片长宽缩的过于小,也就是下面图片中的第一行,最小的会缩小到源图像的256分之一。太小了不适合语义分割,因此的deeplabv3去除了block的池化层,将3*3卷积使用空洞卷积代替。每往下传递一个block就将空洞卷积的rate增大2倍,也就代替了池化操作。

    同时由于空洞卷积会存在gridding 的影响,为了解决采用了multi-grid方法,例如,采用(1,2,4)则对于block5: rate=4,那么他的空洞卷积为4*(1,2,4)=(4,8,16)

    并行空洞卷积:

    这里也就是对ASPP进行的改进,同一层block使用不同大小的空洞卷积,实现多尺度。

    当空洞卷积的rate特别大的时候,卷积核中的有效参数就会变少,比如,当rate=feature map size时,3*的卷积核就相当于1*1的卷积核,其他参数都作用在了图片的padding部分。所以并行结果中增加了1*1的卷积核。同时为了整合图片的全局信息,增加了global average pooling。

    deeplabv3+:

    https://arxiv.org/abs/1802.02611

    这部分很简单,主要就是两个贡献:

    一个是对于decoder的改进(红色虚线框内),加入了类似于FCN的skip connect融合思想。对于ASPP生成的feature map在上采样的插值过程中加入了encoder的feature map。

     

    另一个就是更改了网络backbone,使用了Xception,也就是精简了网络。

    展开全文
  • DeepLab是由Google团队提出的一系列图像分割算法。 DeepLab v1 (2014年) Paper (ICLR 2015) Code 创新点: 空洞卷积(Atrous Conv); <解决编码过程中信号不断被下采样,细节丢失的问题> 全连接条件随机...

    前言:图像分割是指像素级别的图像识别,即标注出图像中每个像素所属的对象类别。
    语义分割更注重类别之间的区分,而实例分割更注重个体之间的区别。

    DeepLab是由Google团队提出的一系列图像分割算法。

    DeepLab v1 (2014年)

    Paper (ICLR 2015)
    Code
    在这里插入图片描述

    创新点:

    1. 空洞卷积(Atrous Conv);
      <解决编码过程中信号不断被下采样,细节丢失的问题>
    2. 全连接条件随机场(Fully-connected Conditional Random Field)。
      <由于conv层提取的特征具有平移不变性,这就限制了定位精度。因此引入全连接CRF来提高模型捕获结构信息的能力,解决精分割问题。>

    CRF 意在给相邻的像素进行建模,相近的像素更可能是同一个 label,定义每个像素属于某个 label 的概率,通过迭代来优化结果。Fully connected CRF避免了使用short-range CRF带来的平滑效果。

    在这里插入图片描述

    DeepLab v2

    Paper(TPAMI 2017)

    与v1不同点:

    1. 空洞空间金字塔池化 ASPP(Atrous spatial pyramid pooling )
    2. 将v1使用的backbone VGG16替换成了 Resnet101

    在这里插入图片描述
    ASPP可用于解决不同检测目标大小差异的问题:通过在给定的特征层上使用不同dilation的空洞卷积,可以有效的进行重采样。构建不同感受野的卷积核,用来获取多尺度物体信息。

    在这里插入图片描述

    DeepLab v3

    Paper

    主要创新点就是改进v2的ASPP模块,一个1×1的卷积和3个3×3的空洞卷积,每个卷积核有256个且都有BN层,包含图像及特征(全局平均池化)。

    在这里插入图片描述

    1. 加入了BN层;
    2. 将v2中的ASPP中尺寸3×3,dilation=24的空洞卷积替换成一个普通的1×1卷积,以保留滤波器中间部分的有效权重;(随着空洞率的增大,滤波器中有效权重的个数在减少)
    3. 增加了全局平均池化以便更好的捕捉全局信息。

    authors将解决多尺度物体问题的方法分成四类:
    在这里插入图片描述
    (a) 图像金字塔-----把输入图片缩放成不同尺度,经过同一个网络,最终融合多尺度下的物体信息
    (b)编码解码----编码器的高层次的特征容易捕获更长的距离信息,在解码器阶段使用编码器阶段的信息帮助恢复目标的细节和空间维度
    (c)在原网络最后层增加额外的context模块,如DenseCRF,或者串联几个不同感受野的卷积模块
    (d)空间金字塔池化----采用空间金字塔池化可以捕获多个层次的上下文

    在这里插入图片描述

    DeepLab v3+

    主要工作:

    1. 将原DeepLabv3当作encoder,添加decoder得到新的模型(DeepLab v3+);把spatial pyramid pooling module和Encoder-Decoder融合成一体:
      在这里插入图片描述
    2. modify xception作为backbone----把Xception和Depthwise separable convolution应用到Atrous Spatial Pyramid Pooling和decoder中。

    在这里插入图片描述

    修改点:
    更深的Xception结构,并不修改entry flow network结构
    所有的max pooling结构被stride=2的深度可分离卷积代替
    每个3x3的depthwise convolution都跟BN和Relu

    整体网络结构:

    在这里插入图片描述

    参考:

    1. 很细致的blog deeplab系列总结(deeplab v1& v2 & v3 & v3+)
    2. 简书: DeepLab系列之V1
    3. 知乎 深度学习|语义分割:DeepLab系列
    4. 官方PPT
    展开全文
  • DeepLab

    千次阅读 2019-09-17 22:50:34
    空洞卷积的使用 CRF在语义分割上的应用 传统上,CRF已被用于平滑噪声分割图。通常,这些模型包含耦合相邻节点的能量项,有利于相同标签分配空间近端像素。... 参考: deeplab; 论文 deeplab 1; 论文 deeplab 2;

    空洞卷积的使用

    CRF在语义分割上的应用
    传统上,CRF已被用于平滑噪声分割图。通常,这些模型包含耦合相邻节点的能量项,有利于相同标签分配空间近端像素。定性的说,这些短程的CRF主要功能是清除在手工特征基础上建立的弱分类器的虚假预测。

    简要概述

    空洞卷积可以在不增加参数的情况下增加感受野。
    通过两种方式来进行多尺度的处理:A.将原始图像的多种尺度喂给网络进行训练。B.通过平行的不同空洞率的空洞卷积层来获得。
    通过全连接条件随机场来进行后处理,以改善分割结果。

    在这里插入图片描述

    首先,强调使用空洞卷积,作为密集预测任务的强大工具。空洞卷积能够明确地控制DCNN内计算特征响应的分辨率,即可以有效的扩大感受野,在不增加参数量和计算量的同时获取更多的上下文。

    其次,我们提出了空洞空间卷积池化金字塔(atrous spatial pyramid pooling (ASPP)),以多尺度的信息得到更强健的分割结果。ASPP并行的采用多个采样率的空洞卷积层来探测,以多个比例捕捉对象以及图像上下文。

    最后,通过组合DCNN和概率图模型,改进分割边界结果。在DCNN中最大池化和下采样组合实现可平移不变性,但这对精度是有影响的。通过将最终的DCNN层响应与全连接的CRF结合来克服这个问题。


    参考:

    1. deeplab;
    2. 论文 deeplab 1;
    3. 论文 deeplab 2;
    展开全文
  • 1、Deeplab V1 《Semantic Image Segmentation with Deep Convolutional Nets and Fully Connected CRFS》 http://arxiv.org/pdf/1412.7062v3.pdf 由于卷积神经网络在提取特征时会将输入图像逐渐缩小,featuremap变...

    1、Deeplab V1

    《Semantic Image Segmentation with Deep Convolutional Nets and Fully Connected CRFS》
    http://arxiv.org/pdf/1412.7062v3.pdf
    由于卷积神经网络在提取特征时会将输入图像逐渐缩小,featuremap变小形成高级别的特征对分割任务并不适用,DeepLab采用了空洞卷积替换传统的卷积和fully connected CRF。为了利用已经训练好的VGG模型进行fine-tuning,又想改变网络结构得到更加dense的score map而引入的空洞卷积。

    1-空洞卷积的引入
    VGG16的原始模型,卷积层的卷积核大小统一为 3x3,步长为 1,最大池化层的池化窗口为 2x2,步长为2 。
    在这里插入图片描述
    改进是使用 1x1 的卷积层代替FC层,那么就变成了全卷积网络,输出得到的是得分图,也可以理解成概率图。将pool4和pool5的步长由2改为1, 这样在原本FC7的位置,VGG网络总的步长由原来的32变为8(总步长=输入size/特征图size)。一般来说,池化层的步长为2,池化后输出大小变为输入大小的一半。原VGG16模型有5次池化,缩小 2^5=32倍,修改后的VGG16有3次步长为2的池化,缩小 2^3=8倍,两次步长为1的池化,输出大小基本不变,所以说VGG网络总的步长由原来的32变为8。这样改的原因是为了获得更为稠密(dense)的score map。感受野是当前这一层的节点往前能看到多少前些层的节点,最直观的是与步长和pooling size有关。步长缩小之后感受野不变,但输出更加Dense密集,有利于分割结果的精细化
    在这里插入图片描述
    2-Fully connected CRF
    CRF就是Conditional Random Field (条件随机场),在图像处理领域的作用是平滑处理,在针对某个位置的像素值处理时会综合考虑周围像素的值,采用Fully connected CRF可以综合考虑全局信息,恢复详细的局部结构,如精确图形的轮廓。CRF几乎可以用于所有的分割任务中图像精度的提高
    在这里插入图片描述第一列是原图像和Ground Truth;第二列是DCNN的输出,上面是得分图(Score map),下面是置信图(Belief map)。最后一个DCNN层的输出用作CRF的输入。后面三列分别是CRF迭代1、2、10次后的得分图和置信图。

    2、DeepLab V2

    《DeepLab-v2: Semantic Image Segmentation 》
    https://arxiv.org/pdf/1606.00915.pdf
    Deeplabv2 在之前的基础上做了新的改进,引入ASPP(Atrous spatial pyramid pooling)使用多尺度multi-scale构造多感受野域,对最后输出的性能提升明显。
    使用空间金字塔池化的方法,代替原来对图像做预处理resize 的方法,使得输入图片可以具有任意尺度,而不影响神经网络中全连接层的输入大小,实现对图像大小和不同长宽比的处理,通过不同的空洞卷积对图像进行不同程度的缩放,得到不同大小的feature map,之后进行池化得到固定大小的图像,
    DeepLab V2有两个基础网络结构,一个是基于vgg16,另外一个是基于resnet101的。
    在这里插入图片描述在这里插入图片描述上图a为DeepLab-LargeFOV(仅单个atrous conv),b为DeepLab-ASPP。

    3、PSPNet

    《Pyramid Scene Parsing Network》
    https://arxiv.org/pdf/1612.01105.pdf

    通过多尺度 Pooling 的方式得到不同 Scale 的 Feature,Concat 得到判别的多尺度特征,对于输入图像,首先通过一个ResNet网络提取图像特征(feature map),如图(b);之后将得到的feature map输出到一个全局pool层,再通过一个Pyramid Pooling Module金字塔池化模块获得多个sub-region的特征表示,之后通过上采样(upsampling),并串联层(concat)所有特征,得到最后的特征表示向量,从而获得图像的局部和全局特征,如图©所示,图中从上到下四个卷积层,最后将得到的向量输入一个卷积层(卷积,用于减小维度),得到最后的预测结果。
    在这里插入图片描述
    并且引入额外的深度监督 Loss,除了使用softmax loss,还引入了res4b22 residule模块的loss2,并引入一个权重参数来控制loss2的权重,辅助分类器可以帮助优化学习过程。在这里插入图片描述

    4、Deeplab v3

    《Rethinking Atrous Convolution for Semantic Image Segmentation》
    https://arxiv.org/pdf/1706.05587.pdf

    空洞卷积是一种显式调整滤波器感受野和控制网络特征响应分辨率的有效工具。为了解决多尺度分割对象的问题,我们设计了采用级联或并行多个不同膨胀系数的空洞卷积模块,以更好的捕获上下文语义信息。此外,改进了在DeepLab V2中提出的ASPP模块,将BN层引入ASPP,采用全局平均池化进一步提升了它的性能,deeplabv3中,使用大采样率的3X3空洞卷积,图像边界响应无法捕捉远距离信息,会退化为1×1的卷积, 所以deeplabv3将图像级特征融合到ASPP模块中,去掉了 CRFs。
    文章讨论了四种利用上下文信息进行语义分割的全卷积网络(FCNs)如下,
    图像金字塔(Image pyramid):多个尺度的图片输入到一个相同的网络中,并将所有比例的特征图合并。
    编码器-解码器(Encoder-Decoder) 。应用有反卷积进行上采样、SegNet复用编码器中的池化索引,学习额外的卷积层来平滑特征响应、U-Net将编码器中的特征层通过跳跃连接添加到相应的解码器激活层中。
    上下文模块(Context module) 包含了额外的模块,采用级联的方式,用来编码远距离上下文信息。一种有效的方法是合并Dense CRF到DCNN中,共同训练DCNN和CRF。
    空间金字塔池化(Spatial pyramid pooling) 空间金字塔池化可以在多个范围内捕捉上下文信息。DeepLabv V2提出了空洞卷积空间金字塔池化(ASPP),使用不同采样率的并行空洞卷积层才捕获多尺度信息。PSPNet在不同网格尺度上执行空间池化,并在多个语义分割数据集上获得出色的性能。在这里插入图片描述在这里插入图片描述这篇论文还提出了三种改善ASPP的方法,涉及了像素级特征的连接、加入1×1的卷积层和三个不同比率下3×3的空洞卷积,还在每个并行卷积层之后加入了批量归一化操作。

    5、DeepLab V3+

    Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation
    https://arxiv.org/pdf/1802.02611.pdf
    在语义分割任务中,spatial pyramid pooling module(SPP)可以捕获更多尺度信息,encoder-decoder结构可以更好恢复物体的边缘信息。DeepLab V3+将DeepLab V3作为encoder,把Xception和深度可分离卷积Depthwise separable convolution(之前的文章介绍过)应用到ASPP和decoder中,encoder网络使用resnet101或 Xception,
    在这里插入图片描述文章还对Xception 改进作为backbone,介绍了两种backbone,一是Resnet101,二是改进后的xception。xception效果好于resnet。
    Xception 主要采用了deepwish seperable convolution来替换原来的卷积层。Entry flow 保持不变,但是添加了更多的 Middle flow。所有的 max pooling 被 depthwise separable convolutions 替代。在每个 3x3 depthwise convolution 之外,增加了 batch normalization 和 ReLU。
    在这里插入图片描述

    展开全文
  • 用卷积滤波器matlab代码DeepLab v2 介绍 DeepLab是基于的最先进的深度学习系统,用于语义图像分割。 它结合了(1)粗糙卷积以显式控制深度卷积神经网络中计算特征响应的分辨率;(2)粗糙空间金字塔池,以多个采样率...
  • deeplab.pptx

    2020-05-08 15:25:31
    本ppt包含了deeplab v1、deeplab v2、deeplab v3、deeplab v3+的个主要模块以及改进过程
  • DeepLab with PyTorch This is an unofficial PyTorch implementation of DeepLab v2 [1] with a ResNet-101 backbone. COCO-Stuff dataset [2] and PASCAL VOC dataset [3] are supported. The official Caffe ...
  • DeepLab_V3图像语义分割网络 语义分割DeepLab_V3 CNN的实现,如。 有关此实现的完整文档,请查看。 依存关系 Python 3.x 脾气暴躁的 Tensorflow 1.10.1 资料下载 评价 预训练模型。 将checkpoints文件夹放在./...
  •  Deeplab目前最新的版本是V3+,这个系列一直都有不错的语义分割表现,所以这一次我还是选择了它来了解一下。  论文地址:https://arxiv.org/pdf/1706.05587v1.pdf(Deeplab V3);和...
  • deeplab系列总结(deeplab v1& v2 & v3 & v3+)

    万次阅读 多人点赞 2018-07-21 21:34:15
    最近花了几天时间把deeplab系列撸了一遍,直观感受是不如当初看RCNN系列来的激动啊......像RPN这种划时代的改变没有看到--直奔主题。 Deeplab v1&v2 paper:deeplab v1&& deeplab v2 远古版本的deep...
  • DeepLab V3 Plus的高性能Pytorch实现 介绍 此存储库是(重)实现的PyTorch中的语义图像分割,用于在PASCAL VOC数据集上进行语义图像分割。 此回购协议的mIuU高于纸面结果的78.85%,为79.19%。 要求 在运行脚本之前...
  • 用卷积滤波器matlab代码训练DeepLab进行语义图像分割 马丁·科斯纳(Martin Kersner), 该存储库包含用于使用和进行培训的脚本。 和论文分别描述了使用强注释数据和弱注释数据的训练过程。 git clone --recursive ...
  • pytorch-deeplab-v3-plus PyTorch中的DeepLab-v3 +
  • deeplab-demo 使用Deeplab进行图像分割 @article {deeplabv3plus2018,title = {具有Atrous可分离卷积的编码器-解码器进行语义图像分割},作者= {Liang-Chieh Chen和Yukun Zhu和George Papandreou和Florian Schroff...
  • deepLab

    千次阅读 2016-05-30 07:20:29
    1.matio can't find HDF5 libraries change file /densecrf/makefile as: g++ refine_pascal_v4/dense_inference.cpp util/Timer.h libDenseCRF.a $(CC) refine_pascal_v4/dense_inference.cpp -o prog_refine
  • pytorch-deeplab-resnet 模型实现。 deepLab-ResNet的体系结构已完全复制自caffe实现。 该体系结构可在多个比例(1x,0.75x,0.5x)上计算输入图像上的损耗。 在这三个等级上分别计算损失。 除了这3个损失外,在将...
  • 用卷积滤波器matlab代码DeepLab v2 support cudnn-v5 使用最新的Caffe / Master升级。 所有层都是最新的。 支持Pascal architecture和cudnn-v5 。 欢迎测试和调试:) 介绍 DeepLab是基于的最先进的深度学习系统,用于...
  • DeepLab系列

    2019-11-21 12:00:44
    DeepLab
  • deeplab 官方PPT

    2018-07-22 19:50:12
    deeplab 官方PPT
  • pytorch-deeplab-xception Update on 2018/12/06. Provide model trained on VOC and SBD datasets. Update on 2018/11/24. Release newest version code, which fix some previous issues and also add support for...
  • Deeplab v2-ADE20K 结合Deeplab v2和场景分类神经网络进行的场景相关的语义分割实验代码,源代码调整不多,主要是为了适应本地编译环境和cudnn库版本的更改。 实验相关的代码更改主要在ade20k文件夹下和evaluation...
  • Deeplab v2

    2017-11-13 17:00:29
    deeplab-v2 基于vgg训练自己的数据的prototxt 和cityscapes的prototxt
  • Panoptic-DeepLab(CVPR 2020) Panoptic-DeepLab是最先进的自下而上的全景分割方法,其目的是为输入图像中的每个像素分配语义标签(例如人,狗,猫等)实例标签(例如ID为1、2、3等)到属于事物类别的像素。 这是...
  • matlab高斯金字塔代码DeepLab v2 介绍 DeepLab是基于的最先进的深度学习系统,用于语义图像分割。 它结合了(1)粗糙卷积以显式控制深度卷积神经网络中计算特征响应的分辨率;(2)粗糙空间金字塔池,以多个采样率和...
  • pytorch-deeplab-xception 于2018/12/06更新。 提供在VOC和SBD数据集上训练的模型。 于2018/11/24更新。 发布最新版本的代码,该代码可以解决一些以前的问题,并增加对新主干和多GPU培训的支持。 有关以前的代码,...
  • 用卷积滤波器matlab代码DeepLab v2 介绍 DeepLab是基于的最先进的深度学习系统,用于语义图像分割。 它结合了(1)粗糙卷积以显式控制深度卷积神经网络中计算特征响应的分辨率;(2)粗糙空间金字塔池,以多个采样率...
  • Deeplab v2.docx

    2017-10-31 13:43:59
    Deeplab v2.docx ubuntu deeplab v2
  • deeplab v2 list

    2017-12-21 14:57:54
    deeplab v2 list download
  • 一、DeepLab简述 二、DeepLab怎么使用 1、配置 2、代码解析 前言 最近在接触一个项目,要用到语义分割,如果大家有什么问题,都可以跟我沟通交流。除了通过博客交流外,欢迎你加入我的QQ群,一起交流有关于...
  • deeplab系列

    2019-12-23 21:01:19
    deeplab系列综合分析 deeplab v1论文详解 deeplab v1 pytorch 实现 deeplab v1论文

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 12,578
精华内容 5,031
关键字:

deeplab