精华内容
下载资源
问答
  • 2021-08-12 00:37:37

    来源:UNknown知识库

    转载自新机器视觉

    仅做学术分享,若侵权,请联系删文

    ▍一、医学图像分割简介

    医学影像分割是医学影像分析中的重要领域,也是计算机辅助诊断、监视、干预和治疗所必需的一环,其关键任务是对医学影像中感兴趣的对象(例如器官或病变)进行分割,可以为疾病的精准识别、详细分析、合理诊断、预测与预防等方面提供非常重要的意义和价值。

    在医学影像分割任务中,目前主要存在以下几个难点:

    1. 标注数据少。造成该问题的一个重要的原因是收集标注困难,手工标注医学影像是一个费时费力的过程,而这个标注过程在实际的临床实践中可能并不需要。

    2. 传感器噪声或伪影。现代医学影像最基本的成像模态有 X 光、超声、CT 和 MRI 等,用于成像的医学设备会存在物理噪声和图像重建误差,而医学影像模态和成像参数设定的差别则会造成不同大小的伪影。

    3. 分割目标形态差异大。患者之间存在高矮胖瘦等体型差异,且病变的大小、形状和位置可能存在巨大差异,因此解剖结构上会有差异。不同的分割部位也存在差异,往往需要不同的算法,有时还需要考虑到先验知识的加入。

    4. 组织边界信息弱。人体内部的一些器官都是具有相似特征的软组织,它们相互接触且边界信息非常弱,而胰腺肿瘤、肝肿瘤、肾脏肿瘤等边界不清楚的肿瘤往往还非常小,导致很难被识别到。

    ▍二、基于 U-Net 的医学影像分割算法

    1

    U-Net

    U-Net 是医学影像分割领域著名的一个网络架构,在 2015 年由 Ronneberger等人参加 ISBI Challenge 提出的一种基于 FCN 的分割网络。经过修改和扩展后的 U-Net 能够适应很小的训练集,并且输出更加精确的分割结果。U-Net 的上采样过程中依然有大量通道,这使得网络将上下文信息向更高分辨率传播,且其扩展路径与收缩路径对称,形成了一个 U 型的形状段,并通过跳跃连接的方式融合来自不同阶段的特征图。

    图1 U-Net 网络架构

    当面对医学影像分割任务时,U-Net 这种扩展路径和收缩路径所组成的编码—解码的网络架构成为了首选,同时发展出很多变体。

    2

    加入密集连接的 U-Net 算法

    密集连接的思想来自于 DenseNet,在 DenseNet 出现之前,卷积神经网络的进化一般通过层数的加深或者加宽进行,DenseNet 通过对特征的复用提出了一种新的结构,不但减缓了梯度消失的现象同时模型的参数量也更少。U-Net++ 网络架构在 2018 年被 Zhou 等人提出,创新点在于将密集连接加入 U-Net 网络,从而引入深度监督的思想,并通过重新设计的跳跃连接路径把不同尺寸的U-Net 结构融入到了一个网络里。在原始的U-Net网络架构上,UNet++ 加入了更多的跳跃连接路径和上采样卷积块,用于弥补编码器和解码器之间的语义鸿沟。中间隐藏层使用的深度监督一方面可以解决 U-Net++ 网络训练时的梯度消失问题,另一方面允许网络在测试的阶段进行剪枝,减少模型的推断时间。

    图2 U-Net++网络架构

    U-Net++ 网络架构的第一个优势就是精度的提升,这是由于它整合了不同层次的特征,第二个是灵活的网络结构配合深度监督,让参数量巨大的深度神经网络在可接受的精度范围内大幅度地缩减参数量。但是因为多次跳跃连接操作,同样的数据在网络中会存在多个复制,模型训练时的显存占用相对较高,需要采用一些显存优化技术来更好地训练模型。

    3

    融合残差思想的 U-Net 算法

    神经网络因为宽度和深度的增加,会面临梯度消失或梯度爆炸引起的网络退化问题,为此 He 等人提出了残差网络(ResNet)。残差块的输入通过残差路径直接叠加到残差块的输出之中,残差块会尝试去学习并拟合残差以保证增加的网络层数不会削弱网络的表达性能。

    图3 ResNet 残差学习块

    2019年 Ibtehaz 等人提出了 MultiResUNet 网络,MultiResUNet 运用残差思想改造了 U-Net 中的卷积块和跳跃连接。MultiResNet 使用一系列 3×3 卷积核来模拟 5×5 卷积核和 7×7 卷积核的感受野,卷积块的输入经过 1×1 卷积核后经由残差路径直接与卷积后的输入叠加,作者称之为 MultiResblock,在减少网络计算量的同时可以提取不同尺度的空间特征。作者同时提出了 ResPath 来减少跳跃连接过程中所丢失的空间信息,ResPath 由一系列的 3×3 卷积、1×1卷积和残差路径组成,编码器的输入特征图经过 ResPath 与解码器特征图连接,一方面减少了语义鸿沟,另一方面增强了网络的学习能力。

    图4 MultiResUNet 网络架构

    图5 MultiResUNet 的 MultiRes block 和 Res Path

    4

    集成注意力机制的 U-Net 算法

    注意力机制借鉴了人类的注意力思维方式,最初被应用于基于 RNN 循环神经网络模型的图像分类、自然语言处理等深度学习任务中并取得了显著成果。2018年 Oktay 等人提出了 Attention U-Net 网络架构。AttentionU-Net 在对扩展路径每个阶段上的特征图与收缩路径中对应特征图进行拼接之前,使用了一个注意力门抑制无关区域中的特征激活来提高模型的分割准确性,在达到高分割精度的同时而无需额外的定位模块。与 U-Net 和相比,AttentionU-Net 在胰腺和腹部多器官分割数据集上,提升了分割的精度,同时减少了模型训练和推理的时间。

    图6 Attention U-Net网络架构

    5

    面向 3D 影像的 U-Net 算法

    3D U-Net 网络架构是原始 U-Net 网络架构的一个简单扩展,由 U-Net 的研究团队在 2016 年提出并应用于三维图像分割。因为电脑屏幕上只能展示二维的切片,所以直接在三维层面上标注分割标签比较困难。与此同时,相邻的二维切片往往包含了近似的图片信息。基于上述两个事实,作者提出了只需要稀疏标注的二维图像进行训练的 3D U-Net 网络架构。3D U-Net 通过将 U-Net 原来的 2D 卷积、池化、上采样操作替换成对应的 3D 操作,并加入 Batch Normalization 层实现了对三维医学影像的直接分割。

    2016年 Milletari 等人提出了 V-Net 网络架构,是原始 U-Net 网络架构的另一种 3D 实现。V-Net 相比 3D U-Net 最大的亮点在于吸收了 ResNet 的思想,在网络拓展路径和收缩路径的每个阶段中都引入残差学习的机制。同时,V-Net 以步长为 2 的 2×2×2 卷积核取代拓展路径里的池化操作来降低特征图的分辨率。

    V-Net 和 3D U-Net 都是针对三维医学影像所直接构建的端到端的深度卷积神经网络,目的是运用 3D 卷积从三维进行编码,以良好的分割某些在二维没有明显表征的病理。3D分割算法在利用医学影像的三维组织连通性方面具有优势,但相较2D分割算法其参数量更多,训练和推理过程对设备的算力要求更高。


    参考资料:彭璟,罗浩宇,赵淦森等《深度学习下的医学影像分割算法综述》

    本文仅做学术分享,如有侵权,请联系删文。

    下载1

    在「3D视觉工坊」公众号后台回复:3D视觉即可下载 3D视觉相关资料干货,涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。

    下载2

    在「3D视觉工坊」公众号后台回复:3D视觉github资源汇总即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总等。

    下载3

    在「3D视觉工坊」公众号后台回复:相机标定即可下载独家相机标定学习课件与视频网址;后台回复:立体匹配即可下载独家立体匹配学习课件与视频网址。

    重磅!3DCVer-学术论文写作投稿 交流群已成立

    扫码添加小助手微信,可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群,旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

    同时也可申请加入我们的细分方向交流群,目前主要有3D视觉CV&深度学习SLAM三维重建点云后处理自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。

    一定要备注:研究方向+学校/公司+昵称,例如:”3D视觉 + 上海交大 + 静静“。请按照格式备注,可快速被通过且邀请进群。原创投稿也请联系。

    ▲长按加微信群或投稿

    ▲长按关注公众号

    3D视觉从入门到精通知识星球:针对3D视觉领域的视频课程(三维重建系列三维点云系列结构光系列手眼标定相机标定orb-slam3等视频课程)、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕,更有各类大厂的算法工程人员进行技术指导。与此同时,星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息,打造成集技术与就业为一体的铁杆粉丝聚集区,近2000星球成员为创造更好的AI世界共同进步,知识星球入口:

    学习3D视觉核心技术,扫描查看介绍,3天内无条件退款

     圈里有高质量教程资料、可答疑解惑、助你高效解决问题

    觉得有用,麻烦给个赞和在看~  

    更多相关内容
  • 智能优化算法、神经网络预测、信号处理、元胞自动机、图像处理、路径规划、无人机等多种领域的Matlab仿真代码
  • 基于matlab区域生长的肝影像分割系统,通过区域生长法进行医学影像分隔并结合不同的处理方法进行效果改进,仿真代码亲测可用,有很高的参考价值
  • 针对噪声导致高分辨遥感影像分割存在过分割或者欠分割的问题, 提出结合相位一致和分水岭变换的高分辨率影像分割方法。该方法首先采用基于光谱相似性的相位一致的模型方法来获得边缘响应幅度, 再采用自动标记分水岭...
  • 遥感影像分割方法研究,孔令然,曾繁慧,图像分割是数字图像处理中的一项关键技术,它使得其后的图像分析,识别等高级处理阶段所要处理的数据量大大减少,同时又保留有关
  • 在Meyer算法的基础上,提出一种改进的标记分水岭遥感影像分割方法,该方法针对高空间分辨率遥感影像的特点,依据梯度影像的分布特征自动提取合适的标记影像。浸没过程中,非标记像素按照梯度值由小到大进行处理,并...
  • 易康(eCognition)影像分割尺度参数工具ESP1andESP2,两个分别在2010年和2014年开发出来,2014年版的是改进版
  • 《一百层提拉米苏:用于语义分割的全卷积密集网络》 SimonJégou,Michal Drozdzal,David Vazquez,Adriana Romero,Yoshua Bengio Mychange 输入尺寸:512x512 使用7x7转换和2x2向下采样到256x256 使用2x2 ...
  • 基于谱聚类的极化SAR影像分割改进算法.pdf
  • 目前最新的计算断层成像(CT)、核磁共振成像(MRI)、超声影像(US)等多模态医学成像技术不仅可以实现对肿瘤病变高分辨率的成像,同时还能够结构及功能多模态成像,从而实现对肿瘤病变无创检测。还作为最常用的...
  • 针对高分辨率遥感影像中同物异谱和同谱异物导致的分割困难问题,提出一种层次高斯混合模型(HGMM)快速遥感影像分割算法.首先采用HGMM构建影像的统计模型,其具有准确建模像素强度统计分布呈现的非对称、重尾和多峰等...
  • 将基于像素MRF分割方法拓展到基于地物目标几何约束的区域MRF分割,提出了一种基于区域和统计的纹理影像分割方法,其基本思想是利用Voronoi划分技术将影像域划分为若干子区域。在此基础上,采用二值高斯马尔科夫随机...
  • 医学影像分割是计算机视觉在医学影像处理中的一个重要应用领域,其目标是从医学影像中分割出目标区域,为后续的疾病诊断和治疗提供有效的帮助。
  • 医学影像分割是从二维或三维医学影像中检测出目标对象的边界,获取正常 组织器官及肿瘤病变区域,其分割技术在诊断的形态和解剖分析、治疗前的活检 引导与路径规划、治疗中的跟踪与定位、预后的病情进展变化等方面...
  • 医学影像分割是计算机辅助诊断中的一项基础且关键的任务,目的在于从像素级别准确识别出目标器官、组织或病变区域。不同于自然场景下的图像,医学影像往往纹理复杂,同时受限于成像技术和成像设备,医学影像噪声大,...
  • 医疗影像分割

    千次阅读 2022-02-10 18:59:06
    介绍内容:医学影像常用图像格式: (1)DICOM (2)MHD/RAW (3)NRRD 1.1 U-Net的架构 U-Net的U形结构如下图所示。网络是一个经典的全卷积网络(即网络中没有全连接操作)。属于FCN的改进型。从某种意义上来说U-...

    1.U-Net

    看了好几个帖子这个讲的比较贴!!

    介绍内容:医学影像常用图像格式:
    (1)DICOM
    (2)MHD/RAW
    (3)NRRD

    1.1 U-Net的架构

    U-Net的U形结构如下图所示。网络是一个经典的全卷积网络(即网络中没有全连接操作)。属于FCN的改进型。从某种意义上来说U-Net整体的流程是编码和解码(encoder-decoder)的过程,信息的压缩就是编码,信息的提取就是解码,比如图像,文本,视频的压缩与解压。

    网络的输入是一张 572x572 的边缘经过镜像操作的图片(input image tile)

    网络路径分为两个部分:
    (1) 压缩路径(contracting path)
    网络的左侧(红色虚线)是由卷积和Max Pooling构成的一系列降采样操作,论文中将这一部分叫做压缩路径(contracting path)。
    压缩路径由4个block组成,每个block使用了3个有效卷积和1个Max Pooling降采样,每次降采样之后Feature Map的个数乘2,因此有了图中所示的Feature Map尺寸变化。最终得到了尺寸为 16x16 的Feature Map。

    (2) 扩展路径(expansive path)
    扩展路径旨在提高输出的分辨率。对于定位,采样输出与整个模型的高分辨率特征相结合。然后,序列卷积层旨在基于该信息产生更精确的输出。

    网络的右侧部分(绿色虚线)在论文中叫做扩展路径(expansive path)。同样由4个block组成,每个block开始之前通过反卷积将Feature Map的尺寸乘2,同时将其个数减半(最后一层略有不同),然后和左侧对称的压缩路径的Feature Map合并,由于左侧压缩路径和右侧扩展路径的Feature Map的尺寸不一样,U-Net是通过将压缩路径的Feature Map裁剪到和扩展路径相同尺寸的Feature Map进行归一化的(即下图中左侧虚线部分)。扩展路径的卷积操作依旧使用的是有效卷积操作,最终得到的Feature Map的尺寸是 388x388 。由于该任务是一个二分类任务,所以网络有两个输出Feature Map。
    在这里插入图片描述

    1.2 预处理(增加对比度、去噪)

    在U-Net当中用的图像预处理的去噪方式是基于曲率驱动的图像去噪

    在图像去噪领域,由于高斯低通滤波对图像所有高频成分不加区别地减弱,从而在去噪的同时也使边缘模糊化。

    自然图像中的物体所形成的等照度线 (包括边缘)应该是足够光顺的曲线 ,即这些等照度线的曲率的绝对值应该足够小.当图像受到噪音污染后 ,图像的局部灰度值发生随机起伏导致等照度线的不规则振荡,形成局部曲率很大的等照度线,因此顺应曲率变化对图像所有高频成分加以区别地减弱,从而达到图像去噪的效果会很好。根据这一原理,可以进行图像去噪。

    1.2 卷积块模型

    在这里插入图片描述

    1.3 目标函数-Dice系数

    Dice距离用于度量两个集合的相似性,因为可以把字符串理解为一种集合,因此Dice距离可用于计算两个字符串的相似度和图形掩码区域的差异。
    Dice系数定义如下:
    在这里插入图片描述Dice 系数的取值范围为0到1。在形式上,Dice 系数和Jaccard指数(A交B除以A并B)没多大区别,可以相互之间进行转换。

    有关损失函数:同样的在U-NET里面用到损失函数和FCN类似都是带边界权值的损失函数,不过结合了 Dice 损失计算,即标准二进制交叉熵和 Dice 损失计算的函数:
    在这里插入图片描述

    1.4 图像增强的方法

    原始数据集仅有几十例,远不足以训练7层U-Net这样具有5000W+个参数的深层次网络。在这里用到了keras自带的图像数据增强技术,对原始数据做平移、旋转、扭曲等操作(包括对应的标注数据) 。
    在这里插入图片描述
    其中对于平移和旋转主要用到的是仿射变换

    对于扭曲操作,比较重要的一个方式就是弹性形变介绍贴):
    弹性形变:
    在原有点阵上,叠加正负向随机距离形成“插值位置”矩阵,然后计算每个插值位置上的灰度,形成新的点阵[Simard,2003],以实现图像内部的扭曲变形。具体理论步骤可以看介绍贴。
    在这里插入图片描述

    1.5 U-net问题遗留

    (1)组织器官的顶层截面和底层截面与中部截面差异过大而不易识别;(2)不同扫描影像之间有较大的外观变异而不易识别;
    (3)磁场不均匀性引起的伪影和畸变,导致不易识别。

    2. 3D U-Net

    为什么需要3D U-net?
    生物医学影像(biomedical images)很多时候都是块状的,也就是说是由很多个切片(slice)构成一整张图的存在。如果是用2D的图像处理模型(U- Net)去处理3D本身不是不可以,但是会存在一个问题,就是不得不将生物医学影像的图片一个slice一个slice成组的(包含训练数据和标注好的数据)的送进去设计的模型进行训练,而以逐片方式对大量3维影像进行注释是繁琐的而低效的,因为相邻的切片显示几乎相同的信息。而且在这种情况下会存在一个效率问题,因而很多时候处理块状图的时候会很复杂,并且数据预处理的方式也相对比较繁琐(tedious)。
    所以3D -Net模型就是为了解决效率的问题,并且对于块状图的切割只要求数据中部分切片被标注即可。

    3D U-net的两种方法:
    具体有两种方法:
    (1)一个是半自动设置,在一个稀疏标注的数据集上训练并在此数据集上预测其他未标注的地方;

    (2)在多个稀疏标注的数据集上训练,然后泛化到新的数据。
    在这里插入图片描述上图很好地表达了论文中的两种方法:
    (a)利用少部分切片做完整的密集预测(立体分割);
    (b)在标注的数据集上训练模型,再应用到新的无标注数据上直接做密集预测。

    2.1 3D U-Net网络结构

    3D Unet网络的结构和2D Unet网络十分相似,只不过是把所有的2D操作全部替换成了3D操作。即3D U-NET网络以3D数据作为输入,并用相应的操作来处理数据,包括3D卷积、3D最大池和3D向上卷积层。
    假设输入数据的大小为 a1 × a2 × a3,通道数为 c,过滤器大小为f,即过滤器维度为 f × f × f × c,过滤器数量为 n。则三维卷积最终的输出为 ( a1 - f + 1 ) × ( a2 - f + 1 ) × ( a3 - f + 1 ) × n 。
    在这里插入图片描述除此以外的区别在于通道数翻倍的时机和反卷积操作。在2D Unet中,通道数翻倍的时机在下采样后的第一次卷积时;而在3D Unet中,通道数翻倍发生在下采样或上采样前的卷积中。对于反卷积操作,区别在于通道数是否减半,2D Unet中通道数减半,而3D Unet中通道数不变。
    此外,3D Unet还使用batch normalization来加快收敛和避免网络结构的瓶颈。

    3D U-net的具体结构即细节:
    与二维的U-NET一样,它具有压缩路径(分析路径)和扩展路径(合成路径),该架构总共有19069955个参数

    在这里插入图片描述下面对细节进行介绍:
    (1)在压缩路径中,每一层包含两个3×3×3个卷积,每一个都跟随一个(Relu),然后在每个维度上有2×2×2最大池合并两个步长。
    在这里插入图片描述(2)在扩展路径中,每个层由2×2×2的上卷积组成,每个维度上步长均为2,接着是两个3×3×3个卷积,然后是Relu。
    在这里插入图片描述(3)在压缩路径中从相等分辨率层的shortcut连接提供了扩展路径的基本高分辨率特征。
    在这里插入图片描述(4)在最后一层中,1×1×1卷积减少了输出通道的数量,标签的数量是3。
    在这里插入图片描述

    可以看到整体结构和细节与U-Net基本类似,这里主要强调一下几点:
    (1)与U-Net输入相比,这里输入是立体图像(132×132×116),并且是3个channel
    (2)ReLU之前加了BN层,来加快收敛和避免网络结构的瓶颈。
    (3)通过在最大池化之前加倍doubling通道数量channels来避免bottlenecks。

    3. V-Net

    Vnet是也针对3D图像提出来的模型。V-Net 就是对U-net的一个变形。此时的数据集可以直接用3D数据集。最后输出的也是单通道的3D数据。它可以很好地处理前景和背景体素数量之间存在严重不平衡的情况
    在这里插入图片描述网络结构细节和创新点:

    1.引入残差

    这里需要特别说明的,也是Vnet和Unet最大的不同,就是在每个stage中,Vnet采用了ResNet的短路连接方式(灰色路线),。相当于在Unet中引入ResBlock。这是Vnet最大的改进之处。类似于使用了跃层连接。
    在这里插入图片描述

    而在水平方向的残差链接还是借用了Unet从压缩路径叠加feature map的方法,从而补充损失信息的方法(黄色线路)。即把缩小端的底层特征送入放大端的相应位置帮助重建高质量图像,并且加速模型收敛。
    在这里插入图片描述

    2.基于Dice 系数的新型目标函数
    同样是基于Dice系数,但是不用单纯的ReLU了,用的目标函数是PReLU,是指增加了参数修正的 ReLU,其中参数α需要训练学习。
    在这里插入图片描述

    3.卷积层代替上采样和下采样的池化层
    每个stage的末尾使用卷积核为2x2x2,stride为2的卷积,特征大小缩小一半。即使用适当步幅(大于1)的3D卷积来减小数据的大小。
    在这里插入图片描述这个过程更为直观的显示如下,前半段为卷积代替池化缩小尺寸:
    在这里插入图片描述

    4.末端处理

    网络末尾加一个111的卷积,处理成与输入一样大小的数据,然后接一个softmax最,在softmax之后,输出由背景和前景的概率图组成。
    具有较高概率(>0.5)的体素属于前景,而不是背景,被认为是组织器官的一部分。
    在这里插入图片描述

    5.改进数据扩充方法
    (1)利用 2x2x2的网格控制点和B-spline得到密集形变场对图像进行随机形变。
    (2)直方图匹配

    4.DenseNet(为了引出FC-DenseNet)

    一个关于DenseNet特点和细节比较完整的解读贴
    首先要确认DenseNet是一种全新的连接模式,和ResNet以及GoogleNet的用途差不多。

    前些年卷积神经网络提高效果的方向:
    (1)要么深,加深网络层数,比如ResNet,解决了网络深时候的梯度消失问题
    (2)要么宽,加宽网络结构,比如GoogleNet的Inception
    DenseNet脱离了加深网络层数(ResNet)和加宽网络结构(Inception)来提升网络性能的定式思维
    从特征feature的角度考虑,通过特征重用和旁路(Bypass)设置,既大幅度减少了网络的参数量,又在一定程度上缓解了gradient vanishing问题的产生.结合信息流和特征复用的假设

    4.1 DenseNet的几大优点:

    (1)减轻了vanishing-gradient(梯度消失)

    (2)加强了feature的传递性,更有效地利用了feature

    (3)一定程度上减少了参数数量

    (4)强调参数有效性,参数使用效率高

    (5)隐式深层监督,short paths;

    (6)抗过拟合,尤其是训练数据匮乏时

    4.2 DenseNet的网络结构

    实际上DenseNet的核心就是在保证网络中层与层之间最大程度的信息传输的前提下,直接将所有层连接起来!

    先放一个dense block的结构图。
    在这里插入图片描述

    在传统的卷积神经网络中,如果你有L层,那么就会有L个连接,但是在DenseNet中,会有L(L+1)/2个连接。简单讲,就是每一层的输入来自前面所有层的输出。如下图:x0是input,H1的输入是x0(input),H2的输入是x0和x1(x1是H1的输出),以此类推:
    在这里插入图片描述

    具体网络结构图
    这个Table1就是整个网络的结构图。这个表中的k=32,k=48中的k是growth rate,表示每个dense block中每层输出的feature map个数。
    为了避免网络变得很宽,作者都是采用较小的k,比如32这样,作者的实验也表明小的k可以有更好的效果

    根据dense block的设计,后面几层可以得到前面所有层的输入,因此concat后的输入channel还是比较大的。
    (1)bottleneck layer:在每个dense block的33卷积前面都包含了一个11的卷积操作,这就是所谓的bottleneck layer
    目的是减少输入的feature map数量,既能降维减少计算量,又能融合各个通道的特征。

    (2)Translation layer:为了进一步压缩参数,在每两个dense block之间又增加了11的卷积操作。这就是增加了这Translation layer,该层的11卷积的输出channel默认是输入channel到一半。

    对于DenseNet-C这个网络就是加了Translation layer
    对于DenseNet-BC这个网络,表示既有bottleneck layer,又有Translation layer。

    在这里插入图片描述

    5.FC-DenseNet

    在该网络和U-Net其实本质上没太大区别,就是压缩路径和扩张路径的结合,只不过在FC-DenseNet中使用了Dense Block和Transition Up来代替了全卷积网络中的上采样操作,其中Transition Up使用转置卷积上采样特征图,然后与跳层的特征Concatenation一起成为新的Dense Block的输入。使用这种跳层解决Dense Block中特征损失的问题。

    5.1 FC-DenseNet网络结构

    在这里插入图片描述
    如上图所示:
    在FC-DenseNet右侧使用Dense block和transition up替换FC上采样的卷积操作。Transition up 使用转置卷积上采样特征图,与跳层传来的特征串联,生成新的dense block的输入。
    但这样会带来特征图数目的线性增长,为了解决这个问题,dense block的输入不与它的输出串联。同时引入跳层的结构来解决之前dense block特征损失的问题

    那么什么叫dense block的输入不与它的输出串联?下面对dense block 模块展开介绍:
    (1)Dense Block模块

    dense block 结构如下图,令第一层输入x0有m个特征图,第一层输出x1有k个特征图,这k个特征图与m个特征图串联,作为第二层的输入,如此重复n次;
    第N层的layer层输出后与前面的layer输出合并,共有N×k个特征图。而且输入m不与输出串联。
    在这里插入图片描述
    (2)具体网络结构

    展开全文
  • 遥感影像分割 多尺度分割 ESP2 最优参数估计 自动寻参工具
  • 分水岭分割是一种应用较广泛的影像分割方法,它能自动生成单像素宽度的封闭轮廓,但需要把影像分割成过多小区域,从而导致影像分割耗时且工作量大。本文就此提出一种分水岭和多尺度相结合的高分辨率影像分割方法。该...
  • 首先,通过像素光谱测度定义多种统计特征,根据定义的各个特征提取特征影像并分别实现影像分割,利用其结果构建模糊决策矩阵;然后,基于像素定义特征间的模糊偏好关系矩阵,计算不同特征对最终分割决策的权重,并对模糊...
  • MeanShift算法广泛应用于自然场景图像和医学图像分割中,针对MeanShift算法分割遥感图像的边界模糊和精度不高的问题,文中提出一种全新...实验结果表明:本方法相比传统的MeanShift遥感影像分割方法能得到更好的分割效果。
  • 在此基础上, 定义区域FCM目标函数, 通过迭代最小化该目标函数实现高分辨率遥感影像分割. 实验结果表明, 与基于像素的FCM和增强FCM方法相比, 所提出方法可以更加精确地实现高分辨率遥感影像分割.</p>
  • 针对现有方法对肝部医学影像分割上的不足,提出了一种用于对肝部医学影像进行分割的改进型U-Net结构。在上采样过程中只复制池化层特征,以减少信息丢失;同时引入残差网络对初步分割图像进行循环精炼,实现高层特征与低...
  • 主动深度学习用于医学影像分割 之间的联合合作: 抽象的 我们提出了一种新颖的主动学习框架,该框架能够以有限数量的训练标记数据有效地训练用于医学影像语义分割的卷积神经网络。 我们的贡献是一种实用的具有成本...
  • 在Meyer算法的基础上,提出一种改进的标记分水岭遥感影像分割方法,该方法针对高空间分辨率遥感影像的特点,依据梯度影像的分布特征自动提取合适的标记影像。浸没过程中,非标记像素按照梯度值由小到大进行处理,并...
  • 采用SVM方法估计似然概率,克服了混合高斯...最后利用改进的建模方法,在序贯最大后验概率估计算法框架下进行影像分割。通过对人工合成影像和实际遥感影像的分割实验结果分析,证明了本文方法能够有效提高分割效果。
  • 提出了一种基于不确定性的、顾及几何特征的遥感影像分割方法。该方法用分水岭算法对原影像进行分割获得初始分割图斑,再将图斑抽象成云模型,以云模型实现图斑对象表达;在基于云概念的光滑度、紧凑度定义的基础上,...
  • 对象置信度指引下的高分辨率遥感影像分割.pdf,如何减小分割结果与实际地理对象间的差异,是目前高分辨遥感影像分割中面临的一个难点问题。为此,构建了一种新的对象置信度(OC)指标来衡量任意区域与地理对象间的...
  • 这个例子是基于区域生长的肝影像分割系统,有详细的说明,可以直接运行
  • ITK和VTK结合实现医学三维影像分割教程,ITK使用说明,VTK使用说明, 学习入门实践,图像分割
  • 图像分割技术为遥感图像解译和分类的一种重要方法,目前主要应用在中分辨率影像中,由于高分辨率影像的信噪比低,直接进行图像分割,效果不佳....结果表明,灰度迭代阈值法在时间效率及影像分割效果方面优于最大类间方差法.

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 19,331
精华内容 7,732
关键字:

影像分割