精华内容
下载资源
问答
  • 医学图像

    2021-05-13 11:09:42
    医学图像(矢状面、冠状面、横断面) 医学图像三维体数据中的矢状面、冠状面、横断面怎么区分,分别是哪个方向,如图所示:

    医学图像(矢状面、冠状面、横断面)

    医学图像三维体数据中的矢状面、冠状面、横断面怎么区分,分别是哪个方向,如图所示:
    在这里插入图片描述

    展开全文
  • 我提供了一个将 DICOM 医学图像作为输入并将其转换为 NRRD 医学图像的函数。 用户必须在代码中设置 NRRD 的参数。 代码用英文正确注释。 欢迎任何意见或建议。 谢谢, 耶苏斯·蒙格(JesúsMonge)。
  • 医学图像处理医学图像医学图像处理处理医学图像处理
  • 医学图像分割

    2018-04-25 15:40:25
    医学图像分割
  • 医学图像配准

    2018-10-19 09:54:35
    非刚性网格的图像配准算法,适用于医学图像重的图像配准算法,效果很好
  • 医学图像重建中的CT数据校正方法医学图像重建中的CT数据校正方法
  • 该资源与医学图像处理 图像编码,旋转和匹配博客对应。为该博客中的程序即素材资源
  • 医学图像手册

    2017-06-04 12:49:51
    医学图像手册,里面包含了图像成像原理,图像质量的提升。
  • 用于医学图像融合的已经配准的医学图像
  • 医学图像处理

    2018-07-08 18:27:10
    医学图像处理 PDF 电子书 图像分割、配准、融合、重建、增强、滤波、锐化等、、、、、、、、、、
  • 显示医学图像

    2018-08-09 22:20:30
    本代码可以用于显示高维医学图像,且是img或mat等格式
  • 医学图像处理示例六 图像形状与图像纹理的表示的完整程序和素材
  • 基于深度学习的医学图像分割综述

    万次阅读 多人点赞 2018-07-03 10:15:34
    医学图像分割技术的发展不仅影响到医学图像处理中其他相关技术的发展,如可视化、三维重建等,而且在生物医学图像的分析中也占有极其重要的地位。近年来,由于深度学习算法在医学图像分割中的应用, 医学图像分割技术...

    (自己写的,需要转载请联系作者,或者标明出处呀,欢迎加微信交流:wx604954)

     

    摘要:医学图像分割是决定医学图像在临床诊疗中能否提供可靠依据的关键问题。医学图像分割技术的发展不仅影响到医学图像处理中其他相关技术的发展,如可视化、三维重建等,而且在生物医学图像的分析中也占有极其重要的地位。近年来,由于深度学习算法在医学图像分割中的应用, 医学图像分割技术取得了显著的进展。在本文中,我们讨论了用于医学图像分割最先进的深度学习架构及其优化。在最后一节中,我们讨论了深度学习算法在医学图像分割领域的未来发展及面临的挑战。

     

    关键词: 深度学习;卷积神经网络;图像分割;医学图像

     

    0引言

    随着医学影像学设备的快速发展和普及,成像技术包括磁共振成像(MR)、计算机断层扫描(CT)、超声、正电子发射断层扫描(PET)等,成为医疗机构开展疾病诊断、手术计划制定、预后评估、随访不可或缺的设备。全世界每天都产生大量的医学影像学信息,有报道显示全世界医学影像信息量占全世界信息总量的1/5以上[1]。医学图像处理是分析医学图像的首要步骤,有助于使图像更加直观、清晰,提高诊断效率,因此国内外都十分重视医学影像处理[2]。图像分割是图像处理的重要环节,也是难点,是制约三维重建等技术应用的瓶颈性问题[3]。近年来,由于深度学习方法的迅速发展,基于深度学习的图像分割算法在医学图像分割领域取得了显著的成就。

    深度学习是机器学习领域中一系列试图使用多重非线性变换对数据进行多层抽象的算法,不仅学习输入和输出之间的非线性映射,还学习输入数据向量的隐藏结构[4],以用来对新的样本进行智能识别或预测。20世纪80年代末期,用于人工神经网络的反向传播算法的发明掀起了基于统计模型的机器学习热潮[5],20世纪90年代,浅层学习掀起机器学习的第一次浪潮[6],这些浅层结构虽然相比于过去基于人工规则的系统展现了很大的优越性,但对于处理复杂的问题,表现出特征学习能力不足、维数灾难、易陷入局部最优等缺点[7]。针对上述问题,2006年,Hinton在《Science》上首次提出“深度学习”并掀起了机器学习的第二次浪潮[8],多隐层的网络具有优异的特征学习能力,学习到的特征对数据有更本质的刻画。深度学习在医学图像分割方面的突破对于医学领域的发展至关重要[9]。

                                                                                                                

    1. 医学图像分割

    医学成像有多种图像模态,诸如MR、CT、PET、超声成像等等。成像可以获得反映二维和三维区域人体的生理和物理特性的图像,本文的内容主要侧重于MR和CT成像的特点和临床应用。二维图像中的每个元素称为像素,三维区域中每个元素称为体素,在某些情形下,可以把三维图像表示为一系列的二维切片进行观察,优点是计算复杂度低且需要的内存较小。

    1.1 MR图像

    磁共振成像(MRI)是无线电成像领域中使用最广泛的技术。作为一种动态且灵活的技术,MRI可以实现多变的图像对比度,该过程的实现是通过使用不同的脉冲序列和改变成像参数对应纵向松弛时间(T1)和横向松弛时间(T2),T1加权和T2加权成像的信号强度与特定组织的特征有关[10]。MR成像中,图像的对比度依赖于相位对比脉冲序列参数,最常见的脉冲序列是T1加权和T2加权自旋回波序列[12]。通过MR成像可以观察大脑、肝脏、胸、腹部和骨盆的结构细节,这有利于诊断检测或治疗[13]。

    MRI对软组织有很好的成像能力;有非常高的分辨率;具有较高的信噪比;利用不同的脉冲序列可以得到对比度多变的多通道图像,进而用于不同解剖结构的目标分割和分类[14]。然而,在MRI中存在多种伪影,如部分容积、随机场噪声、强度不均匀性、梯度、运动、环绕、吉布斯振铃、磁化性等[15]。此外,相比于CT图像,MRI的获取需要相当长的时间,且通常条件下很难得到统一的图像质量。

    1.2 CT图像

    医学CT成像设备使用X射线(一种电磁波)得到人体的结构和功能信息。CT影像是基于X射线吸收剖面的重构图像,由于不同物质和组织吸收X射线能力不同,因此X射线可用于诊断[16]。CT成像作为当前多类疾病实体诊断的金标准,广泛应用于大脑、肝脏、胸部、腹部、骨盆、脊柱等身体部位以及CT血管造影的早期诊断筛查[17]。但是与MR图像相比较,CT图像敏感性和特异性相对较差。

    CT成像中的伪影[18]包括:部分容积效应、条形伪影、运动伪影、束硬化伪影、环状伪影、金属伪影等。由于这些伪影的存在给CT图像分割带来了一定的难度,不同组织部位分割精度也不一样[19]。

    1.3 医学图像分割的特点

    医学图像分割是医学图像处理与分析领域的复杂而关键的步骤,其目的是将医学图像中具有某些特殊含义的部分分割出来,并提取相关特征,为临床诊疗和病理学研究提供可靠的依据,辅助医生做出更为准确的诊断[20]。图像分割过程是把图像分割成多个区域,这些区域内部有类似的性质,如灰度、颜色、纹理、亮度、对比度等。医学图像分割的目标是(以放射治疗为例)[21]:(1)研究解剖结构;(2)识别感兴趣区域(即定位肿瘤、病变和其他异常组织);(3)测量组织体积;(4)观察肿瘤生长或治疗中肿瘤体积的减少,为治疗前的计划和治疗中提供帮助;(5)辐射剂量计算。

    从医学图像中自动分割出目标是个艰巨的任务,因为医学图像具有较高的复杂性且缺少简单的线性特征;此外分割结果的准确率还受到部分容积效应、灰度不均匀性、伪影、不同软组织间灰度的接近性等因素的影响[22]。针对通常采用的校正技术来说,可以将MR和CT图像中的伪影分类为[23]:(1)需要适当的滤波算法处理的伪影,如噪声伪影、敏感性伪影、存在非清晰边缘的伪影;(2)需要适当图像修复算法的伪影,如运动伪影;(3)需要特定算法的伪影,如部分容积和灰度不均匀性。图像处理领域尽管在已存在很多算法处理上述问题,但是医学图像分割仍然是个复杂和具有挑战性的问题。从医学图像处理过程的角度来看,基于灰度和基于纹理特征技术的分类是常规的分类方式[24]。此外,用机器学习的工具去优化这些图像分割算法是当前较受关注的技术[25].

    CT和MR图像的分割主要涉及3个相关问题:变化的噪声、像素灰度分类的不确定性及灰度的非均衡性[26]。图像中单一组织的灰度水平一般是逐渐变化的,且其概率密度服从特定的分布函数,该组织对应的图像区域包含有限的像素(或体素)且满足部分容积平均,然而该区域中的单个像素(或体素)的灰度不与任何一类一致,往往被看作混合组织类[28]。

    CT和MR图像分割常用的一些方法有:基于阈值[29]、基于区域[30]、基于形变模型[31]、基于模糊[32]及基于神经网络[34]。

    当前,基于深度学习的方法已在图像分割领域取得了显著成就,其分割准确率已超过了传统分割方法。本文在对近几年深度学习和医学图像分割文献研习的基础上,对深度学习方法和常用的图像分割算法进行了深入的研究和比较,总结了各种深度学习方法的优缺点及其在医学图像分割领域的应用,最后展望了深度学习在医学图像分割领域的未来发展。

     

    2. 深度学习

    2.1 深度学习与图像处理

    传统的图像处理技术主要包括特征提取和分类器两部分,特征提取算法的设计复杂性与应用局限性、稳定性,以及特定的特征提取算法与特定的分类器相结合的多样性限制着图像处理技术的发展[36]。神经网络的出现,使端到端的图像处理成为可能,当网络的隐藏层发展到多层时便称之为深度学习,但同时需要用逐层初始化技术解决深层次网络训练难度大的问题,之后深度学习便成为时代的主角[37]。而卷积神经网络(Convolutional Neural Network,CNN)便是深度学习与图像处理技术相结合所产生的经典模型,实现该模型的网络实例在特定的图像问题处理上都卓有成效[38]。

    神经网络之所以能和图像领域相结合,并呈现巨大的发展前景,是有生物学依据的。人类视觉信息处理机制的发现,是 19 世纪 19 年代生物学界的重大发现之一,它证明了大脑可视皮层是分级存在的。人的视觉系统是一个反复抽象和迭代的过程。而卷积神经网络,就模拟了这个过程。首先,每一个卷积层,便是将具体信息做抽象的过程,而多个卷积层串联操作,便是将上一层的抽象结果再做抽象处理的过程,称之为迭代[39]。在这个抽象迭代的过程中,不断抽取大脑可感知的高维度特征。如当一幅图像经过视网膜进入视野,首先会将光线像素等信息抽象为图像边缘信息,然后再抽象为目标物体的某一部位,再抽象为物体轮廓形成对整个目标的感知[41]。

    2.2 卷积神经网络

    卷积神经网络(CNN)是一种多阶段的、全局可训练的人工神经网络模型,可以经过少量预处理,从原始数据中学习到抽象的、本质的、深层的特征[42]。在CNN中,每一层的数据都是大小为h×w×d的三维数组,其中h、w是空间维度,d是特征维数或通道维数。在图像处理领域,h×w代表图像尺寸,d代表颜色通道。CNN高层中的每一点对应于图像中的一块区域,称为局部感受野。

    CNN运行于局部输入区域的基本操作包括卷积(Convolution)、激活函数(Rectified Linear Units, ReLu)和池化(Pooling),这些操作仅依赖于相关的空间坐标[43]。记 为某层上坐标 的数据向量,下一层中坐标为 的数据向量为 , 可由以下公式计算:  

    (2-2)

    式中: 为卷积核的大小,s为步长或降采样系数,  决定层的类型:矩阵相乘对应卷积层或者平均池化层;空间域最大值对应最大池化层;非线性函数对应激活函数层。

    (1)卷积

    研究表明,自然图像某一部分的统计特性与其他部分统计特性相同,因此CNN网络在图像某一部分学习到的特征也能用在图像其他部分上[44]。在CNN网络对一张图像进行卷积运算时,对于图像上的所有位置可以采用相同的卷积核进行卷积运算。在卷积层,卷积核与前一层得到的特征图进行卷积,卷积操作的计算公式如下:

               (2-3)

    式中, 为 的邻域.

    (2)激活函数

    卷积神经网络中每一层的特征图经常与前一层的多个特征图有关,是前一层特征图的卷积结果经过激活函数后得到的。CNN网络中常用的激活函数有ReLu函数、Sigmoid函数和双曲正切函数,其计算公式如下:

    (3)池化

    在CNN网络完成卷积特征提取之后,把每个隐藏单元提取到的特征看作成一个矩阵,并将该矩阵上划分成几个不重叠的区域,计算划分后的每个区域内特征的平均值或最大值,然后用计算得到的平均值或最大值进行后续的训练,这个过程就是池化。上述采用均值和最大值计算区域特征的池化方法分别称为均值池化和最大值池化。

    2.3卷积神经网络在图像分割领域的应用

    卷积神经网络自从在手写字体识别领域获得巨大突破后[45],逐渐开始应用在图像处理领域中。CNN网络在ImageNet比赛中的杰出表现[46]表明其在图像特征提取、图像分类等图像处理领域拥有巨大的潜能。目前,CNN网络已广泛应用于医学图像分割中。

    Wu, Xundong等人[47]提出了基于迭代的卷积神经网络的细胞膜分割方法,通过在细胞膜检测概率图上迭代使用卷积神经网络算法,细胞膜分割精度有了一定的提升。曹贵宝等人[48]提出了用卷积神经网络和随机森林分类器相结合的方法实现了对神经细胞图像的分割,用随机森林分类器代替了传统的softmax分类器,实验中分别训练卷积神经网络模型和分类器模型,并用其学习到的特征训练随机森林分类器,最后完成电子显微图像的神经细胞膜的分割。实验结果的分割准确度明显高于传统的分割算法SVM,而且用随机森林做分类器比用传统的softmax做分类器效果也要好一些。

    CERNAZANUGLAVAN等人[49]提出使用卷积神经网络分割X射线图像中的骨骼结构,通过使用四种不同的卷积神经网络提取骨骼X射线图像的图像特征,并将提取到的图像特征用softmax分类器进行分类,从而实现骨骼结构的分割。实验通过对比表明,第四种网络卷积神经网络结构的分割准确率更高。

    Su, Hai 等人[50]提出了一种快速扫描卷积神经网络的方法,用于乳腺磁共振图像的分割。与传统卷积神经网络结构不同,该文献在卷积层采用卷积核去卷积整张图像或者上一卷积层提取到的特征图,并重新排列最大池化层,从而减少冗余计算。实验表明,该文献提出的基于快速扫描卷积神经网络的分割方法大大提高的图像分割速度,并保证了分割精度的不变,对乳腺癌实时诊断提出了技术支持。

    卷积神经网络在进行图像分割操作时,因其具有优良的特征提取能力和良好的特征表达能力,不需要人工提取图像特征或对图像进行过多预处理,因此近年来CNN网络在医学影像(MRI、CT、X射线等)分割领域以及辅助诊断方面取得了巨大成功[51]。

     

    3深度学习在医学图像分割中的应用

    3.1FCN

    传统的基于卷积神经网络的分割方法的做法通常是:为了对一个像素分类,使用该像素周围的一个图像块作为卷积神经网络的输入用于训练和预测。这种方法有几个缺点:一是存储开销很大。例如对每个像素使用的图像块的大小为15x15,则所需的存储空间为原来图像的225倍。二是计算效率低下。相邻的像素块基本上是重复的,针对每个像素块逐个计算卷积,这种计算也有很大程度上的重复。三是像素块大小的限制了感知区域的大小。通常像素块的大小比整幅图像的大小小很多,只能提取一些局部的特征,从而导致分类的性能受到限制。

    针对以上问题, Long Jonathan等人[52]2015年提出全卷积网络(FullyConvolutional Networks, FCN)结构。FCN可以对图像进行像素级的分类,从而解决了语义级别的图像分割问题。与经典的卷积神经网络在卷积层之后使用全连接层得到固定长度的特征向量进行分类(全联接层+softmax 输出)不同,全卷积网络可以接受任意尺寸的输入图像,采用反卷积层对最后一个卷积层的特征图进行上采样, 使它恢复到输入图像相同的尺寸,从而可以对每个像素都产生了一个预测, 同时保留了原始输入图像中的空间信息, 最后在上采样的特征图上进行逐像素分类,完成最终的图像分割。FCN的网络结构如图 1 所示。

    图1  FCN网络结构

     

    在FCN网络结构的基础上,Korez 等人[53]提出了3D FCN网络结构,并将3D FCN网络分割出的脊椎结构用形变模型算法进行优化,进一步提高了脊柱MR图像的分割准确率。Zhou等人[54]将FCN算法和多数投票算法相结合,在人体躯干CT图像中分割出了19个目标。在网络训练过程中,将经过每一个像素点的矢状面、轴状面、冠状面的CT图像分别输入至2D FCN网络进行训练,并用3D Majority Voting算法对三幅图像的分割结果进行表决,得到最后的分割结果。Moeskops等人[55]采用脑部MRI、心肌MRI和冠状动脉在心脏CT血管造影(CTA)中的冠状动脉图像同时训练一个FCN网络,使得训练好的网络可同时用于这三类目标的分割。

    FCN在对图像进行分割时,上采样层将特征恢复到原图像的大小,此过程会导致像素定位不精确,从而影响分割结果的准确性。为了解决这一问题,许多研究者采用MRF算法[56]或CRF算法[58]对FCN输出的分割结果进行改进,进一步优化分割结果。

     

    3.2U-net

    2015年,OlafRonneberger等人[64]提出了U-net网络结构,U-net是基于FCN的一种语义分割网络,适用于做医学图像的分割。

    U-net网络结构与FCN网络结构相似,也是分为下采样阶段和上采样阶段,网络结构中只有卷积层和池化层,没有全连接层,网络中较浅的高分辨率层用来解决像素定位的问题,较深的层用来解决像素分类的问题,从而可以实现图像语义级别的分割。与FCN网络不同的是,U-net的上采样阶段与下采样阶段采用了相同数量层次的卷积操作,且使用skip connection结构将下采样层与上采样层相连,使得下采样层提取到的特征可以直接传递到上采样层,这使得U-net网络的像素定位更加准确,分割精度更高。此外,在训练过程中,U-net只需要一次训练,FCN为达到较精确的FCN-8s结构需要三次训练,故U-net网络的训练效率也高于FCN网络。

    U-net网络结构如图2所示, 蓝色箭头代表卷积和激活函数, 灰色箭头代表复制剪切操作, 红色箭头代表下采样, 绿色箭头代表反卷积,conv 1X1代表卷积核为1X1的卷积操作。从图中可以看出,U-net网络没有全连接层,只有卷积和下采样。U-net可以对图像进行端到端的分割,即输入是一幅图像, 输出也是一幅图像。

    图2  U-net网络结构

     

    U-net网络提出后,在医学图像分割领域表现优秀,许多研究者均采用U-net网络结构做医学图像分割,并在U-net网络结构基础上提出改进。Çiçek等人[65]提出3D U-net网络结构,该结构通过输入3D图像连续的2D切片序列实现3D图像分割。Milletari等人[66]提出了U-net网络结构的一种3D变形结构V-net,V-net结构使用Dice系数损失函数代替传统的交叉熵损失函数,且使用3D卷积核对图像进行卷积,通过1x1x1的卷积核减少通道维数。Drozdzal等人[67]提出在U-net网络结构中不仅可以使用长跳跃连接结构,也可以使用短跳跃连接结构。

    在病灶分割任务中,深度学习算法需要完成目标识别、器官分割和组织分割等多项任务,因此分割过程中应结合图像的全局信息和局部信息来实现病灶的准确分割,Kamnitsas等人[68]和Ghafoorian等人[69]都提出使用多尺度卷积来提取图像全局信息和局部信息。此外,Wang等人[70]提出一种伤口图像分析系统,先用U-net网络对伤口图像进行分割,再用SVM分类器对分割出的伤口图像进行分类,判断伤口是否感染,最后用GP回归算法对伤口愈合时间进行预测。Brosch等人[71]使用U-net网络对脑部MRI中的脑白质病灶进行分割,并在U-net网络的第一层卷积和最后一层反卷积之间加入跳跃连接结构,使得该网络结构在训练数据较少的情况下仍得到了很好的分割结果。

     

    3.3RNN

    循环神经网络(Recurrent Neural Networks,RNN)是为离散序列分析而开发的,已经在众多自然语言处理(Natural Language Processing,NLP)中取得了巨大成功以及广泛应用[72]。传统的神经网络假定不同输入和输出之间是相互独立的,网络中不存在反馈连接,而RNN网络结构中至少包含一个反馈连接(自循环),即假定当前输出不仅与当前输入有关,也与先前输出有关,所以RNN适合于解决时间处理和顺序学习问题[73]。

    在实际训练过程中,梯度消失的问题使得传统RNN在实际中很难处理长期依赖[75],而长短期记忆网络(Long ShortTerm Memory,LSTM)作为一种 RNN 的特殊类型,则绕开了这些问题,可以从学习到长期依赖关系。LSTM 由Hochreiter等人[76]提出,并在近期被Alex Graves[77]进行了改良和推广。Cho 等人[78]提出在LSTM网络结构中加入门控复发单元,可对LSTM网络结构进行简化。在很多实际问题中,LSTM 都取得相当巨大的成功,并得到了广泛的使用。

    虽然RNN在最初提出时,网络输入为一维向量,但在近几年的应用中,RNNs越来越多地应用于图像处理。在自然图像中,像素级的RNN被用作自回归模型,生成模型最终可以产生类似于训练集样本的新图像。

    对于医疗应用而言,RNN可用于医学图像分割问题。 Stollenga等人[79]首次在六个方向上使用3D LSTM-RNN对脑部MR图像进行分割,用金字塔方式重新排列MD-LSTM中传统的长方体计算顺序,使得网络可以在GPU上并行训练,大大提高了网络训练效率,并在MRBrainS挑战中取得了很好的分割结果。Andermatt等人[80]使用带有门控单元的3D RNN网络分割脑MR图像中的灰质和白质,结合数据预处理和后处理操作,进一步提高了分割准确率。Chen等人[81]提出了一个基于FCN和RNN的三维图像分割新框架,这是第一个明确利用3D图像各向异性的DL分割框架。使用来自ISBI神经元结构分割挑战的数据集和3D真菌图像进行评估,他们的方法比已知的基于DL的3D分割方法在分割准确率上更胜一筹。Poudel等人[82]提出了循环全卷积网络(RFCN),将解剖学检测和图像分割将结合,形成一个端到端的网络结构,从而大大缩短了计算时间,简化了分割流水线,并为实时应用提供了可能。

     

    4未来发展方向

    4.1加强领域间合作

    随着计算机视觉及人工智能领域的发展,医学图像分割的准确率不断上升,为医学诊断提供了极大的帮助。然而,由于人工智能科学家不了解临床需求,临床医生不了解人工智能具体技术,导致人工智能不能很好地满足临床具体需求[83]。为了促进人工智能在医学领域的应用,应加强临床医生与机器学习科学家的广泛合作。这种合作将解决机器学习研究人员无法获得医学数据的问题,也可以帮助机器学习研究者开发出更符合临床需求的深度学习算法,应用到计算机辅助诊断设备中,从而提高诊断效率和准确率。

    4.2医学影像数据共享

    深度学习算法的训练需要大量的数据集支持,然而,与自然图像相比,带注释的医学图像相对稀缺,且标注成本较高。由于医学领域的敏感性和特殊性,医学数据的注释需要大量专家手动完成,这需要投入大量的人力物力,然而即使在这种情况下,由于病例的复杂性和图像本身模糊等原因,也不能保证标注的完全准确[84]。为了克服这一问题,需要不同医疗服务者共享数据资源,或建立医学影像知识库,为人工智能研究者们提供更多的数据支持。

    4.3深度学习技术的进步

    目前,大多数医学图像分割采用的是有监督的深度学习算法,然而,针对某些缺乏大量数据支持的罕见疾病,有监督的深度学习算法便无法发挥其性能。为了克服数据缺乏或数据不可用的问题,对于深度学习算法的研究可以从有监督领域转移到半监督或无监督领域[85]。如何在医疗领域有效地使用半监督和无监督算法,同时又不影响医疗系统的准确性,这是目前很多研究者正在研究的一个问题,但却没有提供被临床接纳的解决方案,这将是一个需要被继续研究的方向。

     

    5 总结

    深度学习算法在医学图像处理领域具有重要的理论意义和实际应用价值。本文从医学图像分割的基本概念出发,详细阐述了不同医学影像的特点以及分割难点。然后介绍了深度学习的基本原理及适用于进行图像处理的卷积神经网络算法,并详细介绍了FCN、U-net、RNN三种网络结构和它们在医学图像分割领域的应用。最后从加强领域间交流合作、医学影像数据共享、深度学习技术的进步这三个方面对深度学习技术在医学图像处理领域的未来发展进行展望。深度学习算法的发展必然会对医学图像分割的发展起到积极的促进作用。

    总之,借助大数据的潮流,结合人工智能自身潜力,争取深度学习算法在医学领域取得更大的进步并早日实现智能医疗的初衷。

     

     

     

    参考文献

     

     

    展开全文
  • 主流的图像处理有对自然图像和医学图像 遥感图像的处理等等,本人研究方向是医学图像处理。但科研人员对自然图像的研究更加深远和透彻,为了开拓思路,本文简单总结一下医学图像较自然图像处理有哪些不同点。 1....

    主流的图像处理有对自然图像和医学图像 遥感图像的处理等等,本人研究方向是医学图像处理。但科研人员对自然图像的研究更加深远和透彻,为了开拓思路,本文简单总结一下医学图像较自然图像处理有哪些不同点。

    1.自然图像的光成像,因为散射的存在,所以频谱比较宽,所以我们近似认为自然图像的噪声分布是均匀的,建模为高斯分布;而医学图像的成像中,厂家尽量消除散射带来的影响,使光谱变得较为单一,所以噪声近似于泊松分布。

    2.医学图像大多都是单通道的灰度图像,且没有景深这一概念;

    3.一张医学图像中包含的所有信息都具有潜在利用价值,而自然图像则不然,往往一张自然图像可能就只有一部分ROI有用。人体组织具有高度的相似性,一点细微的变化都可能代表着病变组织,所以一些性能评价指标比如SSIM就可能失效;

    4.很多情况下,医疗图像算法并不如硬件提升来的作用大,以我的经验,一万个优化的降噪算法比不上一个探测器水平的提升;

    5.不同模态的图像反应的信息是不一样的,比如CT反应出血,骨头比较清楚,MRI看软组织更好。另外即便同一模态,成像参数不一样也会带来巨大的区别,比如kv的x光和mv的x光,图像质量差异巨大,但前者可以用来摆位,后者也可以进行剂量验证,qa等。而上述这些特性是自然图像没有的。

    展开全文
  • 医学成像:医学图像处理技术
  • (最开始接触医学图像分割时写的综述,写的比较幼稚,传上来的时候格式可能有些乱。需要原文的小伙伴可以加我qq:604395564联系,也欢迎做医学图像处理的小伙伴一起交流学习。自己写的,欢迎转载,但请注明出处哦^_^...

    (最开始接触医学图像分割时写的综述,写的比较幼稚,传上来的时候格式可能有些乱。需要原文的小伙伴可以加我qq:604395564联系,也欢迎做医学图像处理的小伙伴一起交流学习。自己写的,欢迎转载,但请注明出处哦^_^)

     

     

    摘 要 医学图像分割是决定医学图像在临床诊疗中能否提供可靠依据的关键问题。医学图像分割技术的发展不仅影响到医学图像处理中其他相关技术的发展,如可视化、三维重建等,而且在生物医学图像的分析中也占有极其重要的地位。近年来,由于一些新兴学科在医学图像处理中的应用, 医学图像分割技术取得了显著的进展。本文从分割所应用的特定理论工具的角度, 对近年来医学图像分割的新方法或改进算法进行综述, 并简要讨论了每类分割方法的特点,并着重对卷积神经网络在医学图像分割上的应用进行研究, 综述了其发展历程和基本原理, 分析和比较了基于神经网络的图像分割的优缺点, 展望了该技术领域以后一段时间内的发展趋势。

     

    关键词:医学图像;图像分割;卷积神经网络

     

    1. 国内外常用的医学图像分割方法

    医学图像分割是医学图像处理与分析领域的复杂而关键的步骤,其目的是将医学图像中具有某些特殊含义的部分分割出来,并提取相关特征,为临床诊疗和病理学研究提供可靠的依据,辅助医生作出更为准确的诊断。由于医学图像自身的复杂性,在分割过程中需要解决不均匀及个体差异等一系列问题,所以一般的图像分割方法难以直接应用于医学图像分割。当前,医学图像分割仍在从手动分割或半自动分割向全自动分割发展。本文在对国内外医学图像分割技术文献研习的基础上,对几种常用的医学图像分割方法进行了深入的研究和比较,总结了各种方法的优缺点及其在国内外医学图像分割领域的应用。

     

    1.1 阈值法

    图像阈值分割是一种广泛应用的分割技术,利用图像中要提取的目标区域与其背景在灰度特性上的差异,把图像看作具有不同灰度级的两类区域(目标区域和背景区域)的组合,选取一个比较合理的阈值,以确定图像中每个像素点应该属于目标区域还是背景区域,从而产生相应的二值图像。阈值分割法的特点是:适用于目标与背景灰度有较强对比的情况,重要的是背景或物体的灰度比较单一,而且总可以得到封闭且连通区域的边界。图1中显示了图像灰度直方图中潜在的两个分界点,如图中虚线所示。如果需要在阈值法的过程中寻找不止一个的阈值来对图像的像素点进行分类,那么这种方法叫做多阈值法。

     

    图1  图像灰度上确定阈值示例

    阈值法在实际应用中主要存在两个问题:(1)该方法只考虑到图像中像素点本身的灰度值,没有考虑到图像中像素点的空间分布,容易对噪声敏感。(2)该方法对于背景与目标区域灰度差异较小的图像分割效果不好。医学图像因个体差异而复杂多样,如:不均匀的人体组织器官常导致图像灰度不均匀;人体组织的蠕动及成像设备的局限性常导致图像中存在伪影和噪声;局部体效应常导致组织边缘模糊;病变组织的病变边缘不明确等。阈值法在医学图像分割中具有一定的局限性。

    近几年,有许多阈值法的改进算法被提了出来,如Tang,Xu- Dong等人[1]提出了一种新的基于阈值的快速图像分割算法,在传统阈值方法的基础上通过简化隶属函数,同时结合一个新的递归策略,从而降低了计算的复杂性,加快了运算速度,较传统算法相比其具备较好的实时时序和噪声抑制性能。

    MR图像对比度往往较低,很难通过阈值法将目标区域从背景中精确地提取出来,所以阈值分割法在MR图像分割中的应用较少,但阈值分割法可以用在MR图像预处理过程中,并与其他图像分割算法相结合,如卷积神经网络算法,从而提高图像分割的准确率。

     

    1.2 区域生长法

    区域生长法是根据图像预先的先验知识和标准,利用初始点周围的生长提取出图像中的连接的区域。区域生长方法中通常利用图像的灰度信息,或者是根据图像的边界的信息得到其所需的标准。区域生长法中最简单的模型中,需要手动初始化,即选定一个点作为区域增长的起始点,然后基于一些预先定于的标准在初始点的邻域搜索,提取所有符合标准的像素区域。例如:一个常用的标准就是,提取初始点的邻域像素点直到遇到图像边界。如图1中所示,区域生长用于隔离图2中所示结构。

    图2  区域生长法选取初始点

    区域生长法对噪声敏感,如果种子像素点选取不当,分割结果就会出现错误,并且对于图像中灰度值相近但不相邻的多个区域不能一次全部分割出来。在医学图像分割中进行病灶分割时,如果种子点选取得当,这种方法可以自动找到病灶的边界,能为医生的诊断提供定量及定性的依据。在医学图像分割中,区域生长法与阈值法一样,一般不单独使用,多与其他分割方法相结合。如Jiang,Hui- Yan等人[2]将区域生长算法和OSTU算法相结合对30个边缘模糊的腹部MRI图像进行了有效分割;Wu,Hai- Shan和Gil,Joan等人[3]使用一个迭代的区域生长算法对卵巢细胞内染色质进行了有效分割;Angelina,S.等人[4]在2012年提出了一种新的区域生长及合并算法与遗传算法相结合的医学图像分割算法,用于对恶性黑色素瘤等皮肤癌进行早期诊断,和其他常规算法相比提高了分割效率,解决了利用非侵入性诊断工具皮肤镜对皮肤癌进行早期诊断耗时长等问题。

     

    1.3 边缘检测法

    边缘检测法主要基于图像灰度级的不连续性,它通过检测不同均匀区域之问的边界来实现对图像的分割,这与人的视觉过程有些相似。依据执行方式的不同,这类方法通常又分为串行边缘检测技术和并行边缘检测技术。在串行边缘检测技术中,当前像素是否属于待检测的边缘受到先前象素的检测结果的影响,使用该方法进行分割可得到连续的边缘,但分割结果比较依赖初始边缘点,不合适的初始边缘点可能导致错误的边缘。而在并行边缘检测技术中,一个象素与其相邻像素之间的关系决定了该像素是否属于检测的边缘,由于只与相邻像素有关,所以并行检测技术可以并行对图像中的所有象素进行检测。常用的并行方法有Canny算子、Sobel算子、Laplacian算子、Prewitt算子、LOG算子等。图3为分别用各类算子检测的细胞边缘。

    在实际应用中。由于并行方法比串行方法分割时间短,所以并行边缘检测法在医学图像分割中更为常用。如2012年Park,J.等人[5]使用并行边界与区域相结合的方法对不同医学图像进行分割,实验结果表明,该方法能可靠准确地分割低对比度的复杂医学图像。

                    

    (a)细胞原始图像        (b)Roberts算子检测的边缘    (c)Sobel算子检测的边缘

                   

    (d)Prewitt算子检测的边缘   (e)Canny算子检测的边缘     (f)LOG算子检测的边缘

    图3  各种边缘检测算子检测的细胞边缘

     

    1.4 基于形变模型的方法

    形变模型[6]起源于1987 年Kass 等提出Snake 模型,其数学基础是泛数最优逼近理论。Snakes 是一条由相应能量函数控制的可形变参数曲线,以能量函数最小化为目标,控制轮廓线变形使其具有最小能量就是目标轮廓。

    形变模型按其不同轮廓曲线的表达形式,可分为参数形变模型[6]和几何形变模型[7-8]两种。参数变形模型在变形过程中以显式参数的形式表达曲线或曲面,该表达形式允许与模型直接交互,利于模型快速实时地实现。然而,变形过程中发生拓扑结构变化时该方法难以处理。相反,几何形变线模型将活动曲线看成是两个区域的分界线,活动曲线的运动过程就是分界线的进化过程。这样,轮廓曲线运动过程就独立于轮廓曲线的参数,因此可以自动处理拓扑结构的变化。    图4(a)所示为一个心脏 MR 图像上应用形变模型(或者称为活动曲线)进行分割。图4(b)中,活动曲线在图片中初始化为一个圆,然后随后慢慢形变为左心室的边缘曲线。

               

    (a)心脏 MR 图像                           (b)左心室分割结果

    图4  使用形变模型提取左心室MR 图像的内壁

     

    1.5 模糊聚类法

    模糊技术是建立在模糊集合理论基础上的, 能很好地处理三维医学图像内在的模糊性, 而且对噪声不敏感。模糊分割技术主要有模糊阈值、模糊聚类、模糊边沿检测等。近年来模糊C -均值(FCM)聚类技术的应用最为广泛。FCM 用于图像分割是一种无监督(Unsupervised)模糊聚类后的标定过程, 易于应用,但其中各像素点的数据是相互独立的,没有利用图像的空间信息,所以可以将空间信息引入算法当中以提高分割算法的准确率,非常适合于医学图像中存在不确定性和模糊性的特点。

    图1为对一幅大脑医学图像应用模糊C-均值聚算法分割的结果,该方法中应用模糊C-均值聚类算法完成了对医学图像的分割,将其分为各具特性的4部分。图5(a)是一幅原始医学图像,图5(b)是分割的结果。

    图5  模糊C-均值聚类方法分割大脑医学图像

    从图5中可以看出对于图中面积比较大的部分取得了较好的分割结果,但是对于一些面积很小的部分结果不太好。还要进一步研究。

    近年来,基于模糊聚类的图像分割方法及其改进算法在医学领域得到了广泛应用,如Kaur,P.等人[9]在2012年提出了一种自动的直观模糊聚类方法,在模拟和真实的脑部MRI图像中进行实验,对比传统的模糊C- 均值、噪声聚类、核化模糊C- 均值等方法,实验结果显示Kaur,P.等人提出的方法更为可靠有效;Liu,Y.等人[10]提出一种带有双边滤波的模糊C- 均值(FCM) 聚类方法进行医学图像分割,通过实验结果和定量分析表明,与传统的FCM相比,该方法具备更高标准的抑制噪声能力和细节保护;Christ,M.C.J.等人[11]提出根据不同类型的模糊C-均值算法改进的医学图像分割技术,并将模糊C- 均值和其他聚类算法如KM、EM和KNN相比较,实验证明模糊C- 均值可提供更好的结果。

     

    1.6 基于遗传算法的方法

    遗传算法(Evolutionary Algo rithms)基本思想是建立在自然选择和群体遗传学机理基础上的随机、迭代、进化, 它采用非遍历寻优搜索策略, 是一种简单、适于并行处理、具有鲁棒性和广泛适用性的搜索方法。此算法的搜索过程不直接作用在变量上, 而是在参数集进行了编码的个体, 这使得遗传算法可直接对结构对象(图像)进行操作。整个搜索过程是从一组解迭代到另一组解, 采用同时处理群体中多个个体的方法, 降低了陷入局部最优解的可能性, 并易于并行化。搜索过程采用概率的变迁规则来指导搜索方向, 而不采用确定性搜索规则, 而且对搜索空间没有任何特殊要求(如连通性、凸性等), 只利用适应性信息, 不需要导数等其它辅助信息, 适应范围广。

    遗传算法擅长于全局搜索, 但局部搜索能力不足, 所以常把把遗传算法和其它算法结合起来应用。如Guan,X.-W.等人[12]在2011年提出一种遗传算法,用全局搜索能力和类间最大变化作为适应度函数,算法结合形态学理论提取图像边缘,实现分割,分割结果如图6所示。实验结果表明,这种遗传算法性能稳定,融合结果理想;Jaffar,M.A.等人[13]在2009年提出一种结合支持向量机的遗传算法,在肺部CT图像中对肺结节进行检测,分割效果理想;Liu,J.等人[14]提出了一种遗传神经网络算法来分割皮肤癌图像,执行基于遗传算法的神经网络的权重和阈值优化来改进BP神经网络的收敛速度,由该方法分割的皮肤癌图像可得到连续的边缘和清晰的轮廓,可以用于皮肤癌的定量分析和鉴定。

    图6  遗传算法分割医学图像。(a)原始图像(b)提取边缘的图像(c)边缘图像曲线拟合结果(d)分割后的图像

     

    1.7 基于小波变换的方法

    小波变换是对Fourier分析的继承与发展,利用小波变换进行医学图像分割的基本方法是通过小波变换将图像直方图分解成不同级别的系数,用尺度控制并依照小波系数和给定的分割准则来选择阈值。小波变换在较大尺度上由噪音引起的细小突变较少,容易描述医学图像信号的整体行为,可检测出医学图像灰度值变化较大的轮廓,因此可以通过在不同尺度下逐步确定阈值来处理医学图像。

    Bindu,Ch.Hima1等人[15]在2011年提出了一种基于小波变换的全自动医学图像分割方案。整个计划分为3个阶段。在第一阶段中,计算图像的小波变换,随后融合LH,HL和HH系数;在第二阶段中,通过计算全局阈值来确定初始点;在第三阶段中,从每个初始点开始进行搜索程序,得到闭环轮廓;Alzubi,S.等人[16]在2011年使用小波、脊波和曲波变换的多分辨率分析建立了一个医学图像分割系统。在不同的医学图像如PET,CT或MRI图像进行实验研究,对曲波变换的医疗数据集进行了测试,并与从其他变换所得到的结果进行了比较。试验表明,使用曲波扫描显著提高了异常组织分类,并减少了噪声。

    图7(a)是一幅原始肝脏CT图像,图7(b)是基于小波变换后的叠加了分割线的分割结果。从结果中可以看出,肝脏左叶也被成功地划进了肝脏的区域,该结果同样受到了“体效应”的影响,部分胃部的气泡也被划进了肝脏的区域,但所得结果还是可以接受的。

             

    (a)肝脏CT图像                          (b)分割结果

    图7  基于小波变换的图像分割

     

    1.8 基于神经网络的方法

    在八十年代后期,在图像处理、模式识别和计算机视觉的主流领域,受到人工智能发展的影响,出现了将更高层次的推理机制用于识别系统的做法。这种思路也开始影响图像分割方法,在解决具体的医学问题时,出现了基于神经网络模型(ANN)的方法。

    神经网络模拟生物特别是人类大脑的学习过程,它由大量并行的节点构成。每个节点都能执行一些基本的计算。学习过程通过调整节点间的连接关系以及连接的权值来实现。神经网络技术的产生背景也许是为了满足对噪声的鲁棒性以及实时输出要求的应用场合而提出的,一些研究人员也尝试了利用神经网络技术来解决图像分割问题。

    多数神经网络方法的出发点是将图像分割问题转化为诸如能量最小化、分类等问题,从而借助神经网络技术来解决问题,其基本思想是用训练样本集对 ANN 进行训练以确定节点间的连接和权值,在用训练好的 ANN 去分割新的图像数据。这种方法的一个问题是网络的构造问题。这些方法需要大量的训练样本集,然而收集这些样本在实际中是非常困难的。ANN 同样也能用于聚类或形变模型,这时 ANN 的学习过程是无监督的。

    卷积神经网络(CNN)作为神经网络的一种,在医学图像分割领域的应用尤为重要,其结构和应用将在文章第2部分具体介绍。

    以上介绍的各种图像分割算法,在不同应用领域表现不同。在医学图像分割领域,如今表现最好的便是卷积神经网络的方法。在2015年组织的糖尿病视网膜病变监测(Diabetic Retinopathy Detection)挑战赛中(https://www.kaggle.com/c/diabetic-retinopathy-detection),参赛者需要对彩色眼底图像进行病变识别监测,该比赛共有661支队伍参加,其中排名靠前的队伍使用的大多都是卷积神经网络的方法。无独有偶,在用MRI测量心脏体积和射血分数的医学图像处理竞赛中(https://www.kaggle.com/c/secon-dannual-data-science-bowl),取得领先的队伍使用的也是卷积神经网络的方法。文章接下来便会对卷积神经网络这一算法进行具体介绍。

     

    2.卷积神经网络

    2.1 卷积神经网络的发展历程

    卷积神经网络的发展历程大致可以分为三个阶段: 理论提出阶段、模型实现阶段以及广泛研究阶段。

    2.1.1 理论提出阶段

    20 世纪60 年代,Hubel 等[17]的生物学研究表明,视觉信息从视网膜传递到大脑中是通过多个层次的感受野(Receptive Field ) 激发完成的。1980 年,Fukushima 第一次提出了一个基于感受野的理论模型Neocognitron[18]。Neocognitron 是一个自组织的多层神经网络模型,每一层的响应都由上一层的局部感受野激发得到,对于模式的识别不受位置、较小形状变化以及尺度大小的影响。Neocognitron采用的无监督学习也是卷积神经网络早期研究中占据主导地位的学习方式。

    2.1.2 模型实现阶段

    1998 年,Lecun等[19]提出的LeNet-5采用了基于梯度的反向传播算法对网络进行有监督的训练。经过训练的网络通过交替连接的卷积层和下采样层将原始图像转换成一系列的特征图,最后,通过全连接的神经网络针对图像的特征表达进行分类。卷积层的卷积核完成了感受野的功能,可以将低层的局部区域信息通过卷积核激发到更高的层次。LeNet-5 在手写字符识别领域的成功应用引起了学术界对于卷积神经网络的关注。同一时期,卷积神经网络在语音识别[20]、物体检测[21]、人脸识别[22]等方面的研究也逐渐开展起来。

    2.1.3 广泛研究阶段

    2012 年,Krizhevsky等[23]提出的AlexNet在大型图像数据库ImageNet[24]的图像分类竞赛中以准确度超越第二名11%的巨大优势夺得了冠军,使得卷积神经网络成为了学术界的焦点。AlexNet之后,不断有新的卷积神经网络模型被提出,比如牛津大学的VGG(Visual GeometryGroup)[25]、Google的GoogLeNet[26]、微软的ResNet[27]等,这些网络刷新了AlexNet在ImageNet上创造的纪录。并且,卷积神经网络不断与一些传统算法相融合,加上迁移学习方法的引入,使得卷积神经网络的应用领域获得了快速的扩展。一些典型的应用包括:卷积神经网络与递归神经网络(Recurrent Neural Network,RNN) 结合用于图像的摘要生成[28-29]以及图像内容的问答[30-31];通过迁移学习的卷积神经网络在小样本图像识别数据库上取得了大幅度准确度提升[32];以及面向视频的行为识别模型———3D 卷积神经网络[33]等。

     

    2.2 感知器神经网络模型

    感知器(Perceptron)是神经网络中的一个概念。感知器模型是美国学者罗森勃拉(Rosenblatt)特为研究大脑的存储、学习和认知过程而提出的一类具有自学习能力的神经网络模型,它是第一个机器学习模型,它把对神经网络的研究从纯理论探讨引向了从工程上的实践。感知器是经典的线性分类模型,是神经网络和支持向量机的基础。

     

    2.2.1 单层感知器

    Rosenblatt提出的感知器模型是一个只有单层计算单元的前向神经网络,称为单层感知器,它是一种二元线性分类器。单层感知器是最简单的神经网络,它包含输入层和输出层,而输入层和输出层是直接相连的。单层感知器模型的结构如图7所示。

    图8  单层感知器模型

     

    图8显示,对于每一个输入值 X=(x1,x2,…,xd),通过一个权重向量W,进行加权求和,并作为阈值函数的输入,可以写成如下线性函数的形式:

           (1)

    式(1)中,xi是输入分量,wi是权值分量,w0是阈值,O是目标输出。作为分类器,可以用已知类别的模式向量或特征向量作为训练集。利用式(1),计算输入层中,每一个输入端和其上的权值相乘,然后将这些乘积相加得到乘积之和。如果乘积和大于临界值(一般是0),输出为1;如果小于临界值,输出为 0,从而将输入向量分成了两类,实现分类器的作用。

     

    2.2.2 多层感知器

    单层感知器的缺点是只能解决线性可分的分类模式问题。对于非线性问题,采用多层网络结构可以增加网络的分类能力,即在输入层与输出层之间增加一个隐含层,从而构成多层感知器。由输入层、隐含层(可以是一层或多层)和输出层构成的神经网络称为多层前馈神经网络。多层感知器的拓扑结构如图9所示。

     

    图9  多层感知器模型

     

     

    2.3 反向传播(Back Propagation,BP)算法

    反向传播算法也称为误差后向传播神经网络,它是一种用于前向多层神经网络的反向传播学习算法,也是神经网络模型中应用最广泛且最重要的一类学习算法。它具有理论依据坚实、推导过程严谨及通用性好的优点。

    算法的学习过程由信号的正向传播与误差的反向传播两个过程组成,即:①正向传播: 输入层接收外来的输入样本,各隐含层进行逐层处理后,输出层输出结果。将输出层的实际输出与期望输出进行比较,若两者不相吻合,则进入误差的反向传播阶段;②误差反向传播: 用输出后误差来估计输出层的直接前导层的误差,再用这个误差估计更前一层的误差,如此逐层反传下去,各层单元产生的误差信号,用来修正各单元误差(权值),以期误差最小。

    在BP模型的学习训练过程中,可利用一些方法如梯度下降法,使权值不断的朝着输出误差减少的方向调整,直到网络输出的误差减少到允许的程度,或者可以事先指定必要的学习次数,达到既定次数即可停止训练#由此可知,BP算法的信号正向传播与误差反向传播的各层权值的调整过程是交替的、多次反复的。

    BP算法的流程图如图10表示。

     

    图10  BP算法流程图

     

    2.4 卷积神经网络结构

    卷积网络是为识别二维形状而特殊设计的一个多层感知器,这种网络结构对平移、比例缩放、倾斜或者共他形式的变形具有高度不变性。 这些良好的性能是网络在有监督方式下学会的,网络的结构主要有稀疏连接和权值共享两个特点,包括如下形式的约束:

    (1)特征提取。每一个神经元从上一层的局部接受域得到突触输人,因而迫使它提取局部特征。一旦一个特征被提取出来, 只要它相对于其他特征的位置被近似地保留下来,它的精确位置就变得没有那么重要了。

    (2)特征映射。网络的每一个计算层都是由多个特征映射组成的,每个特征映射都是平面形式的。平面中单独的神经元在约束下共享 相同的突触权值集,这种结构形式具有如下的有益效果:a.平移不变性。b.自由参数数量的缩减(通过权值共享实现)。

    (3)子抽样。每个卷积层后面跟着一个实现局部平均和子抽样的计算层,由此特征映射的分辨率降低。这种操作具有使特征映射的输出对平移和其他 形式的变形的敏感度下降的作用。

    卷积神经网络是一个多层的神经网络,每层由多个二维平面组成,而每个平面由多个独立神经元组成。 

    https://img-my.csdn.net/uploads/201304/10/1365562094_2229.jpg

    图11  卷积神经网络的概念示范图

    卷积神经网络的概念示范如图11所示。输入图像通过和三个可训练的滤波器和可加偏置进行卷积,卷积后在C1层产生三个特征映射图,然后特征映射图中每组的四个像素再进行求和,加权值,加偏置,通过一个Sigmoid函数得到三个S2层的特征映射图。这些映射图再进过滤波得到C3层。这个层级结构再和S2一样产生S4。最终,这些像素值被光栅化,并连接成一个向量输入到传统的神经网络,得到输出。

    一般地,C层为特征提取层,每个神经元的输入与前一层的局部感受野相连,并提取该局部的特征,一旦该局部特征被提取后,它与其他特征间的位置关系也随之确定下来;S层是特征映射层,网络的每个计算层由多个特征映射组成,每个特征映射为一个平面,平面上所有神经元的权值相等。特征映射结构采用影响函数核小的sigmoid函数作为卷积网络的激活函数,使得特征映射具有位移不变性。

    此外,由于一个映射面上的神经元共享权值,因而减少了网络自由参数的个数,降低了网络参数选择的复杂度。卷积神经网络中的每一个特征提取层(C-层)都紧跟着一个用来求局部平均与二次提取的计算层(S-层),这种特有的两次特征提取结构使网络在识别时对输入样本有较高的畸变容忍能力。

     

    2.5 卷积神经在医学图像分割上的应用

    深度卷积神经网络(CNN)因其具有优良的自主特征能力和良好的特征表达能力,在对医学影像(MRI、CT、X射线等)分割领域以及辅助诊断方面取得了巨大成功。

    文献[34]提出了一种使用卷积神经网络实现在X射线图像中骨骼结构分割的方法,文献采用四种卷积神经网络模型提取图像特征,四种不同配置如表1所示,并在最后一层用softmax分类器对像素进行二分类,将骨骼区域从周围组织中分割出来。由于X射线图像的分辨率很高,为了减少训练的时间,选取局部感兴趣的区域进行训练。在分割的过程中,再不需要人为干涉,避免了人为选取特征存在误操作的风险。骨骼分割结果如图12所示,实验结果表明,第四种神经网络模型在像素误差(Pixel error)、兰德误差(Rand error)和分裂合并翘曲误差(Warping error)三个指标上均取得了优良的性能,如表2所示。

     

    表1  四种卷积神经网络模型的配置

     

    图12  四种卷积神经网络模型下的骨骼轮廓提取结果。从左到右依次为:原图像,模型1,模型2,模型3,模型4

     

    表2  四种卷积神经网络模型的性能和训练时间

     

    文献[35]提出乳房X射线图像中肿瘤分割的框架,如图13所示。该框架结合了深度卷积网络具有优良特征表达能力的特性,将其整合到框架中作为势函数,用于基于像素点的和像素点之间边的势能转换。并且在该框架中跟其他的势函数作比较,比如高斯混合模型、形状先验模型。最后通过实验表明,深度学习模型作为结构化预测模型势函数的分割准确率相比于高斯混合模型、形状先验模型有大幅提升。

    图13   乳房X射线图像中肿瘤分割的CNN模型

     

    卷积神经网络在医学影像分割的准确率方面是毋庸置疑的,但扫描一张图像往往需要几分钟时间,对于分辨率高的图像需要的时间则更长。文献[36][37]分别指出在卷积和池化的过程中,在一个滑动窗口和它的后续窗口之间存在重复的卷积计算和最大池化操作,这是卷积神经网络计算时间代价大的一个重要原因。并且分别提出了减少神经网络中冗余计算的方法,用于实现医学图像的快速扫描。文献[37]提出了一种快速扫描卷积神经网络(FCNN)的方法,用于乳腺癌核磁共振图像诊断。在卷积层用卷积核去卷积整张图像或者上一层的特征图,以及在池化层将最大池化层重新排列的方法减少冗余计算,在不减少分割精度的条件下大幅提高了图像分割速度,满足了实时诊断的需求。

     

    图14  FCNN最大池化层结构图。(a)由前一个卷积层计算得到的12×12扩展特征图。注意,这个扩展的功能图包含整个输入映射的所有信息,而不仅仅是一个滑动窗口。不同颜色方块框对应4个不同的滑动窗口;(b)包含所有滑动窗口的信息。所有的位置都标为红色,(c)-(e)每个方格包含滑动窗口开始的所有位置的信息,分别标为绿色,蓝色,橙色。

     

    文献[38]提出了一种基于最大池化卷积神经网络快速扫描医学图像的方法,提出了扩充的特征图,即该图包含输入图像每个patch的特征,这样只用一次卷积操作就可以对获得全部的特征。同样,在最大池化层只需要一次池化操作即可。因此,基于最大池化卷积神经网络对扫描医学图像的速度有明显提高。

    卷积神经网络不仅在处理医学影像辅助患者进行疾病诊断方面取得了巨大成功,在电子显微成像中对细胞膜分割方面同样有着积极的意义。文献[39][40]提出了基于卷积神经网络实现电子显微图像细胞膜自动分割的方法,方法中用卷积神经网络的监督训练去恢复patches中移除的中心像素标签,能够自动改善用于执行电子显微图像自动分割的细胞膜检测概率图。其中,patches是从细胞膜检测概率图中采样得到的,细胞膜检测概率图是通过分类器算法判断是否图像中的一个像素对应在细胞膜上得到。最后实验表明,相比于传统的机器学习算法,文献[39]方法性能有显著的提高,其结构如图15所示。

     

    图15  深度神经网络监测细胞膜

     

    在文献[40]中又提出了基于迭代的卷积神经网络的细胞膜分割方法,通过在细胞膜检测概率图上迭代地使用卷积神经网络算法,细胞膜分割结果又有了一定的提升。文献[41][42]提出了用卷积神经网络和随机森林相结合的方法实现了对神经细胞图像的分割,这两种方法均获得了优良的分割性能,但他们的侧重点有些不同。文献[41]中对传统的卷积神经网络模型进行了改进,如图16所示,用随机森林分类器代替了传统的softmax分类器。在整个模型中,分别训练卷积神经网络特征提取模型和分类器模型。卷积神经网络模型训练好之后,用其学习到的特征训练随机森林分类器,最后完成电子显微图像的神经细胞膜的分割。通过实验表明,分割准确度明显高于传统的分割算法SVM,而且用随机森林做分类器比用传统的softmax做分类器效果也要好一些。

    图16  基于卷积神经网络和随机森林的细胞分割流程

     

    而文献[42]提出了级联的随机森林和卷积神经网络相结合的模型,在这个模型中结合了级联的随机森林执行速度快和卷积神经网络性能好的优势,并且有两种结合方式。一种方式利用随机森林容易训练的特点,训练好的随机森林模型作为卷积神经网络的初始化,这样会大幅较少卷积神经网络模型的训练时间。另一种方式将训练好的卷积神经网络模型映射到级联的随机森林模型,在保持级联的随机森林能有快速推理性能不变的情况下提高分割的准确率,该模型如图17所示。

     

            (a)          (b)          (c)             (d)

    图17  (a)级联RF训练预测密集的语义标签。(b)级联RF然后映射到一个卷积神经网络,并进一步训练,以提高性能。(c)最后,卷积神经网络被映射到一个级联RF更新参数,以改善在测试时的速度。(d)三个分类器在斑马鱼胚胎显微图像语义分割中的应用:输入滤波器组(d1)和相应的分割输出(d2-d4)。

     

    综上,大量的文献研究表明,卷积神经网络在医学图像分割领域取得了巨大成功,它不仅提供了一个统一的方法对所有图像进行特征提取,而且它大大提高了分割的准确率。

     

    3.结论

    卷积神经网络在医学图像分割上的研究时间不是很长,但近几年发展迅速。大量的科研工作者们投身深度学习领域,随着对卷积神经网络的进一步的研究,卷即神经网络在医学图像分割以及辅助疾病诊断方面有着更广阔的应用前景。

    深度学习目前仍有一些工作需要研究。首先就是训练的时间过长问题,由于深度学习模型有大量的隐层,从输入层将低级特征表示为高级特征需要大量的计算,而且在高层运用反向传播算法优化模型权重同样需要大量运算,需要很长的时间。因此有效的可并行训练框架是一个有前景研究的方向。

     

    [参考文献]

    [1] Tang, Xu Dong, et al. "Fast image segmentation method based on threshold." Control and Decision Conference, 2008. Ccdc IEEE, 2008:3281-3285.

    [2] Jiang, Hui Yan, S. I. Yue-Peng, and X. G. Luo. "Medical Image Segmentation Based on Improved Ostu Algorithm and Regional Growth Algorithm." Journal of Northeastern University 27.4(2006):398-401.

    [3] Wu, Hai Shan, J. Gil, and L. Deligdisch. "Region Growing Segmentation of Chromatin Clumps of Ovarian Cells Using Adaptive Gradients." Journal of Imaging Science & Technology 48.1(2004):22-27.

    [4] Angelina, S, L. P. Suresh, and S. H. K. Veni. "Image segmentation based on genetic algorithm for region growth and region merging." International Conference on Computing, Electronics and Electrical Technologies IEEE, 2012:970-974.

    [5] Park, Jonghyun, S. Park, and W. Cho. "Medical Image Segmentation Using Level Set Method with a New Hybrid Speed Function Based on Boundary and Region Segmentation." Ieice Transactions on Information & Systems E95.D.8(2012):2133-2141.

    [6] Kass, Michael, A. Witkin, and D. Terzopoulos. "Snakes: Active contour models." International Journal of Computer Vision 1.4(1988):321-331.

    [7] Caselles, Vicent, R. Kimmel, and G. Sapiro. "Geodesic active contours." International Journal of Computer Vision 22.1(1997):61-79.

    [8] Malladi, Ravikanth, J. A. Sethian, and B. C. Vemuri. "Shape Modeling with Front Propagation: A Level Set Approach." IEEE Transactions on Pattern Analysis & Machine Intelligence 17.2(1995):158-175.

    [9] Kaurabc, Prabhjot. "RETRACTED: A robust kernelized intuitionistic fuzzy c-means clustering algorithm in segmentation of noisy medical images." Pattern Recognition Letters 34.2(2013):163–175.

    [10] Liu, Yuchen, et al. Fuzzy C-means Clustering with Bilateral Filtering for Medical Image Segmentation. Hybrid Artificial Intelligent Systems. Springer Berlin Heidelberg, 2012.

    [11] Christ, M. C. Jobin, and R. M. S. Parvathi. "Fuzzy c-means algorithm for medical image segmentation." International Conference on Electronics Computer Technology IEEE, 2011:33-36.

    [12] Guan, Xiaowei, X. Zhu, and S. Gao. "Medical Image Segmentation Based on Genetic Algorithm." International Conference on Information Technology, Computer Engineering and Management Sciences IEEE, 2011:359-362.

    [13] Jaffar, M. Arfan, et al. GA-SVM Based Lungs Nodule Detection and Classification. Signal Processing, Image Processing and Pattern Recognition. Springer Berlin Heidelberg, 2009:133-140.

    [14] Jianli, L., and Z. Baoqi. "The Segmentation of Skin Cancer Image Based on Genetic Neural Network." CSIE 2009, 2009 WRI World Congress on Computer Science and Information Engineering, March 31 - April 2, 2009, Los Angeles, California, USA, 7 Volumes DBLP, 2009:594-599.

    [15] Bindu, Ch Hima, and P. K. Satya. "A Fully Automatic Scheme for Medical Image Segmentation with Wavelet Based Image Fusion." Ipcv 2011,2011(1):230- 235.

    [16] Alzubi, Shadi, N. Islam, and M. Abbod. "Multiresolution Analysis Using Wavelet, Ridgelet, and Curvelet Transforms for Medical Image Segmentation." International Journal of Biomedical Imaging 2011.4(2011):136034.

    [17] Hubel, D. H, and T. N. Wiesel. "Receptive fields, binocular interaction and functional architecture in the cat's visual cortex. " Journal of Physiology 160.1(1962):106.

    [18] Fukushima, Kunihiko. "Neocognitron: A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position." Biological Cybernetics 36.4(1980):193-202.

    [19] Lecun, Y., et al. "Gradient-based learning applied to document recognition." Proceedings of the IEEE 86.11(1998):2278-2324.

    [20] Waibel, A., et al. "Phoneme recognition using time-delay neural networks." Readings in Speech Recognition 37.3(1990):393-404.

    [21] Vaillant, R, C. Monrocq, and Y. L. Cun. "An original approach for the localization of objects in images." International Conference on Artificial Neural Networks IET, 1993:26-30.

    [22] Lawrence, S, et al. "Face recognition: a convolutional neural-network approach. " IEEE Transactions on Neural Networks 8.1(1997):98.

    [23] Krizhevsky, Alex, I. Sutskever, and G. E. Hinton. "ImageNet classification with deep convolutional neural networks." International Conference on Neural Information Processing Systems Curran Associates Inc. 2012:1097-1105.

    [24] Deng, Jia, et al. "ImageNet: A large-scale hierarchical image database." Computer Vision and Pattern Recognition, 2009. CVPR 2009. IEEE Conference on IEEE, 2009:248-255.

    [25] Simonyan, Karen, and A. Zisserman. "Very Deep Convolutional Networks for Large-Scale Image Recognition." Computer Science (2014).

    [26] Szegedy, Christian, et al. "Going deeper with convolutions." Computer Vision and Pattern Recognition IEEE, 2014:1-9.

    [27] He, Kaiming, et al. "Deep Residual Learning for Image Recognition." (2015):770-778.

    [28] Donahue, J, et al. "Long-term recurrent convolutional networks for visual recognition and description." IEEE Conference on Computer Vision and Pattern Recognition IEEE, 2015:2625-2634.

    [29] Vinyals, Oriol, et al. "Show and tell: A neural image caption generator." Computer Science (2015):3156-3164.

    [30] Malinowski, Mateusz, M. Rohrbach, and M. Fritz. "Ask Your Neurons: A Neural-Based Approach to Answering Questions about Images." (2015):1-9.

    [31] Agrawal, Aishwarya, et al. "VQA: Visual Question Answering." International Journal of Computer Vision (2015):1-28.

    [32] Zeiler, Matthew D., and R. Fergus. "Visualizing and Understanding Convolutional Networks." 8689(2013):818-833.

    [33] Ji, Shuiwang, et al. "3D Convolutional Neural Networks for Human Action Recognition." Pattern Analysis & Machine Intelligence IEEE Transactions on 35.1(2013):221-231.

    [34] CERNAZANUGLAVAN, and HOLBAN. "Segmentation of Bone Structure in X-ray Images using Convolutional Neural Network." Advances in Electrical & Computer Engineering 13.1(2013):87-94.

    [35] Dhungel, Neeraj, G. Carneiro, and A. P. Bradley. "Deep Learning and Structured Prediction for the Segmentation of Mass in Mammograms." International Conference on Medical Image Computing and Computer Assisted Intervention 2015:605-612.

    [36] Havaei, M, et al. "Brain tumor segmentation with Deep Neural Networks. " Medical Image Analysis 35(2016):18-31.

    [37] Su, Hai, et al. "Region segmentation in histopathological breast cancer images using deep convolutional neural network." IEEE International Symposium on Biomedical Imaging IEEE, 2015:55-58.

    [38] Giusti, A, et al. "Fast Image Scanning with Deep Max-Pooling Convolutional Neural Networks." Computer Sciences (2013):4034-4038.

    [39] Dan, C Cirean, et al. "Deep Neural Networks Segment Neuronal Membranes in Electron Microscopy Images." Advances in Neural Information Processing Systems 25(2012):2852--2860.

    [40] Wu, Xundong. "An Iterative Convolutional Neural Network Algorithm Improves Electron Microscopy Image Segmentation." Computer Science (2015).

    [41] 曹贵宝. 随机森林和卷积神经网络在神经细胞图像分割中的应用研究. Diss. 山东大学, 2014.

    [42] Richmond, David L., et al. "Relating Cascaded Random Forests to Deep Convolutional Neural Networks for Semantic Segmentation." Computer Science (2015).

     

     

     

    展开全文
  • MATLAB处理医学图像

    2018-02-08 13:31:09
    利用MATLAB写的,关于医学图像处理的代码,将图像处理技术应用于医学领域。利用MATLAB写的,关于医学图像处理的代码,将图像处理技术应用于医学领域。
  • 医学图像处理技术作为医学成像技术的发展基础,带动着现代医学 诊断产生着深刻的变革。图像增强技术在医学数字图像的定量、定性分析中扮演 着重要的角色,它直接影响到后续的处理与分析工作。本文以医学图像(主要为 ...
  • 医学图像基础

    2021-05-06 13:04:21
    医学图像的基本概念 医学图像是反映解剖区域内部结构或内部功能的图像,它是由一组图像元素——像素(2D)或立体像素(3D)组成的。医学图像是由采样或重建产生的离散性图像表征,它能将数值映射到不同的空间位置上...
  • 我提供了一个函数,它将 DICOM 医学图像作为输入并提取其标题和原始数据的一些字段。 标题和原始数据都由自己的函数保存。 代码用英文正确注释。 欢迎任何意见或建议。 谢谢, 耶苏斯·蒙格(JesúsMonge)。
  • 可视化和医学图像分析* 该存储库旨在为BraTS 2019数据集开发基于CNN的2D语义分割模块,用于脑肿瘤检测。 架构:U-Net 安装: pip install -e。 火车: python visualizer / train.py -c配置/train.gin 评估:...
  • 医学图像检索

    2018-03-27 10:23:13
    基于内容的医学图像检索(英文版),使用最近比较火的字典学习,实验结果比较丰富,可以为构建论文思路困难的同学提供一些帮助,个人敢接实验结果比较丰富,希望对大家有所帮助!
  • 医学图像了解

    千次阅读 2020-03-03 10:31:42
    医学图像了解 医学图像了解 医学图像 医学图像是反映解剖区域内部结构或内部功能的图像,它是由一组图像元素——像素(2D)或立体像素(3D)组成的。医学图像是由采样或重建产生的离散性图像表征,它能将数值映射...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 7,585
精华内容 3,034
关键字:

医学图像