卷积神经网络图像分割_卷积神经网络 图像分割 - CSDN
精华内容
参与话题
  • 卷积神经网络应用之图像分割

    千次阅读 2018-07-03 10:18:41
    SPP结构主要学自该博客:深度学习(十九)基于空间金字塔池化的卷积神经网络物体检测FNC   FNC主要做的是基于像素的图像分割预测。其做法是先按照传统的CNN结构得到feature map,将传统的全连接层替换成相应的卷...

    SPP结构主要学自该博客:深度学习(十九)基于空间金字塔池化的卷积神经网络物体检测

    FNC

      FNC主要做的是基于像素的图像分割预测。其做法是先按照传统的CNN结构得到feature map,将传统的全连接层替换成相应的卷积层。如最后一层特征图尺寸为555125∗5∗512,对应的全连接层的尺寸为4096,则需要5551240965∗5∗512∗4096个参数,将该参数变成卷积核,kernel size 为5*5,input channels 为512, output channels 为4096,依此将传统的带有卷积层和全连接层的网络变成全连接神经网络。

      FNC的一个好处是它的输入可以是任意大小的。传统的CNN结构是在最后一个特征图的全连接层是需要固定大小的,比如上面的5551240965∗5∗512∗4096这里就确定了最后的特征图尺寸是555125∗5∗512传统网络如果想要任意输入,就需要用一个类似SPP(Spatial Pyramid Pooling)的结构。该结构的大概过程就是通过不同层级(大小)的网格划分图片,在每个网格中做Pooling操作,再将每个网格得出来的值叠起来得到一个固定长度的向量,进入我们的全连接层。


    CPP结构

      SPP的工作流程图大概如上,该例图将图片分成3层,第一层用444∗4的网格划分,第二层用222∗2的网格划分,第三层把整个图片分为1块。则共有16+4+1=2116+4+1=21个网格块,通过对每个网格块进行Pooling操作可以得到21个输出可以用于全连接层。我们可以通过增加层级,以及改变每层的网格数得到不一样的input channels。

    U-Net


    U-Net网络架构设计

    该网络初始用于医疗图像领域,目的是获得图像的边缘。
    图中,蓝色代表卷积和激活函数,灰色代表复制,红色代表下采样,绿色代表上采样。

    Autoencoder

    自动编码器及其变种

    展开全文
  • 卷积神经网络实现图像分割

    千次阅读 2018-05-30 23:41:56
    卷积神经网络医学图像分割框架医学图像分割主要有两种框架,一个是基于CNN的,另一个就是基于FCN的。基于CNN 的框架这个想法也很简单,就是对图像的每一个像素点进行分类,在每一个像素点上取一个patch,当做一幅...

    全卷积神经网络

    医学图像分割框架

    医学图像分割主要有两种框架,一个是基于CNN的,另一个就是基于FCN的。

    基于CNN 的框架

    这个想法也很简单,就是对图像的每一个像素点进行分类,在每一个像素点上取一个patch,当做一幅图像,输入神经网络进行训练,举个例子:

    cnnbased

    这是一篇发表在NIPS上的论文Ciresan D, Giusti A, Gambardella L M, et al. Deep neural networks segment neuronal membranes in electron microscopy images[C]//Advances in neural information processing systems. 2012: 2843-2851.

    这是一个二分类问题,把图像中所有label为0的点作为负样本,所有label为1的点作为正样本。

    这种网络显然有两个缺点: 
    1. 冗余太大,由于每个像素点都需要取一个patch,那么相邻的两个像素点的patch相似度是非常高的,这就导致了非常多的冗余,导致网络训练很慢。 
    2. 感受野和定位精度不可兼得,当感受野选取比较大的时候,后面对应的pooling层的降维倍数就会增大,这样就会导致定位精度降低,但是如果感受野比较小,那么分类精度就会降低。

    基于FCN框架

    在医学图像处理领域,有一个应用很广泛的网络结构—-U-net ,网络结构如下:

    这里写图片描述

    可以看出来,就是一个全卷积神经网络,输入和输出都是图像,没有全连接层。较浅的高分辨率层用来解决像素定位的问题,较深的层用来解决像素分类的问题。

    问题分析

    我采用的数据集是一个isbi挑战的数据集,网址为: http://brainiac2.mit.edu/isbi_challenge/

    数据集需要注册下载,我的GitHub上也有下载好的数据集。

    这个挑战就是提取出细胞边缘,属于一个二分类问题,问题不算难,可以当做一个练手。

    这里写图片描述

    这里最大的挑战就是数据集很小,只有30张512*512的训练图像,所以进行图像增强是非常有必要的。

    在这里,我参考了一篇做图像扭曲的论文,http://faculty.cs.tamu.edu/schaefer/research/mls.pdf

    实现的效果如下:

    这是扭曲之前:

    这里写图片描述

    这是扭曲之后:

    这里写图片描述

    这是我进行图像增强的代码: http://download.csdn.net/detail/u012931582/9817058

    keras 实现

    keras是一个非常简单地深度学习框架,可以很方便的搭建自己的网络,这是我的keras实现: https://github.com/zhixuhao/unet

    效果

    最后在测试集上的精度可以达到95.7。

    效果如下所示:

    这里写图片描述

    这里写图片描述

    展开全文
  • (最开始接触医学图像分割时写的综述,写的比较幼稚,传上来的时候格式可能有些乱。需要原文的小伙伴可以加我qq:604395564联系,也欢迎做医学图像处理的小伙伴一起交流学习。自己写的,欢迎转载,但请注明出处哦^_^...

    (最开始接触医学图像分割时写的综述,写的比较幼稚,传上来的时候格式可能有些乱。需要原文的小伙伴可以加我qq:604395564联系,也欢迎做医学图像处理的小伙伴一起交流学习。自己写的,欢迎转载,但请注明出处哦^_^)

     

     

    摘 要 医学图像分割是决定医学图像在临床诊疗中能否提供可靠依据的关键问题。医学图像分割技术的发展不仅影响到医学图像处理中其他相关技术的发展,如可视化、三维重建等,而且在生物医学图像的分析中也占有极其重要的地位。近年来,由于一些新兴学科在医学图像处理中的应用, 医学图像分割技术取得了显著的进展。本文从分割所应用的特定理论工具的角度, 对近年来医学图像分割的新方法或改进算法进行综述, 并简要讨论了每类分割方法的特点,并着重对卷积神经网络在医学图像分割上的应用进行研究, 综述了其发展历程和基本原理, 分析和比较了基于神经网络的图像分割的优缺点, 展望了该技术领域以后一段时间内的发展趋势。

     

    关键词:医学图像;图像分割;卷积神经网络

     

    1. 国内外常用的医学图像分割方法

    医学图像分割是医学图像处理与分析领域的复杂而关键的步骤,其目的是将医学图像中具有某些特殊含义的部分分割出来,并提取相关特征,为临床诊疗和病理学研究提供可靠的依据,辅助医生作出更为准确的诊断。由于医学图像自身的复杂性,在分割过程中需要解决不均匀及个体差异等一系列问题,所以一般的图像分割方法难以直接应用于医学图像分割。当前,医学图像分割仍在从手动分割或半自动分割向全自动分割发展。本文在对国内外医学图像分割技术文献研习的基础上,对几种常用的医学图像分割方法进行了深入的研究和比较,总结了各种方法的优缺点及其在国内外医学图像分割领域的应用。

     

    1.1 阈值法

    图像阈值分割是一种广泛应用的分割技术,利用图像中要提取的目标区域与其背景在灰度特性上的差异,把图像看作具有不同灰度级的两类区域(目标区域和背景区域)的组合,选取一个比较合理的阈值,以确定图像中每个像素点应该属于目标区域还是背景区域,从而产生相应的二值图像。阈值分割法的特点是:适用于目标与背景灰度有较强对比的情况,重要的是背景或物体的灰度比较单一,而且总可以得到封闭且连通区域的边界。图1中显示了图像灰度直方图中潜在的两个分界点,如图中虚线所示。如果需要在阈值法的过程中寻找不止一个的阈值来对图像的像素点进行分类,那么这种方法叫做多阈值法。

     

    图1  图像灰度上确定阈值示例

    阈值法在实际应用中主要存在两个问题:(1)该方法只考虑到图像中像素点本身的灰度值,没有考虑到图像中像素点的空间分布,容易对噪声敏感。(2)该方法对于背景与目标区域灰度差异较小的图像分割效果不好。医学图像因个体差异而复杂多样,如:不均匀的人体组织器官常导致图像灰度不均匀;人体组织的蠕动及成像设备的局限性常导致图像中存在伪影和噪声;局部体效应常导致组织边缘模糊;病变组织的病变边缘不明确等。阈值法在医学图像分割中具有一定的局限性。

    近几年,有许多阈值法的改进算法被提了出来,如Tang,Xu- Dong等人[1]提出了一种新的基于阈值的快速图像分割算法,在传统阈值方法的基础上通过简化隶属函数,同时结合一个新的递归策略,从而降低了计算的复杂性,加快了运算速度,较传统算法相比其具备较好的实时时序和噪声抑制性能。

    MR图像对比度往往较低,很难通过阈值法将目标区域从背景中精确地提取出来,所以阈值分割法在MR图像分割中的应用较少,但阈值分割法可以用在MR图像预处理过程中,并与其他图像分割算法相结合,如卷积神经网络算法,从而提高图像分割的准确率。

     

    1.2 区域生长法

    区域生长法是根据图像预先的先验知识和标准,利用初始点周围的生长提取出图像中的连接的区域。区域生长方法中通常利用图像的灰度信息,或者是根据图像的边界的信息得到其所需的标准。区域生长法中最简单的模型中,需要手动初始化,即选定一个点作为区域增长的起始点,然后基于一些预先定于的标准在初始点的邻域搜索,提取所有符合标准的像素区域。例如:一个常用的标准就是,提取初始点的邻域像素点直到遇到图像边界。如图1中所示,区域生长用于隔离图2中所示结构。

    图2  区域生长法选取初始点

    区域生长法对噪声敏感,如果种子像素点选取不当,分割结果就会出现错误,并且对于图像中灰度值相近但不相邻的多个区域不能一次全部分割出来。在医学图像分割中进行病灶分割时,如果种子点选取得当,这种方法可以自动找到病灶的边界,能为医生的诊断提供定量及定性的依据。在医学图像分割中,区域生长法与阈值法一样,一般不单独使用,多与其他分割方法相结合。如Jiang,Hui- Yan等人[2]将区域生长算法和OSTU算法相结合对30个边缘模糊的腹部MRI图像进行了有效分割;Wu,Hai- Shan和Gil,Joan等人[3]使用一个迭代的区域生长算法对卵巢细胞内染色质进行了有效分割;Angelina,S.等人[4]在2012年提出了一种新的区域生长及合并算法与遗传算法相结合的医学图像分割算法,用于对恶性黑色素瘤等皮肤癌进行早期诊断,和其他常规算法相比提高了分割效率,解决了利用非侵入性诊断工具皮肤镜对皮肤癌进行早期诊断耗时长等问题。

     

    1.3 边缘检测法

    边缘检测法主要基于图像灰度级的不连续性,它通过检测不同均匀区域之问的边界来实现对图像的分割,这与人的视觉过程有些相似。依据执行方式的不同,这类方法通常又分为串行边缘检测技术和并行边缘检测技术。在串行边缘检测技术中,当前像素是否属于待检测的边缘受到先前象素的检测结果的影响,使用该方法进行分割可得到连续的边缘,但分割结果比较依赖初始边缘点,不合适的初始边缘点可能导致错误的边缘。而在并行边缘检测技术中,一个象素与其相邻像素之间的关系决定了该像素是否属于检测的边缘,由于只与相邻像素有关,所以并行检测技术可以并行对图像中的所有象素进行检测。常用的并行方法有Canny算子、Sobel算子、Laplacian算子、Prewitt算子、LOG算子等。图3为分别用各类算子检测的细胞边缘。

    在实际应用中。由于并行方法比串行方法分割时间短,所以并行边缘检测法在医学图像分割中更为常用。如2012年Park,J.等人[5]使用并行边界与区域相结合的方法对不同医学图像进行分割,实验结果表明,该方法能可靠准确地分割低对比度的复杂医学图像。

                    

    (a)细胞原始图像        (b)Roberts算子检测的边缘    (c)Sobel算子检测的边缘

                   

    (d)Prewitt算子检测的边缘   (e)Canny算子检测的边缘     (f)LOG算子检测的边缘

    图3  各种边缘检测算子检测的细胞边缘

     

    1.4 基于形变模型的方法

    形变模型[6]起源于1987 年Kass 等提出Snake 模型,其数学基础是泛数最优逼近理论。Snakes 是一条由相应能量函数控制的可形变参数曲线,以能量函数最小化为目标,控制轮廓线变形使其具有最小能量就是目标轮廓。

    形变模型按其不同轮廓曲线的表达形式,可分为参数形变模型[6]和几何形变模型[7-8]两种。参数变形模型在变形过程中以显式参数的形式表达曲线或曲面,该表达形式允许与模型直接交互,利于模型快速实时地实现。然而,变形过程中发生拓扑结构变化时该方法难以处理。相反,几何形变线模型将活动曲线看成是两个区域的分界线,活动曲线的运动过程就是分界线的进化过程。这样,轮廓曲线运动过程就独立于轮廓曲线的参数,因此可以自动处理拓扑结构的变化。    图4(a)所示为一个心脏 MR 图像上应用形变模型(或者称为活动曲线)进行分割。图4(b)中,活动曲线在图片中初始化为一个圆,然后随后慢慢形变为左心室的边缘曲线。

               

    (a)心脏 MR 图像                           (b)左心室分割结果

    图4  使用形变模型提取左心室MR 图像的内壁

     

    1.5 模糊聚类法

    模糊技术是建立在模糊集合理论基础上的, 能很好地处理三维医学图像内在的模糊性, 而且对噪声不敏感。模糊分割技术主要有模糊阈值、模糊聚类、模糊边沿检测等。近年来模糊C -均值(FCM)聚类技术的应用最为广泛。FCM 用于图像分割是一种无监督(Unsupervised)模糊聚类后的标定过程, 易于应用,但其中各像素点的数据是相互独立的,没有利用图像的空间信息,所以可以将空间信息引入算法当中以提高分割算法的准确率,非常适合于医学图像中存在不确定性和模糊性的特点。

    图1为对一幅大脑医学图像应用模糊C-均值聚算法分割的结果,该方法中应用模糊C-均值聚类算法完成了对医学图像的分割,将其分为各具特性的4部分。图5(a)是一幅原始医学图像,图5(b)是分割的结果。

    图5  模糊C-均值聚类方法分割大脑医学图像

    从图5中可以看出对于图中面积比较大的部分取得了较好的分割结果,但是对于一些面积很小的部分结果不太好。还要进一步研究。

    近年来,基于模糊聚类的图像分割方法及其改进算法在医学领域得到了广泛应用,如Kaur,P.等人[9]在2012年提出了一种自动的直观模糊聚类方法,在模拟和真实的脑部MRI图像中进行实验,对比传统的模糊C- 均值、噪声聚类、核化模糊C- 均值等方法,实验结果显示Kaur,P.等人提出的方法更为可靠有效;Liu,Y.等人[10]提出一种带有双边滤波的模糊C- 均值(FCM) 聚类方法进行医学图像分割,通过实验结果和定量分析表明,与传统的FCM相比,该方法具备更高标准的抑制噪声能力和细节保护;Christ,M.C.J.等人[11]提出根据不同类型的模糊C-均值算法改进的医学图像分割技术,并将模糊C- 均值和其他聚类算法如KM、EM和KNN相比较,实验证明模糊C- 均值可提供更好的结果。

     

    1.6 基于遗传算法的方法

    遗传算法(Evolutionary Algo rithms)基本思想是建立在自然选择和群体遗传学机理基础上的随机、迭代、进化, 它采用非遍历寻优搜索策略, 是一种简单、适于并行处理、具有鲁棒性和广泛适用性的搜索方法。此算法的搜索过程不直接作用在变量上, 而是在参数集进行了编码的个体, 这使得遗传算法可直接对结构对象(图像)进行操作。整个搜索过程是从一组解迭代到另一组解, 采用同时处理群体中多个个体的方法, 降低了陷入局部最优解的可能性, 并易于并行化。搜索过程采用概率的变迁规则来指导搜索方向, 而不采用确定性搜索规则, 而且对搜索空间没有任何特殊要求(如连通性、凸性等), 只利用适应性信息, 不需要导数等其它辅助信息, 适应范围广。

    遗传算法擅长于全局搜索, 但局部搜索能力不足, 所以常把把遗传算法和其它算法结合起来应用。如Guan,X.-W.等人[12]在2011年提出一种遗传算法,用全局搜索能力和类间最大变化作为适应度函数,算法结合形态学理论提取图像边缘,实现分割,分割结果如图6所示。实验结果表明,这种遗传算法性能稳定,融合结果理想;Jaffar,M.A.等人[13]在2009年提出一种结合支持向量机的遗传算法,在肺部CT图像中对肺结节进行检测,分割效果理想;Liu,J.等人[14]提出了一种遗传神经网络算法来分割皮肤癌图像,执行基于遗传算法的神经网络的权重和阈值优化来改进BP神经网络的收敛速度,由该方法分割的皮肤癌图像可得到连续的边缘和清晰的轮廓,可以用于皮肤癌的定量分析和鉴定。

    图6  遗传算法分割医学图像。(a)原始图像(b)提取边缘的图像(c)边缘图像曲线拟合结果(d)分割后的图像

     

    1.7 基于小波变换的方法

    小波变换是对Fourier分析的继承与发展,利用小波变换进行医学图像分割的基本方法是通过小波变换将图像直方图分解成不同级别的系数,用尺度控制并依照小波系数和给定的分割准则来选择阈值。小波变换在较大尺度上由噪音引起的细小突变较少,容易描述医学图像信号的整体行为,可检测出医学图像灰度值变化较大的轮廓,因此可以通过在不同尺度下逐步确定阈值来处理医学图像。

    Bindu,Ch.Hima1等人[15]在2011年提出了一种基于小波变换的全自动医学图像分割方案。整个计划分为3个阶段。在第一阶段中,计算图像的小波变换,随后融合LH,HL和HH系数;在第二阶段中,通过计算全局阈值来确定初始点;在第三阶段中,从每个初始点开始进行搜索程序,得到闭环轮廓;Alzubi,S.等人[16]在2011年使用小波、脊波和曲波变换的多分辨率分析建立了一个医学图像分割系统。在不同的医学图像如PET,CT或MRI图像进行实验研究,对曲波变换的医疗数据集进行了测试,并与从其他变换所得到的结果进行了比较。试验表明,使用曲波扫描显著提高了异常组织分类,并减少了噪声。

    图7(a)是一幅原始肝脏CT图像,图7(b)是基于小波变换后的叠加了分割线的分割结果。从结果中可以看出,肝脏左叶也被成功地划进了肝脏的区域,该结果同样受到了“体效应”的影响,部分胃部的气泡也被划进了肝脏的区域,但所得结果还是可以接受的。

             

    (a)肝脏CT图像                          (b)分割结果

    图7  基于小波变换的图像分割

     

    1.8 基于神经网络的方法

    在八十年代后期,在图像处理、模式识别和计算机视觉的主流领域,受到人工智能发展的影响,出现了将更高层次的推理机制用于识别系统的做法。这种思路也开始影响图像分割方法,在解决具体的医学问题时,出现了基于神经网络模型(ANN)的方法。

    神经网络模拟生物特别是人类大脑的学习过程,它由大量并行的节点构成。每个节点都能执行一些基本的计算。学习过程通过调整节点间的连接关系以及连接的权值来实现。神经网络技术的产生背景也许是为了满足对噪声的鲁棒性以及实时输出要求的应用场合而提出的,一些研究人员也尝试了利用神经网络技术来解决图像分割问题。

    多数神经网络方法的出发点是将图像分割问题转化为诸如能量最小化、分类等问题,从而借助神经网络技术来解决问题,其基本思想是用训练样本集对 ANN 进行训练以确定节点间的连接和权值,在用训练好的 ANN 去分割新的图像数据。这种方法的一个问题是网络的构造问题。这些方法需要大量的训练样本集,然而收集这些样本在实际中是非常困难的。ANN 同样也能用于聚类或形变模型,这时 ANN 的学习过程是无监督的。

    卷积神经网络(CNN)作为神经网络的一种,在医学图像分割领域的应用尤为重要,其结构和应用将在文章第2部分具体介绍。

    以上介绍的各种图像分割算法,在不同应用领域表现不同。在医学图像分割领域,如今表现最好的便是卷积神经网络的方法。在2015年组织的糖尿病视网膜病变监测(Diabetic Retinopathy Detection)挑战赛中(https://www.kaggle.com/c/diabetic-retinopathy-detection),参赛者需要对彩色眼底图像进行病变识别监测,该比赛共有661支队伍参加,其中排名靠前的队伍使用的大多都是卷积神经网络的方法。无独有偶,在用MRI测量心脏体积和射血分数的医学图像处理竞赛中(https://www.kaggle.com/c/secon-dannual-data-science-bowl),取得领先的队伍使用的也是卷积神经网络的方法。文章接下来便会对卷积神经网络这一算法进行具体介绍。

     

    2.卷积神经网络

    2.1 卷积神经网络的发展历程

    卷积神经网络的发展历程大致可以分为三个阶段: 理论提出阶段、模型实现阶段以及广泛研究阶段。

    2.1.1 理论提出阶段

    20 世纪60 年代,Hubel 等[17]的生物学研究表明,视觉信息从视网膜传递到大脑中是通过多个层次的感受野(Receptive Field ) 激发完成的。1980 年,Fukushima 第一次提出了一个基于感受野的理论模型Neocognitron[18]。Neocognitron 是一个自组织的多层神经网络模型,每一层的响应都由上一层的局部感受野激发得到,对于模式的识别不受位置、较小形状变化以及尺度大小的影响。Neocognitron采用的无监督学习也是卷积神经网络早期研究中占据主导地位的学习方式。

    2.1.2 模型实现阶段

    1998 年,Lecun等[19]提出的LeNet-5采用了基于梯度的反向传播算法对网络进行有监督的训练。经过训练的网络通过交替连接的卷积层和下采样层将原始图像转换成一系列的特征图,最后,通过全连接的神经网络针对图像的特征表达进行分类。卷积层的卷积核完成了感受野的功能,可以将低层的局部区域信息通过卷积核激发到更高的层次。LeNet-5 在手写字符识别领域的成功应用引起了学术界对于卷积神经网络的关注。同一时期,卷积神经网络在语音识别[20]、物体检测[21]、人脸识别[22]等方面的研究也逐渐开展起来。

    2.1.3 广泛研究阶段

    2012 年,Krizhevsky等[23]提出的AlexNet在大型图像数据库ImageNet[24]的图像分类竞赛中以准确度超越第二名11%的巨大优势夺得了冠军,使得卷积神经网络成为了学术界的焦点。AlexNet之后,不断有新的卷积神经网络模型被提出,比如牛津大学的VGG(Visual GeometryGroup)[25]、Google的GoogLeNet[26]、微软的ResNet[27]等,这些网络刷新了AlexNet在ImageNet上创造的纪录。并且,卷积神经网络不断与一些传统算法相融合,加上迁移学习方法的引入,使得卷积神经网络的应用领域获得了快速的扩展。一些典型的应用包括:卷积神经网络与递归神经网络(Recurrent Neural Network,RNN) 结合用于图像的摘要生成[28-29]以及图像内容的问答[30-31];通过迁移学习的卷积神经网络在小样本图像识别数据库上取得了大幅度准确度提升[32];以及面向视频的行为识别模型———3D 卷积神经网络[33]等。

     

    2.2 感知器神经网络模型

    感知器(Perceptron)是神经网络中的一个概念。感知器模型是美国学者罗森勃拉(Rosenblatt)特为研究大脑的存储、学习和认知过程而提出的一类具有自学习能力的神经网络模型,它是第一个机器学习模型,它把对神经网络的研究从纯理论探讨引向了从工程上的实践。感知器是经典的线性分类模型,是神经网络和支持向量机的基础。

     

    2.2.1 单层感知器

    Rosenblatt提出的感知器模型是一个只有单层计算单元的前向神经网络,称为单层感知器,它是一种二元线性分类器。单层感知器是最简单的神经网络,它包含输入层和输出层,而输入层和输出层是直接相连的。单层感知器模型的结构如图7所示。

    图8  单层感知器模型

     

    图8显示,对于每一个输入值 X=(x1,x2,…,xd),通过一个权重向量W,进行加权求和,并作为阈值函数的输入,可以写成如下线性函数的形式:

           (1)

    式(1)中,xi是输入分量,wi是权值分量,w0是阈值,O是目标输出。作为分类器,可以用已知类别的模式向量或特征向量作为训练集。利用式(1),计算输入层中,每一个输入端和其上的权值相乘,然后将这些乘积相加得到乘积之和。如果乘积和大于临界值(一般是0),输出为1;如果小于临界值,输出为 0,从而将输入向量分成了两类,实现分类器的作用。

     

    2.2.2 多层感知器

    单层感知器的缺点是只能解决线性可分的分类模式问题。对于非线性问题,采用多层网络结构可以增加网络的分类能力,即在输入层与输出层之间增加一个隐含层,从而构成多层感知器。由输入层、隐含层(可以是一层或多层)和输出层构成的神经网络称为多层前馈神经网络。多层感知器的拓扑结构如图9所示。

     

    图9  多层感知器模型

     

     

    2.3 反向传播(Back Propagation,BP)算法

    反向传播算法也称为误差后向传播神经网络,它是一种用于前向多层神经网络的反向传播学习算法,也是神经网络模型中应用最广泛且最重要的一类学习算法。它具有理论依据坚实、推导过程严谨及通用性好的优点。

    算法的学习过程由信号的正向传播与误差的反向传播两个过程组成,即:①正向传播: 输入层接收外来的输入样本,各隐含层进行逐层处理后,输出层输出结果。将输出层的实际输出与期望输出进行比较,若两者不相吻合,则进入误差的反向传播阶段;②误差反向传播: 用输出后误差来估计输出层的直接前导层的误差,再用这个误差估计更前一层的误差,如此逐层反传下去,各层单元产生的误差信号,用来修正各单元误差(权值),以期误差最小。

    在BP模型的学习训练过程中,可利用一些方法如梯度下降法,使权值不断的朝着输出误差减少的方向调整,直到网络输出的误差减少到允许的程度,或者可以事先指定必要的学习次数,达到既定次数即可停止训练#由此可知,BP算法的信号正向传播与误差反向传播的各层权值的调整过程是交替的、多次反复的。

    BP算法的流程图如图10表示。

     

    图10  BP算法流程图

     

    2.4 卷积神经网络结构

    卷积网络是为识别二维形状而特殊设计的一个多层感知器,这种网络结构对平移、比例缩放、倾斜或者共他形式的变形具有高度不变性。 这些良好的性能是网络在有监督方式下学会的,网络的结构主要有稀疏连接和权值共享两个特点,包括如下形式的约束:

    (1)特征提取。每一个神经元从上一层的局部接受域得到突触输人,因而迫使它提取局部特征。一旦一个特征被提取出来, 只要它相对于其他特征的位置被近似地保留下来,它的精确位置就变得没有那么重要了。

    (2)特征映射。网络的每一个计算层都是由多个特征映射组成的,每个特征映射都是平面形式的。平面中单独的神经元在约束下共享 相同的突触权值集,这种结构形式具有如下的有益效果:a.平移不变性。b.自由参数数量的缩减(通过权值共享实现)。

    (3)子抽样。每个卷积层后面跟着一个实现局部平均和子抽样的计算层,由此特征映射的分辨率降低。这种操作具有使特征映射的输出对平移和其他 形式的变形的敏感度下降的作用。

    卷积神经网络是一个多层的神经网络,每层由多个二维平面组成,而每个平面由多个独立神经元组成。 

    https://img-my.csdn.net/uploads/201304/10/1365562094_2229.jpg

    图11  卷积神经网络的概念示范图

    卷积神经网络的概念示范如图11所示。输入图像通过和三个可训练的滤波器和可加偏置进行卷积,卷积后在C1层产生三个特征映射图,然后特征映射图中每组的四个像素再进行求和,加权值,加偏置,通过一个Sigmoid函数得到三个S2层的特征映射图。这些映射图再进过滤波得到C3层。这个层级结构再和S2一样产生S4。最终,这些像素值被光栅化,并连接成一个向量输入到传统的神经网络,得到输出。

    一般地,C层为特征提取层,每个神经元的输入与前一层的局部感受野相连,并提取该局部的特征,一旦该局部特征被提取后,它与其他特征间的位置关系也随之确定下来;S层是特征映射层,网络的每个计算层由多个特征映射组成,每个特征映射为一个平面,平面上所有神经元的权值相等。特征映射结构采用影响函数核小的sigmoid函数作为卷积网络的激活函数,使得特征映射具有位移不变性。

    此外,由于一个映射面上的神经元共享权值,因而减少了网络自由参数的个数,降低了网络参数选择的复杂度。卷积神经网络中的每一个特征提取层(C-层)都紧跟着一个用来求局部平均与二次提取的计算层(S-层),这种特有的两次特征提取结构使网络在识别时对输入样本有较高的畸变容忍能力。

     

    2.5 卷积神经在医学图像分割上的应用

    深度卷积神经网络(CNN)因其具有优良的自主特征能力和良好的特征表达能力,在对医学影像(MRI、CT、X射线等)分割领域以及辅助诊断方面取得了巨大成功。

    文献[34]提出了一种使用卷积神经网络实现在X射线图像中骨骼结构分割的方法,文献采用四种卷积神经网络模型提取图像特征,四种不同配置如表1所示,并在最后一层用softmax分类器对像素进行二分类,将骨骼区域从周围组织中分割出来。由于X射线图像的分辨率很高,为了减少训练的时间,选取局部感兴趣的区域进行训练。在分割的过程中,再不需要人为干涉,避免了人为选取特征存在误操作的风险。骨骼分割结果如图12所示,实验结果表明,第四种神经网络模型在像素误差(Pixel error)、兰德误差(Rand error)和分裂合并翘曲误差(Warping error)三个指标上均取得了优良的性能,如表2所示。

     

    表1  四种卷积神经网络模型的配置

     

    图12  四种卷积神经网络模型下的骨骼轮廓提取结果。从左到右依次为:原图像,模型1,模型2,模型3,模型4

     

    表2  四种卷积神经网络模型的性能和训练时间

     

    文献[35]提出乳房X射线图像中肿瘤分割的框架,如图13所示。该框架结合了深度卷积网络具有优良特征表达能力的特性,将其整合到框架中作为势函数,用于基于像素点的和像素点之间边的势能转换。并且在该框架中跟其他的势函数作比较,比如高斯混合模型、形状先验模型。最后通过实验表明,深度学习模型作为结构化预测模型势函数的分割准确率相比于高斯混合模型、形状先验模型有大幅提升。

    图13   乳房X射线图像中肿瘤分割的CNN模型

     

    卷积神经网络在医学影像分割的准确率方面是毋庸置疑的,但扫描一张图像往往需要几分钟时间,对于分辨率高的图像需要的时间则更长。文献[36][37]分别指出在卷积和池化的过程中,在一个滑动窗口和它的后续窗口之间存在重复的卷积计算和最大池化操作,这是卷积神经网络计算时间代价大的一个重要原因。并且分别提出了减少神经网络中冗余计算的方法,用于实现医学图像的快速扫描。文献[37]提出了一种快速扫描卷积神经网络(FCNN)的方法,用于乳腺癌核磁共振图像诊断。在卷积层用卷积核去卷积整张图像或者上一层的特征图,以及在池化层将最大池化层重新排列的方法减少冗余计算,在不减少分割精度的条件下大幅提高了图像分割速度,满足了实时诊断的需求。

     

    图14  FCNN最大池化层结构图。(a)由前一个卷积层计算得到的12×12扩展特征图。注意,这个扩展的功能图包含整个输入映射的所有信息,而不仅仅是一个滑动窗口。不同颜色方块框对应4个不同的滑动窗口;(b)包含所有滑动窗口的信息。所有的位置都标为红色,(c)-(e)每个方格包含滑动窗口开始的所有位置的信息,分别标为绿色,蓝色,橙色。

     

    文献[38]提出了一种基于最大池化卷积神经网络快速扫描医学图像的方法,提出了扩充的特征图,即该图包含输入图像每个patch的特征,这样只用一次卷积操作就可以对获得全部的特征。同样,在最大池化层只需要一次池化操作即可。因此,基于最大池化卷积神经网络对扫描医学图像的速度有明显提高。

    卷积神经网络不仅在处理医学影像辅助患者进行疾病诊断方面取得了巨大成功,在电子显微成像中对细胞膜分割方面同样有着积极的意义。文献[39][40]提出了基于卷积神经网络实现电子显微图像细胞膜自动分割的方法,方法中用卷积神经网络的监督训练去恢复patches中移除的中心像素标签,能够自动改善用于执行电子显微图像自动分割的细胞膜检测概率图。其中,patches是从细胞膜检测概率图中采样得到的,细胞膜检测概率图是通过分类器算法判断是否图像中的一个像素对应在细胞膜上得到。最后实验表明,相比于传统的机器学习算法,文献[39]方法性能有显著的提高,其结构如图15所示。

     

    图15  深度神经网络监测细胞膜

     

    在文献[40]中又提出了基于迭代的卷积神经网络的细胞膜分割方法,通过在细胞膜检测概率图上迭代地使用卷积神经网络算法,细胞膜分割结果又有了一定的提升。文献[41][42]提出了用卷积神经网络和随机森林相结合的方法实现了对神经细胞图像的分割,这两种方法均获得了优良的分割性能,但他们的侧重点有些不同。文献[41]中对传统的卷积神经网络模型进行了改进,如图16所示,用随机森林分类器代替了传统的softmax分类器。在整个模型中,分别训练卷积神经网络特征提取模型和分类器模型。卷积神经网络模型训练好之后,用其学习到的特征训练随机森林分类器,最后完成电子显微图像的神经细胞膜的分割。通过实验表明,分割准确度明显高于传统的分割算法SVM,而且用随机森林做分类器比用传统的softmax做分类器效果也要好一些。

    图16  基于卷积神经网络和随机森林的细胞分割流程

     

    而文献[42]提出了级联的随机森林和卷积神经网络相结合的模型,在这个模型中结合了级联的随机森林执行速度快和卷积神经网络性能好的优势,并且有两种结合方式。一种方式利用随机森林容易训练的特点,训练好的随机森林模型作为卷积神经网络的初始化,这样会大幅较少卷积神经网络模型的训练时间。另一种方式将训练好的卷积神经网络模型映射到级联的随机森林模型,在保持级联的随机森林能有快速推理性能不变的情况下提高分割的准确率,该模型如图17所示。

     

            (a)          (b)          (c)             (d)

    图17  (a)级联RF训练预测密集的语义标签。(b)级联RF然后映射到一个卷积神经网络,并进一步训练,以提高性能。(c)最后,卷积神经网络被映射到一个级联RF更新参数,以改善在测试时的速度。(d)三个分类器在斑马鱼胚胎显微图像语义分割中的应用:输入滤波器组(d1)和相应的分割输出(d2-d4)。

     

    综上,大量的文献研究表明,卷积神经网络在医学图像分割领域取得了巨大成功,它不仅提供了一个统一的方法对所有图像进行特征提取,而且它大大提高了分割的准确率。

     

    3.结论

    卷积神经网络在医学图像分割上的研究时间不是很长,但近几年发展迅速。大量的科研工作者们投身深度学习领域,随着对卷积神经网络的进一步的研究,卷即神经网络在医学图像分割以及辅助疾病诊断方面有着更广阔的应用前景。

    深度学习目前仍有一些工作需要研究。首先就是训练的时间过长问题,由于深度学习模型有大量的隐层,从输入层将低级特征表示为高级特征需要大量的计算,而且在高层运用反向传播算法优化模型权重同样需要大量运算,需要很长的时间。因此有效的可并行训练框架是一个有前景研究的方向。

     

    [参考文献]

    [1] Tang, Xu Dong, et al. "Fast image segmentation method based on threshold." Control and Decision Conference, 2008. Ccdc IEEE, 2008:3281-3285.

    [2] Jiang, Hui Yan, S. I. Yue-Peng, and X. G. Luo. "Medical Image Segmentation Based on Improved Ostu Algorithm and Regional Growth Algorithm." Journal of Northeastern University 27.4(2006):398-401.

    [3] Wu, Hai Shan, J. Gil, and L. Deligdisch. "Region Growing Segmentation of Chromatin Clumps of Ovarian Cells Using Adaptive Gradients." Journal of Imaging Science & Technology 48.1(2004):22-27.

    [4] Angelina, S, L. P. Suresh, and S. H. K. Veni. "Image segmentation based on genetic algorithm for region growth and region merging." International Conference on Computing, Electronics and Electrical Technologies IEEE, 2012:970-974.

    [5] Park, Jonghyun, S. Park, and W. Cho. "Medical Image Segmentation Using Level Set Method with a New Hybrid Speed Function Based on Boundary and Region Segmentation." Ieice Transactions on Information & Systems E95.D.8(2012):2133-2141.

    [6] Kass, Michael, A. Witkin, and D. Terzopoulos. "Snakes: Active contour models." International Journal of Computer Vision 1.4(1988):321-331.

    [7] Caselles, Vicent, R. Kimmel, and G. Sapiro. "Geodesic active contours." International Journal of Computer Vision 22.1(1997):61-79.

    [8] Malladi, Ravikanth, J. A. Sethian, and B. C. Vemuri. "Shape Modeling with Front Propagation: A Level Set Approach." IEEE Transactions on Pattern Analysis & Machine Intelligence 17.2(1995):158-175.

    [9] Kaurabc, Prabhjot. "RETRACTED: A robust kernelized intuitionistic fuzzy c-means clustering algorithm in segmentation of noisy medical images." Pattern Recognition Letters 34.2(2013):163–175.

    [10] Liu, Yuchen, et al. Fuzzy C-means Clustering with Bilateral Filtering for Medical Image Segmentation. Hybrid Artificial Intelligent Systems. Springer Berlin Heidelberg, 2012.

    [11] Christ, M. C. Jobin, and R. M. S. Parvathi. "Fuzzy c-means algorithm for medical image segmentation." International Conference on Electronics Computer Technology IEEE, 2011:33-36.

    [12] Guan, Xiaowei, X. Zhu, and S. Gao. "Medical Image Segmentation Based on Genetic Algorithm." International Conference on Information Technology, Computer Engineering and Management Sciences IEEE, 2011:359-362.

    [13] Jaffar, M. Arfan, et al. GA-SVM Based Lungs Nodule Detection and Classification. Signal Processing, Image Processing and Pattern Recognition. Springer Berlin Heidelberg, 2009:133-140.

    [14] Jianli, L., and Z. Baoqi. "The Segmentation of Skin Cancer Image Based on Genetic Neural Network." CSIE 2009, 2009 WRI World Congress on Computer Science and Information Engineering, March 31 - April 2, 2009, Los Angeles, California, USA, 7 Volumes DBLP, 2009:594-599.

    [15] Bindu, Ch Hima, and P. K. Satya. "A Fully Automatic Scheme for Medical Image Segmentation with Wavelet Based Image Fusion." Ipcv 2011,2011(1):230- 235.

    [16] Alzubi, Shadi, N. Islam, and M. Abbod. "Multiresolution Analysis Using Wavelet, Ridgelet, and Curvelet Transforms for Medical Image Segmentation." International Journal of Biomedical Imaging 2011.4(2011):136034.

    [17] Hubel, D. H, and T. N. Wiesel. "Receptive fields, binocular interaction and functional architecture in the cat's visual cortex. " Journal of Physiology 160.1(1962):106.

    [18] Fukushima, Kunihiko. "Neocognitron: A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position." Biological Cybernetics 36.4(1980):193-202.

    [19] Lecun, Y., et al. "Gradient-based learning applied to document recognition." Proceedings of the IEEE 86.11(1998):2278-2324.

    [20] Waibel, A., et al. "Phoneme recognition using time-delay neural networks." Readings in Speech Recognition 37.3(1990):393-404.

    [21] Vaillant, R, C. Monrocq, and Y. L. Cun. "An original approach for the localization of objects in images." International Conference on Artificial Neural Networks IET, 1993:26-30.

    [22] Lawrence, S, et al. "Face recognition: a convolutional neural-network approach. " IEEE Transactions on Neural Networks 8.1(1997):98.

    [23] Krizhevsky, Alex, I. Sutskever, and G. E. Hinton. "ImageNet classification with deep convolutional neural networks." International Conference on Neural Information Processing Systems Curran Associates Inc. 2012:1097-1105.

    [24] Deng, Jia, et al. "ImageNet: A large-scale hierarchical image database." Computer Vision and Pattern Recognition, 2009. CVPR 2009. IEEE Conference on IEEE, 2009:248-255.

    [25] Simonyan, Karen, and A. Zisserman. "Very Deep Convolutional Networks for Large-Scale Image Recognition." Computer Science (2014).

    [26] Szegedy, Christian, et al. "Going deeper with convolutions." Computer Vision and Pattern Recognition IEEE, 2014:1-9.

    [27] He, Kaiming, et al. "Deep Residual Learning for Image Recognition." (2015):770-778.

    [28] Donahue, J, et al. "Long-term recurrent convolutional networks for visual recognition and description." IEEE Conference on Computer Vision and Pattern Recognition IEEE, 2015:2625-2634.

    [29] Vinyals, Oriol, et al. "Show and tell: A neural image caption generator." Computer Science (2015):3156-3164.

    [30] Malinowski, Mateusz, M. Rohrbach, and M. Fritz. "Ask Your Neurons: A Neural-Based Approach to Answering Questions about Images." (2015):1-9.

    [31] Agrawal, Aishwarya, et al. "VQA: Visual Question Answering." International Journal of Computer Vision (2015):1-28.

    [32] Zeiler, Matthew D., and R. Fergus. "Visualizing and Understanding Convolutional Networks." 8689(2013):818-833.

    [33] Ji, Shuiwang, et al. "3D Convolutional Neural Networks for Human Action Recognition." Pattern Analysis & Machine Intelligence IEEE Transactions on 35.1(2013):221-231.

    [34] CERNAZANUGLAVAN, and HOLBAN. "Segmentation of Bone Structure in X-ray Images using Convolutional Neural Network." Advances in Electrical & Computer Engineering 13.1(2013):87-94.

    [35] Dhungel, Neeraj, G. Carneiro, and A. P. Bradley. "Deep Learning and Structured Prediction for the Segmentation of Mass in Mammograms." International Conference on Medical Image Computing and Computer Assisted Intervention 2015:605-612.

    [36] Havaei, M, et al. "Brain tumor segmentation with Deep Neural Networks. " Medical Image Analysis 35(2016):18-31.

    [37] Su, Hai, et al. "Region segmentation in histopathological breast cancer images using deep convolutional neural network." IEEE International Symposium on Biomedical Imaging IEEE, 2015:55-58.

    [38] Giusti, A, et al. "Fast Image Scanning with Deep Max-Pooling Convolutional Neural Networks." Computer Sciences (2013):4034-4038.

    [39] Dan, C Cirean, et al. "Deep Neural Networks Segment Neuronal Membranes in Electron Microscopy Images." Advances in Neural Information Processing Systems 25(2012):2852--2860.

    [40] Wu, Xundong. "An Iterative Convolutional Neural Network Algorithm Improves Electron Microscopy Image Segmentation." Computer Science (2015).

    [41] 曹贵宝. 随机森林和卷积神经网络在神经细胞图像分割中的应用研究. Diss. 山东大学, 2014.

    [42] Richmond, David L., et al. "Relating Cascaded Random Forests to Deep Convolutional Neural Networks for Semantic Segmentation." Computer Science (2015).

     

     

     

    展开全文
  • 从图像分类到图像分割卷积神经网络(CNN)自2012年以来,在图像分类和图像检测等方面取得了巨大的成就和广泛的应用。CNN的强大之处在于它的多层结构能自动学习特征,并且可以学习到多个层次的特征:较浅的卷积层感知...

    从图像分类到图像分割

    卷积神经网络(CNN)自2012年以来,在图像分类和图像检测等方面取得了巨大的成就和广泛的应用。

    CNN的强大之处在于它的多层结构能自动学习特征,并且可以学习到多个层次的特征:较浅的卷积层感知域较小,学习到一些局部区域的特征;较深的卷积层具有较大的感知域,能够学习到更加抽象一些的特征。这些抽象特征对物体的大小、位置和方向等敏感性更低,从而有助于识别性能的提高。

    这些抽象的特征对分类很有帮助,可以很好地判断出一幅图像中包含什么类别的物体,但是因为丢失了一些物体的细节,不能很好地给出物体的具体轮廓、指出每个像素具体属于哪个物体,因此做到精确的分割就很有难度。

    传统的基于CNN的分割方法的做法通常是:为了对一个像素分类,使用该像素周围的一个图像块作为CNN的输入用于训练和预测。这种方法有几个缺点:一是存储开销很大。例如对每个像素使用的图像块的大小为15x15,则所需的存储空间为原来图像的225倍。二是计算效率低下。相邻的像素块基本上是重复的,针对每个像素块逐个计算卷积,这种计算也有很大程度上的重复。三是像素块大小的限制了感知区域的大小。通常像素块的大小比整幅图像的大小小很多,只能提取一些局部的特征,从而导致分类的性能受到限制。

    针对这个问题, UC Berkeley的Jonathan Long等人提出了Fully Convolutional Networks (FCN)用于图像的分割。该网络试图从抽象的特征中恢复出每个像素所属的类别。即从图像级别的分类进一步延伸到像素级别的分类。

    FCN的原理

    FCN将传统CNN中的全连接层转化成一个个的卷积层。如下图所示,在传统的CNN结构中,前5层是卷积层,第6层和第7层分别是一个长度为4096的一维向量,第8层是长度为1000的一维向量,分别对应1000个类别的概率。FCN将这3层表示为卷积层,卷积核的大小(通道数,宽,高)分别为(4096,1,1)、(4096,1,1)、(1000,1,1)。所有的层都是卷积层,故称为全卷积网络。 
    这里写图片描述

    可以发现,经过多次卷积(还有pooling)以后,得到的图像越来越小,分辨率越来越低(粗略的图像),那么FCN是如何得到图像中每一个像素的类别的呢?为了从这个分辨率低的粗略图像恢复到原图的分辨率,FCN使用了上采样。例如经过5次卷积(和pooling)以后,图像的分辨率依次缩小了2,4,8,16,32倍。对于最后一层的输出图像,需要进行32倍的上采样,以得到原图一样的大小。

    这个上采样是通过反卷积(deconvolution)实现的。对第5层的输出(32倍放大)反卷积到原图大小,得到的结果还是不够精确,一些细节无法恢复。于是Jonathan将第4层的输出和第3层的输出也依次反卷积,分别需要16倍和8倍上采样,结果就精细一些了。下图是这个卷积和反卷积上采样的过程: 
    这里写图片描述

    下图是32倍,16倍和8倍上采样得到的结果的对比,可以看到它们得到的结果越来越精确: 
    这里写图片描述

    FCN的优点和不足

    与传统用CNN进行图像分割的方法相比,FCN有两大明显的优点:一是可以接受任意大小的输入图像,而不用要求所有的训练图像和测试图像具有同样的尺寸。二是更加高效,因为避免了由于使用像素块而带来的重复存储和计算卷积的问题。

    同时FCN的缺点也比较明显:一是得到的结果还是不够精细。进行8倍上采样虽然比32倍的效果好了很多,但是上采样的结果还是比较模糊和平滑,对图像中的细节不敏感。二是对各个像素进行分类,没有充分考虑像素与像素之间的关系,忽略了在通常的基于像素分类的分割方法中使用的空间规整(spatial regularization)步骤,缺乏空间一致性。

    FCN的扩展

    虽然FCN不够完美,但是其全新的思路开辟了一个新的图像分割方向,对这个领域的影响是十分巨大的,从2015年3月在arxiv和6月在CVPR会议上发表到写下这篇博客的时候一年的时间,该文章已被引用高达400次。

    在FCN的基础上,UCLA DeepLab的Liang-Chieh Chen等在得到像素分类结果后使用了全连接的条件随机场(fully connected conditional random fields),考虑图像中的空间信息,得到更加精细并且具有空间一致性的结果。

    Liang-Chieh的这篇文章有两大特点,一是忽略下采样过程,转而使用稀疏的卷积核以增加感知范围。如下图所示: 
    这里写图片描述

    二是使用了Fully Connected CRF。CRF的能量函数中包括数据项和平滑项两部分,数据项与各个像素属于各类别的概率有关,平滑项控制像素与像素间类别的一致性。传统的CRF的平滑项只考虑相邻像素类别的关联性,而Fully Connected CRF将图像中任意两个像素之间的类别关联性都考虑进来。

    下图是CNN与Fully Connected CRF结合的示意图。 
    这里写图片描述

    实际上,CRF或者Fully Connected CRF是对CNN或者FCN输出的一种后处理技术。像素分类和空间规整这两步是分别进行的。Shuai Zheng等人将Fully Connected CRF表示成回流神经网络的结构(recurrent neuron network,RNN),将CNN与这个RNN放到一个统一的框架中,可以一步到位地对两者同时进行训练。将图像分割中的三个步骤:特征提取、分类器预测和空间规整全部自动化处理,通过学习获得,得到的结果比FCN-8s和DeepLab的方法的效果好了许多。如下图结果: 
    这里写图片描述

    CNN、FCN与Fully Connected CRF的结合及统一的自动训练具有很不错的应用价值,已有很多的研究对这几篇文章进行跟进([2]和[3]的引用都已过百)。例如,帝国理工的Konstantinos Kamnitsas,Daniel Rueckert等人在这几篇文章的基础上,提出了三维的多尺度CNN和全连接CRF结合的方法,称为DeepMedic, 用于脑肿瘤的分割,最近(4月4号)刚发表于arXiv。

    展开全文
  • FCN网络是深度学习图像分割领域的奠基之作,有着极大的意义....传统的分类卷积神经网络,如AlexNet,VGG等都是输入一幅图像,输出图像所属类别的概率,因此为对整幅图像的类别的预测.而本文中的FC...
  • 卷积神经网络图像分割(U-net)-keras实现

    万次阅读 多人点赞 2018-11-04 19:10:13
    最近在研究全卷积神经网络图像分割方面的应用,因为自己是做医学图像处理方面的工作,所以就把一个基于FCN(全卷积神经网络)的神经网络用 keras 实现了,并且用了一个医学图像的数据集进行了图像分割。全卷积神经...
  • 基于卷积神经网络图像语义分割

    万次阅读 2018-02-14 20:41:25
    论文地址基于卷积神经网络的图像语义分割浙江大学硕士论文图像分割:就是把感兴趣的内容从图像上分割出来,但是一般会对这个目标加上一定的语义信息,即语义标签,把加上语义的图像分割称为图像语义分割。...
  • 但是想象一下,假设我们需要通过图像检测某个产品上是否存在缺陷,或者通过卫星图判断某片海域是否有某公司的船只,再或者需要研发一套无人驾驶中基于图像的避障设备。这些问题的共同特点是,我们只需要检测出某种...
  • 基于全卷积神经网络的前列腺磁共振图像分割   目的研究从前列腺磁共振图像中自动分割的方法。方法本文提出了基于全卷积神经网络的前列腺磁共振图像分割方法。首先将三维前列腺磁共振图像经切片采样得到二维图像,...
  • 卷积神经网络FCN

    万次阅读 2018-07-19 14:48:55
    卷积神经网络CNN(YannLecun,1998年)通过构建多层的卷积层自动提取图像上的特征,一般来说,排在前边较浅的卷积层采用较小的感知域,可以学习到图像的一些局部的特征(如纹理特征),排在后边较深的卷积层采用较大...
  • 基于深度学习的医学图像分割综述

    万次阅读 多人点赞 2019-07-23 16:01:40
    (自己写的,需要转载请联系作者,或者标明出处呀,欢迎加微信交流:wx604954) 摘要:医学图像分割是...近年来,由于深度学习算法在医学图像分割中的应用, 医学图像分割技术取得了显著的进展。在本文中,我们讨...
  • FCN于反卷积(Deconvolution)、上采样(UpSampling)

    万次阅读 多人点赞 2018-03-01 20:02:52
    最近在研究图像分割方面的内容,图像分割是对图像进行像素进行分类。在这里提到分类,首先想到了 使用深度学习的方法进行分类操作的。 在这里以前的一些传统的方法进行的操作,这里就不细说了。这样使用了深度学习...
  • 语义分割算法总结(一)

    万次阅读 2018-06-11 09:16:59
    我们都知道,图像是由许多像素(Pixel)组成,而「语义分割」顾名思义就是将像素按照图像中表达语义含义的不同进行分组(Grouping)/分割(Segmentation)。 上面的图片就是一个具体的语义分割的例子。左边的...
  • 简单的来讲就是给一张图像,检测是用框出框出物体,而图像分割分出一个物体的准确轮廓。也这样考虑,给出一张图像 I,这个问题就是求一个函数,从I映射到Mask。至于怎么求这个函数有多种方法。我们可以看到这个图...
  • 卷积网络(FCN)与图像分割

    万次阅读 多人点赞 2016-05-16 18:00:39
    与传统用CNN进行图像分割的方法相比,FCN有两大明显的优点:一是可以接受任意大小的输入图像,而不用要求所有的训练图像和测试图像具有同样的尺寸。二是更加高效,因为避免了由于使用像素块而带来的重复存储和计算...
  • 深度学习中的卷积与反卷积

    万次阅读 多人点赞 2017-07-16 19:51:36
    深度学习中的卷积与反卷积卷积与反卷积操作在图像分类、图像分割、图像生成、边缘检测等领域都有很重要的作用。为了讲明白这两种操作,特别是反卷积操作,本文将依照 * 神经网络中的编码器——解码器——卷积——反...
  • 回顾图像分割的经典算法

    万次阅读 多人点赞 2018-02-10 10:25:54
    [转] ...车载摄像头探查到图像,后台计算机可以自动将图像分割归类,以避让行人和车辆等障碍。随着近些年深度学习的火热,使得图像分割有了巨大的发展,本文为大家介绍深...
  • 介绍了文章的摘要以及值得学习的点。首先可以使用染色校正的方法进行图像预处理(这是一种机理方法),其次让我明白了如何使用CNN进行图像分割;最后是这篇论文的实验丰富,有支撑力。
  • CV之IS:计算机视觉之图像分割(Image Segmentation)算法的挑战任务、算法演化、目标检测和图像分割(语义分割/实例分割/全景分割)的对比 相关文章CV之IS:计算机视觉之图像分割(Image Segmentation)算法的简介、...
  • 自2012年AlexNet以来,卷积神经网络(简称CNN)在图像分类、图像分割、目标检测等领域获得广泛应用。随着性能的要求越来越高,AlexNet已经无法满足大家的需求,于是乎各路大牛纷纷提出性能更...
1 2 3 4 5 ... 20
收藏数 18,445
精华内容 7,378
关键字:

卷积神经网络图像分割