精华内容
下载资源
问答
  • 全卷积神经网络图像分割(U-net)-keras实现

    万次阅读 多人点赞 2017-04-17 20:36:34
    最近在研究全卷积神经网络在图像分割方面的应用,因为自己是做医学图像处理方面的工作,所以就把一个基于FCN(全卷积神经网络)的神经网络用 keras 实现了,并且用了一个医学图像的数据集进行了图像分割。全卷积神经...

    最近在研究全卷积神经网络在图像分割方面的应用,因为自己是做医学图像处理方面的工作,所以就把一个基于FCN(全卷积神经网络)的神经网络用 keras 实现了,并且用了一个医学图像的数据集进行了图像分割。

    全卷积神经网络

    大名鼎鼎的FCN就不多做介绍了,这里有一篇很好的博文 http://www.cnblogs.com/gujianhan/p/6030639.html。
    不过还是建议把论文读一下,这样才能加深理解。

    医学图像分割框架

    医学图像分割主要有两种框架,一个是基于CNN的,另一个就是基于FCN的。

    基于CNN 的框架

    这个想法也很简单,就是对图像的每一个像素点进行分类,在每一个像素点上取一个patch,当做一幅图像,输入神经网络进行训练,举个例子:

    cnnbased

    这是一篇发表在NIPS上的论文Ciresan D, Giusti A, Gambardella L M, et al. Deep neural networks segment neuronal membranes in electron microscopy images[C]//Advances in neural information processing systems. 2012: 2843-2851.

    这是一个二分类问题,把图像中所有label为0的点作为负样本,所有label为1的点作为正样本。

    这种网络显然有两个缺点:

    1. 冗余太大,由于每个像素点都需要取一个patch,那么相邻的两个像素点的patch相似度是非常高的,这就导致了非常多的冗余,导致网络训练很慢。
    2. 感受野和定位精度不可兼得,当感受野选取比较大的时候,后面对应的pooling层的降维倍数就会增大,这样就会导致定位精度降低,但是如果感受野比较小,那么分类精度就会降低。

    基于FCN框架

    在医学图像处理领域,有一个应用很广泛的网络结构----U-net ,网络结构如下:

    这里写图片描述

    可以看出来,就是一个全卷积神经网络,输入和输出都是图像,没有全连接层。较浅的高分辨率层用来解决像素定位的问题,较深的层用来解决像素分类的问题。

    问题分析

    我采用的数据集是一个isbi挑战的数据集,网址为: http://brainiac2.mit.edu/isbi_challenge/

    数据集需要注册下载,我的GitHub上也有下载好的数据集。

    这个挑战就是提取出细胞边缘,属于一个二分类问题,问题不算难,可以当做一个练手。

    这里写图片描述

    这里最大的挑战就是数据集很小,只有30张512*512的训练图像,所以进行图像增强是非常有必要的。

    在这里,我参考了一篇做图像扭曲的论文,http://faculty.cs.tamu.edu/schaefer/research/mls.pdf

    实现的效果如下:

    这是扭曲之前:

    这里写图片描述

    这是扭曲之后:

    这里写图片描述

    这是我进行图像增强的代码: http://download.csdn.net/detail/u012931582/9817058

    keras 实现

    keras是一个非常简单地深度学习框架,可以很方便的搭建自己的网络,这是我的keras实现: https://github.com/zhixuhao/unet

    效果

    最后在测试集上的精度可以达到95.7。

    效果如下所示:

    这里写图片描述

    这里写图片描述

    展开全文
  • 全卷积神经网络

    2019-09-26 16:23:09
    这篇文章在结构上将卷积神经网络最后几层的连接层用卷积层替代。 为了用在语义分割任务重,对于卷积后得到的结果上采样到原图的大小。在上采样的过程中,不仅仅是上采样最后一层pool5层,得到FCN-32s(特征图长宽...

    Fully Convolutional Networks for Semantic Segmentation 论文链接

    一、文章创新点

    1. 这篇文章在结构上将卷积神经网络最后几层的全连接层用卷积层替代。
    2. 为了用在语义分割任务重,对于卷积后得到的结果上采样到原图的大小。在上采样的过程中,不仅仅是上采样最后一层pool5层,得到FCN-32s(特征图长宽扩大32倍,与原图大小相同。基于AlexNet),而且还对pool4层接1x1的卷积,融合pool5层上采样2x的结果,得到stride 16 prediction。stride 16 prediction再上采样得到FCN-16s.
    3. 2x上采样的参数通过线性差值初始化,但是这些参数是可学习的。
      使用与FCN-16s同样的方法,得到FCN-8s。

    这种网络的优点:

    1. 全部使用卷积层,网络可以接受任意尺寸大小的输入图像
    2. 深层的特征图信息决定是什么,浅层的特征图可以获得更精细位置信息(浅层的感受野小,局部信息;深层的感受野大,全局信息)

    二、网络结构

    1. 全卷积神经网络的结构
      在这里插入图片描述

    2. 全卷积网络用于语义分割
      在这里插入图片描述

    3. 用卷积层代替全连接层

    4. 评价标准
      评价标准参考
      在这里插入图片描述
      在这里插入图片描述

    nijn_{ij}实际为第ii类,但是预测为第jj类的数量
    tit_{i}ii类像素点的数目
    pixel accuracy: 所有像素点的正确率
    mean accuracy: 每个类别像素点的正确率
    mean IU: 类似于mean IOU的概率,label和prediction不再是矩形,而是不规则的形状。
    Σjnji\Sigma_{j}n_{ji}:预测为第ii类的所有像素点的个数
    在这里插入图片描述

    1. Patchwise training介于image training和pixel training之间的训练,即在语义分割任务中,将从原图片中随机crop多个子图进行训练

    2. mean IU 类似于mean IoU的概念

    3. 转置卷积
      转置卷积计算过程
      深度学习中的转置卷积
      转置卷积

    展开全文
  • 基于深层卷积神经网络的特征学习能力, 提出了一种基于全卷积神经网络的焊缝特征提取方法。该方法利用全卷积神经网络将包含焊缝特征信息的像素预测出来, 通过融合低层与高层特征信息来补充焊缝边缘的特征信息。研究...
  • 基于最新的tensorflow·2.0框架下的全卷积神经网络,十分适合小白用户查看。一看即懂。代码优化十分简单,没有掺杂复杂建模,一个程序运行到底!
  • 全卷积神经网络的字符级文本分类方法
  • 基于从一张含有任意人群密度和任意视角的图像中准确地估计出其中的人群数目的目的,采用了全卷积神经网络先从图像中获得其人群密度图,然后对人群密度图上每个位置进行求和操作得到最终的人群数目的方法。所采用的...
  • 提出了一种级联全卷积神经网络的显著性检测方法。网络主要由两层级联的全卷积神经网络组成,第一阶段构建了一个带金字塔池化模块编码-解码架构的全卷积神经网络,金字塔池化模块有效抑制了背景噪声的干扰。第二阶段...
  • 使用全卷积神经网络进行结直肠息肉分割
  • 针对这一问题,将图像语义分析的思维引入手语识别研究中,提出一种优化全卷积神经网络算法。采用全卷积神经网络提取手语图像的语义特征,并通过判别随机场进行语义标注做后期平滑处理,恢复像素间的细节信息,从而...
  • FCN全卷积神经网络

    2020-07-24 09:47:40
    全卷积神经网络 通常的CNN网络在卷积层后会接上若干个全连接层,将卷积层映射称为一个固定长度的特征向量,比如在Imagenet模型中最后输出的就是一个1000维的向量来表述,得到的是预测不同的维度的概率。 FCN 是对...

    全卷积神经网络

    通常的CNN网络在卷积层后会接上若干个全连接层,将卷积层映射称为一个固定长度的特征向量,比如在Imagenet模型中最后输出的就是一个1000维的向量来表述,得到的是预测不同的维度的概率。

    在这里插入图片描述
    FCN 是对图像进行像素级的分类,解决了语义级别的图像分割。
    传统的CNN 接受的图像尺寸大小是固定的,FCN可以接受任意尺寸的输入图像,并且采用反卷积对卷积层进行上采样,使图像恢复到原来图像的尺寸大小,从而对每个像素都进行了预测。

    FCN与传统的区别是将全连接改成了全卷积,是最后得到的输出结果是一张label好的图片。

    在这里插入图片描述

    自我感觉上图是FCN中描述比较准确的一张图,而且很容易理解,其中FCN-32S 是在最后一个卷积层然后进行上采样32倍得到输出结果。
    FCN-8S 是在最后一个卷积层先上采样2倍,然后与倒数第二个大的卷积层进行相加融合,然后在上采样二倍,然后与倒数第三个卷积层进行融合,然后最后进行上采样8倍得到最后结果。

    缺点

    1.是得到的结果还是不够精细。进行8倍上采样虽然比32倍的效果好了很多,但是上采样的结果还是比较模糊和平滑,对图像中的细节不敏感。
    2.是对各个像素进行分类,没有充分考虑像素与像素之间的关系。忽略了在通常的基于像素分类的分割方法中使用的空间规整(spatial regularization)步骤,缺乏空间一致性。

    FCN上采样用的方法是转置卷积,计算起来过于复杂,后续发展的网络采用较多的上采样方法是双线性插值。

    展开全文
  • 全卷积神经网络中包含的都是卷积层,根据任务需要可以适当保留池化层,为了完成密集预测,卷积神经网络中的全连接层必须被卷积层替代,这也是全卷积神经网络最大的特点之一。

    全卷积神经网络中包含的都是卷积层,根据任务需要可以适当保留池化层,为了完成密集预测,卷积神经网络中的全连接层必须被卷积层替代,这也是全卷积神经网络最大的特点之一。

    展开全文
  • 为了解决这个问题,本文提出了一种基于组合目标框提取结构的扩张全卷积神经网络(Dilated Fully Convolutional Network with Grouped Proposals,DFCN-GP).具体提出了一种结合低层特征和高层特征的组合网络模型用于...
  • 机器学习21:全卷积神经网络FCN(整理) 看了很多关于全卷积神经网络的文章和博客,首先放上三篇我认为最有帮助以及适合入门的文章图像语义分割入门+FCN/U-Net网络解析,FCN学习:Semantic Segmentation以及10分钟看...
  • 提出一种结合全卷积神经网络与条件随机场的资源3号卫星遥感影像云检测方法。优化了全卷积神经网络(FCN)模型,对3次上采样后的全卷积神经网络(FCN-8s)进行上采样,采用自适应+动量算法调整参数学习率加速收敛;将...
  • 提出了一种基于多尺度特征融合的全卷积神经网络的视网膜血管分割方法, 无需手工设计特征和后处理过程。利用跳跃连接构建编码器-解码器结构全卷积神经网络, 将高层语义信息和低层特征信息进行融合; 利用残差块进一步...
  • FCN全卷积神经网络是图像分割的基础网络 FCN实现了端到端的网络,输入mxm图像,输出为mxmxc的图像,其中c代表种类。 思想概述 FCN叫做全卷积神经网络,顾名思义所有曾都是卷积层!也就是抛掉了全连接层,这是第一...
  • 复杂环境下基于角点回归的全卷积神经网络的车牌定位
  • 为了实现对医疗数据的快速检测和分类识别,需要对医疗数据进行表面重建设计,首先,提出一种基于改进全卷积神经网络的医疗数据表面重建算法.采用无线射频识别技术进行医疗数据的大数据采样,对RFID采集的医疗数据...
  • 卷积神经网络(CNN) 卷积层 卷积层尺寸的计算原理 标准卷积计算举例 1 x 1 卷积计算举例 全连接层计算举例 附:TensorFlow 中卷积层的简单实现 激励层 池化层 池化层的作用 输出层 VGG的特点: 全卷积...
  • 为进一步提高多聚焦图像的融合质量,提出一种基于监督学习的全卷积神经网络多聚焦图像融合算法。该算法旨在运用神经网络学习源图像不同聚焦区域的互补关系,即选择源图像中不同的聚焦位置合成一张全局清晰图像。该算法...
  • 提出了基于改进的深度学习全卷积神经网络的资源三号遥感影像云检测方法。将预训练后的深层卷积神经网络全连接层改为全卷积层,采用反卷积方法对特征图进行上采样,优化改进网络结构,并采用Adam梯度下降法加速收敛。...
  • 针对目前遥感影像分类应用中常用的浅层机器学习算法无法满足当前海量遥感影像数据环境下分类精度的问题, 提出了一种将全卷积神经网络应用于遥感影像分类的方法;为了减少影像特征图在池化过程中自身特征的丢失, 增加...
  • 基于深度全卷积神经网络的文字区域定位方法_骆遥.pdf
  • 针对低照度条件下图像对比度不高、颜色失衡和存在噪声等问题,提出了一种基于多分支全卷积神经网络(MBACNN)的低照度图像增强模型。该模型是一个端到端的模型,包含特征提取模块(FEM)、增强模块(EM)、融合模块(FM)和...
  • 为实现快速而准确的人脸检测,提出了一种基于全卷积神经网络的多尺度人脸检测的方法,将卷积神经网络模型AlexNet的全连接层改为全卷积层,并将分类层改为人脸与非人脸的二分类,训练之后准确率达到99.16%。...
  • 这篇论文使用全卷积神经网络来做语义上的图像分割,开创了这一领域的先河。看了一天这个论文,结合网上别的其他资料,对这篇论文比较好的解读有: 1 https://leonardoaraujosantos.gitbooks.io/artificial-in...
  • 全卷积神经网络 医学图像分割框架 医学图像分割主要有两种框架,一个是基于CNN的,另一个就是基于FCN的。 基于CNN 的框架 这个想法也很简单,就是对图像的每一个像素点进行分类,在每一个像素点上取一个patch,...
  • (本科毕业论文题目、摘要、关键词及相应的英文翻译,欢迎做前列腺分割的小伙伴可以...首先将三维前列腺磁共振图像经切片采样得到二维图像,然后将前列腺图像切片输入全卷积神经网络,该网络结构可实现图像像素级别...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 4,979
精华内容 1,991
关键字:

全卷积神经网络