图像处理 深度学习 论文

2018-06-25 15:47:44 Gavinmiaoc 阅读数 34535

 

传统的图形学和视觉的研究方法,主要还是基于数学和物理的方法。然而随着近几年深度学习在视觉领域取得的卓越的效果,视觉领域研究的前沿已经基本被深度学习占领。在这样的形势之下,越来越多的图形学研究者也开始将目光投向深度学习。在图形学和视觉交叉的领域,一系列问题的研究正在围绕深度学习火热展开,特别是在图像编辑(image editing)和图像生成(image generation)方面,已经初见成效。今天我们讨论的问题,图像补全(image inpainting),正是介于图像编辑和图像生成之间的一个问题。

图像补全最初是一个传统图形学的问题。问题本身很直观:在一幅图像上挖一个洞,如何利用其它的信息将这个洞补全,并且让人眼无法辨别出补全的部分。这个问题对我们人类似乎很容易,比如下面这个洞,大家很容易脑补出洞里应该有窗户和门,背景是墙,如果还有一些绘画天赋的话,大概就能想象着把它补出来。但是这个任务对于计算机却显得格外困难,首先这个问题没有唯一确定的解,其次如何利用其它的信息?如何判断补全结果是否足够真实?

 

以深度学习为代表的机器学习,正在逐渐席卷整个图形学研究领域。研究者们逐渐发现,当传统的基于物理的模型发展遇到瓶颈的时候,机器学习的方法也许能够帮助我们解释这些复杂的数理模型。毕竟只有理解了图像的深层结构,才能更好地指导图像的生成和处理。

 

 

文章推荐

 


1. CVPR 2016Context-Encoders(CNN+GAN, 鼻祖级的 NN修复方法) 

链接: Feature Learning by Inpainting

Github代码:

pathak22/context-encoder​github.com图标

2. CVPR 2017High Resolution Inpainting(Context-Encoders+CNNMRF) 

 链接: High-Resolution Image Inpainting using Multi-Scale Neural Patch Synthesis

Github代码:

leehomyc/Faster-High-Res-Neural-Inpainting​github.com图标

3. ICCV 2017on demanding learning(感觉也是Context-Encoders的衍生版...) 

 链接:

On-Demand Learning for Deep Image Restoration, 

Github代码:

rhgao/on-demand-learning​github.com

 

4. SIGGRAPH 2017 (ACM ToG)Globally and Locally Consistent Image Completion 

(CE中加入Global+Local两个判别器的改进), 

Github代码:

1)https://github.com/satoshiiizuka/siggraph2017_inpainting​github.com

2)https://github.com/shinseung428/GlobalLocalImageCompletion_TF

  其中第二个实现稍微不同于原论文。但是展示效果非常棒。

5. ICLR 2018New AI Imaging Technique Reconstructs Photos with Realistic Results 

Image Inpainting for Irregular Holes UsingPartial Convolutions  

号称秒杀PS的AI图像修复神器,来自于Nvidia 研究团队。引入了局部卷积,能够修复任意非中心、不规则区域),代码还没有放出来

[1804.07723] Image Inpainting for Irregular Holes Using Partial Convolutions​arxiv.org

 

6. CVPR 2018Generative Image Inpainting with Contextual Attention

一作大佬jiahui Yu 后续还有个工作: Free-Form Image Inpainting with Gated Convolution,

 Github代码:

JiahuiYu/generative_inpainting​github.com图标

 

7. 哈工大左旺孟老师他们也有一篇Shift-Net: Image Inpainting via Deep Feature Rearrangement 

效果也不错,代码还没有放

 


8.Deep image prior 

项目主页:https://dmitryulyanov.github.io/deep_image_prior

适用场景: 
1)难以建模图像退化过程 
2)难以得到训练图像进行监督训练 

 

9.

ECCV 2018Contextual-based Image Inpaintinginpainting大佬Chao Yang(NPS的一作)等人的又一力作:

Contextual-based Image Inpainting​arxiv.org

 

10.ArXiv 2019 EdgeConnect:使用对抗边缘学习进行生成图像修复

论文链接:ArXiv | BibTex

项目地址:https://github.com/knazeri/edge-connect#testing

EdgeConnect,一种基于边缘补全的图像修复新方法,这篇文章将图像修复的工作分成了两个部分,首先利用利用启发式的生成模型得到了缺失部分的边缘信息,随后将边缘信息作为图像缺失的先验部分和图像一起送入修复网络进行图像重建。(from 安大略技术大学)

具体来说,作者们提出了一个二阶段生成对抗网络 EdgeConnect,它包括一个边缘生成器,然后是一个图像补全网络。边缘生成器在图像的缺失区域(规则和不规则)生成预测边缘,然后图像补全网络使用预测边缘作为先验填充缺失区域。研究者通过公开可用的数据集 CelebA、Places2 和 Paris StreetView 对模型进行端到端评估,并表明它在数量和质量上优于当前最先进的技术。


详见这里

 

11. ACM MM 2018Semantic Image Inpainting with Progressive Generative Networks简称PGN,采用了由外至内的步进式修补策略,Github代码:

crashmoon/Progressive-Generative-Networks​github.com

 

 

12. NIPS 2018Image Inpainting via Generative Multi-column Convolutional Neural Networks,用了不少trick,

Github代码:

shepnerd/inpainting_gmcnn​github.com图标

 

13. CVPR 2019Foreground-aware Image Inpainting, 思路类似于上面的工作,也是先推断生成轮廓边缘,辅助缺失区域进行修复,不知道上面的哥们看了这篇会是什么感受...速度也很重要啊...

Foreground-aware Image Inpainting​arxiv.org

 

 

14. CVPR 2019Pluralistic Image Completion

论文与Github代码:https://arxiv.org/abs/1903.04227​arxiv.org

 

lyndonzheng/Pluralistic-Inpainting​github.com图标

 

15. IJCAI 2019MUSICAL: Multi-Scale Image Contextual Attention Learning for Inpainting,武汉大学杜博老师组的工作(注:第一作者为我校计院的一名本科生...广大CV狗瑟瑟发抖!)。引入一个多尺度的上下文注意力模块,避免信息滥用/误用导致的纹理模糊等问题,损失函数部分联合了风格损失、感知损失、对抗损失,来保证补绘内容的一致性和清晰水平。

武汉大学地学智能感知与机器学习研究组​sigma.whu.edu.cn图标

 

16. ArXiv 2019Coherent Semantic Attention for Image Inpainting,论文作者为@Kuma , 文中提出了一个全新的Attention模块,该模块不仅有效的利用了上下文信息同时能够捕捉到生成补丁之间的相关性。同时提出了一个新的损失函数配合模块的工作,最后利用一个新的特征感知辨别器对细节效果进行加强,代码过段时间会公开

Coherent Semantic Attention for Image Inpainting​arxiv.org

 

KumapowerLIU - Overview​github.com图标

 

 

 

参考链接:

1.https://www.zhihu.com/question/56801298

2.https://blog.csdn.net/muyiyushan/article/details/79093806

 

2018-05-05 22:02:57 weixin_41923961 阅读数 11334

针对模糊图像的处理,个人觉得主要分两条路,一种是自我激发型,另外一种属于外部学习型。接下来我们一起学习这两条路的具体方式。

第一种 自我激发型

  基于图像处理的方法,如图像增强和图像复原,以及曾经很火的超分辨率算法。都是在不增加额外信息的前提下的实现方式。 
   
1. 图像增强

  图像增强是图像预处理中非常重要且常用的一种方法,图像增强不考虑图像质量下降的原因,只是选择地突出图像中感兴趣的特征,抑制其它不需要的特征,主要目的就是提高图像的视觉效果。先上一张示例图: 
   
  这里写图片描述 
   
  图像增强中常见的几种具体处理方法为:

  1. 直方图均衡

      在图像处理中,图像直方图表示了图像中像素灰度值的分布情况。为使图像变得清晰,增大反差,凸显图像细节,通常希望图像灰度的分布从暗到亮大致均匀。直方图均衡就是把那些直方图分布不均匀的图像(如大部分像素灰度集中分布在某一段)经过一种函数变换,使之成一幅具有均匀灰度分布的新图像,其灰度直方图的动态范围扩大。用于直方均衡化的变换函数不是统一的,它是输入图像直方图的积分,即累积分布函数。

  2. 灰度变换

      灰度变换可使图像动态范围增大,对比度得到扩展,使图像清晰、特征明显,是图像增强的重要手段之一。它主要利用图像的点运算来修正像素灰度,由输入像素点的灰度值确定相应输出像素点的灰度值,可以看作是“从像素到像素”的变换操作,不改变图像内的空间关系。像素灰度级的改变是根据输入图像f(x,y)灰度值和输出图像g(x,y)灰度值之间的转换函数g(x,y)=T[f(x,y)]进行的。 
      灰度变换包含的方法很多,如逆反处理、阈值变换、灰度拉伸、灰度切分、灰度级修正、动态范围调整等。

  3. 图像平滑

      在空间域中进行平滑滤波技术主要用于消除图像中的噪声,主要有邻域平均法、中值滤波法等等。这种局部平均的方法在削弱噪声的同时,常常会带来图像细节信息的损失。 
      邻域平均,也称均值滤波,对于给定的图像f(x,y)中的每个像素点(x,y),它所在邻域S中所有M个像素灰度值平均值为其滤波输出,即用一像素邻域内所有像素的灰度平均值来代替该像素原来的灰度。 
      中值滤波,对于给定像素点(x,y)所在领域S中的n个像素值数值{f1,f2,…,fn},将它们按大小进行有序排列,位于中间位置的那个像素数值称为这n个数值的中值。某像素点中值滤波后的输出等于该像素点邻域中所有像素灰度的中值。中值滤波是一种非线性滤波,运算简单,实现方便,而且能较好的保护边界。

  4. 图像锐化

      采集图像变得模糊的原因往往是图像受到了平均或者积分运算,因此,如果对其进行微分运算,就可以使边缘等细节信息变得清晰。这就是在空间域中的图像锐化处理,其的基本方法是对图像进行微分处理,并且将运算结果与原图像叠加。从频域中来看,锐化或微分运算意味着对高频分量的提升。常见的连续变量的微分运算有一阶的梯度运算、二阶的拉普拉斯算子运算,它们分别对应离散变量的一阶差分和二阶差分运算。

2. 图像复原

  这里写图片描述 
   
  其目标是对退化(传播过程中的噪声啊,大气扰动啊好多原因)的图像进行处理,尽可能获得未退化的原始图像。如果把退化过程当一个黑匣子(系统H),图片经过这个系统变成了一个较烂的图。这类原因可能是光学系统的像差或离焦、摄像系统与被摄物之间的相对运动、电子或光学系统的噪声和介于摄像系统与被摄像物间的大气湍流等。图像复原常用二种方法。当不知道图像本身的性质时,可以建立退化源的数学模型,然后施行复原算法除去或减少退化源的影响。当有了关于图像本身的先验知识时,可以建立原始图像的模型,然后在观测到的退化图像中通过检测原始图像而复原图像。 
   
3. 图像超分辨率   
  一张图我们想脑补细节信息好难,但是相似的多幅图我们就能互相脑洞了。所以,我们可以通过一系列相似的低分辨图来共同脑补出一张高清晰图啊,有了这一张犯罪人的脸,我就可以画通缉令了啊。。。 
  超分辨率复原技术的目的就是要在提高图像质量的同时恢复成像系统截止频率之外的信息,重建高于系统分辨率的图像。继续说超分辨,它其实就是根据多幅低质量的图片间的关系以及一些先验知识来重构一个高分辨的图片。示例图如下: 
这里写图片描述

第二种 外部学习型

  外部学习型,就如同照葫芦画瓢一样的道理。其算法主要是深度学习中的卷积神经网络,我们在待处理信息量不可扩充的前提下(即模糊的图像本身就未包含场景中的细节信息),可以借助海量的同类数据或相似数据训练一个神经网络,然后让神经网络获得对图像内容进行理解、判断和预测的功能,这时候,再把待处理的模糊图像输入,神经网络就会自动为其添加细节,尽管这种添加仅仅是一种概率层面的预测,并非一定准确。

  本文介绍一种在灰度图像复原成彩色RGB图像方面的代表性工作:《全局和局部图像的联合端到端学习图像自动着色并且同时进行分类》。利用神经网络给黑白图像上色,使其变为彩色图像。稍作解释,黑白图像,实际上只有一个通道的信息,即灰度信息。彩色图像,则为RGB图像(其他颜色空间不一一列举,仅以RGB为例讲解),有三个通道的信息。彩色图像转换为黑白图像极其简单,属于有损压缩数据;反之则很难,因为数据不会凭空增多。

  搭建一个神经网络,给一张黑白图像,然后提供大量与其相同年代的彩色图像作为训练数据(色调比较接近),然后输入黑白图像,人工智能按照之前的训练结果为其上色,输出彩色图像,先来看一张效果图: 
  这里写图片描述

  1. 本文工作 
    •  用户无干预的灰度图像着色方法。 
    •  一个新颖的端到端网络,联合学习图像的全局和局部特征。 
    •  一种利用分类标签提高性能的学习方法。 
    •  基于利用全局特征的风格转换技术。 
    •  通过用户研究和许多不同的例子深入评估模型,包括百年的黑白照片。

  2. 着色框架 
       
      模型框架包括四个主要组件:低级特征提取网络,中级特征提取网络,全局特征提取网络和着色网络。 这些部件都以端对端的方式紧密耦合和训练。 模型的输出是图像的色度,其与亮度融合以形成输出图像。 
               这里写图片描述

  3. 与另外两个工作对比

    • Gustav Larsson, Michael Maire, and Gregory Shakhnarovich. Learning Representations for Automatic Colorization. In ECCV 2016. 
    •Richard Zhang, Phillip Isola, and Alexei A. Efros. Colorful Image Colorization. In ECCV 2016.

这里写图片描述

参考文献:

网页: 
http://hi.cs.waseda.ac.jp/~iizuka/projects/colorization/extra.html

代码: 
https://github.com/satoshiiizuka/siggraph2016_colorization

论文2:  
http://richzhang.github.io/colorization/

在线demo: 
http://demos.algorithmia.com/colorize-photos/

2019-01-23 10:46:51 wxh928408225 阅读数 2536

在医学图像分析方向上深度学习论文清单

背景

据我们所知,这是第一份关于医学应用的深度学习论文清单。一般来说,有很多深度学习论文或计算机视觉的列表,例如Awesome Deep Learning Papers。在此列表中,我尝试根据他们的深度学习技巧和学习方法对论文进行分类。我相信这份清单可能是一个很好的起点对于深度学习医学应用研究人员而言。

上榜标准

  1. 2015年以来公开发布的顶尖深度学习论文。
  2. 来自具有同行评议的期刊和知名会议。也包括一些最近发表在 arXiv的论文。
  3. 深度学习技术,成像模态,临床数据库等元数据需要提供。

期刊会议列表

名词解释

深度学习

  • NN(Neural Networks):神经网络
  • MLP(Multilayer Perceptron): 多层感知机
  • RBM(Restricted Boltzmann Machine): 受限玻尔兹曼机
  • SAE(Stacked Auto-Encoders): 栈式自编码器
  • CAE(Convolutional Auto-Encoders): 卷积的自编码器
  • CNN(Convolutional Neural Networks): 卷积神经网络
  • RNN(Recurrent Neural Networks): 循环神经网络
  • LSTM(Long Short Term Memory): 长短期记忆神经网络
  • MS-CNN(Multi-Scale/View/Stream CNN): 多尺度卷积神经网络
  • MIL-CNN(Multi-instance Learning CNN): 多实例学习卷积神经网络
  • FCN(Fully Convolutional Networks):全卷积神经网络

医学名词

  • US(Ultrasound): 医学超声检查
  • MR/MRI(Magnetic Resonance Imaging): 核磁共振成像
  • PET(Positron Emission Tomography): 正子断层照影
  • MG(Mammography): 乳房摄影术
  • CT(Computed Tompgraphy): 计算机断层扫描
  • H&E(Hematoxylin & Eosin Histology Images): 苏木精—伊红染色法

目录

深度学习

医学应用

文献索引

研究类综述

计算机技术 医学技术 目标区域 标题 数据库 J/C 年份
NN H&E Deep learning of feature representation with multiple instance learning for medical image analysis [pdf] ICASSP 2014
M-CNN H&E 乳腺 AggNet: Deep Learning From Crowds for Mitosis Detection in Breast Cancer Histology Images [pdf] AMIDA IEEE-TMI 2016
FCN H&E Suggestive Annotation: A Deep Active Learning Framework for Biomedical Image Segmentation pdf MICCAI 2017

分类问题

计算机技术 医学技术 目标区域 标题 数据库 J/C 年份
M-CNN CT Multi-scale Convolutional Neural Networks for Lung Nodule Classification [pdf] LIDC-IDRI IPMI 2015
3D-CNN MRI 大脑 Predicting Alzheimer’s disease: a neuroimaging study with 3D convolutional neural networks [pdf] ADNI arXiv 2015
CNN+RNN RGB 眼睛 Automatic Feature Learning to Grade Nuclear Cataracts Based on Deep Learning [pdf] IEEE-TBME 2015
CNN X-ray 膝盖 Quantifying Radiographic Knee Osteoarthritis Severity using Deep Convolutional Neural Networks [pdf] O.E.1 arXiv 2016
CNN H&E 甲状腺 A Deep Semantic Mobile Application for Thyroid Cytopathology [pdf] SPIE 2016
3D-CNN, 3D-CAE MRI 大脑 Alzheimer’s Disease Diagnostics by a Deeply Supervised Adaptable 3D Convolutional Network [pdf] ADNI arXiv 2016
M-CNN RGB 皮肤 Multi-resolution-tract CNN with hybrid pretrained and skin-lesion trained layers [pdf] Dermofit MLMI 2016
CNN RGB 皮肤,眼睛 Towards Automated Melanoma Screening: Exploring Transfer Learning Schemes [pdf] EDRA, DRD arXiv 2016
M-CNN CT Pulmonary Nodule Detection in CT Images: False Positive Reduction Using Multi-View Convolutional Networks [pdf] LIDC-IDRI, ANODE09, DLCST IEEE-TMI 2016
3D-CNN CT DeepLung: Deep 3D Dual Path Nets for Automated Pulmonary Nodule Detection and Classification [pdf] LIDC-IDRI, LUNA16 IEEE-WACV 2018
3D-CNN MRI 大脑 3D Deep Learning for Multi-modal Imaging-Guided Survival Time Prediction of Brain Tumor Patients [pdf] MICCAI 2016
SAE US, CT 乳腺,大脑 Computer-Aided Diagnosis with Deep Learning Architecture: Applications to Breast Lesions in US Images and Pulmonary Nodules in CT Scans [pdf] LIDC-IDRI Nature 2016
CAE MG 乳腺 Unsupervised deep learning applied to breast density segmentation and mammographic risk scoring [pdf] IEEE-TMI 2016
MIL-CNN MG 乳腺 Deep multi-instance networks with sparse label assignment for whole mammogram classification [pdf] INbreast MICCAI 2017
GCN MRI 大脑 Spectral Graph Convolutions for Population-based Disease Prediction [pdf] ADNI, ABIDE arXiv 2017
CNN RGB 皮肤 Dermatologist-level classification of skin cancer with deep neural networks Nature 2017
FCN + CNN MRI 肝,肝癌 SurvivalNet: Predicting patient survival from diffusion weighted magnetic resonance images using cascaded fully convolutional and 3D convolutional neural networks [pdf] ISBI 2017

检测问题

计算机技术 医学技术 目标区域 标题 数据库 J/C 年份
MLP CT 头颈 3D Deep Learning for Efficient and Robust Landmark Detection in Volumetric Data [pdf] MICCAI 2015
CNN US 胎儿 Standard Plane Localization in Fetal Ultrasound via Domain Transferred Deep Neural Networks [pdf] IEEE-JBHI 2015
2.5D-CNN MRI 股骨 Automated anatomical landmark detection ondistal femur surface using convolutional neural network [pdf] OAI ISBI 2015
LSTM US 胎儿 Automatic Fetal Ultrasound Standard Plane Detection Using Knowledge Transferred Recurrent Neural Networks [pdf] MICCAI 2015
CNN X-ray, MRI 头部 Regressing Heatmaps for Multiple Landmark Localization using CNNs [pdf] DHADS MICCAI 2016
CNN MRI, US, CT - An artificial agent for anatomical landmark detection in medical images [pdf] SATCOM MICCAI 2016
FCN US 胎儿 Real-time Standard Scan Plane Detection and Localisation in Fetal Ultrasound using Fully Convolutional Neural Networks [pdf] MICCAI 2016
CNN+LSTM MRI 心脏 Recognizing end-diastole and end-systole frames via deep temporal regression network [pdf] MICCAI 2016
M-CNN MRI 心脏 Improving Computer-Aided Detection Using Convolutional Neural Networks and Random View Aggregation Neural Networks [pdf] IEEE-TMI 2016
CNN PET/CT 心脏 Automated detection of pulmonary nodules in PET/CT images: Ensemble false-positive reduction using a convolutional neural network technique Neural Networks [pdf] MP 2016
3D-CNN MRI 大脑 Automatic Detection of Cerebral Microbleeds From MR Images via 3D Convolutional Neural Networks [pdf] IEEE-TMI 2016
CNN X-ray, MG - Self-Transfer Learning for Fully Weakly Supervised Lesion Localization [pdf] NIH,China, DDSM,MIAS MICCAI 2016
CNN RGB 眼睛 Fast Convolutional Neural Network Training Using Selective Data Sampling: Application to Hemorrhage Detection in Color Fundus Images [pdf] DRD, MESSIDOR MICCAI 2016
GAN - - Unsupervised Anomaly Detection with Generative Adversarial Networks to Guide Marker Discovery IPMI 2017
FCN X-ray 心脏 CathNets: Detection and Single-View Depth Prediction of Catheter Electrodes MIAR 2016
3D-CNN CT DeepLung: Deep 3D Dual Path Nets for Automated Pulmonary Nodule Detection and Classification [pdf] LIDC-IDRI, LUNA16 IEEE-WACV 2018
3D-CNN CT DeepEM: Deep 3D ConvNets with EM for weakly supervised pulmonary nodule detection [pdf] LIDC-IDRI, LUNA16 MICCAI 2018

分割问题

计算机技术 医学技术 目标区域 标题 数据库 J/C 年份
U-Net - - U-net: Convolutional networks for biomedical image segmentation MICCAI 2015
FCN MRI 头颈 Efficient multi-scale 3D CNN with fully connected CRF for accurate brain lesion segmentation [pdf] arXiv 2016
FCN CT 肝,肝癌 Automatic Liver and Lesion Segmentation in CT Using Cascaded Fully Convolutional Neural Networks and 3D Conditional Random Fields [pdf] MICCAI 2016
3D-CNN MRI 脊柱 Model-Based Segmentation of Vertebral Bodies from MR Images with 3D CNNs MICCAI 2016
FCN CT 肝,肝癌 Automatic Liver and Tumor Segmentation of CT and MRI Volumes using Cascaded Fully Convolutional Neural Networks [pdf] arXiv 2017
FCN MRI 肝,肝癌 SurvivalNet: Predicting patient survival from diffusion weighted magnetic resonance images using cascaded fully convolutional and 3D convolutional neural networks [pdf] ISBI 2017
3D-CNN Diffusion MRI 大脑 q-Space Deep Learning: Twelve-Fold Shorter and Model-Free Diffusion MRI [pdf] (Section II.B.2) IEEE-TMI 2016
GAN MG 心肌 Adversarial Deep Structured Nets for Mass Segmentation from Mammograms [pdf] INbreast, DDSM-BCRP ISBI 2018
3D-CNN CT 肝脏 3D Deeply Supervised Network for Automatic Liver Segmentation from CT Volumes pdf MICCAI 2017
3D-CNN MRI 大脑 Unsupervised domain adaptation in brain lesion segmentation with adversarial networks pdf IPMI 2017
FCN FUNDUS 眼睛/视网膜 A Fully Convolutional Neural Network based Structured Prediction Approach Towards the Retinal Vessel Segmentation pdf ISBI 2017

正则化

计算机技术 医学技术 目标区域 标题 数据库 J/C 年份
3D-CNN CT 脊柱 An Artificial Agent for Robust Image Registration [pdf] 2016

回归

计算机技术 医学技术 目标区域 标题 数据库 J/C 年份
2.5D-CNN MRI Automated anatomical landmark detection ondistal femur surface using convolutional neural network [pdf] OAI ISBI 2015
3D-CNN Diffusion MRI 大脑 q-Space Deep Learning: Twelve-Fold Shorter and Model-Free Diffusion MRI [pdf] (Section II.B.1) [HCP] and other IEEE-TMI 2016

图像重建

计算机技术 医学技术 目标区域 标题 数据库 J/C 年份
CNN CS-MRI A Deep Cascade of Convolutional Neural Networks for Dynamic MR Image Reconstruction pdf IEEE-TMI 2017
GAN CS-MRI Deep Generative Adversarial Networks for Compressed Sensing Automates MRI pdf NIPS 2017
2017-06-28 16:45:52 likely_zhao 阅读数 15674

简介

本文参考了三篇深度学习在医学图像处理中的三篇综述性的文章,旨在对于深度学习和医学图像相结合的现有情况做一个小总结,并探讨一下未来的一些发展趋势和自身的一些思考

医学影像深度学习工具

深度学习模型


在医学影像处理中使用的到的深度学习的模型框架主要有:

  • SAE(stack auto-encoder)
无监督学习方案,逐层训练,得到特征描述为主
  • RBM(restricted Boltzmann machine)
无监督学习方案,与SAE 类似
  • CNN(convolutional neural network)
卷积神经网络,使用最为广泛,可以用来提取图片特征或者直接完成分类检测等任务
  • RNN(recurrent neural network)
循环神经网络,用来获取时序上的信息,在CT等逐行扫描图像中使用
  • U-net (with a single downsampling stage)
类似于带short-cut的全卷机网络,用来融合不同尺度的图像的特征
  • FCNN(fully convolutional neural network)
全卷机网络,可以获取与原图相同分辨率的图片,常用于分割等任务
  • FRCNN(Faster Region-proposal based neural network)

一种快速的深度学习检测网络框架,分为rpn 和 rcnn 两层,用于检测图像中的多种物体

深度学习框架

  • caffe
  • tensorflow
  • torch
  • Theano

暂时没有使用到的深度学习技术

* VAE

* GAN

State of Arts


深度学习在医学图像领域的一些限制

  • 缺少高质量的标注的训练样本,因此训练出来的模型可能是过拟合的或者说推广性不好,因此需要将的到的模型放在各种情况下测试推广性[^doc3]
  • 深度学习得到的模型是一个黑盒子,无法解释其有效性,在一些特殊的情况下会出现非常奇怪无法解释的问题,因此在医疗行业中的接受度也是一个问题[^doc3]
  • 在商业系统中使用临床上的图片资料会存在法律和伦理上的问题而不使用这样的样本无法进一步的提高深度学习模型的水平[^doc3]

一些自己的思考

2D VS 3D

从文献综述来看,大部分的工作都是基于2D图像的,其实在医学图像中,CT 和 MRI都是3D的数据2D化的结果,在医疗图像处理的算法中3D重建等等也是非常重要的一大类算法,但是现有的基于3D的算法一来耗时比较高,二来并没有比基于2D的算法提高很多,使用2D还是3D是一个值得思考的问题。

Feature vs Result

从文献综述中来看,稍微久远一些的算法就是把CNN当作是一个特征提取的算子获得图像的描述特征而最新的一些方法直接将CNN的结果就作为最终的输出结果来使用, 这里喔感觉直接使用CNN的输出作为结果,会涉及到文献中所说的黑盒子的限制,可解释型一般是比较差的,而作为特征来使用解释性可能会好一些,因为后续的一些后处理中可以增加的规则类的比较多,解释性会更佳

过滤 vs 诊断

一直以来作者觉得在医疗行业中,计算机能做的最大的贡献就是帮助医生做大量医学影像的过滤工作,至于使用诊断上最多也只是一个辅助的诊断工具,而机器学习到达了深度学习的时代,有些本来以为不太可能的任务都被深度学习算法一个一个的攻克了,在未来的工作做,计算机深度学习是不是可能独立的进行本属于医生独享的诊断工作我还是不得而知,然后我们可以知道的是,技术的发展使得过滤的正确率大大的提高,极大的提高生产的效率,这一方面是肯定有助于医疗行业的,相应深度学习在医疗领域的前景还是很广阔的。








Refs:
  • A Survey on Deep Learning in Medical Image Analysis
  • Deep Learning in Medical Image Analysis
  • Deep Learning in Medical Imaging: General Overview
  • Volumetric ConvNets with Mixed Residual Connections for Automated Prostate Segmentation from 3D MR Images
  • DEEP LEARNING BASED CANCER METASTASES DETECTION
  • Proceedings of MICCAI-BRATS 2016