图像分类比赛

科大讯飞2020脑PET图像分析和疾病预测---单模型进决赛前五
目录
1 前言
2 算法名称
3 创新点
4 算法描述
4.1 算法思想
4.1.1对数据进行裁剪处理
4.1.2 数据增强
4.1.3 标签平滑
4.1.4 迭代交叉验证
4.1.5 迁移学习
4.2 流程图
5 算法实现
5.1 参数设置
5.1.1 数据裁剪部分
5.1.2 数据增强部分
5.1.3 网络训练部分
5.2 实现平台
6 结果和分析
7总结
8 后继提升
9 源码
10 核心成员

目录
1 前言
nnUNet的出现，一棒子打死了近年来所有的新的网络结构。作者认为网络结构上的改进并没有什么用，应该更多的关注结构以外的部分，比如预处理、训练和推理策略、后处理等部分。
目前为止nnUNet的代码已经被很多地方使用并且证明了它的效果，这不禁引起我们的深思，确实网络结构在这么多年来的所谓的创新，是不是真的都只是过拟合，都是论文作者的一厢情愿。
在没有充分的理论支撑的情况下，越是复杂的东西，就越容易过拟合，不是没有道理的。在深度学习领域的钻研方向问题上，学术界是不是走了很多弯路？更多的精力放在理解数据上，可能更能得到质的提升。
比赛官网：脑PET图像分析和疾病预测挑战赛
2 算法名称
EfficientNet of auto-adapted feature selection

（基于EfficientNet的自适应特征选择算法）
3 创新点
（1）自适应裁剪填充

（2）迭代微调交叉验证

（3）基于这两个baseline进行改进，原baseline只有0.76左右。参考1  参考2
4 算法描述
4.1 算法思想
本算法是一种以迁移学习为主要思想，结合交叉验证、自适应裁剪以及数据增强的方式，对样本进行分类。算法流程大致如下所示：首先对数据集中图像进行自适应裁剪；将处理后的图像通过一系列数据增强策略提高泛化型；将增强后的数据输入预训练模型”EfficientNetb8”进行分类；最后通过迭代交叉验证策略加速模型收敛以及提高样本精度。

本算法主要分为以下5大技术点，
4.1.1对数据进行裁剪处理
对训练集样本图片和测试集样本图片统一进行自适应裁剪，具体算法思想是，由于训练集中的大脑外壳与图片的边界存在一段真空区域，这部分区域其实是无效区域，如果再进行后续的随机旋转翻转会进一步缩小ROI 的区域，也就是实际有效样本的区域，基于以上情况，本步骤的处理是尽可能针对不同尺度的大脑进行自适应裁剪边界，使得处理后的图片能尽可能贴合大脑外壳，从而增大其ROI的区域。

具体步骤如下：

1）通过遍历像素值获取各个位置的像素点

2）将设置既定像素阈值筛选出阈值之上的像素值的索引坐标

3）根据这些索引坐标进行二次筛选，选出坐标值中横纵坐标位置最大最小值，以这些坐标值来界定大脑极限边界位置；

4）对于获取的最大最小的横纵坐标值加入自适应边界系数，该系数加入的评判条件是对于最大的坐标值进行自适应扩增，对于坐标值进行自适应缩减，然后扩增或缩减后的尺度需要在原来未裁剪前的尺度范围内，否则自适应系数为0。

5）由于神经网络对样本的都会进行resize操作，因此，对于裁剪完成后的样本其尺度都不一样的情况，本步骤算法以该样本的长边为基准对短边方向进行填充扩增，确保每张图片都是以正方形的形式，这样的好处是在进行神经网络数据增强部分时候，可以一直保持着原有的长宽比，不会引发形变。裁剪效果如下图所示（示例图来自训练集AD中的1.png）：



上图中a是原始图片，b是自适应裁剪后的图片，c是在b的基础上自适应填充后的图片。
4.1.2 数据增强
对于数据增强策略上的选择，通过观察可以发现，测试集中的样本具有5种变化特性，一是随机中心旋转，二是随机亮度变化，有些样本很暗，有些样本很白；三是尺度不一样，有些样本很大，有些样本比较小；因此，为增强模型泛化能力，本步骤中将在测试集和验证集统一加入如下策略：

1）随机中心旋转从-180度到180度；并以边界填充的方式进行缩放尺度；

2）随机仿射变换

3）色泽扰动，亮度随机变换幅度为0到0.5；对比度是从0到0.5；饱和度是从0到0.5，在这三种条件中进行随机变换
4.1.3 标签平滑
对于常规的独热标签，为了防止出现局部最优的现象，本步骤中对样本生成的独热编码进行平滑，增大分类的泛化能力，具体步骤如下：

1）获取标签个数

2）根据标签个数和类别个数生成平滑单位矩阵，里面的值以既定平滑系数/（类别数-1）

3）标签数值平滑，即对数值为1的位置项该值减去平滑系数，其余项加上平滑系数的倒数，生成符合原标签数值分布的标签系数矩阵

4）然后对原标签矩阵进行对数交叉熵映射，然后对映射后的结果乘以平滑后的标签系数矩阵生成最终的标签矩阵。
4.1.4 迭代交叉验证
创新点之一，由于传统的10折交叉验证会生成10个模型，本算法为了提高效率，在交叉验证中，进行了改进，具体做法是，在整个交叉验证过程中，只保存一个最好的模型，并从第i折起，加载前面保存好的最好的模型的参数进行迭代微调，最后也只得到唯一一个模型，省去了传统交叉验证的最后还要进行复杂的模型选择的步骤，从而在保障能够尽可能跳出局部最优的同时也可以得出最优模型。
4.1.5 迁移学习
本步骤中通过结合预训练完成的模型efficientNetb8以及交叉验证的方式进行finetune迭代，加速训练的速度；
4.2 流程图

5 算法实现
5.1 参数设置
5.1.1 数据裁剪部分
自适应系数α=10
5.1.2 数据增强部分
Resize=224;

随机旋转角度（-180≤rotates≤180）

随机仿射变换角度=10

色泽扰动部分：

亮度：0-0.5；

对比度：0-0.5

饱和度：0-0.5

色相：0
5.1.3 网络训练部分
Batchsize=10
n_split=20	(20折交迭代叉验证)
drop_last=True
shuffle=True
optimizer:SGD
scheduler: StepLR
	step_size=4
	gamma=0.5
epoch=30
init_learning_rate=0.01

5.2 实现平台
系统：Ubuntu18/Win10

硬件配置：NVIDIA 2080Ti 显存15G

语言框架：pytorch；torch1.2.0; torchvision0.4.0，tensorboard==2.0
6 结果和分析
实验结果如图2所示，x轴表示折数，y轴表示loss数，曲线表示在本算法中经过20折的迭代过程后，loss的下降情况，由图2可知在第10折的时候，曲线开始趋向平滑趋势，到16折的时候，基本已经趋向稳定不变的状态，最终loss值是0.4039；如图3所示，x轴为折数，y轴为accuracy数，曲线表示在20折迭代下，取出每折最后一次的准确率值，进行准确率统计，其中在第4折时候是曲线的转折点，浅色线是没经过tensorboard可视化平滑参数处理的情况，经过平滑参数降噪后，在10折的时候已经到达最优准确率100%。

图2 loss变化曲线

图3  accuracy变化曲线

结果提交记录，经过不断微调，最终得到0.97352分，排名复赛榜前五。

图4  提交记录

7总结
一句话总结此次比赛：一个好的预处理，能让你赢在起跑线！
8 后继提升
目前，我们在整个比赛过程中都只使用了单模型，在排行榜中前三的队伍基本上都使用了多模型融合，第一名使用了7个模型，只比我们分数（0.97352）高出1.5%左右（第一名分数0.98785），可见，我们的单模型已经是比较top的了。所以，如果想进一步提高，可以考虑多模型融合策略来继续提升。
9 源码
脑PET
10 核心成员
洋哥 莹姐 增哥 钦哥 小弟

图像处理：利用计算机对图像进行去除噪声、增强、复原、分割、特征提取、识别、等处理的理论、方法和技术。狭义的图像处理主要是对图像进行各种加工，以改变图像的视觉效果并为自动识别奠定基础，或对图像进行压缩编码以减少所需存储空间。
图像分析：对图像中感兴趣的目标进行检测和测量，以获得他们的客观信息，从而建立对图像的描述。
图像理解：重点是在图像分析的基础上，进一步研究图像中各目标的性质和它们之间的相互联系，并得出对图像内容含义的理解以及对原来客观场景的解释，从而指导和规划行动。
三者之间的联系：图像处理是比较低层的操作，它主要在图像像素级上进行处理，处理的数据量非常大。图像分析则进入了中层，分割和特征提取把原来以像素描述的图像转变成比较简洁的非图形式的描述。图像理解主要是高层操作，基本上式对从描述抽象出来的符号进行运算，其处理过程和方法与人类的思维推理有许多类似之处。

写在前面：


图像处理主要研究图像传输、存储、增强和复原
计算机图形学主要研究点、线、面和体的表示方法以及视觉信息的显示方法
图像分析则着重于构造图像的描述方法，更多地是用符号表示各种图像,而不是对图像本身进行运算,并利用各种有关知识进行推理


图像理解： 

       图像理解（image understanding,IU）就是对图像的语义理解。它是以图像为对象，知识为核心，研究图像中有什么目标、目标之间的相互关系、图像是什么场景以及如何应用场景的一门学科。 

图像理解属于数字图像处理的研究内容之一，属于高层操作。其重点是在图像分析的基础上进一步研究图像中各目标的性质及其相互关系，并得出对图像内容含义的理解以及对原来客观场景的解释，进而指导和规划行为。图像理解所操作的对象是从描述中抽象出来的符号，其处理过程和方法与人类的思维推理有许多相似之处。 

图像分析： 

       图像分析一般利用数学模型并结合图像处理的技术来分析底层特征和上层结构，从而提取具有一定智能性的信息。 

图像处理： 

       图像处理(image processing)，用计算机对图像进行分析，以达到所需结果的技术。又称影像处理。基本内容 图像处理一般指数字图像处理。数字图像是指用数字摄像机、扫描仪等设备经过采样和数字化得到的一个大的二维数组，该数组的元素称为像素，其值为一整数，称为灰度值。图像处理技术的主要内容包括图像压缩，增强和复原，匹配、描述和识别3个部分。 常见的处理有图像数字化、图像编码、图像增强、图像复原、图像分割和图像分析等。图像处理一般指数字图像处理。 

三者关系： 

       用模式识别和人工智能方法对物景进行分析、描述、分类和解释的技术，又称景物分析或图像理解。20世纪60年代以来，在图像分析方面已有许多研究成果，从针对具体问题和应用的图像分析技术逐渐向建立一般理论的方向发展。图像分析同图像处理、计算机图形学等研究内容密切相关，而且相互交叉重叠。但图像处理主要研究图像传输、存储、增强和复原；计算机图形学主要研究点、线、面和体的表示方法以及视觉信息的显示方法；图像分析则着重于构造图像的描述方法，更多地是用符号表示各种图像,而不是对图像本身进行运算,并利用各种有关知识进行推理。图像分析与关于人的视觉的研究也有密切关系，对人的视觉机制中的某些可辨认模块的研究可促进计算机视觉能力的提高（见机器视觉）。 

       图像分析（image analysis）和图像处理（image processing）关系密切，两者有一定程度的交叉，但是又有所不同。图像处理侧重于信号处理方面的研究，比如图像对比度的调节、图像编码、去噪以及各种滤波的研究。但是图像分析更侧重点在于研究图像的内容，包括但不局限于使用图像处理的各种技术，它更倾向于对图像内容的分析、解释和识别。因而，图像分析和计算机科学领域中的模式识别、计算机视觉关系更密切一些。 

        图像分析一般利用数学模型并结合图像处理的技术来分析底层特征和上层结构，从而提取具有一定智能性的信息。 

注意：图形不等同于图像，图形只表达了视觉，图像表达了视觉与知觉。目前研究热点：图像检索、三维重建、复原、高分辨率的计算与压缩。

参考文献： 

1.http://blog.sina.com.cn/s/blog_4cc6b2a2010008bu.html 

2.https://blog.csdn.net/eric41050808/article/details/48996815?locationNum=14

前言
本文首发于公众号【3D视觉工坊】，原文请见汇总|医学图像分析领域论文，更多干货获取请关注公众号~
医学图像分析相关期刊会议汇总
1、医学图像分析 (MedIA)

2、IEEE 医学图像学报 (IEEE-TMI)

3、IEEE 生物医学工程学报(IEEE-TBME)

4、IEEE 生物医学与健康信息学杂志 (IEEE-JBHI)

5、国际计算机辅助放射学和外科学杂志 (IJCARS)

6、医学影像信息处理国际会议 (IPMI)

7、医学图像计算与计算机辅助干预国际会议 (MICCAI)

8、计算机辅助干预信息处理国际会议 (IPCAI)

10、IEEE国际生物医学成像研讨会 (ISBI)
胰腺相关
1、Globally Guided Progressive Fusion Network for 3D Pancreas Segmentation

（MICCAI 2019：用于三维胰腺分割全局引导的渐进融合网络）

2、Harnessing 2D Networks and 3D Features for Automated Pancreas Segmentation from Volumetric CT Images

（MICCAI 2019-利用二维网络和三维特征从容积CT图像中自动分割胰腺）
脑部相关
1、Predicting Alzheimer’s disease: a neuroimaging study with 3D convolutional neural networks

使用深度学习方法，特别是稀疏的自动编码器和3D卷积神经网络，基于大脑的MRI扫描识别阿尔茨海默氏病。

2、Alzheimer’s Disease Diagnostics by a Deeply Supervised Adaptable 3D Convolutional Network

使用深度3D卷积神经网络可以学习捕获Alzheimer’s disease的通用特征并适应不同的数据集域。3D-CNN建立在3D卷积自动编码器的基础上，该编码器经过预训练，可以捕获结构性脑MRI扫描中的解剖形状变化。然后针对每个特定于任务的Alzheimer’s disease分类微调3D-CNN的完全连接的上层。

3、3D Deep Learning for Multi-modal Imaging-Guided Survival Time Prediction of Brain Tumor Patients

使用深度学习网络从高级神经胶质瘤患者的多模式术前脑部图像（即T1 MRI，fMRI和DTI）中自动提取特征。具体来说，采用3D卷积神经网络（CNN），提出了一种使用多通道数据和学习监督特征的新网络体系结构，并训练了SVM分类器，以预测患者的总生存时间是长还是短。

4、Spectral Graph Convolutions for Population-based Disease Prediction

本文介绍了图卷积网络（GCN）的新颖概念，可将成像和非成像数据结合起来用于人群的大脑分析。我们将种群表示为一个稀疏图，其中其顶点与基于图像的特征向量相关联，并且边缘编码表型信息。该结构用于在部分标记的图上训练GCN模型，目的是根据节点特征和对象之间的成对关联来推断未标记节点的类别。

5、Automatic Detection of Cerebral Microbleeds From MR Images via 3D Convolutional Neural Networks

脑微出血（CMB）是血管附近的小出血。它们被认为是许多脑血管疾病和认知功能障碍的重要诊断生物标志物。 在当前的临床常规中，放射科医生会手动标记CMB，但是此过程费力，费时且容易出错。本文提出了一种通过利用3D卷积神经网络（CNN）从磁共振（MR）图像中检测CMB的新型自动方法。

6、Efficient multi-scale 3D CNN with fully connected CRF for accurate brain lesion segmentation

提出了一种双路径，11层深的三维卷积神经网络，以解决脑部病变分割的艰巨任务。所设计的体系结构是对针对类似应用而提出的当前网络的局限性进行深入分析的结果。为了克服处理3D医学扫描的计算负担，设计了一种有效且有效的密集训练方案，该方案将对相邻图像斑块的处理合并为一个通过网络的通道，同时自动适应数据中存在的固有类不平衡。为了合并本地和更大的上下文信息，采用了双路径架构，该架构可以同时处理多个尺度的输入图像。对于网络的软分段的后处理，使用3D完全连接的条件随机字段，该字段可有效消除误报。

7、AnatomyNet: Deep learning for fast and fully automated whole‐volume segmentation of head and neck anatomy

提出了一种端到端，无图集的三维（3D）卷积深度学习网络，用于快速，全自动的全体积头颈解剖分割。以端到端的方式从头颈部CT图像中分割OAR（高危器官），接收完整体积的HaN CT图像作为输入，并一次性生成所有感兴趣的OAR的mask。网络建立在3D U-net体系结构上，但通过三种重要方式进行了扩展：（a）一种新的编码方案，可以对整个体积的CT图像进行自动分割，而不是局部片或切片的子集；（b）合并3D压缩和激励编码层中的残差块，以实现更好的特征表示；以及（c）结合了Dice得分和焦点损失的新损失函数，以促进神经模型的训练。

8、Unsupervised domain adaptation in brain lesion segmentation with adversarial networks

通过学习对抗网络来学习领域不变特征，该对抗网络试图通过观察分段网络的激活来对输入数据的领域进行分类。此外，还提出了一种用于改进对抗训练的多连接域鉴别器。

9、Medical Image Synthesis for Data Augmentation and Anonymization using Generative Adversarial Networks

提出了一种方法，该方法通过使用两个公共可用的大脑MRI数据集训练生成的对抗网络，生成带有脑肿瘤的合成异常MRI图像。论文展示了合成图像提供的两个独特优势。首先，我们通过利用合成图像作为数据增强形式来说明在肿瘤分割方面的改进性能。其次，我们证明了生成模型作为匿名化工具的价值，当在合成数据上训练与在真实受试者数据上训练时，可达到可比的肿瘤分割结果。总之，这些结果为解决医学成像中机器学习面临的两个最大挑战（即病理结果的发生率低以及共享患者数据的限制）提供了可能的解决方案。
肺部相关
1、Multi-scale Convolutional Neural Networks for Lung Nodule Classification

提出了一种分层学习框架-多尺度卷积神经网络（MCNN）通过从交替堆叠的层中提取判别特征来捕获结节异质性。特别是，为了充分量化结节特征，我们的框架利用多尺度结节补丁，通过串联从每个输入尺度在最后一层获得的响应神经元激活来同时学习一组特定类别的特征。实验结果证明了论文的方法在不进行结节分割的情况下对恶性和良性结节分类的有效性。

2、Pulmonary Nodule Detection in CT Images: False Positive Reduction Using Multi-View Convolutional Networks

该系统使用多视图卷积网络（ConvNets）进行肺结节的识别，可从训练数据中自动识别特征。通过向网络馈送结瘤candidates，该结瘤candidates是通过组合三个candidate detectors，实心，亚实心和大结节，对于每个candidates，从不同方向的平面中提取一组二维补丁。所提出的体系结构包括二维ConvNets的多个stream，使用专用的融合方法对其输出进行组合以获得最终分类。

3、DeepLung: Deep 3D Dual Path Nets for Automated Pulmonary Nodule Detection and Classification

提出了一种全自动的肺部计算机断层摄影（CT）癌症诊断系统DeepLung。 DeepLung由两个部分组成，结节检测（识别候选结节的位置）和分类（将候选结节分类为良性或恶性）。考虑到肺部CT数据的3D性质和双路径网络（DPN）的紧凑性，分别设计了两个深层3D DPN用于结节检测和分类。具体来说，具有卷积神经网络（R-CNN）的3D更快区域被设计用于带有3D双路径块和类似U-net的编码器-解码器结构的结节检测，以有效地学习结节特征。对于结节分类，提出了具有3D双路径网络特征的梯度增强机（GBM）。结节分类子网已在LIDC-IDRI的公共数据集上进行了验证，其分类性能优于最新方法，并且基于图像模态超过了经验丰富的医生。在DeepLung系统中，首先通过结节检测子网检测候选结节，然后通过分类子网进行结节诊断。大量的实验结果表明，在LIDC-IDRI数据集上，DeepLung在结节级和患者级诊断方面的表现均与有经验的医生相当。

4、Computer-Aided Diagnosis with Deep Learning Architecture: Applications to Breast Lesions in US Images and Pulmonary Nodules in CT Scans

本文对基于深度学习的计算机辅助诊断（CADx）进行了全面的研究，通过避免由于图像处理结果不准确（例如边界分割）而引起的潜在错误，来对良性和恶性结节/病变进行鉴别诊断。以及大多数常规CADx算法所涉及的功能不强的功能集所导致的分类偏差。具体而言，在两个CADx应用程序上采用了堆叠式去噪自动编码器（SDAE），用于区分乳腺超声病变和肺部CT结节。SDAE体系结构很好地配备了自动特征探索机制和噪声容限优势，因此可能适合处理来自各种成像方式的医学图像数据的固有噪声特性。
心脏相关
1、Recognizing end-diastole and end-systole frames via deep temporal regression network

本文提出了一种新颖的深度学习架构，称为时间回归网络（TempReg-Net），通过将卷积神经网络（CNN）与递归神经网络（RNN）集成来从MRI序列中准确识别特定帧。具体而言，CNN对心脏序列的空间信息进行编码，而RNN对时间信息进行解码。此外，我们在网络中设计了一个新的损失函数来约束预测标签的结构，从而进一步提高了性能。我们的方法在数千个心脏序列上得到了广泛验证，平均差异仅为0.4帧，与以前的系统相比非常好。

2、Improving Computer-Aided Detection Using Convolutional Neural Networks and Random View Aggregation Neural Networks

设计了一个两层的粗到精级联框架，该框架首先以100％的敏感度但在较高FP水平下运行候选生成系统。通过利用现有的CAD系统，在此步骤中将生成病变候选区域或感兴趣区域（ROI或VOI）的坐标，并将其用作第二层的输入，这是本研究的重点。在第二阶段，通过比例转换，随机平移和相对于每个ROI质心坐标的旋转采样来生成2D或2.5D视图。这些随机视图用于训练深度卷积神经网络（ConvNet）分类器。在测试中，训练有素的ConvNet被用于为新的N组随机视图分配类别（例如，病变，病理）概率，然后将其在每个ROI取平均值，以计算最终的每个候选分类概率。第二层的行为是高度选择性的过程，可以在保留高灵敏度的同时拒绝困难的误报。
眼睛相关
1、Automatic Feature Learning to Grade Nuclear Cataracts Based on Deep Learning

论文提出了一种系统，可以从裂隙灯图像中自动学习用于为核性白内障严重程度分级的功能。首先通过对来自相同等级的镜片图像斑块进行聚类来获取局部滤波器。所学习的滤波器被馈送到卷积神经网络，然后是一组递归神经网络，以进一步提取高阶特征。利用这些功能，可以应用支持向量回归来确定白内障等级。

2、Fast Convolutional Neural Network Training Using Selective Data Sampling: Application to Hemorrhage Detection in Color Fundus Images

本文提出了一种通过在训练过程中动态选择分类错误的负样本来改进和加速对医学图像分析任务进行CNN训练的方法。根据CNN的当前状态，通过分类对训练样本进行启发式采样。权重分配给了训练样本，而信息样本更可能包含在下一个CNN训练迭代中。通过训练带有（SeS）和不带有（NSeS）选择性采样方法的CNN来评估和比较我们提出的方法。论文的方法专注于彩色眼底图像中出血的检测。

3、A Fully Convolutional Neural Network based Structured Prediction Approach Towards the Retinal Vessel Segmentation

从眼底图像自动分割视网膜血管在计算机辅助诊断视网膜疾病中起着重要作用。 由于血管背景在嘈杂背景下的极端变化，因此血管分割的任务具有挑战性。在本文中，将分割任务表述为多标签推理任务，并利用了卷积神经网络和结构化预测相结合的隐含优势。论文提出的基于卷积神经网络的模型具有强大的性能，并且以95.33％的准确度和0.974 AUC评分明显优于DRIVE数据集上的自动视网膜血管分割技术。
肝脏相关
1、SurvivalNet: Predicting patient survival from diffusion weighted magnetic resonance images using cascaded fully convolutional and 3D convolutional neural networks

肝细胞癌（HCC）恶性程度的自动非侵入性评估可能会大大增强HCC患者的肿瘤治疗策略。在这项工作中，论文提出了一个新颖的框架，可以从DWI图像中自动表征HCC病变的恶性程度。主要分两步预测HCC恶性程度：第一步，使用级联的全卷积神经网络（CFCN）自动分割HCC肿瘤病变。然后，一个3D神经网络（SurvivalNet）通过HCC肿瘤分割预测HCC病变的恶性程度。论文将此任务表述为分类问题，其中类别为“低风险”和“高风险”，其生存时间比中位生存期更长或更短。论文评估了31例HCC患者的DWI方法，提出的框架实现了65％的端到端准确度，基于专家注释的自动病变分割的Dice评分为69％，肿瘤恶性分类的准确度为68％。

2、Automatic Liver and Lesion Segmentation in CT Using Cascaded Fully Convolutional Neural Networks and 3D Conditional Random Fields

肝脏及其病变的自动分割是为准确的临床诊断和计算机辅助决策支持系统获得定量生物标志物的重要步骤。本文提出了一种使用级联的完全卷积神经网络（CFCN）和密集3D条件随机场（CRF）自动分割CT腹部图像中的肝脏和病变的方法。

3、Automatic Liver and Tumor Segmentation of CT and MRI Volumes using Cascaded Fully Convolutional Neural Networks

本文提出了一种使用级联的完全卷积神经网络（CFCN）自动分割CT和MRI腹部图像中的肝脏和病变的方法，从而可以对大型医学试验或定量图像分析进行分割。我们训练并级联两个FCN，以对肝脏及其病变进行联合分割。第一步，我们训练FCN来分割肝脏，作为第二个FCN的ROI输入。第二个FCN仅在步骤1的预测肝脏ROI内分割病变。在包含100个肝肿瘤体积的腹部CT数据集上训练CFCN模型。对其他数据集的验证表明，基于CFCN的语义肝脏和病变分割对肝脏的Dice得分超过94％，计算时间低于每体积100s。

4、SurvivalNet: Predicting patient survival from diffusion weighted magnetic resonance images using cascaded fully convolutional and 3D convolutional neural networks

肝细胞癌（HCC）恶性程度的自动非侵入性评估可能会大大增强HCC患者的肿瘤治疗策略。在这项工作中，提出了一个新颖的框架，可以从DWI图像中自动表征HCC病变的恶性程度。论文分两步预测HCC恶性程度：第一步，使用级联的全卷积神经网络（CFCN）自动分割HCC肿瘤病变。接着，一个3D神经网络（SurvivalNet）通过HCC肿瘤分割预测HCC病变的恶性程度。论文将此任务表述为分类问题，其中类别为“低风险”和“高风险”，其生存时间比中位生存期更长或更短。

5、3D Deeply Supervised Network for Automatic Liver Segmentation from CT Volumes

从CT量自动进行肝分割是计算机辅助肝病诊断和治疗的关键前提，也是一项艰巨的任务。本文提出了一种新颖的3D深度监督网络（3D DSN），以解决这一艰巨的任务。3D DSN充分利用了卷积的架构，该架构可以执行高效的端到端学习和推理。更重要的是，在学习过程中引入了深度监督机制来应对潜在的优化难题，因此该模型可以获得更快的收敛速度和更强大的判别能力。在3D DSN生成的高质量得分图的基础上，进一步采用条件随机场模型来获得精确的分割结果。
乳腺相关
1、Unsupervised deep learning applied to breast density segmentation and mammographic risk scoring

通常，通过从乳房X线照片中提取一组手工制作的特征，并将响应直接或间接与乳腺癌风险相关联，可以自动进行乳房X射线风险评分。论文提出了一种从未标记数据中学习特征层次的方法。当将学习到的特征用作简单分类器的输入时，可以解决两个不同的任务：乳房密度分割和乳房X线摄影纹理评分。所提出的模型在多个尺度上学习特征。 为了控制模型的容量，引入了一种新的稀疏正则化器，该稀疏正则化器结合了生命周期和种群稀疏性。

2、Deep multi-instance networks with sparse label assignment for whole mammogram classification

乳房X光照片分类与乳腺癌的计算机辅助诊断直接相关。传统方法需要付出巨大的努力才能通过昂贵的手动标注和专用的计算模型对训练数据进行注释，以在测试期间检测这些注释。受到成功使用深度卷积特征进行自然图像分析和多实例学习以标记一组实例/斑块的启发，论文提出了基于端到端训练有素的深度多实例网络，用于基于整个乳房X线照片的质量分类。本文探索了三种不同的方案来构建用于整个乳房X线照片分类的深层多实例网络。在INbreast数据集上的实验结果证明，与以前在训练中使用分段和检测注释的工作相比，深层网络的鲁棒性更高。

3、Adversarial Deep Structured Nets for Mass Segmentation from Mammograms

提出了一种用于乳腺X线摄影质量分割的新型端到端网络，该网络采用完全卷积网络（FCN）来对潜在功能进行建模，然后使用条件随机场（CRF）进行结构化学习。由于质量分布随像素位置而变化很大，因此将FCN与位置先验组合在一起。此外，论文采用对抗训练来消除由于乳房X线照片数据集的小尺寸而导致的过拟合并采用多尺度FCN来提高分割性能。在两个公共数据集INbreast和DDSMBCRP上的实验结果表明，论文中的端到端网络比最先进的方法具有更好的性能。
皮肤相关
1、Multi-resolution-tract CNN with hybrid pretrained and skin-lesion trained layers

提出了一种用于皮肤病变分类的新颖卷积神经网络（CNN）体系结构，旨在利用来自多个图像分辨率的信息来学习，同时利用预训练的CNN。传统的CNN通常在单一分辨率的图像上进行训练，而论文的CNN由多个区域组成，其中每个区域同时分析不同分辨率的图像，并使用相同的视野学习多个图像分辨率之间的交互作用。将经过单分辨率预训练的CNN转换为多分辨率输入，整个网络在具有辅助损耗功能的全面学习的端到端优化中进行了微调。论文展示了提出的多道网络在公共皮肤病变数据集上产生更高的分类精度，并且胜过最新的多尺度方法。
医学三维重建
1、A Deep Cascade of Convolutional Neural Networks for Dynamic MR Image Reconstruction

受深度学习最新进展的启发，论文提出了一个框架，该框架使用卷积神经网络（CNN）的深层级联从欠采样数据中重建2D心脏磁共振（MR）图像的动态序列，以加速数据采集过程。特别是，论文解决了使用主动笛卡尔欠采样获取数据的情况。首先，在独立重建每个2D图像帧时，在重建误差和重建速度方面，提出的方法优于诸如基于字典学习的MR图像重建等最新的2D压缩传感方法。其次，当联合重建序列的帧时，证明了CNN可以通过结合卷积和数据共享方法来有效地学习时空相关性。论文表明，所提出的方法始终优于最新技术，并且能够忠实地保留高达11倍欠采样的解剖结构。而且，重建速度非常快：每个完整的动态序列都可以在不到10s的时间内重建，对于2D情况，每个图像帧都可以在23ms内重建，从而实现了实时应用。
其它
1、Quantifying Radiographic Knee Osteoarthritis Severity using Deep Convolutional Neural Networks

本文提出了一种新的方法，可以使用深度卷积神经网络（CNN）从X射线照片中自动量化膝关节骨关节炎（OA）的严重程度。

2、A Deep Semantic Mobile Application for Thyroid Cytopathology

甲状腺细胞病理学是研究甲状腺病变和疾病诊断的病理学分支。病理学家查看由于不同的解剖结构和病理特征而可能具有高度视觉差异的细胞图像。为了帮助医生识别和搜索图像，论文提出了一种深度语义移动应用程序，丰富了病理学和机器学习技术的数字化方面的最新进展，在这些领域，计算机为病理学家提供了变革性的机会。论文提出的系统使用自定义的甲状腺本体，可以使用深度学习技术从图像中提取的多媒体元数据进行扩充。本文描述了一种特殊的方法，深层卷积神经网络，对细胞病理学分类的应用。论文的方法能够将经过数百万张通用图像训练的网络用于只有数百或数千张图像的医疗场景。

3、Standard Plane Localization in Fetal Ultrasound via Domain Transferred Deep Neural Networks

在超声视频中包含复杂解剖结构的标准平面的自动定位仍然是一个具有挑战性的问题。本文提出了一种基于学习的方法，通过构建域转移深度卷积神经网络（CNN）在US视频中定位胎儿腹部标准平面（FASP）。与以前的基于低级特征的作品相比，论文的方法能够代表FASP的复杂外观，从而获得更好的分类性能。

更重要的是，为了减少由少量训练样本引起的过度拟合问题，提出了一种转移学习策略，该策略将经过训练的基本CNN底层的知识从大量的自然图像数据库转移到我们的任务中-特定的CNN。大量的实验表明，论文的方法优于仅在有限的US训练样本上进行训练的FASP本地化和CNN训练的最新方法。所提出的方法可以轻松地扩展到其他类似的医学图像计算问题，当利用深层CNN来表示高级特征时，这些问题通常会受到训练样本不足的困扰。

4、Automated anatomical landmark detection ondistal femur surface using convolutional neural network

在3D医学图像中，股骨远端骨骼的解剖标志的准确定位对于膝盖手术和生物力学分析非常重要。但是，landmark识别过程通常是手动进行的，也可能是通过使用插入的辅助工具进行的，这既耗时又缺乏准确性。本文提出了一种自动定位方法来确定3D MR图像中股骨表面上初始几何界标的位置。基于卷积神经网络（CNN）分类器和形状统计数据的结果，论文使用窄带图切割优化来实现股骨表面的3D分割。最后，根据表面网格的几何提示，将解剖学界标定位在股骨上。 实验表明，该方法有效，高效，可靠地分割了股骨并定位了解剖标志。

5、An artificial agent for anatomical landmark detection in medical images

快速而强大的解剖结构或病理学检测是医学图像分析中的一项基本任务。然而，当前的大多数解决方案都不是最优的，并且通过学习外观模型并详尽地扫描参数空间以检测特定的解剖结构而不受限制。另外，与外观模型或搜索策略有关的典型特征计算或元参数估计是基于局部准则或预定义的近似方案的。通过将对象外观和参数搜索策略同时建模为人工代理的统一行为任务，论文提出了一种遵循根本不同范例的新学习方法。该方法将通过强化学习实现的行为学习的优势与通过深度学习实现的有效分层特征提取相结合。论文表明，仅给出一系列带注释的图像，该代理即可自动和策略性地学习收敛到所需的解剖界标位置的最佳路径，而不是穷举地扫描整个解决方案空间。该方法在2D磁共振图像，2D超声和3D CT图像的准确性和速度方面都大大优于最新的机器学习和深度学习方法，实现了1-2个像素的平均检测误差，同时还认识到了这种缺陷图像中的对象。

6、Real-time Standard Scan Plane Detection and Localisation in Fetal Ultrasound using Fully Convolutional Neural Networks

胎儿中期妊娠扫描通常根据固定方案进行。异常的准确检测和正确的生物测定测量取决于正确获取清晰定义的标准扫描平面。定位这些标准飞机需要高水平的专业知识。但是，全球范围内缺乏专业的超声医师。本文考虑了基于卷积神经网络的全自动系统，该系统可以检测到英国胎儿异常筛查计划定义的十二个标准扫描平面。网络设计允许实时推断，并且可以自然扩展以提供图像中胎儿解剖结构的近似定位。这样的框架可以用于自动化或协助选择扫描平面，或者用于从记录的视频中追溯检索扫描平面。

7、Model-Based Segmentation of Vertebral Bodies from MR Images with 3D CNNs

论文提出了一种自动方法，该方法是根据可变形模型与卷积神经网络（CNN）耦合从三维（3D）磁共振（MR）脊柱图像进行椎体（VB）的有监督分割。