2020-01-02 19:10:54 mrjkzhangma 阅读数 307

在这里插入图片描述

1、A guide to deep learning in healthcare(医疗深度学习技术指南)

Google 斯坦福 Nature Medicine

作者:Andre Esteva, Alexandre Robicquet, Bharath Ramsundar, Volodymyr Kuleshov, Mark DePristo, Katherine Chou, Claire Cui, Greg Corrado, Sebastian Thrun & Jeff Dean

摘要:我们介绍了医疗保健的深度学习技术,重点讨论了计算机视觉、自然语言处理、强化学习和广义方法的深度学习。我们将描述这些计算技术如何影响医学的几个关键领域,并探讨如何构建端到端系统。我们对计算机视觉的讨论主要集中在医学成像上,我们描述了自然语言处理在电子健康记录数据等领域的应用。同样,在机器人辅助手术的背景下讨论了强化学习,并综述了基因组学的广义深度学习方法。

在这里插入图片描述
网址:

https://www.nature.com/articles/s41591-018-0316-z

2、Multimodal Machine Learning: A Survey and Taxonomy(多模态机器学习)

CMU TPAMI

作者:Tadas Baltrušaitis,Chaitanya Ahuja,Louis-Philippe Morency

摘要:我们对世界的体验是多模态的 - 我们看到物体,听到声音,感觉质地,闻到异味和味道。情态是指某种事物发生或经历的方式,并且当研究问题包括多种这样的形式时,研究问题被描述为多模式。为了使人工智能在理解我们周围的世界方面取得进展,它需要能够将这种多模态信号一起解释。多模态机器学习旨在构建可以处理和关联来自多种模态的信息的模型。这是一个充满活力的多学科领域,具有越来越重要的意义和非凡的潜力。本文不是关注特定的多模态应用,而是研究多模态机器学习本身的最新进展。我们超越了典型的早期和晚期融合分类,并确定了多模式机器学习所面临的更广泛的挑战,即:表示,翻译,对齐,融合和共同学习。这种新的分类法将使研究人员能够更好地了解该领域的状况,并确定未来研究的方向。。
在这里插入图片描述

网址:

  1. http://www.zhuanzhi.ai/paper/2236c08ef0cd1bc87cae0f14cfbb9915

  2. https://ieeexplore.ieee.org/document/8269806

3、Few-shot Learning: A Survey(小样本学习)

香港科大 第四范式

作者:Yaqing Wang,Quanming Yao

摘要:“机器会思考吗”和“机器能做人类做的事情吗”是推动人工智能发展的任务。尽管最近的人工智能在许多数据密集型应用中取得了成功,但它仍然缺乏从有限的数据示例学习和对新任务的快速泛化的能力。为了解决这个问题,我们必须求助于机器学习,它支持人工智能的科学研究。特别地,在这种情况下,有一个机器学习问题称为小样本学习(Few-Shot Learning,FSL)。该方法利用先验知识,可以快速地推广到有限监督经验的新任务中,通过推广和类比,模拟人类从少数例子中获取知识的能力。它被视为真正人工智能,是一种减少繁重的数据收集和计算成本高昂的培训的方法,也是罕见案例学习有效方式。随着FSL研究的广泛开展,我们对其进行了全面的综述。我们首先给出了FSL的正式定义。然后指出了FSL的核心问题,将问题从“如何解决FSL”转变为“如何处理核心问题”。因此,从FSL诞生到最近发表的作品都被归为一个统一的类别,并对不同类别的优缺点进行了深入的讨论。最后,我们从问题设置、技术、应用和理论等方面展望了FSL未来可能的发展方向,希望为初学者和有经验的研究者提供一些见解。
在这里插入图片描述

网址:

https://www.zhuanzhi.ai/paper/c7a2464c0865b9602a4103fb44659858

4、meta Learning: A Survey(元学习)

作者:Joaquin Vanschoren

摘要:元学习,或学习学习,是一门系统地观察不同机器学习方法如何在广泛的学习任务中执行的科学,然后从这种经验或元数据中学习,以比其他方法更快的速度学习新任务。这不仅极大地加快和改进了机器学习管道或神经体系结构的设计,还允许我们用以数据驱动方式学习的新方法取代手工设计的算法。在本文中,我们将概述这一迷人且不断发展的领域的最新进展。
在这里插入图片描述

网址:

http://www.zhuanzhi.ai/paper/dd60eaffea966331e199fa531bae7044

5、A Comprehensive Survey on Transfer Learning(迁移学习)

作者:Fuzhen Zhuang, Zhiyuan Qi, Keyu Duan, Dongbo Xi, Yongchun Zhu, Hengshu Zhu, Senior Member, IEEE, Hui Xiong, Senior Member, IEEE, and Qing He

摘要: 迁移学习的目的是通过迁移包含在不同但相关的源域中的知识来提高目标学习者在目标域上的学习表现。这样,可以减少对大量目标域数据的依赖,以构建目标学习者。由于其广泛的应用前景,迁移学习已经成为机器学习中一个热门和有前途的领域。虽然已经有一些关于迁移学习的有价值的和令人印象深刻的综述,但这些综述介绍的方法相对孤立,缺乏迁移学习的最新进展。随着迁移学习领域的迅速扩大,对相关研究进行全面的回顾既有必要也有挑战。本文试图将已有的迁移学习研究进行梳理使其系统化,并对迁移学习的机制和策略进行全面的归纳和解读,帮助读者更好地了解当前的研究现状和思路。与以往的文章不同,本文从数据和模型的角度对40多种具有代表性的迁移学习方法进行了综述。还简要介绍了迁移学习的应用。为了展示不同迁移学习模型的性能,我们使用了20种有代表性的迁移学习模型进行实验。这些模型是在三个不同的数据集上执行的,即Amazon Reviews,Reuters-21578和Office-31。实验结果表明,在实际应用中选择合适的迁移学习模型是非常重要的。
在这里插入图片描述

网址:

  1. https://arxiv.org/abs/1911.02685

  2. https://www.zhuanzhi.ai/paper/021fc3dc3356e0089f0e845408cc3aa4

6. Multimodal Intelligence: Representation Learning, Information Fusion, and Applications(多模态智能论文综述:表示学习,信息融合与应用)

京东

作者: Chao Zhang,Zichao Yang,Xiaodong He,Li Deng

【摘要】 自2010年以来,深度学习已经使语音识别、图像识别和自然语言处理发生了革命性的变化,每种方法在输入信号中都只涉及一种模态。然而,人工智能的许多应用涉及到多种模态。因此,研究跨多种模态的建模和学习的更困难和更复杂的问题具有广泛的意义。本文对多模态智能的模型和学习方法进行了技术综述。视觉与自然语言的结合已成为计算机视觉和自然语言处理研究的一个重要领域。本文从学习多模态表示、多模态信号在不同层次上的融合以及多模态应用三个新角度对多模态深度学习的最新研究成果进行了综合分析。在多模态表示学习中,我们回顾了嵌入的关键概念,将多模态信号统一到同一个向量空间中,从而实现了多模态信号的交叉处理。我们还回顾了许多类型的嵌入的性质,构造和学习的一般下游任务。在多模态融合方面,本文着重介绍了用于集成单模态信号表示的特殊结构。在应用方面,涵盖了当前文献中广泛关注的选定领域,包括标题生成、文本到图像生成和可视化问题回答。我们相信这项综述可促进未来多模态智能的研究。

在这里插入图片描述

网址:

  1. https://arxiv.org/abs/1911.03977

  2. https://www.zhuanzhi.ai/paper/efe8f986342d215a8179d447624801ee

7、Object Detection in 20 Years: A Survey(目标检测)

作者: Zhengxia Zou (1), Zhenwei Shi (2), Yuhong Guo (3 and 4), Jieping Ye

摘要: 目标检测作为计算机视觉中最基本、最具挑战性的问题之一,近年来受到了广泛的关注。它在过去二十年的发展可以说是计算机视觉历史的缩影。如果我们把今天的目标检测看作是深度学习力量下的一种技术美学,那么让时光倒流20年,我们将见证冷兵器时代的智慧。本文从目标检测技术发展的角度,对近四分之一世纪(20世纪90年代至2019年)的400余篇论文进行了广泛的回顾。本文涵盖了许多主题,包括历史上的里程碑检测器、检测数据集、度量、检测系统的基本构建模块、加速技术以及最新的检测方法。本文还综述了行人检测、人脸检测、文本检测等重要的检测应用,并对其面临的挑战以及近年来的技术进步进行了深入分析。

在这里插入图片描述

网址:

  1. https://arxiv.org/abs/1905.05055

  2. https://www.zhuanzhi.ai/paper/4d9c0fdcc5a0a2b796e44e214fc9cb02

8、A Survey of Techniques for Constructing Chinese Knowledge Graphs and Their Applications(中文知识图谱)

作者:Tianxing Wu, Guilin Qi ,*, Cheng Li and Meng Wang

摘要:随着智能技术的不断发展,作为人工智能支柱的知识图谱以其强大的知识表示和推理能力受到了学术界和产业界的广泛关注。近年来,知识图谱在语义搜索、问答、知识管理等领域得到了广泛的应用。构建中文知识图谱的技术也在迅速发展,不同的中文知识图谱以支持不同的应用。同时,我国在知识图谱开发方面积累的经验对非英语知识图谱的开发也有很好的借鉴意义。本文旨在介绍中文知识图谱的构建技术及其应用,然后介绍了典型的中文知识图谱,此外我们介绍了构建中文知识图谱的技术细节,并介绍了了中文知识图谱的几种应用。

在这里插入图片描述

网址:

https://www.mdpi.com/2071-1050/10/9/3245

9、Advances and Open Problems in Federated Learning(联邦学习)

摘要:联邦学习(FL)是一种机器学习设置,在这种设置中,许多客户(例如移动设备或整个组织)在中央服务器(例如服务提供商)的协调下协作地训练模型,同时保持训练数据分散。FL体现了集中数据收集和最小化的原则,可以减轻由于传统的、集中的机器学习和数据科学方法所带来的许多系统隐私风险和成本。在FL研究爆炸性增长的推动下,本文讨论了近年来的进展,并提出了大量的开放问题和挑战。

在这里插入图片描述
在这里插入图片描述

网址:

https://arxiv.org/abs/1912.04977

10、Optimization for deep learning: theory and algorithms(深度学习理论)

摘要:什么时候以及为什么能够成功地训练神经网络?本文概述了神经网络的优化算法和训练理论。首先,我们讨论了梯度爆炸/消失问题和更一般的不期望谱问题,然后讨论了实际的解决方案,包括仔细的初始化和归一化方法。其次,我们回顾了用于训练神经网络的一般优化方法,如SGD、自适应梯度方法和分布式方法,以及这些算法的现有理论结果。第三,我们回顾了现有的关于神经网络训练的全局问题的研究,包括局部极值的结果、模式连接、彩票假设和无限宽度分析。

在这里插入图片描述

网址

https://www.zhuanzhi.ai/paper/2a5e7596942977067240c946ecd4bd47

参考链接

  1. https://mp.weixin.qq.com/s?__biz=MzU2NDExMzE5Nw==&tempkey=MTA0Ml9KNzlEa2dRWHRtN2RRSjNLMnlsSEliUVVjWWRhMUM5VnVLVFZ6cnB0aXJrTkRsV2F4clhMR1k3WWZSYktzcEJLeURqZHhaV0ZNZkExRWh3RzhKR3BzNnhxSTJfTG9CWnNGTWozeE5EaXZlNHlpWDZMZWJ2WFFmU1R1M3ZmaE8yeENabjRpeGZybmVFVTdkYzR2MVcyMkhJRXJIeVdSV0Q4MlUwRk5nfn4%3D&chksm=7c4eb83e4b39312839afc3161adbc821025a51d319a3d9bae566ac9e2fbc55211c9b261ac183#rd
2020-03-03 01:02:59 weixin_40651515 阅读数 317

什么是深度学习,为何意义重大,以及这种创新的人工智能战略将如何改变医疗行业?

目录

序言

深度学习概述

深度学习在医疗领域的应用

影像分析和诊断

电子病例分析与处理

临床决策支持和预测分析

深度学习在医疗领域发展前景


序言

2018年11月30日各种规模、类型的医疗保健组织对人工智能如何在降低成本和提高效率的同时为医疗提供更为完善的支持性服务进行了探索。在较短的时间内,AI的可用性和复杂性爆炸式增长,深度学习是一个不错的起点。人工智能的这一分支已迅速为医疗领域带来了巨大的变革,为之提供了前所未有的高速度、超精度分析数据的能力。但是,深度学习到底是什么?它与其他机器学习策略有何不同?如何利用深度学习技术来促进医疗领域的革新是目前最紧迫的研究问题?

深度学习概述

深度学习也称为分层学习或深度结构化学习,是一种使用分层算法体系结构来分析数据的机器学习方法。在深度学习模型中,数据通过多层级联进行过滤,每个连续的层都使用前一层的输出作为该层的输入,深度学习模型随着处理更多数据而变得越来越准确,本质上是从先前的结果中学习知识以完善内部参数及其内部链接。深度学习大致是基于生物神经元相互连接以处理大脑中信息的方式进行实现的。其数据传递类似于电信号在生物细胞中传播的方式,隐藏层中当前节点的接收来自前一节点的刺激时,就会激活它。这些“隐藏”层用于执行数学翻译任务,将原始输入转化为有意义的输出。

2015年在《自然》杂志上发表的一篇文章,该文章定义“深度学习方法是具有表示形式的多层次的表示学习方法,它是通过组合简单但非线性的模块而获得的,每个模块都将一个级别的表示(从原始输入开始)转换为更高,更抽象的级别的表示”。 与其他类型的机器学习不同,深度学习不需要额外特征工程,将原始数据(例如图像的像素值)转换为合适的内部表示或特征向量。深度学习方法(通常是分类器)就可以检测出输入数据的模式或者类别。其额外好处是能够做出决策,而减少人为参与。

深度学习在医疗领域的应用

影像分析和诊断

卷积神经网络(CNN)是一种深度学习模型,特别适合分析图像,例如MRI结果或X射线。 

在2018年6月,在肿瘤学年报显示,卷积神经网络训练分析皮肤科图像鉴定特异性黑色素瘤。即使当临床医生掌握了有关患者的背景信息(例如年龄,性别和可疑特征的身体部位)时,CNN的表现也比皮肤科医生高出近7%。

除了高度准确之外,深度学习工具还很快速。 

西奈山伊坎山医学院的研究人员开发出了一种深度神经网络模型,该能够诊断重要的神经系统疾病,例如中风和脑出血,其速度是人类放射科医生的150倍。

电子病例分析与处理

对电子健康记录(EHR)进行分析是自然语言处理领域的重要研究内容,比如根据电子病例进行并发症预测等;例如,由Google、旧金山加州大学旧金山分校、斯坦福大学和芝加哥大学组成的团队开发了一种基于深度学习的自然语言处理方法,该方法分析了两家医院的216,000个EHR中的460亿个数据点。 用于识别和预测病人住院时间和预测住院病人的死亡率等等。但是需要大量的数据支持。

临床决策支持和预测分析

医疗领域对深度学习在多种情况下的临床决策支持和预测分析中的作用寄予厚望。 比如:麻省理工学院计算机科学与人工智能实验室(CSAIL)的研究人员创建了一个名为ICU Intervene的项目,该项目利用深度学习来提醒临床医生注意重症监护病房的患者病情恶化  。Google也在眼部疾病临床决策支持方面处于领先地位。该公司位于英国的子公司DeepMind 正在开发一种商业化的深度学习CDS工具,该工具可以识别50多种不同的眼疾,并为每种眼疾提供治疗建议。在《自然》杂志上发表的一项支持性研究中,DeepMind和Moorfields眼科医院发现该工具与人类临床医生一样准确,并且有可能通过减少检查和诊断的时间来显着扩大获得护理的机会。

深度学习在医疗领域发展前景

待总结

2019-04-10 10:56:07 chens3333 阅读数 1455

深度医疗是笔者基于深度学习的医学项目应用开发实践,经过整理输出了文档和本系列课程,希望通过分享可以和大家共同讨论、相互学习,探索更好的解决方案。笔者是一名普通的大数据和人工智能领域从业者,过程中如有错误和理解不到位的地方请广大同仁不吝赐教。笔者一直坚信深度学习和医学的有机结合一定能碰撞出性能强大的深度医疗系统,服务大众。

深度医疗(3) - 肺部病变诊断识别

本文主要介绍了通过深度学习进行肺部病变识别的应用,首先简单介绍了影像学医学背景和相关知识,接着介绍了目前能获得的公开的肺部病变数据集,最后介绍了神经网络的实现方式和处理后的效果以及性能分析,其中涉及到了多特征识别的问题。

1.概述

背景

胸部X射线检查是最常见和最具成本效益的检查之一。医学影像学检查。然而,胸部X射线的临床诊断是具有挑战性的,有时被认为比胸部CT成像更难诊断。

目前有一些很前沿的研究,尤其是最近的深度学习被用于结核病(TB)分类上,实现了临床相关的计算机辅助检测,但在真实世界医学网站上的诊断(CAD)所有的X射线胸部数据仍然是非常困难的。

如何利用医院的知识库,并通过深度学习训练这些宝贵的影像,以建立真正大规模的高精度电脑辅助诊断,是现在一个非常前沿的课题。

影像学

影像学不仅扩大了人体的检查范围,提高了诊断水平,而且可以对某引些疾病进行治疗。这样,就大大地扩展了本学科的工作内容,并成为医疗工作中的重要支柱。自伦琴1895年发现X线以后不久,在医学上,X线就被用于对人体检查,进行疾病诊断,形成了放射诊断学的新学科,并奠定了医学影像学的基础。至今放射诊断学仍是医学影像学中的主要内容,应用非常的普遍。

2.数据集

数据是从美国国立卫生研究院临床中心临床PACS数据库中提取的,其中正前位的胸片占医院所有正前位胸片总数的60%。因此,这个数据集更具代表性。

数据集包括112120张前视图X射线图像,分别对应14个疾病图像标签。

下载地址

其中包括14种常见的肺部病理:肺不张(Atelectasis)、实变(consolidation)、浸润(Infiltration) 、气胸(pneumothorax) 、水肿(edema) 、肺气肿(emphysema) 、纤维化(fibrosis) 、渗出(effusion) 、肺炎(pneumonia) 、胸膜增厚(pleural thickening) 、心肥大(cardiomegaly) 、结节(nodule) 、肿块(mass )、疝气(hernia) 。

在这里插入图片描述

3.数据提取

数据是PNG格式,每个图片大小是1024 * 1024的分辨率;

在这里插入图片描述

其中包括label文件,如图中所示,标注了每个图片文件对应的病症、病人的相关信息和图像的一些基础信息。

在这里插入图片描述

4.神经网络结构

神经网络采用了Dense Net进行处理,主要有三层Dense Net进行级联,每个Dense Net包括4个block,每个block包含batch_norm、relu、cnn、dropout模块,特别要提出的是最后的合并concat不是相加,而是通过连接的方式处理的。

在这里插入图片描述

5.多特征判别

一张Xray的图像有可能包含一张病变,也有可能包含多个病变,例如某个病人只有肺炎一种病,但另外一个病人可能同时有肺气肿和胸膜增厚两种病,甚至有些病人同时患有三种以上的病;这个时候就出现了多特征的判别的问题:

在这里插入图片描述

6.结果分析和系统优化

误差收敛曲线

在这里插入图片描述

精度曲线

在这里插入图片描述

因为一个病人的一张X片可能对应几种病变,这个系统不是单一的分类问题,是一个多分类问题,所以前面采用了sigmoid取代了softMax作为输出的判别,但我们忽略了一个问题,这种多分类问题需要有一个置信区间,因为从原理上来说,神经网络在做预测的时候是不知道这个X片到底对应几个病变的,所以我们需要给一个置信区间,在训练的时候满足这个置信区间。

在这里插入图片描述

7.存在的问题和后续优化方案
  1. 原始图片的分辨率很高(1024x1024),为了提高处理速度,神经网络中reshape成了128x128大小的,相对图像信息损失较大,可以通过修改网络输入的大小把输入图片reshape成分辨率更高,从而来提高系统的精度;

  2. 通过优化网络结构,例如加深dense net或加入其它网络,类似Residual Net进行处理;

  3. 对输入的原始数据进行预处理,通过剪裁、翻转等方式增加训练数据的数据量;

2018-11-27 13:43:40 chens3333 阅读数 8787

深度医疗是笔者基于深度学习的医学项目应用开发实践,经过整理输出了文档和本系列课程,希望通过分享可以和大家共同讨论、相互学习,探索更好的解决方案。笔者是一名普通的大数据和人工智能领域从业者,过程中如有错误和理解不到位的地方请广大同仁不吝赐教。笔者一直坚信深度学习和医学的有机结合一定能碰撞出性能强大的深度医疗系统,服务大众。

视频教程:深度医疗(1) - 心电图特征识别

本文主要介绍了通过深度学习进行心电图特征识别的应用,首先简单介绍了心电图医学背景和相关知识,接着介绍了目前能获得的公开的心电图数据集,最后介绍了神经网络的实现方式和处理后的效果以及性能分析。

1.什么是心电图

心脏在收缩跳动过程,心肌内的电流产生在前,心肌机械性收缩在后,应用心电图机以图形形式记录这些心肌电流的变化就叫做心电图。大家对心电图应该都有直观的印象,我们去医院体检一般都有这项功能的检测。通过传感器的连接检测,会在终端打印出一张如下面所示的图,这个就是记录心脏整个生理周期过程的心电图。
在这里插入图片描述
心电图每一个横格代表时间为0.04秒,每一个纵格代表电压为0.1毫伏;1个大格=5个小格=0.04秒x5=0.2秒。所以可以得到下面的对应关系,这样就可以简单的通过纸上坐标快速得出心律的跳动次数。
在这里插入图片描述
心电图传感器不同的连接方式对应不同的导联方式,主要分为下列两种

肢体导联方式:

在这里插入图片描述
标准导联Ⅰ:左上肢接正极,右上肢接负极
标准导联Ⅱ:左下肢接正极,右上肢接负极
标准导联Ⅲ:左下肢接正极,左上肢接负极
aVR导联:右手接正极,负极接中心电端
aVL导联:左手接正极,负极接中心电端
aVF导联:左下肢接正极,负极接中心电端

胸导联方式:

在这里插入图片描述

2.心电图产生原理

当心肌细胞一端的细胞膜受到一定程度的刺激时,其对钾、钠、氯、钙等离子的通透性发生改变,引起细胞膜内、外和正、负离子的流动(主要是钠离子的内流),使细胞膜内外正、负离子的分布发生逆转,受刺激部位的细胞膜出现除极化,使膜外侧具负电荷而膜内侧具正电荷,产生动作电位使心脏产生收缩运动。
在这里插入图片描述
这样周而复始,一个周期一个周期持续下去就行成了有规律的心电图波形,也称为P-QRS-T波。
在这里插入图片描述
P-QRS-T波的形成
心电活动始于窦房结,并从此发出冲动,循此特殊传导系统的通道下传,先后兴奋心房和心室,使心脏收缩,执行泵血功能。这种先后有序的电兴奋的传播,将引起一系列的电位改变,形成心电图上相应的波形。
在这里插入图片描述

3.数据集介绍

我们采用的数据集是MIT-BIH Arrhythmia Database(心律失常数据库)它是由Massachusetts Institute of Technology - 麻省理工学院和Beth Israel Hospital – 美国麻萨诸塞州波士顿Beth Israel医院一起联合创建的。
在这里插入图片描述
数据集中包含48 条充分标注的2导联ECG数据,每条数据时长为30分钟,其中标注的数据是按每个心电图周期进行标记的,也就是说每个周期的P-QRS-T波形都进行了标准,标注非常的详细,同时提供了对应的label标签文件,标注的信息可以从label标签文件中找到对应的信息。标注的信息可以从label标签文件中找到对应的信息 可以通过按图中的选择进行数据集的查看,做得非常的详细。

数据的下载地址
在这里插入图片描述
每条数据包含都.atr注释文件,.dat数据文件,.hea头文件
头文件主要包含一些基础、单位信息
在这里插入图片描述
注释文件记录了心电专家对相应的心电信号做出诊断信息
在这里插入图片描述
数据文件包含了心电图的波形数据,存储格式是头文件中的212格式(针对两个信号的数据记录,两个信号交替存储,每三个字节存储两个数据)

官方提供了PhysioBank ATM可视化网站,可进行在线查看,非常方便
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

4.神经网络

因为心电图是周期性的波形数据,神经网络通过了两种方式进行处理,包含一个周期波形的数据通过single pattern模式进行处理,包含多个周期波形的数据通过multiple pattern模式处理。为什么这么做是因为single pattern模式下只包含一个周期的波形,我们简单的认为在一个周期波形下只包含一种病变信息,也就是说简单的认为它只包含一个判决结果,而multiple pattern模式中多个波形有可能就会包含多种病变信息,也就是多分类问题了(这里的single pattern也有可能一个波形对应几个病变信息,为了把问题简单化同时阐述得更清楚,这里就认为single pattern模式只包含一种判别结果)

基于single pattern模式

为了能完整的包含一个P-QRS-T波,所以数据两头多引入了半个波形。模型中用到了三层ResNet和一层全连接层,这个模型并不见得好,在这里只是为了抛砖迎玉,大家在实际开发中可以进行测试和架构的优化来提高性能。
在这里插入图片描述

神经网络结构

在这里插入图片描述

multiple pattern模式

输入数据包含几个周期波形,所以该情况下就会出现某个波形数据下包含一个以上特征,意味着softmax输出不是一种特征输出,而是会出现几种可能并列出现的情况,这个时候前面single pattern的神经网络就不能处理这种情况;
这里也以一个稍微简单的情况进行讲解,假设一个波形最多包含2种特征(最少也有一种,正常或者其他病理),这种情况下我们采用两个并行的网络进行处理,一个网络判别波形的一半label,另一个网络判别波形的另外一半label,完成鉴别后合并这些特征就能进行多特征判别。
在这里插入图片描述

神经网络结构

在这里插入图片描述

误差收敛曲线

在这里插入图片描述

5.存在的问题和优化方案

1)实际项目中输入数据不是.dat文件,可能是图片数据,这个时候需要通过调整CNN的滤波器维度来进行匹配,例如系统中现在用的是1x3的滤波器,图片处理时,由于是二维数据,所以需要变换成3x3的滤波器;
2)通过其他网络结构进行优化,例如可以考虑引入dense net或在multiple pattern下把并行的一个网络完成dense net;
3)在特定场景下可以考虑RNN网络的引入;

6.彩蛋

在心电图识别这个领域有一个每年都举办的比赛,大家有兴趣可以去参加。
心电图比赛
下面是2017年比赛的结果
在这里插入图片描述

2019-09-25 14:15:54 chens3333 阅读数 378

深度医疗是笔者基于深度学习的医学项目应用开发实践,经过整理输出了文档和本系列课程,希望通过分享可以和大家共同讨论、相互学习,探索更好的解决方案。笔者是一名普通的大数据和人工智能领域从业者,过程中如有错误和理解不到位的地方请广大同仁不吝赐教。笔者一直坚信深度学习和医学的有机结合一定能碰撞出性能强大的深度医疗系统,服务大众。

深度医疗(4) - 眼底毛细血管分割

本文主要介绍了通过深度学习进行眼底毛细血管分割的应用,首先简单介绍了眼底病变医学背景和相关知识,接着介绍了公开的眼底毛细血管数据集,最后介绍了神经网络的实现方式和处理后的效果以及性能分析,其中涉及到了PSP网络的图像分割问题。

1.概述

背景

我们的眼球底部布满了丰富的毛细血管,在平时用眼过程中可能会出现毛细血管出血的症状,而造成这个现象的有多种眼底血管疾病,比如糖尿病性视网膜病变、视网膜静脉阻塞、高血压性视网膜病变、高度近视性视网膜病变等等。

大部分人眼底出血可能是由于劳累、外部挤压等造成,如果出血量不大可以不用处理,会自行缓解,但如果出血量大,同时难于康复,就需要进一步进行诊断,情况严重的需要进行手术,所以该诊断对于整个疾病的治疗和康复非常的重要。

眼底病变

很多眼部疾病需要通过眼球的毛细血管状况来进行判别

在这里插入图片描述

2.数据集

数据集包含两类图片,一类是原始的眼底医学图片;另外一类是蒙版图片,也就是我们需要的label文件。两类图片的尺寸相同,当把两张图片叠加在一起的时候血管的分布完全重合,这样便于进行对齐分割。

原始图片是.tif格式,标签文件是.png格式,图片分辨率均为720 X 720;训练图片有20张,测试图片也有20张,其中训练集包含了原始图片和标签图片,测试集只有原始图片。

在这里插入图片描述

下载地址1
下载地址2

4.神经网络结构

神经网络采用了PSPnet作为图像分割的网络。

在这里插入图片描述

因为蒙版(标签文件)是黑白图像,所以这里的分割我们认为是有两个类别组成的:1-黑色、0-白色

在这里插入图片描述

网络结构

在这里插入图片描述

5.结果分析和系统优化

误差收敛曲线

在这里插入图片描述

精度曲线

在这里插入图片描述

6.预测结果比对

左边为蒙版(标签)文件,右边为预测输出
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

7.存在的问题和后续优化方案

  1. 神经网络的输出图片分辨率较低,目前是180x180,精细度是不够的,原始图片的分辨率是720x720,相当于压缩了4倍,可以理解为原始的一个4x4的矩阵被压缩成了一个点,细节损失了16倍,这个对精准度存在比较大影响;但如果提高输出分辨率,资源占用会呈指数增长,这里如果把180修改成720,系统资源要求提高16倍,我们如果把前面的网路改成5个大的ResNet结构的话,内存或者显存要求是10G左右,16倍相当于要求160G内存和显存;
  2. 目前的训练集比较少,在这样的情况下精度的提高存在一定的瓶颈,可以通过翻转、裁剪等方式来增加训练集的精度,但提高的精度也是比较有限的,应该不会超过1%;
  3. 训练会不会出现过拟合,需不需要加入dropout,仔细看前面的网络结构会发现,这个网络都是通过cnn作为最小模块来实现的,cnn有个特点,每个channel的滤波器是一样的,都是通过这个滤波器来处理当前channel的所有像素信息,所以整个神经网络的系数并不像加入全连接层那样计算复杂度很高,而且在最后一层需要把所有特征进行加权计算,所以这里不需要加入dropout,如果加入了dropout反而会破坏整个系统性能;

深度学习如何入门

阅读数 3325

没有更多推荐了,返回首页