2019-05-12 12:17:48 rendawei636 阅读数 594
  • Erdas遥感影像处理入门实战教程(GIS思维)

    《Erdas遥感影像处理入门实战教程》以Erdas2010版本经典界面进行实战教学,设计12章内容,正式教学内容总共45课时,15个小时时长。从软件界面开始,到后的应用,适合入门级、初级、中级的人员学习、工作、教师教学参考。课程根据作者实际工作经验,以及采访学员需求,开展课程设计,实用加实战,会是你学习路上的好帮手。

    4409 人正在学习 去看看 黄晓军

一、模型

核心模型采用现在吴恩达的ChexNet模型,此模型是121层的DenseNet。虽然模型的诊断结果较四位影像科的诊断结果在给出的数据集上要好,并且吴恩达自己也说Should radiologists be worried about their jobs? Breaking news: We  can now diagnose pneumonia from chest X-Rays better than radiologists. 但是招来的Diss一大片,毕竟在影像圈里这个结论未免下的有点早。不过,个人还是站在人工智能一队的。

我们生产环境中,在此模型前,又加入了正位和其他部位影像分类的模型。训练环境中,还加入了Unet肺部分割模型,影像前处理,例如对于没有(window center\window width)的影像进行自动窗宽窗位计算。

二、模型关键代码解读

1 随机放大剪切处理

normalize = transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])
transformList = []
transformList.append(transforms.RandomResizedCrop(transCrop))#随机放大剪切
transformList.append(transforms.RandomHorizontalFlip())
transformList.append(transforms.ToTensor())
transformList.append(normalize)

ChexNet采用的方法,是将3000X3000的DR影像的原图像缩小到1024的大小。只比原图缩小了3倍的大小,纹理细节损失的比较少,而且计算机对纹理的感知肯定比人眼更强,可以分辨更细微纹理。另外,现在大部分对DR诊断的显示器,也只有1M,很多的时候,老师也不放大去观察影像。所以,这两方面原因来说,缩小原来的3倍大小,是可以接受的。我们在处理这部分的影像的时候,首先是要将影像裁剪到大概单边2800大小,这样缩放到1024后,就更多保留图中的信息。
2 ChexNet对1024图像用RandomResizedCrop的方法处理,也就是在原图上,随机缩放,然后随机截取其中的大小为224图片。这里可能开发者会有疑问,在某些时刻根本就截取不到病灶的位置,这样的图片个也作为一个正样本,对模型进行训练。这么做的真真原因是,在负样本中,也能截取到类似的区域的图像,又被认定为负样本,这样多次训练后,这种图像的特征肯定是被压制了,真真病灶特诊就相对提高了。
3 和ChexNet不同的是,我们还对影像中的肺部区域进行分割,然后用分割后图像才进行训练。分割所用的模型是UNet基础上加入了ResNet中的短接处理。正常的情况下,肺部的分割效果很不错,如下图所示。但是对于某些病变肺,无论如何效果也不能满足,如图2所示,右上肺产生了实性变,但是分割算法没有识别出来。所以,我们在分割后的图像上又做了些常规的算法处理,最后结果图像,如图3所示。

图1

图2

图3

三、训练结果

我们从数据库中,标记了大概11000个肺结核,11000个负样本。ROI图如下

四、工程实现效果

选取threshold为0.42,再将定位的图发送到前端H5,利用js将热力图和dicom灰度图进行合并后,显示如下

对应的老师报告如下

{"finding":"双侧胸廓大致对称。右上肺可见斑点及索条状密度增高影,边界清晰。余肺内未见其它异常阴影。肺门形态、大小及位置未见异常。纵隔无增宽表现,位置居中无移位,心影不大,形态未见异常。双侧膈肌光整,肋膈角锐利。片内所示胸廓骨骼及胸壁软组织无异常表现。","result":"右上肺结核,病灶基本纤维化、钙化。"}

2019-11-19 09:24:19 weixin_44292902 阅读数 40
  • Erdas遥感影像处理入门实战教程(GIS思维)

    《Erdas遥感影像处理入门实战教程》以Erdas2010版本经典界面进行实战教学,设计12章内容,正式教学内容总共45课时,15个小时时长。从软件界面开始,到后的应用,适合入门级、初级、中级的人员学习、工作、教师教学参考。课程根据作者实际工作经验,以及采访学员需求,开展课程设计,实用加实战,会是你学习路上的好帮手。

    4409 人正在学习 去看看 黄晓军

人工智能之深度学习在医学影像领域应用技术实战课程介绍

近年来,随着人工智能领域异军突起,深度学习(Deep Learning)技术在医学影像方面的应用越来越广泛而深入,对于提高临床医疗水平、实现精准医疗起着越来越重要的作用,并已迅速成为医学图像分析研究热点,在学术界和工业界取得了广泛的成功以及已成为人工智能技术落地的重要突破口。为了帮助更多的医学界同仁及相关研究人员了解医学影像人工智能学科前沿、提高技术水平,研数数据科技特主办”医学影像人工智能深度学习实战培训班”。

 

课程特色:

1、 本课程力图理论结合实践,强调从零开始,重视动手实践;

2、 课程内容以原理讲解为根本,以应用落地为目标。报名时学员可将工作中遇到的问题提交给老师,课中老师将选择典型问题现场讨论指导;

3、 课程通过大量形象的比喻和手算示例来解释复杂的学习理论,既能将原理充分讲懂讲透,也避免了繁复而枯燥的公式推导。

 

课程体系:

第一课:概述与环境配置安装准备工作

 

1.1 课程简介

1.2 Anaconda Python安装

1.3TensorFlow或TensorFlow-GPU的安装

1.4 Keras安装

1.5 OpenCV环境安装

第二课:计算机视觉及其在医疗领域的应用

 

2.1 计算机视觉简介

2.2 数字图像的存储

2.3 医学影像种类

2.4 医学影像的存储

2.5 病理切片的存储

2.6 计算机视觉任务的目标分类及难点

2.7 医学影像自动读片任务简介

2.8 病理读片任务简介

2.9 其他医疗图像领域的应用

第三课:图像预处理与特征提取

 

3.1 对比度和亮度校正

3.2 平滑与锐化:初识卷积

3.3 HE、AHE与CLAHE

3.4 边缘检测、角点检测、斑块检测

3.5 SIFT特征

3.6 SURF特征         

3.7 ORB特征               

3.8 HOG特征

第四课:神经网络

 

4.1 神经网络的由来

4.2 人工神经元及感知机模型

4.3 前向(Feed Forward)神经网络

4.4 神经网络的权值

4.5 激励函数:sigmoid、tanh等

4.6 损失函数

4.7 神经网络的训练:梯度下降法

4.9 手算神经网络BP算法

4.8 神经网络的训练:误差反向传播算法详解

4.10 手写数字的识别

第五课:深度神经网络

 

5.1 深度学习与神经网络的区别与联系

5.2 梯度消散问题分析

5.3 梯度消散解决方案(ReLU)

5.4 过拟合问题

5.5 Dropout

5.6 批量正则化(Batch Normalization)

5.7 神经元的初始化

5.8 权重衰减(Weight Decay)

5.9 各种梯度下降的优化方法(SGD、Adagrad、RMSprop、Adam等)

第六课:图像分类及其在医疗领域的应用

 

6.1 图像分类概述

6.2 AlexNet

6.3 卷积层的误差反向传播

6.4 池化层的误差反向传播

6.5 VGG(5层变为5组)

6.6 迁移学习

6.7 应用案例:通用领域的图像识别

6.8 GoogLenet和Inception模块

6.9 ResNet

6.11 应用案例:病理切片良恶性分析

6.10 FPN

6.12 应用案例:细胞计数等

第七课:目标检测及其在医疗领域的应用

 

7.1 目标检测问题

7.2 应用案例:基于级联分类器的人脸检测

7.3 支持向量机(SVM)简介

7.4 应用案例:行人检测

7.5 R-CNN

7.6 快速R-CNN

7.7 更快的R-CNN

7.8 YOLO

7.9 应用案例:医疗影像领域的目标检测案例(肺小结节)

第八课:图像分割及其在医疗领域的应用

 

8.1 全卷积网络(FCN)

8.2 上采样的三种实现方式

8.3 膨胀卷积

8.4 DeepLab V1~V3

8.5 U-Net

8.6 V-Net和3D U-Net

8.7 FC-DenseNet

8.8 应用案例:利用U-Net实现的前列腺的分割

第九课:现场解答问题

 

学员可提交一到两个实际工作中遇到的问题,讲师会在课程结束后,会选择比较有代表性的问题进行解答。

2019-11-16 19:25:00 weixin_38753768 阅读数 15
  • Erdas遥感影像处理入门实战教程(GIS思维)

    《Erdas遥感影像处理入门实战教程》以Erdas2010版本经典界面进行实战教学,设计12章内容,正式教学内容总共45课时,15个小时时长。从软件界面开始,到后的应用,适合入门级、初级、中级的人员学习、工作、教师教学参考。课程根据作者实际工作经验,以及采访学员需求,开展课程设计,实用加实战,会是你学习路上的好帮手。

    4409 人正在学习 去看看 黄晓军

640?wx_fmt=gif

640?wx_fmt=png

写在前面
640 
在传统医疗领域,医院内每日的医学影像数据量巨大,影像科医生做着大量重复性和机械性的工作。每张片子都需要医生仔细筛查和甄别,耗费了大量的精力,同时过于机械和重复性的工作也使得医生可能由于过于疲乏而产生判断上的失误。

近年来,随着深度学习的发展,医学影像逐渐成为人工智能最有潜力的落地领域之一。在这里我们将对医学影像遇上深度学习后的当前行业应用进行介绍和分析希望能够帮助对人工智能在医学影像上的研究和应用感兴趣的同学们更好地了解行业的现状和发展方向。

肺结节AI辅助诊断 
640

肺癌,在我国的发病率、死亡率极高,伤害着无数家庭。在我国每年都有近60万人死于肺癌。肺癌防治的重要手段是早期筛查,其中胸部低剂量CT是国际公认的有效手段。而在如今传统的阅片模式中,医学影像面临医疗从业人员短缺,人工分析模式精准度受限,以及基层医院医疗机构诊断水平参差不齐,高年资医生匮乏,易出现漏诊、误诊等问题。

640?wx_fmt=png

现阶段市场中的人工智能肺CT产品已经实现了肺结节的检出功能,可支持包括:实性结节、磨玻璃结节、形态不规则的大结节、血管旁结节、肺门区结节等。支持提供量化信息检测如自动测量病灶的长径、短径、CT值、体积等参数。支持提供定性信息检测如病灶密度:实性、部分实性、磨玻璃、钙化,以及病灶良恶性等级分类:良性、疑似良性、恶性、疑似恶性。另外支持多种伴随征象的检出,如边界模糊、分叶、毛刺、胸膜牵拉、血管集束等。此外还有肿块、斑片、网影、条索影、气胸、胸腔积液等病变检出。部分产品还含有胸部骨质病变筛查功能,自动检出骨折,支持3D的可视化帮助医生定位,进行全面智能分析与诊断。

在国内,各企业积极响应国家基础医疗建设和分级诊疗制度实施的号召,应用深度学习的技术,携手各大高校科研机构与国内医院,运用国际前沿技术,使人工智能医学影像诊断达到国际领先水平,在各系统疾病的精确诊断方面处于行业领先,为医生进一步诊疗决策提供临床建议。

很多创业公司都研发了肺部CT检测相关产品,此类产品也是国内医学影像创业公司的门槛产品。该方向起源于国际LIDC以及LUNA的肺结节检出竞赛。目前,各个公司推出了他们的相关产品。例如,深睿医疗(DeepWise)推出的Dr.WISE CAD医疗影像诊断系统;推想科技(Infervision)的InferReadCTLung产品系统;依图医疗(YITU)、图玛深维(12Sigma)、医准智能(MEDICAL AI)等公司的产品,均已经在市场上投入使用。上市公司方面,阿里健康研发的医疗AI产品“Doctor You”已经公开发布,此外还有科大讯飞、中国平安集团旗下平安科技、腾讯觅影等。

在国外,具有代表性的有谷歌的深度思维(DeepMind,美国)、西门子(SIEMENS,德国)、飞利浦(PHILIPS,荷兰)、ARTERYS、通用电气(GE,美国)等公司研发的相关产品,均可以支持病灶筛查、定位、定量标注、诊断等一系列阅片流程,从而推进精准医疗建设,优化病患就医体验。

乳腺X线AI诊断 
640

乳腺癌是全世界最常见的女性肿瘤并且是导致女性因肿瘤死亡的主要癌种。在我国,新诊断的乳腺癌病例占全球乳腺癌新发病例的12.2%,死亡率为9.6%,乳腺癌已经成为我国女性癌症死亡的主要原因之一,研究证实乳腺癌筛查与降低乳腺癌发病率及死亡率明显相关。

现阶段,国内针对乳腺影像的智能辅助诊断主要集中在乳腺钼靶领域。尽管超声作为指南推荐首选早筛方式,但由于超声检查影像结果受设备、操作人员、操作手法等差异较大的影响,且为动态图像,无法形成标准化数据集,故而训练难度极大,AI辅助诊断效果往往不尽如人意。相较之下,乳腺数字X线检查具有良好的对比度及分辨力,能够分辨组织间细微结构密度的差别,且操作简单,价格相对低廉,易于接受,诊断准确率较高,是国际上公认的乳腺癌早期机会性筛查及早期发现的有效措施。

640?wx_fmt=png

目前已有数家厂商进军乳腺X线影像智能诊断领域并发布相关产品,大多数产品都具备了基础的肿块、钙化检出能力。少数领先厂商的系统不仅能检出肿块、钙化、结构扭曲、不对称,还能进行腺体分型、病灶检出以及全征象描述、BI-RADS分类、生成结构化报告等。医生在临床诊断过程中使用这些产品进行辅助判断,产品性能已达到临床可用程度,临床性能已接近资深的专业乳腺X线钼靶阅片医师。

国内外乳腺X线影像智能辅助诊断产品主要功能集中在钙化和肿块的检出以及病灶的分析方面。其中深睿医疗(DEEPWISE)、依图医疗(YITU)和腾讯觅影的产品市场试用规模较大,产品针对临床诊断辅助支持功能较完善。推想科技(infervision)、医准智能(MEDICAL AI)也相继在市场上发布了辅助产品。

国外在乳腺X线影像智能辅助诊断产品研发中较为突出的公司主要包括谷歌(googleDeepMind,美国)、英特尔(Intel,美国)、豪洛捷(Hologic,美国)、Medipattern公司(加拿大),其中Medipattern公司(加拿大)乳腺超声CAD设备B-CAD2005年获得了FDA批准进入美国销售。英特尔(Intel,美国)在国内与汇医慧影公司合作,共同开发“人工智能乳腺全周期健康管理系统”助力乳腺癌早期筛查以及诊治。其中东软的乳腺X线计算机辅助检测(CAD)产品已经完成了国内国家食品药品监督管理总局(CFDA)的认证并有限投入市场进行使用。

脑部影像AI诊断 
640

我国脑卒中的发病率已经超过心血管疾病,成为致死、致残率最高的疾病,并且发病率呈逐年上升的趋势,此外脑血管病和颅内肿瘤等脑部疾病也危害人们的健康。随着人工智能在医疗方面的迅速发展,脑影像方面的AI应用也得到了新的发展思路和方向。

640?wx_fmt=png

人工智能当前已经在出血性脑卒中、缺血性脑卒中、脑血管、脑肿瘤四个方面对脑部影像产品予以赋能,其中:

1)对于出血性脑卒中,可以做到对脑出血的血肿病灶进行自动检出,检出的同时对病灶进行影像学测量,以“像素级”的精度对病灶进行精准测量,检出病灶的同时对病灶进行性质分类,同时对相关伴随征象进行检出,并生成结构化报告。基于临床应用场景,设定针对于不同出血类型的随访功能,给予临床相应的提示,来指导临床进行治疗方案的选择。

2)在缺血性脑卒中,急性期CT平扫方面,人工智能诊断系统给出预测的病灶位置,结合临床症状可以更好地帮助临床医生选择下一步的治疗方案。基于CTP中的CBVCBFTTPMTTTmax序列以及MRI序列中PWI序列、SWI序列可以对缺血半暗带进行精准测量,实现缺血半暗带与核心梗死去量化分析,从而指导临床进行下一步治疗。基于MRI头颅平扫DWI序列的ASPECT评分,可以第一时间给出相应的评分,方便临床医生快速评估患者预后。

3)在出血和梗死的病因方面,基于CTA的脑血管检测可以对于狭窄的血管以及动脉瘤进行检出,大幅缩短了医生的阅片时间并降低了漏诊的概率。

4)在颅内肿瘤方面,基于多模态融合与知识图谱体系可以对颅内肿瘤进行细致化的影像学分析,最终给出最接近病例层级的诊断结果。

目前国外脑部影像AI关于出血性脑卒中方面的产品主要功能集中在出血体积测量、分类以及预后分析等方面。国内脑部影像AI产品研发的其他方向还包括头颈CTA血管重建以及病变分析。其中,比较有代表性的是数坤科技的心脑血管分割产品。此外,脑肿瘤自动识别及诊断分析(天医智)也取得了不错的成果,在少数医院已经开始进行临床试用。深睿医疗以及推想科技研发的脑卒中辅助诊断系统则较多的处于试用阶段。

国外在出血性脑卒中比较突出的公司有CuraCloud公司(美国)、BlackFord公司(美国)、EIRL公司(日本)、QURE公司(美国),产品形态较为成熟,以上4家公司的产品均通过FDA认证并投入到市场进行试用。对于脑肿瘤方面国外进行产品研发的方向较少,具有代表性的有AI ANALYSIS公司(美国),主要研究方向为MRI全序列颅内肿瘤变化分析。国外脑部其他病变AI产品具有代表性的还有 CORTECHS (美国),主要研究方向为基于FLAIR序列的脑萎缩检测,以及脑白质变性的检测等方面。

骨龄AI辅助诊断
640

国家卫计委发布的《中国居民营养与慢性病状况报告(2015)》显示,我国6-17岁的儿童青少年肥胖率超过8%,性早熟、矮小、小儿肥胖已经成为我国目前三大小儿常见内分泌问题。如不及时治疗,会给患儿体格发育、心理发育、升学、就业和婚姻等带来许多不良影响。

我国目前每年因矮小到正规医疗机构就诊的儿童数量、接受合理治疗的儿童数量都很低,即总体知晓率和治疗率严重偏低,社会整体的矮小儿童治疗现状不理想。由于生长发育相关的专业人力方面存在短缺和不足,很多医院为了满足接诊等服务能力的需要,选择了效率高的骨龄评价方法。

640?wx_fmt=png

提高骨龄诊断的效率和效果,其价值在于能更加准确地反映个体的生长发育水平和成熟程度。这不仅可以确定儿童的生物学年龄,还可以通过骨龄及早了解儿童的生长发育潜力以及性成熟的趋势。对于一些身材矮小患者的问题能够进行更好的评估,治疗具有很大的指导意义,进而能够更好的给予干预治疗,让孩子的身高能够得到改变。

目前已有数家厂商进军骨龄AI领域并发布相关产品,但产品高度成熟、真正落地并且能够实现快速迭代的厂商较少。产品成熟度较高的公司有依图科技等。

胸部平片AI
640 
数字化X光成像(CR/DR)是医疗机构普及率最高的设备之一,基层医疗机构普遍都拥有该设备。尤其是DR,成像速度快、辐射剂量低、空间分辨率高且设备成本低,因此无论是常规体检,还是门诊疾病初步判断,或是入院查体,平片都是最常见用的影像学检查手段。其中胸部平片是检查量最大、应用最广泛的部位之一。

640?wx_fmt=png

目前国内外胸部平片AI产品功能主要集中在异常征象的检出。在2018年的北美放射学年会上参展的20家左右的医学影像AI公司有约一半展出了各自的产品。其中产品形态较为成熟的公司有EIRL公司(日本)、QURE公司(美国)、VUNO(韩国)、LUNIT(韩国)。但截止到目前为止还没有公司通过了FDA认证。国内进行胸部平片AI产品的研发机构不多,主要有深睿医疗、推想科技,视见科技等。

其他AI产品
640

对于其他的在医学影像上的应用,还有许多方向需要探讨。比如,糖网智能筛查已经取得了一定的进展,并且在国内外医院都进行了临床测试和应用。然而从AI技术和产品等方面,糖网智能筛查系统远没有成熟,需要科研人员、产品公司、临床医生等通力合作,才能打通业务流程,攻破技术壁垒,更好地为广大人民群众提供及时、高效、优质的医疗服务。还有一些医学病理的方向,也有一些公司例如DeepCare、视见科技等正在进行研究落地。此外对肾脏、肝脏、眼部和牙齿等部位影像的AI分析和研究也正在不断发展中。

写在最后
640 
在这篇文章中,我们对人工智能在当前医学影像行业中的诸多应用和产品进行了概述。在后续的文章中,我们会进一步对各个细分领域中的AI学术研究和工业应用进行更为详细的介绍。当医学影像遇上深度学习,人工智能医学影像辅助诊断系统能够更有效地提高医生诊断的效率和准确率。



长按二维码关注我们

640?wx_fmt=png

640
往期热门

点个 “在看”,支持「视说」原创

2018-11-10 20:00:15 weixin_41108334 阅读数 2489
  • Erdas遥感影像处理入门实战教程(GIS思维)

    《Erdas遥感影像处理入门实战教程》以Erdas2010版本经典界面进行实战教学,设计12章内容,正式教学内容总共45课时,15个小时时长。从软件界面开始,到后的应用,适合入门级、初级、中级的人员学习、工作、教师教学参考。课程根据作者实际工作经验,以及采访学员需求,开展课程设计,实用加实战,会是你学习路上的好帮手。

    4409 人正在学习 去看看 黄晓军

GitHub:https://github.com/albarqouni/Deep-Learning-for-Medical-Applications

医疗数据集:https://blog.csdn.net/Suii_v5/article/details/77920948?locationNum=10&fps=1

乳腺MG数据获取:https://blog.csdn.net/dcxhun3/article/details/52173925

一些常用图像数据库总结:https://blog.csdn.net/JIEJINQUANIL/article/details/50341765

医疗影像论文汇总:https://cloud.tencent.com/developer/article/1064590

1、肺结节数据库LIDC-IDRI:

CSDN数据库介绍:http://blog.csdn.net/dcxhun3/article/details/54289598

数据库网址:https://wiki.cancerimagingarchive.net/display/Public/LIDC-IDRI

2、乳腺图像数据库DDSM MIAS

数据库介绍(DDSM SQL Data Base):http://deckard.mc.duke.edu/ddsm_sql/book1.html

图片格式为LJPEG需要使用对应的压缩方法对其进行解压,目前找到了xMedcon,但是不太会用,打不开相应的文件,也可能是不是使用这个软件压缩的。不过这个软件可以用来转换大部分的医学图像。matlab社区上有how to open lossless jpeg file,但是其中有一些答案提供的网址不能打开,可能是没有科学上网??

数据库网址:http://figment.csee.usf.edu/Mammography/Database.html

MIAS MiniMammographic Database(来自researchgate的一个问答):322例,尺寸:1024*1024pixel,图像数据是PGM格式,找到一个介绍和读取的博客代码使用的c,matlab问答相关

小型乳房X光数据库:http://peipa.essex.ac.uk/pix/mias/all-mias.tar.gz

这也是一个乳腺的图像数据库,但是现在还没有搞清楚下载、格式之类的:https://www.repository.cam.ac.uk/handle/1810/250394?show=full

3、医学图像问答(目前还没搞清楚干嘛的,好像是一个网站的问答。暂存)

网址:http://www.dclunie.com/medical-image-faq/html/index.html

4、左心室MRI图像

Cardiac MRI Dataset: http://www.cse.yorku.ca/~mridataset/

右心室MRI数据RVSC

右心室分割挑战赛(2012):http://pagesperso.litislab.fr/cpetitjean/mr-images-and-contour-data/

5、Kaggle比赛网址:https://www.kaggle.com/

CT Medical Image Analysis Turorial这个比赛好像是分析CT纹理与患者年龄的关系。

肺癌分类比赛:https://www.kaggle.com/c/data-science-bowl-2017/data

分割肺癌(Kaggle):https://www.kaggle.com/kmader/finding-lungs-in-ct-data

DICOM文件打开使用Sante DICOM Free,paraview也可以打开,Mango网站:https://idoimaging.com/programs/124;anteDicom官方下载网址:http://www.santesoft.com/win/sante-dicom-viewer-free/download.html

6、Cancer Imaging Archive这个网站可以获得一些癌症的数据库,下载下来是jnpl文件需要使用jre环境进行下载:

http://www.cancerimagingarchive.net/

7、OsiriX数据库:各种医学数据,好像得注册收费的样子,还没搞清楚

http://www.osirix-viewer.com/resources/dicom-image-library/

8.Github上哈佛 beamandrew机器学习和医学影像研究者-贡献的数据集

https://github.com/beamandrew/medical-data

9.ISBI(生物医学成像国际研讨会)

https://grand-challenge.org/All_Challenges/

10.NITRC的IBSR数据集

 

 

一、医疗+深度学习

医疗论文期刊/会议:

  • Medical Image Analysis (MedIA)(http://t.cn/RWAEWNJ)
  • IEEE Transaction on Medical Imaging (IEEE-TMI)(https://ieee-tmi.org/)
  • IEEE Transaction on Biomedical Engineering (IEEE-TBME)(https://tbme.embs.org/)
  • IEEE Journal of Biomedical and Health Informatics (IEEE-JBHI)(http://t.cn/RWAnkiL)
  • International Journal on Computer Assisted Radiology and Surgery (IJCARS)(http://t.cn/zOTPHNL)
  • International Conference on Information Processing in Medical Imaging (IPMI)
  • International Conference on Medical Image Computing and Computer Assisted Intervention (MICCAI)
  • International Conference on Information Processing in Computer-Assisted Interventions (IPCAI)
  • IEEE International Symposium on Biomedical Imaging (ISBI)

    3.1,深度学习技术:

  • NN: Neural Networks
  • MLP: Multilayer Perceptron
  • RBM: Restricted Boltzmann Machine
  • SAE: Stacked Auto-Encoders
  • CAE: Convolutional Auto-Encoders
  • CNN: Convolutional Neural Networks
  • RNN: Recurrent Neural Networks
  • LSTM: Long Short Term Memory
  • M-CNN: Multi-Scale/View/Stream CNN
  • FCN: Fully Convolutional Networks
  • 3.2,成像方式:

  • US: Ultrasound
  • MR/MRI: Magnetic Resonance Imaging
  • PET: Positron Emission Tomography
  • MG: Mammography
  • CT: Computed Tompgraphy
  • H&E: Hematoxylin & Eosin Histology Images
  • RGB: Optical Images
  • Table of Contents

    4.1,Deep Learning Techniques

  • AutoEncoders/ Stacked AutoEncoders(http://t.cn/RWAuKrS)
  • Convolutional Neural Networks(http://t.cn/RWAuHGU)
  • Recurrent Neural Networks(http://t.cn/RWAu119)
  • Generative Adversarial Networks(http://t.cn/RWA3v8q)
  • 4.2,Medical Applications

  • Annotation(http://t.cn/RWA3fHN)
  • Classification(http://t.cn/RWA39G5)
  • Detection/ Localization(http://t.cn/RWA3lOL)
  • Segmentation(http://t.cn/RWA3RoL)
  • Registration(http://t.cn/RWA3dJZ)
  • Regression(http://t.cn/RWA1Ply)
  • Other tasks(http://t.cn/RWA12NV)
  • Deep Learning Techniques

    5.1,Auto-Encoders/ Stacked Auto-Encoders

    5.2,Convolutional Neural Networks

  • AggNet: Deep Learning From Crowds for Mitosis Detection in Breast Cancer Histology Images(http://t.cn/RWA1lmT)
  • Fast Convolutional Neural Network Training Using Selective Data Sampling: Application to Hemorrhage Detection in Color Fundus Images(http://t.cn/RWA1Rma)
  • 5.3,Recurrent Neural Networks

    5.4,Generative Adversarial Networks

    Medical Applications

    Annotation

  • Deep learning of feature representation with multiple instance learning for medical image analysis(http://t.cn/RWA1FkV)
  • AggNet: Deep Learning From Crowds for Mitosis Detection in Breast Cancer Histology Images (http://t.cn/RWABUT7)
  • Classification

  • Multi-scale Convolutional Neural Networks for Lung Nodule Classification(http://t.cn/RWADf0A)
  • Predicting Alzheimer's disease: a neuroimaging study with 3D convolutional neural networks (http://t.cn/RWADSK4)
  • Automatic Feature Learning to Grade Nuclear Cataracts Based on Deep Learning (http://t.cn/RWADYxw)
  • Quantifying Radiographic Knee Osteoarthritis Severity using Deep Convolutional Neural Networks (http://t.cn/RWADk5G)
  • A Deep Semantic Mobile Application for Thyroid Cytopathology (http://t.cn/RWAko5r)
  • Alzheimer's Disease Diagnostics by a Deeply Supervised Adaptable 3D Convolutional Network (http://t.cn/RWAkcoj)
  • Multi-resolution-tract CNN with hybrid pretrained and skin-lesion trained layers (http://t.cn/RWAkWVF)
  • Towards Automated Melanoma Screening: Exploring Transfer Learning Schemes (http://t.cn/RWAkEnF)
  • Pulmonary Nodule Detection in CT Images: False Positive Reduction Using Multi-View Convolutional Networks (http://t.cn/RWAF7qb)
  • 3D Deep Learning for Multi-modal Imaging-Guided Survival Time Prediction of Brain Tumor Patients (http://t.cn/RWAkkPX)
  • Computer-Aided Diagnosis with Deep Learning Architecture: Applications to Breast Lesions in US Images and Pulmonary Nodules in CT Scans (http://t.cn/RWAFyHc)
  • Unsupervised deep learning applied to breast density segmentation and mammographic risk scoring (http://t.cn/RWAFILN)
  • Spectral Graph Convolutions for Population-based Disease Prediction (http://t.cn/RWAFohq)
  • SurvivalNet: Predicting patient survival from diffusion weighted magnetic resonance images using cascaded fully convolutional and 3D convolutional neural networks (http://t.cn/RWAFYuV)
  • Detection / Localization

  • 3D Deep Learning for Efficient and Robust Landmark Detection in Volumetric Data (http://t.cn/RWAstTB)
  • Standard Plane Localization in Fetal Ultrasound via Domain Transferred Deep Neural Networks (http://t.cn/RWAs6xr)
  • Automated anatomical landmark detection ondistal femur surface using convolutional neural network (http://t.cn/RWAsYbY)
  • Automatic Fetal Ultrasound Standard Plane Detection Using Knowledge Transferred Recurrent Neural Networks (http://t.cn/RWAsn1T)
  • Regressing Heatmaps for Multiple Landmark Localization using CNNs (http://t.cn/RW2vv2L)
  • An artificial agent for anatomical landmark detection in medical images (http://t.cn/RW2vy2P)
  • Real-time Standard Scan Plane Detection and Localisation in Fetal Ultrasound using Fully Convolutional Neural Networks (http://t.cn/RW2vft1)
  • Recognizing end-diastole and end-systole frames via deep temporal regression network (http://t.cn/RW2vrQW)
  • Improving Computer-Aided Detection Using Convolutional Neural Networks and Random View Aggregation Neural Networks (http://t.cn/RW2vrQW)
  • Automated detection of pulmonary nodules in PET/CT images: Ensemble false-positive reduction using a convolutional neural network technique Neural Networks (http://t.cn/RW2hTcw)
  • Automatic Detection of Cerebral Microbleeds From MR Images via 3D Convolutional Neural Networks (http://t.cn/RW2Pu8C)
  • Self-Transfer Learning for Fully Weakly Supervised Lesion Localization (http://t.cn/RW27xd4)
  • Fast Convolutional Neural Network Training Using Selective Data Sampling: Application to Hemorrhage Detection in Color Fundus Images (http://t.cn/RWA1Rma)
  • Segmentation

  • Efficient multi-scale 3D CNN with fully connected CRF for accurate brain lesion segmentation (http://t.cn/RW27lTz)
  • Automatic Liver and Lesion Segmentation in CT Using Cascaded Fully Convolutional Neural Networks and 3D Conditional Random Fields (http://t.cn/RW27n2Y)
  • Automatic Liver and Tumor Segmentation of CT and MRI Volumes using Cascaded Fully Convolutional Neural Networks (http://t.cn/RibGTxx)
  • SurvivalNet: Predicting patient survival from diffusion weighted magnetic resonance images using cascaded fully convolutional and 3D convolutional neural networks (http://t.cn/RWAFYuV)
  • q-Space Deep Learning: Twelve-Fold Shorter and Model-Free Diffusion MRI (http://t.cn/RW2zfRN)(Section II.B.2)
  • Registration

  • An Artificial Agent for Robust Image Registration (http://t.cn/RW2zWw4)
  • Regression

  • Automated anatomical landmark detection ondistal femur surface using convolutional neural network (http://t.cn/RWAsYbY)
  • q-Space Deep Learning: Twelve-Fold Shorter and Model-Free Diffusion MRI (http://t.cn/RW2zfRN)(Section II.B.1)

 

二、CV数据

一些常用的图像数据库总结

https://blog.csdn.net/JIEJINQUANIL/article/details/50341765

三、乳腺:MIAS MiniMammographic Database

MIAS MiniMammographic Database(来自researchgate的一个问答):322例,尺寸:1024*1024pixel,8位,图像数据是PGM格式

数据库(点击即下载):http://peipa.essex.ac.uk/pix/mias/all-mias.tar.gz

这也是一个乳腺的图像数据库,但是现在还没有搞清楚下载、格式之类的:https://www.repository.cam.ac.uk/handle/1810/250394?show=full

1、PGM图片格式和代码

PGM是Portable Gray Map的缩写,它是灰度图像格式中一种最简单的格式标准。另外两种与之相近的图片格式是PBM和PPM,它们分别对应着黑白图像和彩色图像。PGM的数据存放方式相比于JPG来说是非常简单的,因为它不进行数据压缩,自然的PGM的图片的大小也就比较大了。一个120*128 8-bit的灰度图像,PGM的大小是44kb,而将这个图片转化为JPG格式后,大小仅为4kb。所以,在日常各种网络应用中你是很难见到PGM图片的,它太浪费流量了。

 

2020-01-17 22:46:34 qq_19409845 阅读数 97
  • Erdas遥感影像处理入门实战教程(GIS思维)

    《Erdas遥感影像处理入门实战教程》以Erdas2010版本经典界面进行实战教学,设计12章内容,正式教学内容总共45课时,15个小时时长。从软件界面开始,到后的应用,适合入门级、初级、中级的人员学习、工作、教师教学参考。课程根据作者实际工作经验,以及采访学员需求,开展课程设计,实用加实战,会是你学习路上的好帮手。

    4409 人正在学习 去看看 黄晓军

深度学习应用发展

  • 图像方面:图像识别、手机解锁、物体识别、图片修复、目标检测、医疗影像诊断。
  • 自然语言处理:机器创作、个性化推荐、文本分类、翻译、智能音箱、自动纠错、情感分析。
  • 数值预测、量化交易

神经网络是什么?

  • 我们以房价预测的案例来说明一下,把房屋的面积作为神经网络的输入(我们称之为𝑥),通过一个节点(一个小圆圈),最终输出了价格(我们用𝑦表示)。其实这个小圆圈就是一个单独的神经元,就像人的大脑神经元一样。如果这是一个单神经元网络,不管规模大小,它正是通过把这些单个神经元叠加在一起来形成。如果你把这些神经元想象成单独的乐高积木,你就通过搭积木来完成一个更大的神经网络。
  • 大脑是由处理信息的神经元细胞和连接神经元的细胞进行信息传递的突触构成的。 树突(Dendrites)从一个神经元接受电信号,信号在细胞核(Cell Body)处理后, 然后通过轴突(Axon)将处理的信号传递给下一个神经元。神经网络来源之人的思考
  • 一个神经元可以看作是将一个或多个输入处理成一 个输出的计算单元。
  • 通过多个神经元的传递,最终大脑会得到这个信息, 并可以对这个信息给出一个合适的反馈。
    在这里插入图片描述

感知机是什么!

  • 感知器可以看作是根据权重来做出决定的一个设备/单元,只要我们可以给定一 个比较适合的权重以及阈值,那么感知器应该是能够对数据进行判断or分类预测。
  • 感知器是一种模拟人的神经元的一种算法模型,是一种研究单个训练样本的二元分类器,是SVM和人工神 经网络(ANN, Artificial Neural Networks)的基础。
  • 一个感知器接受几个二进制的输入,并产生一个二进制的输出,感知器模型的激活函数为(阶跃函数)

感知器模型:
在这里插入图片描述
output={0ifwx+b01ifwx+b>0output= \begin{cases} 0,if&w\cdot x+b\leq0\\ 1,if&w\cdot x+b>0 \end{cases}

阶跃函数:
在这里插入图片描述
感知器神经元

单个神经元模型,就是一条直线!

在这里插入图片描述

  • 单个神经元完成逻辑与(and)功能

x1,x2{0,1}y=x1andx2w=(3,2,2)x_1,x_2\in\{0,1\}\\y=x_1 \quad and\quad x_2\\w=(-3,2,2)hw(z)=h(31+2x1+2x2)={0,z<01,z0h_w(z)=h(-3\cdot1+2\cdot x_1+2\cdot x_2)=\begin{cases}0,z<0\\1,z\geq0\end{cases}

结果如下表:
在这里插入图片描述

x1x_1 x2x_2 hθ(x)h_\theta(x)
0 0 0
0 1 0
1 0 0
1 1 1
  • 单个神经元完成逻辑或(or)功能

x1,x2{0,1}y=x1orx2w=(1,2,2)x_1,x_2\in\{0,1\}\\y=x_1 \quad or\quad x_2\\w=(-1,2,2)hw(z)=h(11+2x1+2x2)={0,z<01,z0h_w(z)=h(-1\cdot1+2\cdot x_1+2\cdot x_2)=\begin{cases}0,z<0\\1,z\geq0\end{cases}

结果如下表:
在这里插入图片描述

x1x_1 x2x_2 hθ(x)h_\theta(x)
0 0 0
0 1 1
1 0 1
1 1 1
  • 数据为线性不可分时:
    一条直线无法将数据进行划分,如下图:
    在这里插入图片描述对于上面数据需要多个感知器,意思就是多条直线,多重感知机(简单的神经网络)!在这里插入图片描述结构如下图:在这里插入图片描述
    w1=(3,2,2)w2=(1,2,2)wz=(1,3,3)w_1=(-3,2,2)\\ w_2=(-1,2,2)\\ w_z=(1,3,-3)hw(z)=h(Wx)={0,z<01,z0h_w(z)=h(Wx)=\begin{cases}0,z<0\\1,z\geq0\end{cases}
x1x_1 x2x_2 z1z_1 z2z_2 h(x)h(x)
0 0 0 0 1
0 1 0 1 0
1 0 0 1 0
1 1 1 1 1

神经网络-基本架构

简单的神经网络

f(h)={0,ifh<01,ifz0f(h)=\begin{cases}0,if \quad h<0\\1,if \quad z\geq0\end{cases}h=iwixi+bh=\sum_iw_ix_i+b在这里插入图片描述

感知器 and S型神经元

  • 感知器这种网络很难学习非线性的问题,因为激活函数是阶跃函数(不可导,不可积,不可微),所以使用sigmoid函数(可导,可积,可微来代替它,从而S型神经网络可以解决这一问题。

  • 感知器模型中,我们可以将单个神经元的计算过程看成下列两个步骤: 先

    • 计算权重w和输入值x以及偏置项b之间的线性结果值z:z=wx+b
    • 然后对结果值z进行一个数据的**sign函数(阶跃函数)**转换,得到一个离散的0/1值: y=int((sign(z)+1)/2)
  • 输入:x1、x2、x3和截距+1

  • 输出:函数hw,b(x),其中w权重和b偏置项是参数

  • S型神经元中,和感知器神经元的区别在于: 对于结果值z的转换,采用的不是sign函数进行转换,是采用平滑类型的函数进行转换,让输出的结果值y最终是一个连续的,S型神经元转指使用的是sigmoid函数

神经元模型:

  • 输入:x1x2x3x_1、x_2、x_3和截距+1
  • 输出:函数hw,b(x)h_{w,b}(x),其中w权重和b偏置项是参数
    在这里插入图片描述
    hw,b(x)=f(WTx,b)=f(i=13Wixi+b)h_{w,b}(x)=f(W^Tx,b)=f(\sum^3_{i=1}W_ix_i+b)

激活函数

tanh(双曲正切函数):tanh(z)=f(z)=ezzzez+zztanh(z)=f(z)=\frac{e^z-z^{-z}}{e^z+z^{-z}}f(z)=1(f(z))2f'(z)=1-(f(z))^2
sigmoid(逻辑 回归函数):导数介于(0,0.25)之间sigmiod(z)=11+ezsigmiod(z)=\frac{1}{1+e^{-z}}f(z)=f(z)(1f(z))f'(z)=f(z)(1-f(z))

如图:
在这里插入图片描述

  • 作用: 激活函数的主要作用是使模型获得非线性的能力。如果没有激活函数,那么该网络仅能够表达线性映射,此时即便有再多的隐藏层,其整个网络跟单层神经网 络也是等价的。因此也可以认为,只有加入了激活函数之后,深度神经网络才具 备了分层的非线性映射学习能力。 激活函数的主要特性是:可微性、单调性、输出值的范围

神经网络(DNN)

  • 神经网络主要由三个组成部分

    • 第一个是架构(architecture)或称为拓扑结构 (topology),描述神经元的层次与连接神经元的结构。
    • 第二个组成部分是神 经网络使用的激励/激活函数。
    • 第三个组成部分是找出最优权重值的学习算法。
  • 神经网络主要分为两种类型

    • 前馈神经网络(Feedforward Neural Networks) 是最常用的神经网络类型(如FC CNN),一般定义为有向无环图,信号只能沿 着最终输出的那个方向传播。
    • 另外一个是反馈神经网络(Feedback Neural Networks),也称为递归神经网络(Recurent Neural Networks),也就是网络中 环。
  • 神经网络的一般结构是由输入层、隐藏层(神经元)、输出层构成的。隐藏层可以是1层或者多层叠加,层与层之间是相互连接的

浅层神经网络结构

  • 添加少量隐层的神经网络就叫做浅层神经网络;也叫作传统神经网络,一般为2 隐层的神经网络(超过两隐层的话,效果会差很多)
    下图为全连接(前馈神经网络)一般应用于分类
    在这里插入图片描述

深度的神经网络

  • 增多中间层(隐层)的神经网络就叫做深度神经网络(DNN);可以认为深度学习是 神经网络的一个发展在这里插入图片描述

神经网络之非线性可分

  • 对线性分类器的与(and)和或(or)的组合可以完成非线性可分的问题;
  • 即通过多层的神经网络中加入激活函数的方式可以解决非线性可分的问题。
    在这里插入图片描述在这里插入图片描述

神经网络之过拟合

  • 理论上来讲,单隐层的神经网络可以逼近任何连续函数(只要隐层的神经元 个数足够的多<一个神经元将数据集分为两类>)
  • 虽然从数学表达上来讲,效果一样,但是在网络工程效果中,多隐层的神经 网络效果要比单隐层的神经网络效果好
  • 对于一些分类的问题来讲,三层的神经网络效果优于两层的神经网络,但是 如果把层次不断增加(4,5,6,7…),对于最终的效果不会产生太大的变化
  • 提升隐层层数或者神经元个数,神经网络的“容量”会变大,那么空间表达 能力会变强(模型的拟合能力变强),从而有可能导致过拟合的问题
  • 对于视频/图片识别/文本等问题,传统的神经网络(全连接神经网络)不太适 合

反向传播神经网络(BPNN)

梯度下降

  • 评判预测有多差的指标(即误差error):较通 用的指标:SSE(误差平方和),公式为:E=12μj[yjμy^jμ]2E=\frac{1}{2}\sum_{\mu}\sum_{j}\left[y^\mu_j-\hat{y}^\mu_j\right]^2

  • 交叉熵损失函数为(二分类):E=1m(ylny^+(1y)ln(1y^))E=-\frac{1}{m}(y\ln\hat{y}+(1-y)\ln(1-\hat{y}))

  • 梯度:就是斜率或者斜度的另一个称呼。
    在这里插入图片描述

  • 下图是一个拥有两个输入的神经网络误差 示例,相应的,它有两个权重。可以 看成 一个地形图,同一条线代表相同的误差, 较深的线对应较大的误差
    在这里插入图片描述在这里插入图片描述

反向传播

要想求反向传播先求出正向在传播
在这里插入图片描述

正向传播过程:

公式如下:
h=XWhT=i=12xiwiδh=sigmoid(h)out=δhWoδout=sigmoid(out)h=X\cdot W_h^T=\sum_{i=1}^2x_iw_i \\\delta_h=sigmoid(h)\\out=\delta_h\cdot W_o\\\delta_{out}=sigmoid(out)
根据上图得出:
h=(x1w1)+(x2w2)=0.10.4+0.3(0.2)=0.02(1)\begin{aligned}h&=(x_1\cdot w_1)+(x_2\cdot w_2) \\&=0.1*0.4+0.3*(-0.2) \\&=-0.02 \end{aligned}\tag 1
δh=11+eh=11+e0.02=0.495(2)\begin{aligned}\delta_h&=\frac{1}{1+e^{-h}} \\&=\frac{1}{1+e^{0.02}} \\&=0.495 \end{aligned}\tag 2
out=δhw=0.4950.1=0.0495(3)\begin{aligned}out&=\delta_h\cdot w \\&=0.495*0.1 \\&=0.0495 \end{aligned}\tag 3
δout=11+eout=11+e0.0495=0.512(4)\begin{aligned}\delta_{out}&=\frac{1}{1+e^{-out}} \\&=\frac{1}{1+e^{-0.0495}} \\&=0.512 \end{aligned}\tag 4
δout=y^\delta_{out}=\hat{y}
损失函数为误差平方和:

loss=12(yy^)2loss=\frac{1}{2}(y-\hat{y})^2

反向传播过程:

δw=lossδwlossy^y^outoutw\delta_w=\frac{\partial loss}{\partial \delta_w}\Rightarrow\frac{\partial loss}{\partial \hat{y}}\cdot \frac{\partial \hat{y}}{\partial out}\cdot\frac{\partial out}{\partial w}δw1=lossδw1lossy^y^outoutδhδhhhw1\delta_{w_1}=\frac{\partial loss}{\partial \delta_{w_1}}\Rightarrow\frac{\partial loss}{\partial \hat{y}}\cdot \frac{\partial \hat{y}}{\partial out}\cdot\frac{\partial out}{\partial \delta _h}\cdot \frac{\partial \delta _h}{\partial h}\cdot\frac{\partial h}{\partial w_1}δw2=lossδw2lossy^y^outoutδhδhhhw2\delta_{w_2}=\frac{\partial loss}{\partial \delta_{w_2}}\Rightarrow\frac{\partial loss}{\partial \hat{y}}\cdot \frac{\partial \hat{y}}{\partial out}\cdot\frac{\partial out}{\partial \delta _h}\cdot \frac{\partial \delta _h}{\partial h}\cdot\frac{\partial h}{\partial w_2}
所以求的(这里y值为1):δw=(yy^)y^(1y^)δh=(10.512)0.512(10.512)0.495=0.1220.495=0.06039\begin{aligned}\delta_w&=(y-\hat{y})*\hat{y}(1-\hat{y})\cdot\delta_h \\&=(1-0.512)*0.512(1-0.512)*0.495 \\&=0.122*0.495=0.06039 \end{aligned}δw1=(yy^)y^(1y^)wδh(1δh)x1=(10.512)0.512(10.512)0.10.495(10.495)0.1=0.0030.1=0.0003\begin{aligned}\delta_{w_1}&=(y-\hat{y})*\hat{y}(1-\hat{y})\cdot w\cdot\delta_h(1-\delta_h)\cdot x_1 \\&=(1-0.512)*0.512(1-0.512)*0.1*0.495(1-0.495)*0.1 \\&=0.003*0.1=0.0003 \end{aligned}δw2=(yy^)y^(1y^)wδh(1δh)x2=(10.512)0.512(10.512)0.10.495(10.495)0.3=0.0030.3=0.0009\begin{aligned}\delta_{w_2}&=(y-\hat{y})*\hat{y}(1-\hat{y})\cdot w\cdot\delta_h(1-\delta_h)\cdot x_2 \\&=(1-0.512)*0.512(1-0.512)*0.1*0.495(1-0.495)*0.3 \\&=0.003*0.3=0.0009 \end{aligned}当学习率为0.5时:w=0.060.5=0.030195w1=0.00030.5=0.00015w2=0.00090.5=0.00045\vartriangle w=0.06*0.5=0.030195\\\vartriangle w_1=0.0003*0.5 =0.00015\\\vartriangle w_2=0.0009*0.5=0.00045

DNN中的问题

  • 一般来讲,可以通过增加神经元和网络层次来提升神经网络的学习能力,使其得到的模型更加能够符合数据的分布场景;但是实际应用场景中,神经网络的层次一般情况不会太大,因为太深的层次有可能产生一些求解的问题
  • 在DNN的求解中有可能存在两个问题:梯度消失梯度爆炸;我们在求解梯度的时候会使用到链式求导法则,实际上就是一系列的连乘,如果每一层都 小于1的话,则梯度越往前乘越小,导致梯度消失,而如果连乘的数字在每层 都是大于1的,则梯度越往前乘越大,导致梯度爆炸。

为什么说神经网络是端到端的网络?

端到端学习(end-to-end)是一种解决问题的思路,与之对应的是多步骤解决问题,也就是将一个问题拆分为多个步骤分步解决,而端到端是由输入端的数据直接得到输出端的结果。就是不要预处理和特征提取,直接把原始数据扔进去得到最终结果。
特征提取包含在神经网络内部,所以说神经网络是端到端的网络。

  • 优点:

    • 通过缩减人工预处理和后续处理,尽可能使模型从原始输入到最终输出,给模型更多可以根据数据自动调节的空间,增加模型的整体契合度。
  • 缺点

    • 它可能需要大量的数据。要直接学到这个𝑥到𝑦的映射,你可能需要大量(𝑥, 𝑦)数据。
    • 它排除了可能有用的手工设计组件。

softmax分类器

在图像分类的情景中,softmax分类器输出可以是一个图像类别的离散值,和线性回归不同的是,softmax输出单元从一个变成了多个。

softmax回归和线性回归一样将输入特征与权重做线性叠加。与线性回归的一个主要不同在于,softmax回归的输出值个数等于标签里的类别数。 下图是用神经网络描绘了softmax回归,也是一个单层神经网络,由于每个输出o1,o2,o3o_1,o_2,o_3的计算都要依赖于所有的输入 x1,x2,x3,x4x_1,x_2,x_3,x_4,softmax回归的输出层也是一个全连接层。
在这里插入图片描述o1=x1w11+x2w21+x3w31+x4w41o2=x1w12+x2w22+x3w32+x4w42o3=x1w13+x2w23+x3w33+x4w43o4=x1w14+x2w24+x3w34+x4w44o_1=x_1w_{11}+x_2w_{21}+x_3w_{31}+x_4w_{41} \\o_2=x_1w_{12}+x_2w_{22}+x_3w_{32}+x_4w_{42}\\o_3=x_1w_{13}+x_2w_{23}+x_3w_{33}+x_4w_{43}\\o_4=x_1w_{14}+x_2w_{24}+x_3w_{34}+x_4w_{44}

softmax的计算

一个简单的办法是将输出值oio_i当做预测类别是i的置信度,并将值最大的输出所对应的类别作为预测输出。例如,如果o1,o1,o3o_1,o_1,o_3分别为0.1 ,1.0,0.1,由于o2o_2最大,那么预测类别为2。
然而,直接使用输出层的输出会有两个问题:

  • 由于输出层的输出值的范围不确定,我们难以直观上判断这些值得意义。
  • 由于真实标签是离散值,这些离散值与不确定范围的输出值之间的误差难以衡量。

softmax运算解决了以上两个问题。它通过下面的公式将输出值变换成值为正并且和为1的概率分布:softmax(oi)=exp(oi)i=1nexp(oi)softmax(o_i)=\frac{exp(o_i)}{\sum^n_{i=1}exp(o_i)}

交叉熵损失函数

  • 我们已经知道,softmax运算将输出变换成一个合法的类别预测分布。实际上,真实标签也可以用类别分布表达:

  • 对于样本i,我们构造向量y(i)Rqy^{(i)}\in_R^q,使其第y(i)y^{(i)}个元素为1,其余为0。这样我们的训练目标可以设为使预测概率分布 y^(i)\hat{y}^{(i)}尽可能接近真实的标签概率y(i)y^{(i)}

  • 想要预测分类结果正确,我们其实并不需要预测概率完全等于标签概率,而平方损失则过于严格。改善这个问题的一个方法是使用更适合衡量两个概率分布差异的测量函数。其中,交叉熵(cross entropy)是一个常用的衡量方法:H(y(i),y^(i))=j=1qyj(i)logy^j(i)=logy^y(i)(i)H(y^{(i)},\hat{y}^{(i)})=-\sum_{j=1}^qy^{(i)}_j\log\hat{y}^{(i)}_j=-\log\hat{y}^{(i)}_{y^{(i)}}其中带下标的yj(i)y^{(i)}_j是向量y(i)y^{(i)}中非 0 即 1 的元素。也就是说,交叉熵只关心对正确类别的预测概率,因为只要其值足够大,就可以确保分类结果正确。即最小化交叉熵损失函数等价于最大化训练数据集所有标签类别的联合预测概率。

没有更多推荐了,返回首页