精华内容
下载资源
问答
  • (自己写的,需要转载请联系作者,或者标明出处呀,欢迎加微信交流:wx604954) ...本文介绍了目前发展迅猛的深度学习方法在目标检测中的最新应用进展,然后介绍了基于深度学习的目标检测算法在医学图像领域的应...

    (自己写的,需要转载请联系作者,或者标明出处呀,欢迎加微信交流:wx604954)

     

    摘要:目标检测是计算机视觉中一个重要问题,在行人跟踪、车牌识别、无人驾驶等领域都具有重要的研究价值。近年来,随着深度学习对图像分类准确度的大幅度提高,基于深度学习的目标检测算法逐渐成为主流。本文介绍了目前发展迅猛的深度学习方法在目标检测中的最新应用进展,然后介绍了基于深度学习的目标检测算法在医学图像领域的应用,最后讨论了深度学习方法应用于目标视觉检测时存在的困难和挑战, 并对今后的发展趋势进行展望。

    关键词:深度学习卷积神经网络目标检测;医学影像

     

    1 引言

    目标检测是计算机视觉领域中一个非常重要的研究问题。随着电子设备的应用在社会生产和人们生活中越来越普遍,数字图像已经成为不可缺少的信息媒介,每时每刻都在产生海量的图像数据。与此同时,对图像中的目标进行精确识别变得越来越重要[1]。我们不仅关注对图像的简单分类,而且希望能够准确获得图像中存在的感兴趣目标及其位置[2],并将这些信息应用到视频监控、自主驾驶等一系列现实任务中,因此目标检测技术受到了广泛关注。

    目标检测具有巨大的实用价值和应用前景。应用领域包括智能视频监控、机器人导航、数码相机中自动定位和聚焦人脸的技术、飞机航拍或卫星图像中道路的检测、车载摄像机图像中的障碍物检测、医学影像在的病灶检测等[3]–[10]。同时,目标检测也是众多高层视觉处理和分析任务的重要前提,例如行为分析、事件检测、场景语义理解、病灶检测等都要求利用图像处理和模式识别技术,检测出图像中存在的目标,确定这些目标对象的语义类型,并且标出目标对象在图像中的具体区域[11]。

    在自然环境条件下,目标检测经常遇到以下几个方面的挑战:

    (1)类内和类间差异

    对于很多物体,它们自身就存在很大的差异性,同类物体的不同实例在颜色、材料、形状等方面可能存在巨大的差异,很难训练一个能够包含所有类内变化的特征描述模型。另外,不同类型物体之间又可能具有很大的相似性,甚至非专业人员从外观上很难区分它们。类内差异可能很大,而类间差异可能很小,给目标检测提出了挑战。

    (2)图像采集条件

    在图像采集过程中,由于环境、光照、天气、拍摄视角和距离的不同、物体自身的非刚体形变以及可能被其他物体部分遮挡,导致物体在图像中的表观特征具有很大的多样性,对目标检测算法的鲁棒性提出了很高要求。

    (3)语义理解的差异

    对同一幅图像,不同的人可能会有不同的理解,这不仅与个人的观察视角和关注点有关,也与个人的性格、心理状态和知识背景等有关,这明显增加了从仿生或类脑角度来研究视觉算法的难度。

    (4)计算复杂性和自适应性

    目标检测的计算复杂性主要来自于待检测目标类型的数量、特征描述子的维度和大规模标记数据集的获取。由于在真实世界中存在大量的目标类型,每种类型都包含大量的图像,同时识别每种类型需要很多视觉特征,这导致高维空间稀疏的特征描述[4]。另外,目标模型经常从大规模标记数据集中学习得到,在许多情况下,数据采集和标注很困难,需要耗费大量的人力物力。这些情况导致目标检测的计算复杂性很高,需要设计高效的目标检测算法。同时,在动态变化的环境中,为了提高目标检测精度,还需要探索合适的机制来自动更新视觉模型,提高模型对复杂环境的自适应能力。

    为了克服上述挑战,已经提出了许多目标检测算法,它们在目标区域建议、图像特征表示、候选区域分类等步骤采用了不同的处理策略。近年来,随着深度学习技术的发展,很多基于深度学习的目标检测方法陆续被提出,在精度上显著优于传统方法,成为最新的研究热点。

    本文内容安排如下:第1节介绍目标检测的基本概念和面临的挑战;第2节介绍深度学习算法在目标检测中的最新进展;第3节介绍深度学习算法在医学图像检测领域的应用;第4节讨论深度学习算法应用于目标检测时存在的困难和挑战,并对今后的发展趋势进行展望;第5节对本文进行总结。

     

    2 基于深度学习的目标检测算法

    2.1 基于Region proposal的目标检测算法

    卷积神经网络(CNN)是目标区域建议 (Region proposal)算法中的核心组成部分,卷积神经网络最早是由Yann LeCun教授提出来的[12],早期的卷积神经网络是用作分类器使用,主要用于图像的识别。然而卷积神经网络有3个结构上的特性:局部连接、权重共享以及空间或时间上的采样。这些特性使得卷积神经网络具有一定程度上的平移、缩放和扭曲不变性。在2006年Hinton提出利用深度神经网络从大量的数据中自动的学习高层特征。Region proposal在此基础之上解决了传统目标检测的两个主要问题。比较常用的Region proposal方法有Selective Search[13]和Edge Boxes[14]。此后,CNN网络迅速发展,微软最新的ResNet和谷歌的Inception V4[15], [16]模型的Top-5 error降到了4%以内,所以目标检测得到候选区域后使用CNN对其进行图像分类的准确率和检测速度上都有提高。

     

    2.1.1 R-CNN算法

    G irshick等[17]提出的R-CNN (Region-based convolutional neural networks)方法,是近年来基于深度学习的目标检测研究的重要参考方法。 RCNN将目标区域建议 (Region proposal)和CNN相结合,在PASCAL VOC 2012[18]上的检测平均精度mAP(Mean average precision)达到53.3%,比传统方法有了明显改进。

    图1 R-CNN 的计算流程

     

    R-CNN的基本流程如图1所示,首先对每一幅输入图像采用选择性搜索(Selective search)[13]来提取候选区域;然后用CNN网络从每个区域提取一个固定长度的特征向量,这里采用AlexNet[15]结构,图像经过5个卷积层和2个全连接层,得到一个4096维的特征向量; 接着把提取到的特征向量送入支持向量机进行分类。由于一些区域存在高度交叠,Girshick等采用非极大值抑制 (Non-maximum suppression)来舍弃那些与更高得分区域IoU (Intersection-over-Union) 过大的区域。为了得到更精确的结果,还采用了边框回归方法来进一步改善检测结果。在 R-CNN 模型的训练过程中,由于目标检测标注数据集的规模不够,Girshick等先将网络在大规模数据集ImageNet[19]上进行预训练,然后用 N+1类 (N个目标类和1个背景类) 的输出层来替换1000类的Softmax层,再针对目标检测任务,用PASCAL VOC 数据集进行微调。这种方法很好地解决了训练数据不足的问题,进一步提升了检测精度。得益于CNN的参数共享以及更低维度的特征,整个检测算法更加高效。

    然而,R-CNN也存在一些不容忽视的问题:

    (1)候选区域之间的交叠使得特征被重复提取,造成了严重的速度瓶颈, 降低了计算效率。

    (2) 将候选区域直接缩放到固定大小,破坏了物体的长宽比,可能导致物体的局部细节损失。

    (3) 使用边框回归有助于提高物体的定位精度,但是如果待检测物体存在遮挡,该方法将难以奏效。

     

    2.1.2 SPP-Net

    He等[20]针对R-CNN速度慢以及要求输入图像块尺寸固定的问题,提出空间金字塔池化(Spatial pyramid pooling,SPP)模型。在R-CNN中,要将提取到的目标候选区域变换到固定尺寸,再输入到卷积神经网络,He等加入了一个空间金字塔池化层来避免了这个限制。SPP-net网络不论输入图像的尺寸大小,都能产生固定长度的特征表示。SPP-net是对整幅图像提取特征,在最后一层卷积层得到特征图后,再针对每个候选区域在特征图上进行映射,由此得到候选区域的特征。因为候选区域的尺寸各不相同,导致它们映射所得到的特征图大小也不同,但CNN的全连接层需要固定维度的输入,因此引入了空间金字塔池化层来把特征转换到相同的维度。

    空间金字塔池化的思想来源于空间金字塔模型(Spatial pyramid model,SPM)[21],它采用多个尺度的池化来替代原来单一的池化。SPP层用不同大小的池化窗口作用于卷积得到的特征图,池化窗口的大小和步长根据特征图的尺寸进行动态计算。SPP-net对于一幅图像的所有候选区域,只需要进行一次卷积过程,避免了重复计算,显著提高了计算效率,而且空间金字塔池化层使得检测网络可以处理任意尺寸的图像,因此可以采用多尺度图像来训练网络,从而使得网络对目标的尺度有很好的鲁棒性。该方法在速度上比R-CNN提高24-102倍,并且在PASCAL VOC 2007和Caltech 101数据集上取得了当时最好的成绩。

    但是它存在以下缺点:

    (1)SPP-net的检测过程是分阶段的,在提取特征后用SVM分类,然后还要进一步进行边框回归,这使得训练过程复杂化。

    (2)CNN提取的特征存储需要的空间和时间开销大。

    (3)在微调阶段,SPP-net只能更新空间金字塔池化层后的全连接层,而不能更新卷积层,这限制了检测性能的提升。

     

    2.1.3 Fast-RCNN

    Girshick等[22]对R-CNN和SPP-net进行了改进,提出能够实现特征提取、区域分类和边框回归的端到端联合训练的Fast-RCNN算法,计算流程如图2所示。

    与R-CNN类似,FastR-CNN首先在图像中提取感兴趣区域(Regions of Interest,RoI);然后采用与SPP-net相似的处理方式,对每幅图像只进行一次卷积,在最后一个卷积层输出的特征图上对每个RoI进行映射,得到相应的RoI的特征图,并送入RoI池化层(相当于单层的SPP层,通过该层把各尺寸的特征图统一到相同的大小);最后经过全连接层得到两个输出向量,一个进行Softmax分类,另一个进行边框回归。在微调阶段,FastR-CNN采用一种新的层级采样方法,先采样图像,再从采样出的图像中对RoI进行采样,同一幅图像的RoI共享计算和内存,使得训练更加高效。FastR-CNN采用Softmax分类与边框回归一起进行训练,省去了特征存储,提高了空间和时间利用率,同时分类和回归任务也可以共享卷积特征,相互促进。与R-CNN相比,在训练VGG[23]网络时,FastR-CNN的训练阶段快9倍,测试阶段快213倍;与SPP-net相比,Fast R-CNN的训练阶段快3倍,测试阶段快10倍,并且检测精度有一定提高。然而,Fast R-CNN仍然存在速度上的瓶颈,区域建议步骤耗费了整个检测过程的大量时间。

    2 Fast R-CNN 的计算流程

     

    2.1.4 Faster R-CNN

    SPP-Net和Fast R-CNN从特征提取的角度,减少了工作量,但依然没有解决Selective Search选择候选区域速度慢的问题。Faster R-CNN [24]使用RPN网络(Region Proposal Networks)替代Selective Search算法,使目标识别实现真正端到端的计算。

    如图3所示,RPN网络通过在特征图上做滑窗操作,使用预设尺度的锚点框映射到原图,得到候选区域。RPN网络输入的特征图和全连接层中的特征图共享计算。RPN的使用,使Faster R-CNN能够在一个网络框架之内完成候选区域、特征提取、分类、定位修正等操作。

    R
    PN使得Faster R-CNNregion proposal阶段只需10ms,检测速度达到5f/s(包括所有步骤),并且检测精度也得到提升,达到73.2%。但是,Faster R-CNN仍然使用ROI Pooling,导致之后的网络特征失去平移不变性,影响最终定位准确性;ROI Pooling后每个区域经过多个全连接层,存在较多重复计算;Faster R-CNN在特征图上使用滑动框对应原图,而滑动框经过多次下采样操作,对应原图一块较大的区域,导致Faster R-CNN检测小目标的效果并不是很好。

    图3 RPN网络示意图

     

    2.1.5 R-FCN

    目标检测要包括两个问题:分类问题和检测定位问题。前者具有平移不变性,后者具有平移敏感性。

    R-FCN[25]使用全卷积网络 ResNet[26]代替VGG,提升特征提取与分类的效果;针对全卷积网络不适应平移敏感性的缺陷,该算法使用特定的卷积层生成包含目标空

    间位置信息的位置敏感分布图(Position Sensitive Score Map);ROI Pooling 层后不再连接全连接层,避免重复计算。

    R-FCN的准确率达到83.6%,测试每张图片平均花费170ms,比Faster-RCNN快了2.5-20倍。但是R-FCN在得到Score map需要生成一个随类别数线性增长的channel数,这一过程虽然提升了目标检测精度,但减慢了检测速度,导致其难以满足实时性要求。

     

    2.1.6 Mask R-CNN

    M ask R-CNN[27]是一种在Faster R-CNN 基础上加以改进的算法,增加了对实例分割的关注,结构如图4所示。该算法在分类和定位回归以外,加入了关于实例分割的并行分支,并将三者的损失联合训练。

    图4 Mask R-CNN结构示意图

     

    实例分割要求实例定位的精准度达到像素级,而Faster R-CNN因为ROI Pooling 层的等比例缩放过程中引入了误差,导致空间量化较为粗糙,无法准确定位。Mask R-CNN 提出双线性差值RoIAlign获得更准确的像素信息,使得掩码(mask)准确率提升10%到50%;Mask R-CNN 还使用ResNeXt[28]基础网络,在COCO数据集[29]上的检测速度为5f/s,检测准确性 FastR-CNN的19.7%提升至39.8%。

    Mask R-CNN在检测精度、实例分割方面都达到目前最高的层次。其后一些算法在性能上有所提升,但基本维持在同一水平。但是该算法的检测速度依旧难以满足实时要求,并且实例分割目前也还面临着标注代价过于昂贵的问题。

     

    2.2 基于回归的目标检测算法

    基于回归的目标检测框架不需要产生候选窗口直接将待检测的图像送入目标窗口得到目标物体所在的位置

     

    2.2.1 YOLO

    从R-CNN到Faster R-CNN,目标检测始终遵循“region proposal+分类”的思路,训练两个模型必然导致参数、训练量的增加,影响训练和检测的速度。由此,YOLO[30]提出了一种“single-stage”的思路。

    如图5所示,YOLO将图片划分为S×S的网格(cell),各网格只负责检测中心落在该网格的目标,每个网格需要预测两个尺度的bounding box和类别信息,一次性预测所有区域所含目标的bounding box、目标置信度以及类别概率完成检测。

    图5 YOLO网格划分示意

     

    YOLO采用以cell为中心的多尺度区域取代region proposal,舍弃了一些精确度以换取检测速度的大幅提升,检测速度可以达到45f/s,足以满足实时要求;检测精度为63.4%,较Faster R-CNN的73.2%,差距较大。

    YOLO在极大提高检测速度的情况下,也存在以下问题:

    (1)因为每个网格值预测两个bounding box,且类别相同,因此对于中心同时落在一个网格总的物体以及小物体的检测效果差,多物体环境下漏检较多。

    (2)由于YOLO关于定位框的确定略显粗糙,因此其目标位置定位准确度不如Fast-RCNN。

    (3)对于外型非常规的物体检测效果不佳。

     

    2.2.2 SSD

    Faster R-CNN检测检测精度高但检测速度慢,YOLO检测精度不高但检测速度快,SSD[31]则结合两者的优点,在YOLO的基础上借鉴了RPN的思路,在保证高精度检测的同时,兼顾检测速度。

    如图6所示,因为不同层的特征图具有对应大小的感受野,特定层的特征图只需要训练对应尺度的对象检测。因此,SSD结合高层和底层的特征图,使用多尺度区域特征进行回归。

    SSD300的mAP能达到73.2%,基本与Faster R-CNN(VGG16)持平,而检测速度达到59f/s,比Faster R-CNN快6.6倍。

    图 6 特征图感受野示意图

     

    然而 SSD具有以下问题:

    (1)小目标对应到特征图中很小的区域,无法得到充分训练,因此 SSD 对于小目标的检测效果依然不理想。

    (2)无候选区域时,区域回归难度较大,容易出现难以收敛等问题。

    (3)SSD不同层的特征图都作为分类网络的独立输入,导致同一个物体被不同大小的框同时检测,重复运算。

     

    3 深度学习算法在医学影像领域的应用

    (需要查看请联系博主)

     

    4 思考与展望

    基于深度学习的目标检测算法在检测精度以及检测速度上,较传统方法获得了极大的提高,但依然面临这一些问题:

    (1)对于小数据量,目前的框架可能无法得到好的结果。目前的算法,大多使用了迁移学习,也就是先在现有的大数据集中进行训练,再将训练好的“半成品”做fine-tune操作。若目标数据不在ImageNet等数据集中,训练效果要视目标与大数据集相关程度而定。DSOD[47]算法虽然设计了一种从零开始训练的网络,也取得了不错的效果,但是其检测速度尚有待提升。

    (2)深度学习算法的解释性差,特别是在更深的层次上,很多时候只能依靠测试和经验来猜测其有效或无效的原因,对于中间的过程缺少明确的解释,更像是一个黑盒。

    (3)计算强度大。GPU的使用,提升了计算机的运算能力,但是很多操作依然过于庞大。如何简化、复用计算的同时,尽可能保证准确率,可能会是一个可以创新的点。

    (4)对于场景信息、语义信息等图像中原有信息的利用不充分,造成一些有效信息的损失。

    (5)无论是R-CNN系列还是SSD等算法,始终无法在小目标检测问题上获得令人满意的效果。就目前算法而言,为保证检测速度,通常减少特征金字塔的图像,以减少计算量,但这必然导致小目标在特征图上得不到充分训练;如R-SSD增加特征图数量,损失了检测速度。此问题与问题(3)有一定相通之处。

    针对上述问题以及近几年研究趋势,本文对目标检测算法未来的发展方向做出讨论:

    (1)更多更全面的数据集。目前有两种解决思路:一种是人工手动标注,对于小数据量而言,操作简单且能保证较高正确率,但对大数据量以及物体分割要求精准标注的数据时,力有不逮;另一种是使用平行视觉方法,旨在利用人工场景模拟实际场景,通过计算实验对模型进行设计和评估,平行执行在线优化视觉系统。平行视觉如果实现,那么将解决标注数据集不足的问题,促进目标检测发展。

    (2)更多的计算共享。不论是R-CNN系列还是基于回归的检测算法,都是为了让不同的ROI之间的计算量得到更多的共享,以达到加快运算的目的。

    (3)RNN思想的尝试。图像本身是包含上下文信息的,这是人类做出某些判断的依据。深度学习是一种类人的“学习”方式,结合深度学习中的循环神经网络思想是一种较可能实现的思路。另外,结合具体场景及语意信息,真正去“理解”场景也是一种思路。

    (4)更具体的应用场景。Wang等人[48]提出一种利用卷积网络检测视频中显著目标的模型;Li等人[49]提出一种检测小型交通标志的网络;Dong[50]和Chen等人[51]探索如何将自然环境中的目标检测转换为3D;Dave等人[52]更关注对目标具体动作的识别。可以看出,目标检测,特别是基于深度学习的目标检测,正在向着更具体、更实际的场景发展。

    (5)“新”神经网络的应用。从AlexNet到VGG再到ResNet和ResNext,基础网络的改进,也是目标检测效果不断提升原因之一。早在2011年,被誉为“神经网络之父”的Hinton就提出capsule[53]的概念。他在2017年的论文中提出了捕捉空间结构信息的capsule概念,用向量输出代替标量输出,改善CNN网络各特征之间联系缺失,需要大量数据集的问题。

    5 总结

    从最初的人为寻找特征到最近的基于深度学习的目标检测算法,可以看出对于目标检测的要求始终是快速、精准以及适用范围广。就目前来说,传统的目标检测方法仍在使用,且在一段时间内仍会有一定市场。传统的目标检测技术对数据量要求少,在针对数据来源不够丰富的项目时,可能会取得比深度学习更好的效果。但是将深度学习应用到目标检测中是可以预见的主流趋势。特别是随着硬件设备性能的提升,一定范围内的运算量处理将不会再成为实时检测的掣肘。

    如何利用上下文关联信息、场景信息和语义信息,将会是接下来目标检测的一个重要研究方向。假使平行视觉的思路切实可行,那么数据集标注困难、数据量不足的问题,将获得较好的解决。另外,如何更好解决与训练集关联性不大的小数据集检测问题,也是一个比较重要的研究方向。Hinton的capsule能否获得比传统CNN更好的效果,也需要进行进一步的研究。

     

    参考文献

    [1] C. Szegedy, A. Toshev, and D. Erhan, “Deep Neural Networks for Object Detection,” Adv. Neural Inf. Process. Syst., 2013.

    [2] P. F. Felzenszwalb, R. B. Girshick, D. McAllester, and D. Ramanan, “Object Detection with Discriminative Trained Part Based Models,” IEEE Trans. Pattern Anal. Mach. Intell., 2010.

    [3] P. Dollar, R. Appel, S. Belongie, and P. Perona, “Fast feature pyramids for object detection,” IEEE Trans. Pattern Anal. Mach. Intell., 2014.

    [4] J. Gall and V. Lempitsky, “Class-specific hough forests for object detection,” in 2009 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops, CVPR Workshops 2009, 2009.

    [5] A. Tigadi, R. Gujanatti, and A. Gonchi, “Advanced Driver Assistance Systems,” Int. J. Eng. Res. Gen. Sci., 2016.

    [6] A. Jazayeri, H. Cai, J. Y. Zheng, and M. Tuceryan, “Vehicle Detection and Tracking in Car Video Based on Motion Model,” Intell. Transp. Syst. IEEE Trans., 2011.

    [7] C. Caraffi, T. Vojir, J. Trefný, J. Šochman, and J. Matas, “A system for real-time detection and tracking of vehicles from a single car-mounted camera,” in IEEE Conference on Intelligent Transportation Systems, Proceedings, ITSC, 2012.

    [8] M. Wang, W. Daamen, S. P. Hoogendoorn, and B. Van Arem, “Driver assistance systems modeling by model predictive control,” IEEE Conf. Intell. Transp. Syst. Proceedings, ITSC, 2012.

    [9] H. Cho, Y. W. Seo, B. V. K. V. Kumar, and R. R. Rajkumar, “A multi-sensor fusion system for moving object detection and tracking in urban driving environments,” in Proceedings - IEEE International Conference on Robotics and Automation, 2014.

    [10] J. Levinson, J. Askeland, J. Becker, J. Dolson, D. Held, S. Kammel, J. Z. Kolter, D. Langer, O. Pink, V. Pratt, M. Sokolsky, G. Stanek, D. Stavens, A. Teichman, M. Werling, and S. Thrun, “Towards fully autonomous driving: Systems and algorithms,” in IEEE Intelligent Vehicles Symposium, Proceedings, 2011.

    [11] X. Zhang, Y.-H. Yang, Z. Han, H. Wang, and C. Gao, “Object Class Detection: A Survey,” ACM Comput. Surv., 2013.

    [12] Y. LeCun, L. Bottou, Y. Bengio, and P. Haffner, “Gradient-based learning applied to document recognition,” Proc. IEEE, 1998.

    [13] J. R. R. Uijlings, K. E. A. Van De Sande, T. Gevers, and A. W. M. Smeulders, “Selective search for object recognition,” Int. J. Comput. Vis., 2013.

    [14] C. L. Zitnick and P. Dollár, “Edge boxes: Locating object proposals from edges,” in Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), 2014.

    [15] A. Krizhevsky, I. Sutskever, and G. E. Hinton, “ImageNet Classification with Deep Convolutional Neural Networks,” Adv. Neural Inf. Process. Syst., 2012.

    [16] C. Szegedy, W. Liu, Y. Jia, P. Sermanet, S. Reed, D. Anguelov, D. Erhan, V. Vanhoucke, A. Rabinovich, K. He, X. Zhang, S. Ren, J. Sun, A. Rajkomar, S. Lingam, A. G. Taylor, M. Blum, J. Mongan, Y. Gong, K. H. T. Leung, A. T. Toshev, S. Ioffe, Y. Jia, K. He, X. Zhang, S. Ren, J. Sun, Z. Z. Z. Wang, X. X. Wang, G. Wang, O. M. Parkhi, A. Vedaldi, A. Zisserman, others, O. Russakovsky, J. Deng, H. Su, J. Krause, S. Satheesh, S. Ma, Z. Huang, A. Karpathy, A. Khosla, M. Bernstein, others, L. Wang, S. Guo, W. Huang, Y. Xiong, Y. Qiao, C. Szegedy, S. Ioffe, V. Vanhoucke, A. A. Alemi, K. He, X. Zhang, S. Ren, J. Sun, G. Böning, J. F. Kahn, D. Kaul, R. Rotzinger, P. Freyhardt, M. Pavel, F. Streitparth, K. Simonyan, A. Zisserman, L. C. Gansel, N. Bloecher, O. Floerl, J. Guenther, K. Kang, H. H. Li, J. Yan, X. Zeng, B. Yang, T. Xiao, C. Zhang, Z. Z. Z. Wang, R. Wang, X. X. Wang, others, X. He, L. Liao, H. Zhang, L. Nie, X. Hu, T.-S. Chua, W. Liu, Z. Z. Z. Wang, X. Liu, N. Zeng, Y. Y. Liu, F. E. Alsaadi, H. H. Li, L. Zhang, X. Zhou, B. Huang, A. G. Trofimov, B. M. Velichkovskiy, S. L. Shishkin, S. Wu, S. Zhong, Y. Y. Liu, X. He, L. Liao, H. Zhang, L. Nie, X. Hu, T.-S. Chua, R. Ramachandra, S. Y. McGrew, J. C. Baxter, J. R. Howard, K. S. Elmslie, N. Vervliet, O. Debals, L. Sorber, and L. De Lathauwer, “Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning.,” Proc. IEEE Int. Conf. Comput. Vis., 2017.

    [17] R. Girshick, J. Donahue, T. Darrell, and J. Malik, “Rich feature hierarchies for accurate object detection and semantic segmentation,” in Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2014.

    [18] M. Everingham, L. Van Gool, C. K. I. Williams, J. Winn, and A. Zisserman, “The pascal visual object classes (VOC) challenge,” Int. J. Comput. Vis., 2010.

    [19] Jia Deng, Wei Dong, R. Socher, Li-Jia Li, Kai Li, and Li Fei-Fei, “ImageNet: A large-scale hierarchical image database,” in 2009 IEEE Conference on Computer Vision and Pattern Recognition, 2009.

    [20] K. He, X. Zhang, S. Ren, and J. Sun, “Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition,” IEEE Trans. Pattern Anal. Mach. Intell., 2015.

    [21] S. Lazebnik, C. Schmid, and J. Ponce, “Beyond bags of features: Spatial pyramid matching for recognizing natural scene categories,” in Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2006.

    [22] R. Girshick, “Fast R-CNN,” in Proceedings of the IEEE International Conference on Computer Vision, 2015.

    [23] K. Simonyan and A. Zisserman, “Very Deep Convolutional Networks for Large-Scale Image Recognition,” Int. Conf. Learn. Represent., 2015.

    [24] S. Ren, K. He, R. Girshick, and J. Sun, “Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks,” IEEE Trans. Pattern Anal. Mach. Intell., 2017.

    [25] L. Gi. Roberts, “Machine perception of three-dimensional solids,” 1965.

    [26] J. Canny, “A Computational Approach to Edge Detection,” IEEE Trans. Pattern Anal. Mach. Intell., 1986.

    [27] K. He, G. Gkioxari, P. Dollar, and R. Girshick, “Mask R-CNN,” in Proceedings of the IEEE International Conference on Computer Vision, 2017.

    [28] S. Xie, R. Girshick, P. Dollár, Z. Tu, and K. He, “Aggregated residual transformations for deep neural networks,” in Proceedings - 30th IEEE Conference on Computer Vision and Pattern Recognition, CVPR 2017, 2017.

    [29] T. Y. Lin, M. Maire, S. Belongie, J. Hays, P. Perona, D. Ramanan, P. Dollár, and C. L. Zitnick, “Microsoft COCO: Common objects in context,” in Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), 2014.

    [30] J. Redmon, S. Divvala, R. Girshick, and A. Farhadi, “(2016 YOLO)You Only Look Once: Unified, Real-Time Object Detection,” Cvpr 2016, 2016.

    [31] W. Liu, D. Anguelov, D. Erhan, C. Szegedy, S. Reed, C. Y. Fu, and A. C. Berg, “SSD: Single shot multibox detector,” in Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), 2016.

    [32] Y. Al-Kofahi, W. Lassoued, W. Lee, and B. Roysam, “Improved automatic detection and segmentation of cell nuclei in histopathology images,” IEEE Trans. Biomed. Eng., 2010.

    [33] A. Oliver, J. Freixenet, J. Martí, E. Pérez, J. Pont, E. R. E. Denton, and R. Zwiggelaar, “A review of automatic mass detection and segmentation in mammographic images,” Med. Image Anal., 2010.

    [34] D. Rey, G. Subsol, H. Delingette, and N. Ayache, “Automatic detection and segmentation of evolving processes in 3D medical images: Application to multiple sclerosis,” Med. Image Anal., 2002.

    [35] H. C. Shin, H. R. Roth, M. Gao, L. Lu, Z. Xu, I. Nogues, J. Yao, D. Mollura, and R. M. Summers, “Deep Convolutional Neural Networks for Computer-Aided Detection: CNN Architectures, Dataset Characteristics and Transfer Learning,” IEEE Trans. Med. Imaging, 2016.

    [36] R. K. Samala, H.-P. Chan, L. Hadjiiski, M. A. Helvie, J. Wei, and K. Cha, “Mass detection in digital breast tomosynthesis: Deep convolutional neural network with transfer learning from mammography,” Med. Phys., 2016.

    [37] N. Tajbakhsh, J. Y. Shin, S. R. Gurudu, R. T. Hurst, C. B. Kendall, M. B. Gotway, and J. Liang, “Convolutional Neural Networks for Medical Image Analysis: Full Training or Fine Tuning?,” IEEE Trans. Med. Imaging, 2016.

    [38] R. Sa, W. Owens, R. Wiegand, M. Studin, D. Capoferri, K. Barooha, A. Greaux, R. Rattray, A. Hutton, J. Cintineo, and V. Chaudhary, “INTERVERTEBRAL DISC DETECTION IN X-RAY IMAGES USING FASTER R-CNN State University of New York ( SUNY ) at Buffalo Spine Metrics , Inc . University of Bridgeport College of Chiropractic Academy of Chiropractic,” pp. 564–567, 2017.

    [39] J. Liu, D. Wang, L. Lu, Z. Wei, L. Kim, E. B. Turkbey, B. Sahiner, N. A. Petrick, and R. M. Summers, “Detection and diagnosis of colitis on computed tomography using deep convolutional neural networks,” Med. Phys., 2017.

    [40] R. Ben-Ari, A. Akselrod-Ballin, L. Karlinsky, and S. Hashoul, “Domain specific convolutional neural nets for detection of architectural distortion in mammograms,” in Proceedings - International Symposium on Biomedical Imaging, 2017.

    [41] T. Y. Lin, P. Goyal, R. Girshick, K. He, and P. Dollar, “Focal Loss for Dense Object Detection,” in Proceedings of the IEEE International Conference on Computer Vision, 2017.

    [42] R. Platania, J. Zhang, S. Shams, K. Lee, S. Yang, and S. J. Park, “Automated breast cancer diagnosis using deep learning and region of interest detection (BC-DROID),” in ACM-BCB 2017 - Proceedings of the 8th ACM International Conference on Bioinformatics, Computational Biology, and Health Informatics, 2017.

    [43] Z. Cao, L. Duan, G. Yang, T. Yue, Q. Chen, H. Fu, and Y. Xu, Breast Tumor Detection in Ultrasound Images Using Deep Learning. 2017.

    [44] N. Li, H. Liu, B. Qiu, W. Guo, S. Zhao, K. Li, and J. He, “Detection and Attention: Diagnosing Pulmonary Lung Cancer from CT by Imitating Physicians,” 2017.

    [45] B. D. De Vos, J. M. Wolterink, P. A. De Jong, M. A. Viergever, and I. B. T.-M. I. 2016: I. P. Išgum, “2D image classification for 3D anatomy localization: employing deep convolutional neural networks,” 2016, p. 97841Y.

    [46] H. R. Roth, L. Lu, A. Seff, K. M. Cherry, J. Hoffman, S. Wang, J. Liu, E. Turkbey, and R. M. Summers, “A New 2.5D Representation for Lymph Node Detection Using Random Sets of Deep Convolutional Neural Network Observations,” in Medical Image Computing and Computer-Assisted Intervention -- MICCAI 2014: 17th International Conference, Boston, MA, USA, September 14-18, 2014, Proceedings, Part I, 2014.

    [47] Z. Shen, Z. Liu, J. Li, Y. G. Jiang, Y. Chen, and X. Xue, “DSOD: Learning Deeply Supervised Object Detectors from Scratch,” in Proceedings of the IEEE International Conference on Computer Vision, 2017.

    [48] W. Wang, J. Shen, and L. Shao, “Video Salient Object Detection via Fully Convolutional Networks,” IEEE Trans. Image Process., 2018.

    [49] J. Li, X. Liang, Y. Wei, T. Xu, J. Feng, and S. Yan, “Perceptual Generative Adversarial Networks for Small Object Detection,” Cvpr, 2017.

    [50] J. Dong, X. Fei, and S. Soatto, “Visual-Inertial-Semantic Scene Representation for 3D Object Detection,” in 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017.

    [51] X. Chen, H. Ma, J. Wan, B. Li, and T. Xia, “Multi-view 3D Object Detection Network for Autonomous Driving,” in CVPR, 2017.

    [52] A. Dave, O. Russakovsky, and D. Ramanan, “Predictive-corrective networks for action detection,” in Proceedings - 30th IEEE Conference on Computer Vision and Pattern Recognition, CVPR 2017, 2017.

    [53] S. Sabour, N. Frosst, and G. E. Hinton, “Dynamic Routing Between Capsules,” no. Nips, 2017.

     

    展开全文
  • 医学图像之目标检测

    2020-12-10 21:44:18
    一、标签制作工具 目标检测标注工具(可自定义生成标签模板)
    展开全文
  • 因工作需要,最近调研了超声(UltraSound)影像的相关知识,包含超声类型、超声影像的去噪和增强,目标检测等,并对相关资料文献进行梳理整合。 本人另外一篇博文主要讲了UltraSound 影像与CT/MR

    1 综述

    因工作需要,最近调研了超声(UltraSound)影像的相关资料文献(公开的图书,论文等),包含超声类型、超声影像的去噪和增强,基于超声目标检测,与CT / MRI 多模态融合配准等,并对其进行了梳理整合,欢迎各位进行交流学习。【人肉整理,转载请注明出处】

    本人另一博文调研了超声(UltraSound)影像与 CT/MRI 多模态融合配准,欢迎大家讨论交流哈…

    超声医学使用领域广泛,技术发展迅速,是现代临床医学的重要组成部分。现今的腹部超声诊断,可以提供脏器切面的形态结构、某些生理功能血流动力学等信息,有助于了解器官组织的血流灌注情况(如肾衰患者双肾大小改变、血流灌注分布情况);与X线、CT、MRI、核医学成像共同构成了现代医学影像技术,并以其所具有的显著特点(价格低廉、动态实时等),逐步得到广泛应用。

    1.1 超声发展简史

    超声医学(ultrasonic medicine)是利用超声波的物理特性与人体器官、组织的声学特性相互作用后得到诊断或治疗效果的一门学科。向人体发射超声,并利用其在人体器官、组织中传播过程中,由于声的透射、反射、折射、衍射、衰减、吸收而产生各种信息,将其接收、放大和信息处理形成波型、曲线、图像或频谱,籍此进行疾病诊断的方法学,称为声诊断学(ultrasonic diagnostics)超利用超声波的能量(热学机制、机械机制、空化机制等),作用于人体器官、组织的病变部位,以达到治疗疾病和促进机体康复的目的方法学,称为超声治疗学(ultrasonic therapeutics)。
    超声治疗(ultrasonic therapy)的应用早于超声诊断,1922年德国就有了首例超声治疗机的发明专利,超声诊断到1942年才有德国Dussik应用于脑肿瘤诊断的报告。但超声诊断发展较快,20世纪50年代国内外采用A型超声仪,以及继之问世的B型超声仪开展了广泛的临床应用,至20世纪70年代中下期灰阶实时(grey scale real time)超声的出现,获得了解剖结构层次清晰的人体组织器官的断层声像图,并能动态显示心脏、大血管等许多器官的动态图像,是超声诊断技术的一次重大突破,与此同时一种利用多普勒(Doppler)原理的超声多普勒检测技术迅速发展,从多普勒频谱曲线能计测多项血流动力学参数。20世纪80年代初期彩色多普勒血流显示(Color Doppler flow imaging, CDFI)的出现,并把彩色血流信号叠加于二维声像图上,不仅能直观地显示心脏和血管内的血流方向和速度,并使多普勒频谱的取样成为快速便捷,80 ~ 90年代以来超声造影、二次谐波和三维超声的相继问世,更使超声诊断锦上添花。

    1.2 超声类型

    A型超声仪是用幅度调制型进行诊断的方法,由于幅度(amplitude)一词的英文单词第一个字母为A,故A型超声诊断。以回声振幅的高低和波数的流密显示。纵坐标代表回声信号的强弱,横坐横代表回声的时间(距离)。常用A型越声诊断仪测量组织界面距离,脏器大小,鉴别病变的声学性质,结果比较准确。
    A型超声

    B型超声诊断是辉度调制型,因brightness modulation词组的第一个字母为B,故B型超声诊断。以点状回声的亮度强弱显示病变。回声强则亮,回声弱则暗。当探头声束按次序移动时,示波屏上的点状回声与之同步移动。由于扫描形成与声束方向一致的切面回声图,故属于二维图象,具有真实性强、直观性好、容易掌握和诊断方便等优点。
    在这里插入图片描述

    M型超声诊断仪是一种单轴测量距离随着时间变化的曲线,用于心脏检查为单声束超声心动图。它把心脏各层结构的反射信号以点状回声显示在屏幕上。当心脏跳动时,这些点状回声作上下移动。此时,在示波管水平偏转板上加入一对代表时间的慢扫描锯齿波,使这列点状回声沿水平方向缓慢扫描,显示心脏各层的运动回波曲线。图象垂直方向代表人体深度,水平方向代表时间。由于探头位置固定,心脏有规律地收缩和舒张,心脏各层组织和探头间的距离便发生节律改改变。因而,反回的超声信号也同样发生改变。随着水平方向的慢扫描,便把心脏各层组织的回声显示成运动的曲线,即为M型超声心动图。
    在这里插入图片描述

    彩色多普勒血流成像(CDFI),又称为彩色血流图(CFM)既大家所说的彩超。系在多普勒二维显像的基础上,以实时彩色编码显示血流的方法,即在显示屏上以不同彩色显示不同的血流方向和流速。彩超仪统一编为近超声探头来的为红色;离开探头的血流为兰色。湍流与分流为多色镶嵌。
    在这里插入图片描述
    D型超声多普勒诊断仪,这类诊断仪是利用多普勒效应原理,对运动的脏器和血流进行检测的仪器。按超声源在时域的工作状态,可以将多普勒系统分为连续波多普勒和脉冲波多普勒。和CDFI不同的是,D型超声多普勒诊断是用血流频谱显示运动的脏器和血流的多普勒频移差异的。
    在这里插入图片描述

    2 超声影像的去噪与增强

    不同场景的图像有不同的成像特性,在超声成像过程中,由于人体组织的不均匀特性,叠加的散射回波产生散斑噪声,严重影响超声图像的质量和分辨率,不利于后续提取和分析病灶区中目标的特征。因此有必要对图像进行预处理工作,消除图像中存在的噪声等与图像无关的信息,增强细节等有效信息的可检测性。目前常用的去噪方法有:小波、奇异值分解、傅里叶变换等

    2.1 各向异性扩散去噪模型

    该方法不仅对超声图像降噪且能够保留细节信息,为后续图像特征提取提供有效信息。 各向异性扩散模型是Malik和Perona 提出并作为图像预处理的工具,主要原理就是以时间t作高斯核G的方差与噪声图像做卷积,以待处理图像I0为媒介,图像以可变速率扩散,得到增强后的平滑图像。热扩散方程如公式所示。
    在这里插入图片描述

    其中I ( x, y, t ) 表示原始图像,变量t表示顺序参数,扩散过程会随着时间演化,即迭代次数,c(x, y, t)、和div分别代表代表扩散系数、梯度算子和散度算子,大小取决于梯度的强度,一般取I ( x, y, t ) = g ( I ( x, y, t ) )。

    2.2 色彩恢复的视网膜增强算法SSR和MSR

    该方法在彩色图像增强和恢复方面效果不错,可以平衡色彩颜色和边缘增强这两个因素,因此相比其他增强算法,该方法自适应增强不同类型的图像。
    在这里插入图片描述
    在这里插入图片描述

    2.3 MSRCR增强算法(基于MSR算法改进版)

    该方法首先是利用公式(3-16)计算色度,其中K是光谱通道的数量,通常RGB颜色空间的K为3。对上述公式进行颜色空间的映射,得到公式(3-17),将式中的右半部分变换为公式(3-18),其中( , )iS x y表示第i个通道的图像,Ci调节3个通道颜色的比例,代表第i个通道的彩色恢复因子,f()表示颜色空间的映射函数,β和α分别代表增益常数和受控制的非线性强度,最后得到MSRCR公式,如式(3-19)所示:
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    MSRHSV方法:是在MSRCR算法的基础上以HSV颜色通道进行增强;
    MSRCP方法:是在MSRCR算法的基础上进行了彩色平衡

    2.4 参考文献

    【1】付树军, 阮秋琦, 李玉等. 基于各向异性扩散方程的超声图像去噪与边缘增强[J]. 电子学报, 2005, 33(7): 1191-1195
    【2】Land EH. Recent Advances in Retinex Theory.[J]. Vision Research, 1986, 26(1):7-21
    【3】obson DJ, Rahman Z, Woodell GA. A Multiscale Retinex for Bridging the Gap between Color Images and the Human Observation of Scenes[J]. IEEE Transactions Image Process, 1997, 6(7): 965-76.

    3 超声影像的目标识别

    在医学领域已标注的数据集稀缺的情况下,根据超声影像数据与一些自然图像或不同医疗领域的影像数据之间的相关性,使其在有限的超声数据标注的条件下,进行跨影像学、跨模态的数据类型迁移,让从其他领域学习到的知识指导深度。

    3.1 基于跨模态数据迁移进行DL训练

    通过医学影像不同模态的特征迁移,最后实现超声影像上的特征提取和识别。本文源数据库 xS 为自然图像,跨模态数据 xB 为乳腺超声灰阶图像,目标数据库 xT 为肝脏超声造影图像。为从自然图像 xS 过渡到目标数据集 xT 中,源数据库需包含大量的自然图像,通过预训练,然后从自然图像学到的知识 xS,转移到跨模态数据库 xB,即本文中的乳腺超声灰阶图像数据集。
    由于不同器官的疾病和不同模态的医学影像之间可能具有较大的差异性,因此先将乳腺超声灰阶模型迁移到乳腺超声造影数据集上,最后在迁移到肝脏超声造影图像上。
    在这里插入图片描述

    3.2 参考文献

    【1】《超声造影病灶区目标跟踪方法的研究》2018硕士论文;

    有错误之处请多多指教哈!!

    展开全文
  • DAY-21 目标检测/ 图像分割/ 医学影像/ 目标跟踪/ 人脸识别的相关综述 原文链接:https://bbs.cvmart.net/articles/4138#reply4821 目标检测综述 Deep Domain Adaptive Object Detection: a Survey(深度域适应...

    DAY-21 目标检测/ 图像分割/ 医学影像/ 目标跟踪/ 人脸识别的相关综述

    原文链接:https://bbs.cvmart.net/articles/4138#reply4821

    • 目标检测综述

      • Deep Domain Adaptive Object Detection: a Survey(深度域适应目标检测)
      • Foreground-Background Imbalance Problem in Deep Object Detectors: A Review(深度目标检测器中前景-背景不平衡问题综述)
      • A Review and Comparative Study on Probabilistic Object Detection in Autonomous Driving(自动驾驶中的概率目标检测方法综述与比较研究)
      • An Overview Of 3D Object Detection(三维目标检测技术综述)
      • Camouflaged Object Detection and Tracking: A Survey(伪装目标检测与跟踪研究综述)
    • 图像分割

      • Image Segmentation Using Deep Learning: A Survey(使用深度学习进行图像分割:综述)
      • A Survey on Deep Learning Methods for Semantic Image Segmentation in Real-Time(深度学习实时语义图像分割方法综述)
      • Unsupervised Domain Adaptation in Semantic Segmentation: a Review(语义分割中的无监督自适应研究进展)
      • A survey of loss functions for semantic segmentation(语义分割损失函数综述)
      • A Survey on Instance Segmentation: State of the art(实例分割技术综述)
    • 医学影像

      • A Comprehensive Review for Breast Histopathology Image Analysis Using Classical and Deep Neural Networks(使用经典和深层神经网络进行的乳房组织病理学图像分析的全面综述)
      • Medical Image Registration Using Deep Neural Networks: A Comprehensive Review(使用深度神经网络的医学图像配准:全面综述)
      • Towards Automatic Threat Detection: A Survey of Advances of Deep Learning within X-ray Security Imaging(迈向自动威胁检测:X射线安全成像中深度学习进展综述)
      • Deep neural network models for computational histopathology: A survey(用于计算组织病理学的深度神经网络模型综述)
      • A scoping review of transfer learning research on medical image analysis using ImageNet(利用ImageNet进行医学图像分析的迁移学习研究述评)
      • Deep Learning Based Brain Tumor Segmentation: A Survey(基于深度学习的脑肿瘤分割研究综述)
      • A Survey on Deep Learning for Neuroimaging-based Brain Disorder Analysis(基于神经成像的脑疾病分析深度学习研究综述)
      • A review: Deep learning for medical image segmentation using multi-modality fusion(多模态融合用于医学图像分割的深度学习综述)
      • Medical Instrument Detection in Ultrasound-Guided Interventions: A Review(超声引导治疗的医疗器械检测)
      • A Survey on Incorporating Domain Knowledge into Deep Learning for Medical Image Analysis(域知识驱动的医学图像深度学习研究综述)
      • A Review on End-To-End Methods for Brain Tumor Segmentation and Overall Survival Prediction(脑肿瘤的端到端分割和总体生存预测方法综述)
      • Machine learning for COVID-19 detection and prognostication using chest radiographs and CT scans: a systematic methodological review(利用胸片和CT扫描进行冠状病毒检测和预测的机器学习:一项系统方法学综述)
      • A Review on Deep Learning Techniques for the Diagnosis of Novel Coronavirus (COVID-19)(新型冠状病毒(冠状病毒)诊断的深度学习技术综述)
      • A Comprehensive Review for MRF and CRF Approaches in Pathology Image Analysis(病理图像分析中MRF和CRF方法综述)
      • Medical Image Segmentation Using Deep Learning: A Survey(基于深度学习的医学图像分割研究综述)
      • A Survey on Deep Learning and Explainability for Automatic Image-based Medical Report Generation(基于图像的医学报告自动生成的深度学习和可解释性研究综述)
      • High-level Prior-based Loss Functions for Medical Image Segmentation: A Survey(基于高层先验损失函数的医学图像分割综述)
      • Deep Learning in Computer-Aided Diagnosis and Treatment of Tumors: A Survey(计算机辅助肿瘤诊疗中的深度学习研究综述)
      • Multiple Sclerosis Lesion Segmentation – A Survey of Supervised CNN-Based Methods(多发性硬化病变分割–基于有监督CNN的方法综述)
      • 3D Bounding Box Detection in Volumetric Medical Image Data: A Systematic Literature Review(体医学图像数据中三维包围盒检测的系统文献综述)
      • Learning-Based Algorithms for Vessel Tracking: A Review(基于学习的血管跟踪算法综述)
    • 目标跟踪

      • Correlation Filter for UAV-Based Aerial Tracking: A Review and Experimental Evaluation(相关过滤无人机空中跟踪技术综述与实验评估)
      • Multi-modal Visual Tracking: Review and Experimental Comparison(多模态视觉跟踪:综述与实验比较)
    • 人脸识别

      • The Elements of End-to-end Deep Face Recognition: A Survey of Recent Advances(端到端深度人脸识别原理:最新进展综述)
      • Face Image Quality Assessment: A Literature Survey(人脸图像质量评价的文献综述)
      • The Use of AI for Thermal Emotion Recognition: A Review of Problems and Limitations in Standard Design and Data(人工智能在热情感识别中的应用:标准设计和数据中的问题和限制综述)
      • A Survey On Anti-Spoofing Methods For Face Recognition with RGB Cameras of Generic Consumer Devices(通用消费类设备RGB摄像头人脸识别反欺骗方法综述)
      • An Overview of Facial Micro-Expression Analysis: Data, Methodology and Challenge(人脸微表情分析综述:数据、方法学与挑战)
      • Survey on 3D face reconstruction from uncalibrated images(基于未标定图像的三维人脸重建技术综述)
      • DeepFakes and Beyond: A Survey of Face Manipulation and Fake Detection(DeepFakes:面部操纵和伪造检测综述)
      • Deep Learning Based Single Sample Per Person Face Recognition: A Survey(基于深度学习的单样本人脸识别研究综述)
      • A survey of face recognition techniques under occlusion(遮挡下的人脸识别技术综述)
      • Biometric Quality: Review and Application to Face Recognition with FaceQnet(生物特征质量:FaceQnet在人脸识别中的应用)
      • Threat of Adversarial Attacks on Face Recognition: A Comprehensive Survey(对抗攻击对人脸识别的威胁:综述)
      • Cross-ethnicity Face Anti-spoofing Recognition Challenge: A Review(跨种族人脸反欺骗识别挑战:综述)
      • The Creation and Detection of Deepfakes: A Survey(深度伪装的产生与检测:综述)
    展开全文
  • 医学影像识别是指识别医学图像中的目标。理论上,目标的识别并不需要对目标进行检测或定位;但是实际上,通常会结合检测和定位去辅助完成目标识别。一旦完成识别,或检测,即得到了目标的最小外包矩形框(bounding ...
  • 点击上方蓝字关注我们深度学习在医学影像中的研究进展及发展趋势王丽会1,2,秦永彬1,21贵州省智能医学影像分析与精准诊断重点实验室,贵州 贵阳 5500252贵州大学计算机科学与技...
  • 深度学习在医学影像的三大类项目应用医学影像的分类医学影像检测医学影像的分割关于数据方面的补充 深度学习在医学影像的应用项目目前主要几种在三个方面:分类、检测和分割。下面我就我所接触的这三个方面所用的...
  • Weakly Supervised Object Detection 1. 附带论文和代码 https://paperswithcode.com/task/weakly-supervised-object-detection 转载于:https://www.cnblogs.com/haiyang21/p/10696931.html
  • 弱监督目标检测方法梳理

    千次阅读 2019-06-28 14:09:29
    关于若监督目标检测的,大致理了一个方法脉络: 其中WSDDN成为近期的主流方法 (一)部分将输出矩阵分解为按类别C和按区域R的两个矩阵,训练时进行端到端的协同优化。Weakly Supervised Deep Detection Networks...
  • 影像科医生在工作时会观察医学影像(如CT、核磁共振影像),并对其作出描述,这些描述中包含了大量医学信息,对医疗AI具有重要意义。本任务需要参赛队伍根据医生对CT的影像描述文本数据,判断身体若干目标区域是否有...
  • 论文:Retina U-...这是一篇应用型论文,只是将U-Net和Retina 结合了一下,用于医学图像检测。 比较的模型也很少: 只是简单的用了Unet,比较老了 注:Paul F. Jaeger, Sim
  • 医疗影像小目标检测——从眼底病变检测说起 原文:https://zhuanlan.zhihu.com/p/138108192 之前写过一篇《沿着大咖们指引的方向前进》,说的是,2018年医学影像大咖们开了个会,会上讨论总结了医疗影像AI未来的...
  • 在这个项目中,我们的目标是实现在 检测癌症转移一文中提出的多尺度转移分类模型。 数据集 我们使用千兆像素幻灯片数据。从主数据集中采集了一组 22 张具有显着肿瘤的载玻片。每张幻灯片都有一个相应的掩码,用于...
  • 【导读】本文共汇总了从2020年4月至今的计算机视觉领域综述性论文,共54篇,涵盖图像分割、图像识别、人脸识别/检测、医学影像目标检测、3D方向(自动驾驶/深度估计)、GAN、文本检...
  • 医学影像报告异常检测线上0.895开源

    千次阅读 2021-04-18 08:26:02
    赛题:全球人工智能技术创新大赛赛道一: 医学影像报告异常检测 赛题背景 影像科医生在工作时会观察医学影像(如CT、核磁共振影像),并对其作出描述,这些描述中包含了大量医学信息,对医疗AI具有重要意义。本任务...
  • 凭借其提高的生产力和准确性以及更加...据Signify Research称,到2023年,全球医学影像人工智能市场,包括自动检测,量化,决策支持和诊断软件,将达到20亿美元。 全球医学图像分析软件的收入预测(Signify...
  • 从论文ID公布以来,极市一直在对CVPR进行实时跟进,我们在Github上对CVPR2021论文进行了整理和分类,涵盖的方向有:目标检测、图像分割、图像处理、医学影像、目标跟踪、人脸、姿态估计、图像检索、3D、GAN、NAS、...
  • 深度学习在医学影像方面的发展

    千次阅读 2020-08-05 00:57:33
    深度学习在医学影像的三大类项目应用 ...医学影像检测 常见的检测类项目就是,疾病在哪里?比如医学界AI入门项目,肺结节检测。就是检测肺部哪里有结节。公开数据集也很多,曾经阿里举办过天池大赛、以及kaggle、Luna
  • 3D医学CT图像检测

    2020-08-19 11:23:40
    FocalMix: Semi-Supervised Learning for 3D Medical Image Detection
  • 详解基于深度学习的伪装目标检测

    千次阅读 2021-03-15 00:10:48
    与通用目标检测以及显著性目标检测不一样,通用目标检测与显著性目标检测中目标与背景均有较为明显的差异性,这种差异通常情况下通过人眼也能较容易地分辨出来。但伪装目标检测中伪装目标与背景之间存在高度的相似性...
  • 医学影像处理

    千次阅读 2019-08-09 12:07:29
    医学诊断报告生成 1.特点 不同于image captioning 或者 sentence generation, 报告的句子结构更复杂,通常由固定模板套路,设计到医学专业词汇,对语言逻辑性,疾病判断准确性要求高。 2.相关方法 早期方法包括...
  • https://arxiv.org/abs/1903.09291 15 Fast and accurate reconstruction of HARDI using a 1D encoder-decoder convolutional network Shi Yin, Zhengqiang Zhang, Qinmu Peng, Xinge You 医学影像的3D重建。...
  • 医学图像检测论文汇总

    千次阅读 2019-02-21 15:20:33
    医学图像检测与自然图像检测具有一些差异,导致自然图像检测方法迁移到医学图像检测时存在困难。   自然图像的检测目标通常较明显,且类别较多。常用检测网络包括:(1) ResNet、FastRCNN、FasterRCNN(具有更深...
  • 本文是第三篇,医学影像方向。 注:文章将同步更新于Github上,欢迎大家 star/fork https://github.com/extreme-assistant/survey-computer-vision 综述一 标题:A Comprehensive Review for Breast Histopathology ...
  • 来源:UNknown知识库转载自新机器视觉仅做学术分享,若侵权,请联系删文▍一、医学图像分割简介医学影像分割是医学影像分析中的重要领域,也是计算机辅助诊断、监视、干预和治疗所必需的一环,其...
  • 点击上方“计算机视觉工坊”,选择“星标”干货第一时间送达导读本文对 CVPR 2021 检测大类中的“伪装目标检测”、“旋转目标检测”领域的论文进行了盘点,将会依次阐述每篇论文的方法思路...
  • 迁移学习在医学影像学中的应用

    千次阅读 2018-04-12 16:07:21
    (最近在找迁移学习在医学影像学中的应用,总结的一些文章,以便日后阅读,持续更新。。。)基于核匹配追踪的医学影像学辅助诊断—姚瑶—20091. 该文章充分利用源域中具有和目标域同分布的有标签样本,将之迁移至...
  • 医学影像】基础知识

    千次阅读 2021-11-02 16:34:19
    1 常用的分割网络 2 常用的检测网络 3 常用的分割指标 4 常用的检测指标 5 常用的正则化方法(BN,LN,IN) ...7 常用小目标检测方法 8 常用的小样本问题方法 9 常用的医学图像格式 10 bs与网络训练的关系 ...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 4,603
精华内容 1,841
关键字:

医学影像目标检测