精华内容
下载资源
问答
  • 复制比怎么检测
    千次阅读
    2017-06-28 14:31:54

    很多人很疑惑我检测完了,也看到了结果,到底能不能通过学校的检测呢?具体有什么样的指标或者结果?
    问:每个学校对论文检测后的结果值是否一样?
    答:能说大部分的学校可能对结果值的要求都是差不多的,一般的学校都是在30%左右,当然这些政策要求,学校是可以变更的,有些的要求松差不多40%也有可能,有些学校要求的复制比要求很高10%以下的也有,所以同学在论文检测之前,需要先咨询下自己所在的学校的要求,然后再检测文章,这样心里就有底了,一般学校在检测之前都会发通知告知老师或者学生。如果不放心可有自己提前在网上Cncnki查重网检测,结果和学校一致!

    更多相关内容
  • 学术不端检测结果的修正标准初探__省略_字复制比_与_文章抄袭率_的辨析_赵蔚.pdf
  • 涉及区域复制的伪造是最常见的视频篡改类型之一。 然而,很少有人提出有效检测这种伪造的算法,特别是对于... 实验结果证明了我们的算法对经过镜面操作的视频进行检测的性能令人满意,并且以前的算法具有更高的效率。
  • 2021年小目标检测最新研究综述

    千次阅读 2021-08-16 01:02:16
    作者丨高新波、莫梦竟成、汪海涛、冷佳旭编辑丨极市平台导读与以往将小目标与常规目标等同对待或只关注特定应用场景下的目标检测综述不同,本文对小目标检测这一不可或缺且极具挑战性的研究领域进行...

    作者丨高新波、莫梦竟成、汪海涛、冷佳旭 

    编辑丨极市平台

    导读

     

    与以往将小目标与常规目标等同对待或只关注特定应用场景下的目标检测综述不同,本文对小目标检测这一不可或缺且极具挑战性的研究领域进行了系统且深入的分析与总结。

    文章链接:http://sjcj.nuaa.edu.cn/sjcjycl/article/html/202103001

    摘要

    小目标检测长期以来是计算机视觉中的一个难点和研究热点。在深度学习的驱动下,小目标 检测已取得了重大突破,并成功应用于国防安全、智能交通和工业自动化等领域。为了进一步促进小 目标检测的发展,本文对小目标检测算法进行了全面的总结,并对已有算法进行了归类、分析和比较。首先,对小目标进行了定义,并概述小目标检测所面临的挑战。然后,重点阐述从数据增强、多尺度学习、上下文学习、生成对抗学习以及无锚机制等方面来提升小目标检测性能的方法,并分析了这些方法的优缺点和关联性。之后,全面介绍小目标数据集,并在一些常用的公共数据集上对已有算法进行了 性能评估。最后本文对小目标检测技术的未来发展方向进行了展望。

    引言

    目标检测是计算机视觉领域中的一个重要研究方向,也是其他复杂视觉任务的基础。 作为图像理解和计算机视觉的基石,目标检测是解决分割、场景理解、目标跟踪、图像描述和事件检测等更高层次 视觉任务的基础。小目标检测长期以来是目标检测中的一个难点,其旨在精准检测出图像中可视化特征极少的小目标(32 像素×32 像素以下的目标)。在现实场景中,由于小目标是的大量存在,因此小目 标检测具有广泛的应用前景,在自动驾驶、智慧医疗、缺陷检测和航拍图像分析等诸多领域发挥着重要 作用。

    近年来,深度学习技术的快速发展为小目标检测注入了新鲜血液,使其成为研究热点。然而,相 对于常规尺寸的目标,小目标通常缺乏充足的外观信息,因此难以将它们与背景或相似的目标区分开来。在深度学习的驱动下,尽管目标检测算法已取得了重大突破,但是对于小目标的检测仍然是不尽人意的。在目标检测公共数据集 MS COCO[1]上,小目标和大目标在检测性能上存在显著差距,小目标的检测性能通常只有大目标的一半。由此可见,小目标检测仍然是充满挑战的。此外,真实场景是错 综复杂的,通常会存在光照剧烈变化、目标遮挡、目标稠密相连和目标尺度变化等问题,而这些因素对 小目标特征的影响是更加剧烈的,进一步加大了小目标检测的难度。

    事实上,小目标检测具有重要的 研究意义和应用价值。对于机场跑道,路面上会存在微小物体,如螺帽、螺钉、垫圈、钉子和保险丝等, 精准地检测出跑道的这些小异物将避免重大的航空事故和经济损失。对于自动驾驶,从汽车的高分辨 率场景照片中准确地检测出可能引起交通事故的小物体是非常有必要的。对于工业自动化,同样需要小目标检测来定位材料表面可见的小缺陷。对于卫星遥感图像,图像中的目标,例如车、船,可能只有 几十甚至几个像素。精确地检测出卫星遥感图像中的微小目标将有助于政府机构遏制毒品和人口贩 运,寻找非法渔船并执行禁止非法转运货物的规定。综上所述,小目标检测具有广泛的应用价值和重要的研究意义。

    与以往将小目标与常规目标等同对待或只关注特定应用场景下的目标检测综述不同,本文对小目标检测这一不可或缺且极具挑战性的研究领域进行了系统且深入的分析与总结。 本文不仅对小目标 的定义进行了解释,也对小目标检测领域存在的挑战进行了详细地分析和总结,同时重点阐述了小目 标检测优化思路,包括数据增强、多尺度学习、上下文学习、生成对抗学习以及无锚机制以及其他优化 策略等。此外,本文还在常用的小目标数据集上分析对比了现有算法的检测性能。最后,对本文内容 进行了简要的总结,并讨论了小目标检测未来可能的研究方向和发展趋势。

    1 小目标定义及难点分析

    1.1 小目标定义

    不同场景对于小目标的定义各不相同,目前尚未形成统一的标准。现有的小目标定义方式主要分为以下两类,即基于相对尺度的定义与基于绝对尺度的定义。

    (1)基于相对尺度定义。 即从目标与图像的相对比例这一角度考虑来对小目标进行定义。Chen等[11]提出一个针对小目标的数据集,并对小目标做了如下定义:同一类别中所有目标实例的相对面积,即边界框面积与图像面积之比的中位数在0.08%~0.58%之间。文中对小目标的定义也给出了更具体的说法,如在640像素×480像素分辨率图像中,16像素×16像素到42像素×42像素的目标应考虑为小目标。除了Chen等对小目标的定义方式以外,较为常见的还有以下几种:(1)目标边界框的宽高与图像的宽高比例小于一定值,较为通用的比例值为0.1;(2)目标边界框面积与图像面积的比值开方小于一定值,较为通用的值为0.03;(3)根据目标实际覆盖像素与图像总像素之间比例来对小目标进行定义。

    但是,这些基于相对尺度的定义存在诸多问题,如这种定义方式难以有效评估模型对不同尺度目标的检测性能。此外,这种定义方式易受到数据预处理与模型结构的影响。

    (2)基于绝对尺度定义。 则从目标绝对像素大小这一角度考虑来对小目标进行定义。目前最为通用的定义来自于目标检测领域的通用数据集——MS COCO数据集[1],将小目标定义为分辨率小于32像素×32像素的目标。对于为什么是32像素×32像素,本文从两个方向进行了思考。一种思路来自于Torralba等[12]的研究,人类在图像上对于场景能有效识别需要的彩色图像像素大小为32像素×32像素,即小于32像素×32像素的目标人类都难以识别。另一种思路来源于深度学习中卷积神经网络本身的结构,以与MS COCO数据集第一部分同年发布的经典网络结构VGG‑Net[13]为例,从输入图像到全连接层的特征向量经过了5个最大池化层,这导致最终特征向量上的“一点”对应到输入图像上的像素大小为32像素×32像素。于是,从特征提取的难度不同这一角度考虑,可以将32像素×32像素作为区分小目标与常规目标的一个界定标准。除了MS COCO之外,还有其他基于绝对尺度的定义,如在航空图像数据集DOTA[14]与人脸检测数据集WIDER FACE[15]中都将像素值范围在[10, 50]之间的目标定义为小目标。在行人识别数据集CityPersons[16]中,针对行人这一具有特殊比例的目标,将小目标定义为了高度小于75像素的目标。基于航空图像的小行人数据集TinyPerson[17]则将小目标定义为像素值范围在[20, 32]之间的目标,而且近一步将像素值范围在[2, 20]之间的目标定义为微小目标。

    1.2 小目标检测面临的挑战

    前文中已简要阐述小目标的主流定义,通过这些定义可以发现小目标像素占比少,存在覆盖面积小、包含信息少等基本特点。这些特点在以往综述或论文中也多有提及,但是少有对小目标检测难点进行分析与总结。接下来本文将试图对造成小目标检测难度高的原因以及其面临的挑战进行分析与总结。

    (1) 可利用特征少

    无论是从基于绝对尺度还是基于相对尺度的定义,小目标相对于大/中尺度尺寸目标都存在分辨率低的问题。低分辨率的小目标可视化信息少,难以提取到具有鉴别力的特征,并且极易受到环境因素的干扰,进而导致了检测模型难以精准定位和识别小目标。

    (2) 定位精度要求高

    小目标由于在图像中覆盖面积小,因此其边界框的定位相对于大/中尺度尺寸目标具有更大的挑战性。在预测过程中,预测边界框框偏移一个像素点,对小目标的误差影响远高于大/中尺度目标。此外,现在基于锚框的检测器依旧占据绝大多数,在训练过程中,匹配小目标的锚框数量远低于大/中尺度目标,如图1所示,这进一步地导致了检测模型更侧重于大/中尺度目标的检测,难以检测小目标。图中IoU(Interp over union)为交并比。

    (3) 现有数据集中小目标占比少

    在目标检测领域中,现有数据集大多针对大/中尺度尺寸目标,较少关注小目标这一特别的类型。MS COCO中虽然小目标占比较高,达31.62%,但是每幅图像包含的实例过多,小目标分布并不均匀。同时,小目标不易标注,一方面来源于小目标在图像中不易被人类关注,很难标全;另一方面是小目标对于标注误差更为敏感。另外,现有的小目标数据集往往针对特定场景,例如文献[14]针对空中视野下的图像、文献[15]针对人脸、文献[16‑17]针对行人、文献[18]针对交通灯、文献[19]针对乐谱音符,使用这些数据集训练的网络不适用于通用的小目标检测。总的来说,大规模的通用小目标数据集尚处于缺乏状态,现有的算法没有足够的先验信息进行学习,导致了小目标检测性能不足。

    (4) 样本不均衡问题

    为了定位目标在图像中的位置,现有的方法大多是预先在图像的每个位置生成一系列的锚框。在训练的过程中,通过设定固定的阈值来判断锚框属于正样本还是负样本。这种方式导致了模型训练过程中不同尺寸目标的正样本不均衡问题。当人工设定的锚框与小目标的真实边界框差异较大时,小目标的训练正样本将远远小于大/中尺度目标的正样本,这将导致训练的模型更加关注大/中尺度目标的检测,而忽略小目标的检测。如何解决锚框机制导致的小目标和大/中尺度目标样本不均衡问题也是当前面临的一大挑战。

    (5) 小目标聚集问题

    相对于大/中尺度目标,小目标具有更大概率产生聚集现象。当小目标聚集出现时,聚集区域相邻的小目标通过多次降采样后,反应到深层特征图上将聚合成一个点,导致检测模型无法区分。当同类小目标密集出现时,预测的边界框还可能会因后处理的非极大值抑制操作将大量正确预测的边界框过滤,从而导致漏检情况。另外,聚集区域的小目标之间边界框距离过近,还将导致边界框难以回归,模型难以收敛。

    (6) 网络结构原因

    在目标检测领域,现有算法的设计往往更为关注大/中尺度目标的检测性能。针对小目标特性的优化设计并不多,加之小目标自身特性所带来的难度,导致现有算法在小目标检测上普遍表现不佳。虽然无锚框的检测器设计是一个新的发展趋势,但是现有网络依旧是基于锚框的检测器占据主流,而锚框这一设计恰恰对小目标极不友好。此外,在现有网络的训练过程中,小目标由于训练样本占比少,对于损失函数的贡献少,从而进一步减弱了网络对于小目标的学习能力。

    2 小目标检测研究思路

    2.1 数据增强

    数据增强是一种提升小目标检测性能的最简单和有效的方法,通过不同的数据增强策略可以扩充训练数据集的规模,丰富数据集的多样性,从而增强检测模型的鲁棒性和泛化能力。在相对早期的研究中,Yaeger等[20]通过使用扭曲变形、旋转和缩放等数据增强方法显著提升了手写体识别的精度。之后,数据增强中又衍生出了弹性变形[21]、随机裁剪[22]和平移[23]等策略。目前,这些数据增强策略已被广泛应用于目标检测中。

    近些年来,基于深度学习的卷积神经网络在处理计算机视觉任务中获得了巨大的成功。深度学习的成功很大程度上归功于数据集的规模和质量,大规模和高质量的数据能够大幅度提升模型的泛化能力。数据增强策略在目标检测领域有着广泛应用,例如Fast R‑CNN[24]、Cascade R‑CNN[25]中使用的水平翻转,YOLO[26]、YOLO9000[27]中使用的调整图像曝光和饱和度,还有常被使用的CutOut[28]、MixUp[29]、CutMix[30]等方法。最近,更是有诸如马赛克增强(YOLOv4[31])、保持增强[32]等创新策略提出,但是这些数据增强策略主要是针对常规目标检测。

    聚焦到小目标检测领域,小目标面临着分辨率低、可提取特征少、样本数量匮乏及分布不均匀等诸多挑战,数据增强的重要性愈发显著。近些年来,出现了一些适用于小目标的数据增强方法(表 1)。Yu等[17]在对数据的处理中,提出了尺度匹配策略,根据不同目标尺寸进行裁剪,缩小不同大小目标之间的差距,从而避免常规缩放操作中小目标信息易丢失的情形。Kisantal等[33]针对小目标覆盖的面积小、出现位置缺乏多样性、检测框与真值框之间的交并比远小于期望的阈值等问题,提出了一种复制增强的方法,通过在图像中多次复制粘贴小目标的方式来增加小目标的训练样本数,从而提升了小目标的检测性能。在Kisantal等的基础上,Chen等[34]在RRNet中提出了一种自适应重采样策略进行数据增强,这种策略基于预训练的语义分割网络对目标图像进行考虑上下文信息的复制,以解决简单复制过程中可能出现的背景不匹配和尺度不匹配问题,从而达到较好的数据增强效果。Chen等[35]则从小目标数量占比小、自身包含信息少等问题出发,在训练过程中对图像进行缩放与拼接,将数据集中的大尺寸目标转换为中等尺寸目标,中等尺寸目标转换为小尺寸目标,并在提高中/小尺寸目标的数量与质量的同时也兼顾考虑了计算成本。在针对小目标的特性设计对应的数据增强策略之外,Zoph等[36]超越了目标特性限制,提出了一种通过自适应学习方法例如强化学习选择最佳的数据增强策略,在小目标检测上获得了一定的性能提升。

    数据增强这一策略虽然在一定程度上解决了小目标信息量少、缺乏外貌特征和纹理等问题,有效提高了网络的泛化能力,在最终检测性能上获得了较好的效果,但同时带来了计算成本的增加。而且在实际应用中,往往需要针对目标特性做出优化,设计不当的数据增强策略可能会引入新的噪声,损害特征提取的性能,这也给算法的设计带来了挑战。

    2.2 多尺度学习

    小目标与常规目标相比可利用的像素较少,难以提取到较好的特征,而且随着网络层数的增加,小目标的特征信息与位置信息也逐渐丢失,难以被网络检测。这些特性导致小目标同时需要深层语义信息与浅层表征信息,而多尺度学习将这两种相结合,是一种提升小目标检测性能的有效策略。

    早期的多尺度检测有两个思路。一种是使用不同大小的卷积核通过不同的感受野大小来获取不同尺度的信息,但这种方法计算成本很高,而且感受野的尺度范围有限,Simonyan和Zisserman[13]提出使用多个小卷积核代替大卷积核具备巨大优势后,使用不同大小卷积核的方法逐渐被弃用。之后,Yu等[37]提出的空洞卷积和Dai等[38]提出的可变卷积又为这种通过不同感受野大小获取不同尺度信息的方法开拓了新的思路。另一种来自于图像处理领域的思路——图像金字塔[39],通过输入不同尺度的图像,对不同尺度大小的目标进行检测,这种方法在早期的目标检测中有所应用[40‑41](见图2(a))。但是,基于图像金字塔训练卷积神经网络模型对计算机算力和内存都有极高的要求。近些年来,图像金字塔在实际研究应用中较少被使用,仅有文献[42‑43]等方法针对数据集目标尺度差异过大等问题而使用。

    目标检测中的经典网络如Fast R‑CNN[24]、Faster R‑CNN[44]、SPPNet[45]和R‑FCN[46]等大多只是利用了深度神经网络的最后层来进行预测。然而,由于空间和细节特征信息的丢失,难以在深层特征图中检测小目标。在深度神经网络中,浅层的感受野更小,语义信息弱,上下文信息缺乏,但是可以获得更多空间和细节特征信息。从这一思路出发,Liu等[47]提出一种多尺度目标检测算法SSD(Single shot multibox detector),利用较浅层的特征图来检测较小的目标,而利用较深层的特征图来检测较大的目标,如图2(b)所示。Cai等[48]针对小目标信息少,难以匹配常规网络的问题,提出统一多尺度深度卷积神经网络,通过使用反卷积层来提高特征图的分辨率,在减少内存和计算成本的同时显著提升了小目标的检测性能。

    针对小目标易受环境干扰问题,Bell等[49]为提出了ION(Inside‑outside network)目标检测方法,通过从不同尺度特征图中裁剪出同一感兴趣区域的特征,然后综合这些多尺特征来预测,以达到提升检测性能的目的。与ION的思想相似,Kong等[50]提出了一种有效的多尺度融合网络,即HyperNet,通过综合浅层的高分辨率特征和深层的语义特征以及中间层特征的信息显著提高了召回率,进而提高了小目标检测的性能(见图2(c))。这些方法能有效利用不同尺度的信息,是提升小目标特征表达的一种有效手段。但是,不同尺度之间存在大量重复计算,对于内存和计算成本的开销较大。

    为节省计算资源并获得更好的特征融合效果,Lin等[51]结合单一特征映射、金字塔特征层次和综合特征的优点,提出了特征金字塔FPN(Feature Pyramid network)。FPN是目前最流行的多尺度网络,它引入了一种自底向上、自顶向下的网络结构,通过将相邻层的特征融合以达到特征增强的目的(见图2(d))。在FPN的基础上,Liang等[52]提出了一种深度特征金字塔网络,使用具有横向连接的特征金字塔结构加强小目标的语义特征,并辅以特别设计的锚框和损失函数训练网络。为了提高小目标的检测速度,Cao等[53]提出一种多层次特征融合算法,即特征融合SSD,在SSD的基础上引入上下文信息,较好地平衡了小目标检测的速度与精度。但是基于SSD的特征金字塔方法需要从网络的不同层中抽取不同尺度的特征图进行预测,难以充分融合不同尺度的特征。针对这一问题,Li和Zhou[54]提出一种特征融合单次多箱探测器,使用一个轻量级的特征融合模块,联系并融合各层特征到一个较大的尺度,然后在得到的特征图上构造特征金字塔用于检测,在牺牲较少速度的情形下提高了对小目标的检测性能。针对机场视频监控中的小目标识别准确率较低的问题,韩松臣等[55]提出了一种结合多尺度特征融合与在线难例挖掘的机场路面小目标检测方法,该方法采用ResNet‑101作为特征提取网络,并在该网络基础上建立了一个带有上采样的“自顶向下”的特征融合模块,以生成语义信息更加丰富的高分辨率特征图。

    最近,多尺度特征融合这一方法又有了新的拓展,如Nayan等[56]针对小目标经过多层网络特征信息易丢失这一问题,提出了一种新的实时检测算法,该算法使用上采样和跳跃连接在训练过程中提取不同网络深度的多尺度特征,显著提高了小目标检测的检测精度与速度。Liu等[57]为了降低高分辨率图像的计算成本,提出了一种高分辨率检测网络,通过使用浅层网络处理高分辨率图像和深层网络处理低分辨率图像,在保留小目标尽可能多的位置信息同时提取了更多的语义信息,在降低计算成本的情形下提升了小目标的检测性能。Deng等[58]发现虽然多尺度融合可以有效提升小目标检测性能,但是不同尺度的特征耦合仍然会影响性能,于是提出了一种扩展特征金字塔网络,使用额外的高分辨率金字塔级专门用于小目标检测。

    总体来说,多尺度特征融合同时考虑了浅层的表征信息和深层的语义信息,有利于小目标的特征提取,能够有效地提升小目标检测性能。然而,现有多尺度学习方法在提高检测性能的同时也增加了额外的计算量,并且在特征融合过程中难以避免干扰噪声的影响,这些问题导致了基于多尺度学习的小目标检测性能难以得到进一步提升。

    2.3 上下文学习

    在真实世界中,“目标与场景”和“目标与目标”之间通常存在一种共存关系,通过利用这种关系将有助于提升小目标的检测性能。在深度学习之前,已有研究[59]证明通过对上下文进行适当的建模可以提升目标检测性能,尤其是对于小目标这种外观特征不明显的目标。随着深度神经网络的广泛应用,一些研究也试图将目标周围的上下文集成到深度神经网络中,并取得了一定的成效。以下将从基于隐式上下文特征学习和基于显式上下文推理的目标检测两个方面对国内外研究现状及发展动态进行简要综述。

    (1)基于隐式上下文特征学习的目标检测。 隐式上下文特征是指目标区域周围的背景特征或者全局的场景特征。事实上,卷积神经网络中的卷积操作在一定程度上已经考虑了目标区域周围的隐式上下文特征。为了利用目标周围的上下文特征,Li等[60]提出一种基于多尺度上下文特征增强的目标检测方法,该方法首先在图像中生成一系列的目标候选区域,然后在目标周围生成不同尺度的上下文窗口,最后利用这些窗口中的特征来增强目标的特征表示(见图3(a))。随后,Zeng等[61]提出一种门控双向卷积神经网络,该网络同样在目标候选区域的基础上生成包含不同尺度上下文的支撑区域,不同之处在于该网络让不同尺度和分辨率的信息在生成的支撑区域之间相互传递,从而综合学习到最优的特征。为了更好地检测复杂环境下的微小人脸,Tang等[62]提出一种基于上下文的单阶段人脸检测方法,该方法设计了一种新的上下文锚框,在提取人脸特征的同时考虑了其周围的上下文信息,例如头部信息和身体信息。郑晨斌等[63]提出一种强化上下文模型网络,该网络利用双空洞卷积结构来节省参数量的同时,通过扩大有效感受野来强化浅层上下文信息,并在较少破坏原始目标检测网络的基础上灵活作用于网络中浅预测层。然而,这些方法大多依赖于上下文窗口的设计或受限于感受野的大小,可能会导致重要上下文信息的丢失。

    为了更加充分地利用上下文信息,一些方法尝试将全局的上下文信息融入到目标检测模型中(见 图3(b))。对于早期的目标检测算法,一种常用的集成全局上下文方法是通过构成场景元素的统计汇总,例如Gist[64]。Torralba等[65]提出通过计算全局场景的低级特征和目标的特征描述符的统计相关性来对视觉上下文建模。随后,Felzenszwalb等[66]提出一种基于混合多尺度可变形部件模型的目标检测方法。该方法通过引入上下文来对检测结果进行二次评分,从而进一步提升检测结果的可靠性。对于目前的基于深度学习的目标检测算法,主要通过较大的感受野、卷积特征的全局池化或把全局上下文看作一种序列信息3种方式来感知全局上下文。Bell等[49]提出基于循环神经网络的上下文传递方法,该方法利用循环神经网络从4个方向对整个图像中的上下文信息进行编码,并将得到的4个特征图进行串联,从而实现对全局上下文的感知。然而,该方法使模型变得复杂,并且模型的训练严重依赖于初始化参数的设置。Ouyang等[67]通过学习图像的分类得分,并将该得分作为补充的上下文特征来提升目标检测性能。为了提升候选区域的特征表示,Chen等[68]提出一种上下文微调网络,该网络首先通过计算相似度找到与目标区域相关的上下文区域,然后利用这些上下文区域的特征来增强目标区域特征。随后,Barnea等[69]将上下文的利用视为一个优化问题,讨论了上下文或其他类型的附加信息可以将检测分数提高到什么程度,并表明简单的共现性关系是最有效的上下文信息。此外,Chen等[70]提出一种层次上下文嵌入框架,该框架可以作为一个即插即用的组件,通过挖掘上下文线索来增强候选区域的特征表达,从而提升最终的检测性能。最近,张瑞琰等[71]提出了面向光学遥感目标的全局上下文检测模型,该模型通过全局上下文特征与目标中心点局部特征相结合的方式生成高分辨率热点图,并利用全局特征实现目标的预分类。此外,一些方法通过语义分割来利用全局上下文信息。He等[72]提出一种统一的实例分割框架,利用像素级的监督来优化检测器,并通过多任务的方式联合优化目标检测和实例分割模型。尽管通过语义分割可以显著提高检测性能,但是像素级的标注是非常昂贵的。鉴于此,Zhao等[73]提出一种生成伪分割标签的方法,通过利用伪分割标签来于优化检测器,并取得了不错的效果。进一步地,Zhang等[74]提出一种无监督的分割方法,在无像素级的标注下通过联合优化目标检测和分割来增强用于目标检测的特征图。目前,基于全局上下文的方法在目标检测上已经取得了较大的进展,但如何从全局场景中找到有利于提升小目标检测性能的上下文信息仍然是当前的研究难点。

    (2)基于显式上下文推理的目标检测。 显示上下文推理是指利用场景中明确的上下文信息来辅助推断目标的位置或类别,例如利用场景中天空区域与目标的上下文关系来推断目标的类别。上下文关系通常指场景中目标与场景或者目标与目标之间的约束和依赖关系(见图3(c))。为了利用上下文关系,Chen等[75]提出一种自适应上下文建模和迭代提升的方法,通过将一个任务的输出作为另一个任务的上下文来提升目标分类和检测性能。此后,Gupta等[76]提出一种基于空间上下文的目标检测方法。该方法能够准确地捕捉到上下文和感兴趣目标之间的空间关系,并且有效地利用了上下文区域的外观特征。进一步地,Liu等[77]提出一种结构推理网络,通过充分考虑场景上下文和目标之间的关系来提升目标的检测性能。为了利用先验知识,Xu等[78]在Faster R‑CNN[44]的基础上提出了一种Reasoning‑RCNN,通过构建知识图谱来编码上下文关系,并利用先验的上下文关系来影响目标检测。Chen等[79]提出了一种空间记忆网络,空间记忆实质上是将目标实例重新组合成一个伪图像表示,并将伪图像表示输入到卷积神经网络中进行目标关系推理,从而形成一种顺序推理体系结构。在注意力机制的基础上,Hu等[80]提出一种轻量级目标关系网络,通过引入不同物体之间的外观和几何结构关系来做约束,实现物体之间的关系建模。该网络无需额外的监督,并且易于嵌入到现有的网络中,可以有效地过滤冗余框,从而提升目标的检测性能。

    近年来,基于上下文学习的方法得到了进一步发展。Lim等[81]提出一种利用上下文连接多尺度特征的方法,该方法中使用网络不同深度层级中的附加特征作为上下文,辅以注意力机制聚焦于图像中的目标,充分利用了目标的上下文信息,进而提升了实际场景中的小目标检测精度。针对室内小尺度人群检测面临的目标特征与背景特征重叠且边界难以区分的问题,Shen等[82]提出了一种室内人群检测网络框架,使用一种特征聚合模块(Feature aggregation module, FAM)通过融合和分解的操作来聚合上下文特征信息,为小尺度人群检测提供更多细节信息,进而显著提升了对于室内小尺度人群的检测性能。Fu等[83]提出了一种新颖的上下文推理方法,该方法对目标之间的固有语义和空间布局关系进行建模和推断,在提取小目标语义特征的同时尽可能保留其空间信息,有效解决了小目标的误检与漏检问题。为了提升目标的分类结果,Pato等[84]提出一种基于上下文的检测结果重打分方法,该方法通过循环神经网络和自注意力机制来传递候选区域之间的信息并生成上下文表示,然后利用得到的上下文来对检测结果进行二次评估。

    基于上下文学习的方法充分利用了图像中与目标相关的信息,能够有效提升小目标检测的性能。但是,已有方法没有考虑到场景中的上下文信息可能匮乏的问题,同时没有针对性地利用场景中易于检测的结果来辅助小目标的检测。鉴于此,未来的研究方向可以从以下两个角度出发考虑:(1)构建基于类别语义池的上下文记忆模型,通过利用历史记忆的上下文来缓解当前图像中上下文信息匮乏的问题;(2)基于图推理的小目标检测,通过图模型和目标检测模型的结合来针对性地提升小目标的检测性能。

    2.4 生成对抗学习

    生成对抗学习的方法旨在通过将低分辨率小目标的特征映射成与高分辨率目标等价的特征,从而达到与尺寸较大目标同等的检测性能。前文所提到的数据增强、特征融合和上下文学习等方法虽然可以有效地提升小目标检测性能,但是这些方法带来的性能增益往往受限于计算成本。针对小目标分辨率低问题,Haris等[85]提出一种端到端的联合训练超分辨率和检测模型的方法,该方法一定程度上提升了低分辨率目标的检测性能。但是,这种方法对于训练数据集要求较高,并且对小目标检测性能的提升不足。

    目前,一种有效的方法是通过结合生成对抗网络(Generative adversarial network, GAN)[86]来提高小目标的分辨率,缩小小目标与大/中尺度目标之间的特征差异,增强小目标的特征表达,进而提高小目标检测的性能。在Radford等[87]提出了DCGAN(Deep convolutional GAN)后,计算视觉的诸多任务开始利用生成对抗模型来解决具体任务中面临的问题。针对训练样本不足的问题,Sixt等[88]提出了RenderGAN,该网络通过对抗学习来生成更多的图像,从而达到数据增强的目的。为了增强检测模型的鲁棒性,Wang等[89]通过自动生成包含遮挡和变形特征的样本,以此提高对困难目标的检测性能。随后,Li等[90]提出了一种专门针对小目标检测的感知GAN方法,该方法通过生成器和鉴别器相互对抗的方式来学习小目标的高分辨率特征表示。在感知GAN中,生成器将小目标表征转换为与真实大目标足够相似的超分辨表征。同时,判别器与生成器对抗以识别生成的表征,并对生成器施加条件要求。该方法通过生成器和鉴别器相互对抗的方式来学习小目标的高分辨率特征表示。这项工作将小目标的表征提升为“超分辨”表征,实现了与大目标相似的特性,获得了更好的小目标检测性能。

    近年来,基于GAN对小目标进行超分辨率重建的研究有所发展,Bai等[91]提出了一种针对小目标的多任务生成对抗网络(Multi‑task generative adversarial network, MTGAN)。在MTGAN中,生成器是一个超分辨率网络,可以将小模糊图像上采样到精细图像中,并恢复详细信息以便更准确地检测。判别器是多任务网络,区分真实图像与超分辨率图像并输出类别得分和边界框回归偏移量。此外,为了使生成器恢复更多细节以便于检测,判别器中的分类和回归损失在训练期间反向传播到生成器中。MTGAN由于能够从模糊的小目标中恢复清晰的超分辨目标,因此大幅度提升了小目标的检测性能。进一步地,针对现有的用于小目标检测的超分辨率模型存在缺乏直接的监督问题,Noh等[92]提出一种新的特征级别的超分辨率方法,该方法通过空洞卷积的方式使生成的高分辨率目标特征与特征提取器生成的低分辨率特征保持相同的感受野大小,从而避免了因感受野不匹配而生成错误超分特征的问题。此外,Deng等[58]设计了一种扩展特征金字塔网络,该网络通过设计的特征纹理模块生成超高分辨率的金字塔层,从而丰富了小目标的特征信息。

    基于生成对抗模型的目标检测算法通过增强小目标的特征信息,可以显著提升检测性能。同时,利用生成对抗模型来超分小目标这一步骤无需任何特别的结构设计,能够轻易地将已有的生成对抗模型和检测模型相结合。但是,目前依旧面临两个无法避免的问题:(1)生成对抗网络难以训练,不易在生成器和鉴别器之间取得好的平衡;(2)生成器在训练过程中产生样本的多样性有限,训练到一定程度后对于性能的提升有限。

    2.5 无锚机制

    锚框机制在目标检测中扮演着重要的角色。许多先进的目标检测方法都是基于锚框机制而设计的,但是锚框这一设计对于小目标的检测极不友好。现有的锚框设计难以获得平衡小目标召回率与计算成本之间的矛盾,而且这种方式导致了小目标的正样本与大目标的正样本极度不均衡,使得模型更加关注于大目标的检测性能,从而忽视了小目标的检测。极端情况下,设计的锚框如果远远大于小目标,那么小目标将会出现无正样本的情况。小目标正样本的缺失,将使得算法只能学习到适用于较大目标的检测模型。此外,锚框的使用引入了大量的超参,比如锚框的数量、宽高比和大小等,使得网络难以训练,不易提升小目标的检测性能。近些年无锚机制的方法成为了研究热点,并在小目标检测上取得了较好效果。

    一种摆脱锚框机制的思路是将目标检测任务转换为关键点的估计,即基于关键点的目标检测方法。基于关键点的目标检测方法主要包含两个大类:基于角点的检测和基于中心的检测。基于角点的检测器通过对从卷积特征图中学习到的角点分组来预测目标边界框。DeNet[93]将目标检测定义为估计目标4个角点的概率分布,包括左上角、右上角、左下角和右下角(见图4(a))。首先利用标注数据来训练卷积神经网络,然后利用该网络来预测角点分布。之后,利用角点分布和朴素贝叶斯分类器来确定每个角点对应的候选区域是否包含目标。在DeNet之后,Wang等[94]提出了一种新的使用角点和中心点之间的连接来表示目标的方法,命名为PLN(Point linking network)。PLN首先回归与DeNet相似的4个角点和目标的中心点,同时通过全卷积网络预测关键点两两之间是否相连,然后将角点及其相连的中心点组合起来生成目标边界框。PLN对于稠密目标和具有极端宽高比率目标表现良好。但是,当角点周围没有目标像素时,PLN由于感受野的限制将很难检测到角点。继PLN之后,Law等[95]提出了一种新的基于角点的检测算法,命名为CornerNet。CornerNet将目标检测问题转换为角点检测问题,首先预测所有目标的左上和右下的角点,然后将这些角点进行两两匹配,最后利用配对的角点生成目标的边界框。CornetNet的改进版本——CornerNet‑Lite[96],从减少处理的像素数量和减少在每个像素上进行的计算数量两个角度出发进行改进,有效解决了目标检测中的两个关键用例:在不牺牲精度的情况下提高效率以及实时效率的准确性。与基于锚框的检测器相比,CornerNet系列具有更简洁的检测框架,在提高检测效率的同时获得了更高的检测精度。但是,该系列仍然会因为错误的角点匹配预测出大量不正确的目标边界框。

    为了进一步提高目标检测性能,Duan等[97]提出了一种基于中心预测的目标检测框架,称为CenterNet(见图4(b))。CenterNet首先预左上角和右下角的角点以及中心关键点,然后通过角点匹配确定边界框,最后利用预测的中心点消除角点不匹配引起的不正确的边界框。与CenterNet类似,Zhou等[98]通过对极值点和中心点进行匹配,提出了一种自下而上的目标检测网络,称为ExtremeNet。ExtremeNet首先使用一个标准的关键点估计网络来预测最上面、最下面、最左边、最右边的4个极值点和中心点,然后在5个点几何对齐的情况下对它们进行分组以生成边界框。但是ExtremeNet和CornerNet等基于关键点的检测网络都需要经过一个关键点分组阶段,这降低了算法整体的速度。针对这一问题,Zhou等[99]将目标建模为其一个单点,即边界框中心点,无需对构建点进行分组或其他后处理操作。然后在探测器使用关键点估计来查找中心点,并回归到所有其他对象属性,如大小、位置等。这一方法很好地平衡了检测的精度与速度。

    近年来,基于关键点的目标检测方法又有了新的扩展。Yang等[100]提出了一种名为代表点(RepPoints)的检测方法,提供了更细粒度的表示方式,使得目标可以被更精细地界定。同时,这种方法能够自动学习目标的空间信息和局部语义特征,一定程度上提升了小目标检测的精度(见图4(c))。更进一步地,Kong等[101]受到人眼的中央凹(视网膜中央区域,集中了绝大多数的视锥细胞,负责视力的高清成像)启发,提出了一种直接预测目标存在的可能性和边界框坐标的方法,该方法首先预测目标存在的可能性,并生成类别敏感语义图,然后为每一个可能包含目标的位置生成未知类别的边界框。由于摆脱了锚框的限制,FoveaBox对于小目标等具有任意横纵比的目标具备良好的鲁棒性和泛化能力,并在检测精度上也得到了较大提升。与FoveaBox相似,Tian等[102]使用语义分割的思想来解决目标检测问题,提出了一种基于全卷积的单级目标检测器FCOS(Fully convolutional one‑stage),避免了基于锚框机制的方法中超参过多、难以训练的问题(见图4(d))。此外,实验表明将两阶段检测器的第一阶段任务换成FCOS来实现,也能有效提升检测性能。而后,Zhu等[103]将无锚机制用于改进特征金字塔中的特征分配问题,根据目标语义信息而不是锚框来为目标选择相应特征,同时提高了小目标检测的精度与速度。Zhang等[104]则从基于锚框机制与无锚机制的本质区别出发,即训练过程中对于正负样本的定义不同,提出了一种自适应训练样本选择策略,根据对象的统计特征自动选择正反样本。针对复杂的场景下小型船舶难以检测的问题,Fu等[105]提出了一种新的检测方法——特征平衡与细化网络,采用直接学习编码边界框的一般无锚策略,消除锚框对于检测性能的负面影响,并使用基于语义信息的注意力机制平衡不同层次的多个特征,达到了最先进的性能。为了更有效地处理无锚框架下的多尺度检测,Yang等[106]提出了一种基于特殊注意力机制的特征金字塔网络,该网络能够根据不同大小目标的特征生成特征金字塔,进而更好地处理多尺度目标检测问题,显著提升了小目标的检测性能。

    2.6 其他优化策略

    在小目标检测这一领域,除了前文所总结的几个大类外,还有诸多优秀的方法。针对小目标训练样本少的问题,Kisantal等[33]提出了一种过采样策略,通过增加小目标对于损失函数的贡献,以此提升小目标检测的性能。除了增加小目标样本权重这一思路之外,另一种思路则是通过增加专用于小目标的锚框数量来提高检测性能。Zhang等[107]提出了一种密集锚框策略,通过在一个感受野中心设计多个锚框来提升小目标的召回率。与密集锚框策略相近,Zhang等[108]设计了一种基于有效感受野和等比例区间界定锚框尺度的方法,并提出一种尺度补偿锚框匹配策略来提高小人脸目标的召回率。增加锚框数量对于提升小目标检测精度十分有效,同时也额外增加了巨大的计算成本。Eggert等[109]从锚框尺度的优化这一角度入手,通过推导小目标尺寸之间的联系,为小目标选择合适的锚框尺度,在商标检测上获得了较好的检测效果。之后,Wang等[110]提出了一种基于语义特征的引导锚定策略,通过同时预测目标中心可能存在的位置及目标的的尺度和纵横比,提高了小目标检测的性能。此外,这种策略可以集成到任何基于锚框的方法中。但是,这些改进没有实质性地平衡检测精度与计算成本之间的矛盾。

    近些年来,随着计算资源的增加,越来越多的网络使用级联思想来平衡目标漏检率与误检率。级联这一思想来源已久[111],并在目标检测领域得到了广泛的应用。它采用了从粗到细的检测理念:用简单的计算过滤掉大多数简单的背景窗口,然后用复杂的窗口来处理那些更困难的窗口。随着深度学习时代的到来,Cai等[25]提出了经典网络Cascade R‑CNN,通过级联几个基于不同IoU阈值的检测网络达到不断优化预测结果的目的。之后,Li等[112]在Cascade R‑CNN的基础上进行了扩展,进一步提升了小目标检测性能。受到级联这一思想的启发,Liu等[113]提出了一种渐近定位策略,通过不断增加IoU阈值来提升行人检测的检测精度。另外,文献[114‑116]展现了级联网络在困难目标检测上的应用,也一定程度上提升了小目标的检测性能。

    另外一种思路则是分阶段检测,通过不同层级之间的配合平衡漏检与误检之间的矛盾。Chen等[117]提出一种双重探测器,其中第一尺度探测器最大限度地检测小目标,第二尺度探测器则检测第一尺度探测器无法识别的物体。进一步地,Drenkow等[118]设计了一种更加高效的目标检测方法,该方法首先在低分辨率下检查整个场景,然后使用前一阶段生成的显著性地图指导后续高分辨率下的目标检测。这种方式很好地权衡了检测精度和检测速度。此外,文献[119‑121]针对空中视野图像中的困难目标识别进行了前后景的分割,区分出重要区域与非重要区域,在提高检测性能的同时也减少了计算成本。

    优化损失函数也是一种提升小目标检测性能的有效方法。Redmon等[26]发现,在网络的训练过程中,小目标更容易受到随机误差的影响。随后,他们针对这一问题进行了改进[27],提出一种依据目标尺寸设定不同权重的损失函数,实现了小目标检测性能的提升。Lin等[122]则针对类别不均衡问题,在RetinaNet中提出了焦距损失,有效解决了训练过程中存在的前景‑背景类不平衡问题。进一步地,Zhang等[123]将级联思想与焦距损失相结合,提出了Cascade RetinaNet,进一步提高了小目标检测的精度。针对小目标容易出现的前景与背景不均衡问题,Deng等[58]则提出了一种考虑前景‑背景之间平衡的损失函数,通过全局重建损失和正样本块损失提高前景与背景的特征质量,进而提升了小目标检测的性能。

    为了权衡考虑小目标的检测精度和速度,Sun等[124]提出了一种多接受域和小目标聚焦弱监督分割网络,通过使用多个接收域块来关注目标及其相邻背景,并依据不同空间位置设置权重,以达到增强特征可辨识性的目的。此外,Yoo等[125]将多目标检测任务重新表述为边界框的密度估计问题,提出了一种混合密度目标检测器,通过问题的转换避免了真值框与预测框匹配以及启发式锚框设计等繁琐过程,也一定程度上解决了前景与背景不平衡的问题。

    本文仅做学术分享,如有侵权,请联系删文。

    下载1

    在「计算机视觉工坊」公众号后台回复:深度学习,即可下载深度学习算法、3D深度学习、深度学习框架、目标检测、GAN等相关内容近30本pdf书籍。

    下载2

    在「计算机视觉工坊」公众号后台回复:计算机视觉,即可下载计算机视觉相关17本pdf书籍,包含计算机视觉算法、Python视觉实战、Opencv3.0学习等。

    下载3

    在「计算机视觉工坊」公众号后台回复:SLAM,即可下载独家SLAM相关视频课程,包含视觉SLAM、激光SLAM精品课程。

    重磅!计算机视觉工坊-学习交流群已成立

    扫码添加小助手微信,可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群,旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

    同时也可申请加入我们的细分方向交流群,目前主要有ORB-SLAM系列源码学习、3D视觉CV&深度学习SLAM三维重建点云后处理自动驾驶、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、深度估计、学术交流、求职交流等微信群,请扫描下面微信号加群,备注:”研究方向+学校/公司+昵称“,例如:”3D视觉 + 上海交大 + 静静“。请按照格式备注,否则不予通过。添加成功后会根据研究方向邀请进去相关微信群。原创投稿也请联系。

    ▲长按加微信群或投稿

    ▲长按关注公众号

    3D视觉从入门到精通知识星球:针对3D视觉领域的视频课程(三维重建系列三维点云系列结构光系列手眼标定相机标定orb-slam3等视频课程)、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕,更有各类大厂的算法工程人员进行技术指导。与此同时,星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息,打造成集技术与就业为一体的铁杆粉丝聚集区,近2000星球成员为创造更好的AI世界共同进步,知识星球入口:

    学习3D视觉核心技术,扫描查看介绍,3天内无条件退款

     圈里有高质量教程资料、答疑解惑、助你高效解决问题

    觉得有用,麻烦给个赞和在看~  

    展开全文
  • 相信大家对人脸身份认证已经司空见惯了,比如生活中的人脸支付、身份校验、金融认证等等,但是人脸识别技术面临着多种欺诈手段,如照片、换脸、面具...如果被恶意复制,将会给个人、集体或者社会带来很大的麻烦和威胁。

    1 社会背景

            相信大家对人脸身份认证已经司空见惯了,比如生活中的人脸支付、身份校验、金融认证等等,但是人脸识别技术面临着多种欺诈手段,如照片、换脸、面具等。如果被恶意复制,将会给个人、集体或者社会带来很大的麻烦和威胁。

            而活体检测是在一些身份验证场景确定对象真实生理特征的方法,活体检测使用人脸防伪、人脸关键点、人脸跟踪等技术,可有效抵御照片、换脸、面具、遮挡以及屏幕翻拍等常见的攻击手段,从而保障用户的利益。


            活体检测常见应用场景:

    应用场景

    适用行业

    远程身份验证

    银行证券、金融保险

    智能人脸支付

    商超市场、零售行业等

    设备刷脸解锁

    电子设备、社区通行等

            市面上提供活体检测服务的厂商有很多家,下面我们将结合开发者关注的识别场景、集成便捷性、安全性等问题,对各大厂商的活体检测服务做综合评测。

    2 主流厂商

            目前国内活体检测的主流厂商有 旷视、百度、华为、阿里、OPPO、腾讯、易道博识等。日常中常用的比如百度金融的活体识别技术应用在很关键的“账号找回功能”里;旷视应用在“支付宝实名和检测”中;腾讯的“微众银行信息认证”;华为的HMS Core ML Kit用在“身份认证”中。

            据了解,百度大脑的活体识别拥有业界首创的端到端全卷积神经网络人脸检测器,可以检测到不同姿态和光照下的人脸,最小能够达到12*12像素;高精度的1:1和1:N人脸识别率,基于深度神经网络的度量学习技术,使用200万人的2亿数据,在1000块GPU集群上训练,可达到比人类更精准的识别效果。

            而旷视在2015年就推出了基于人脸识别技术的 FaceID 线上身份验证解决方案。其强大的智能金融企业解决方案已经帮助支付宝、中信银行、招商银行、北京银行、小花钱包、拍拍贷等近百家金融机构实现了金融智能化。       

            易道博识是一家专注于计算机视觉领域技术研究和商业自动化应用的人工智能公司,基于自主开发的深度学习平台,不断研发出领先的机器视觉技术,为多个行业量身定制智能解决方案,驱动行业实现跨越式智能升级,其在活体检测领域已打造出成熟的产品。

            而华为HMS Core的ML Kit也为开发者提供了活体检测技术,HMS Core是华为为其设备生态系统提供的一套应用程序和服务,开发者只需集成HMS SDK即可使用华为的多个开放能力,高效构建精品应用。其ML Kit的活体检测采用全新的一个模型多个任务技术,联合华为“昇腾”推理库对AI模型的加速效果,量化后模型仅有0.2M大小,CPU推理时延低至0.01s,端到端同时检测人脸框和人脸关键68关键点,可以做到实时检测动作,响应时延达到毫秒级别。因此,是一款对手机端APP开发很友好的AI产品。

    3 测评方案

            本文以识别场景的通用性、识别的准确率、识别响应速度、产品接入方式、部署集成效率、安全性和产品定价为测评基准,对HMS Core ML Kit 、旷视FaceID、百度大脑、易道博识活体检测产品进行测评。目前活体检测服务可支持的调用方式有,离线SDK集成、在线API调用、软件服务接入等方式。我们通过各官网提供的调用方式来进行测试和对比。

            HMS Core ML Kit官方文档:文档中心

            Demo APP下载地址:

    https://h5hosting-drcn.dbankcdn.cn/cch5/AIBussiness-MLKit/body/apk_release_body.apk

     

       旷视FaceID可直接使用FaceID上提供的功能进行测试。官方网址:https://faceid.com/document/faceid-guide-docs/product-introduction

     

            百度活体检测官方网址:活体检测_人脸识别活体检测_活体检测SDK-百度AI开放平台

            易道博识静默活体检测官方网址:静默活体检测 · GitBook

            最终测评结果会形成雷达图,测评指标如下,最高分为10分。

    横向测评打分表

    维度

    总分

    识别场景

    10

    响应速度

    10

    接入方式

    10

    集成效率

    10

    安全测试

    10

    产品定价

    10

    3.1识别场景

            笔者先从识别场景上看(通用性和广泛性),目前活体检测分为静默式活体检测和配合式活体检测,从大量搜集资料结果显示:Face ID、百度、易道博识和华为的HMS Core ML Kit都支持静默式活体检测和配合式活体检测。而差别在于几家在活体检测识别场景的动作种类有明显区分,这个点也是决定活体检测安全性的重要指标。

            FaceID支持动作包括点头、眨眼、张嘴、摇头、读数等,并可实现不同光照、年龄、妆容、配饰等复杂条件下精准识别。

     

            百度目前支持的动作有低头、抬头、眨眼,另外有炫瞳、读数等多达10 种离在线活体检测方式,有效抵御照片、视频、2D/3D模具等作弊行为。

     

            易道博识目前配合式活体检测支持5种动作:点头、眨眼、注视、张嘴、摇头,以及随机3个动作判别,结合单帧活体判别。

            而HMS Core ML Kit 的配合式活体检测支持6种动作,包括眨眼、张嘴、左摇头、右摇头、注视、点头,且支持从6种动作中随机选3个动作进行验证。同时,在各种光照环境、用户配饰、年龄、妆容等条件下能够很好的识别并引导用户完成检测。

    识别场景打分表(个人评分,仅供参考)

    产品名|服务名

    分数

    HMS Core ML Kit

    9.7

    百度大脑

    9.7

    旷视FaceID

    9.7

    易道博识

    9.5

    3.2响应速度

            根据笔者的测试情况分析,做出2张图表供大家参考。

     

            从初始化时间上来看,旷视FaceID初始化时间2s,易道博识初始化时间为1s,百度大脑响应时间在0.88s,而HMS Core ML Kit初始化时间为0.8s。HMS Core ML Kit和百度大脑的响应速度很快。

            从内存占用上来看,易道博识内存占用343MB,旷视FaceID内存占用185MB,百度的内存占用为157MB,而HMS Core ML Kit的内存占用为140MB,是几家厂商中最小的。

    响应速度打分表(个人评分,仅供参考)

    产品名|服务名

    分数

    HMS Core ML Kit

    9.6

    百度大脑

    9.5

    旷视FaceID

    9.4

    易道博识

    9.3


     

    3.3接入方式

            百度大脑活体检测服务支持在线、离线两大模式,API+SDK灵活组合,覆盖APP、H5、小程序等多种场景,与市场主流镜头模组完美兼容,可快速集成到公众号、小程序、PC端等H5页面中

     

            FaceID活体检测也支持多种接入方式,除了移动端SDK、H5组件、API接口等,还有适用于小程序的Raw提供的纯API接口,直接集成云端的活体验证能力并自行实现前端的用户交互页面部分。

     

            HMS Core ML Kit活体检测服务支持离线模式(主要是基于保护终端用户隐私数据的考虑),提供SDK接入方式,开发者仅需几行代码集成即可。

            易道博识静默活体检测通过HTTP 发送POST请求提交验证数据至公有云服务器,等待服务器识别并返回识别结果。

     

    接入方式打分表(个人评分,仅供参考)

    产品名|服务名

    分数

    HMS Core ML Kit

    9.2

    百度大脑

    9.7

    旷视FaceID

    9.6

    易道博识

    9.2

    3.4集成效率

            目前各大厂和开发团队都在强调敏捷开发,敏捷开发的实践就是集成效率的体现。从笔者自身的测试情况来看,FaceID需要提供企业法人身份证和营业执照等企业级认证才能使用。百度大脑和易道博识需要注册之后才能使用活体检测服务,并且在开发上需要一定的代码调试,尤其是其账号注册后生成的API key无法直接使用,需要在代码中集成并生成token值之后才能使用。而HMS Core ML Kit在注册华为帐号后,无需API Key集成操作,而是简单配置AGC文件,通过几行代码,即可快速接入官方提供的SDK。

     

            所以笔者认为HMS Core ML Kit和其他三家产品来对比的话,其在集成效率、部署效率会相对简单些,能提升我们的开发效率。

    集成效率打分表(个人评分,仅供参考)

    产品名|服务名

    分数

    HMS Core ML Kit

    9.6

    百度大脑

    9.5

    旷视FaceID

    9.3

    易道博识

    9.5

    3.5安全测试

            笔者主要对配合式活体进行了安全性评测,笔者选取了一些典型的攻击场景进行测试并对每家测试结果进行了对比分析。

            配合式活体检测容易受到很多干扰和攻击,比如常见的打印照片、翻拍视频等。

            关于本节配合式活体检测的方法,笔者采用3种方法进行测试。

            1. “照片翻拍”方式,进行模拟测试(包括摇头、眨眼、转动手机、带口罩等遮挡物的照片视频)。

            2. “视频翻拍”方式,进行模拟测试(包括摇头、眨眼、转动手机、带口罩等遮挡物的照片视频)。

            3.“真人不动+转动手机”方式,是指通过平移、摇摆手机来模拟人点头摇头等行为动作。

            笔者分别对各服务进行了十余次的测试,旷视FaceID人脸照片和视频攻击拦截率高,因为具有人脸核身的检测,所以攻击基本不会通过,能正确完成识别,安全性很高。

            HMS Core ML Kit测试效果也较好,顺利抵御所有攻击检测,在纸张、视频之类攻击场景下,界面会显示非活体。在闭眼和左右摇头时,HMS Core ML Kit会提示用户睁开眼,只有当用户双眼睁开,姿态正确情况下才会提示用户做作出相应的动作,更好的保证了安全性。

     

            百度大脑可进行基本动作的活体检测,能够通过动作验证。测试发现,将打印的猴子照片放在屏幕前并前后晃动纸张来模拟低头动作,即可通过验证。因此,百度对一些特殊动作的识别有待提高。

     

            易道博识也可进行基本的活体检测,不过通过一定角度还是可以攻破检测,如点头摇头。当想通过人不动+转动手机完成动作时,易道博识会提示不要晃动手机。但是晃动手机的幅度变小之后,或者垂直晃动,就能绕过检测。

     

            另外笔者测试出,在眨眼时,只眨一只眼(睁一只眼闭着一只眼)也能通过检测。所以按笔者通过目前的测试来看,检测方式还是有待提高。

    安全测试综合打分表(个人评分,仅供参考)

    产品名|服务名

    分数

    HMS Core ML Kit

    9.8

    百度大脑

    9.4

    旷视FaceID

    9.7

    易道博识

    9.5

    3.6产品定价

            各厂家产品功能性有所不同,笔者收录的价格仅供参考,不代表当前价格。

    产品

    价格

    百度大脑

    0.2元/次

    易道博识静默活体

    0.05元/次

    旷视FaceID

    0.29- 0.99元/次

    HMS Core ML Kit

    试用期免费

    (以上为数据来自各大厂商官网,统计时间为2022年5月)

    产品定价打分表(个人评分,仅供参考)

    产品名|服务名

    分数

    HMS Core ML Kit

    9.6

    百度大脑

    9.2

    旷视FaceID

    9.0

    易道博识

    9.5

    4 综合对比

            得分汇总:

    产品名

    识别场景

    响应速度

    接入方式

    集成效率

    安全测试

    产品定价

    HMS Core ML Kit

    9.7

    9.6

    9.2

    9.6

    9.8

    9.6

    百度大脑

    9.7

    9.5

    9.7

    9.5

    9.4

    9.2

    旷视FaceID

    9.7

    9.4

    9.6

    9.3

    9.7

    9.0

    易道博识

    9.5

    9.3

    9.2

    9.5

    9.5

    9.5

            根据上一段中测评分析出的结果,形成雷达图来进行综合对比。

     

            从笔者整理的雷达图来看各家产品的区别,整体来说差别不大,但在不同的应用上可能各有特色。比如百度和FaceID提供了很多的接入方式并支持非常多的识别场景,对一些有广泛性要求的开发任务来说会更合适一些。而使用静默活体时可以选择易道博识,在价格和开发集成上来看是不错的选择。但是要选择动态活体检测的话,FaceID可能在有限制性的识别条件(人脸核身)时能发挥更大的作用,此时HMS Core ML Kit的出场就当之无愧了,通过厂家给出的SDK可以快速集成到实际业务中,响应速度和集成速度无疑是独特的亮点。

            笔者作为应用开发者从综合评测来看,HMS Core ML Kit集成简单,响应快速,安全性高,非常适合广大应用开发者使用。

            当然不仅是ML Kit,整个HMS Core(华为为其设备生态系统提供的一套应用程序和服务,开发者只需集成HMS SDK即可使用华为的多个开放能力)也提供了媒体、图像等多项领域的能力,大家有兴趣可以去了解,可能会发现许多有趣的和对我们有所帮助的事物。

    展开全文
  • 【经典论文解读】YOLOv4 目标检测

    千次阅读 多人点赞 2021-08-13 13:55:32
    YOLO是一种目标检测方法,它的输入是整张图片,输出是n个物体的检测信息,可以识别出图中的物体的类别和位置。YOLOv4是在YOLOv3算法的基础上增加了很多实用的技巧,使得它的速度与精度都得到了极大的提升。 YOLOv4...

    前言

    YOLO是一种目标检测方法,它的输入是整张图片,输出是n个物体的检测信息,可以识别出图中的物体的类别和位置。YOLOv4是在YOLOv3的基础上增加了很多实用的技巧,使得速度与精度都有较大提升。v4版本设计思路如下:

    输入端:在模型训练阶段,使用了Mosaic数据增强、cmBN跨小批量标准化、SAT自对抗训练; 

    BackBone层:也称主干网络,使用CSPDarknet53网络提取特征同时使用Mish激活函数、Dropblock正则化;CSP 跨阶段部分连接

    Neck中间层:这是在BackBone与最后的Head输出层之间插入的一些层,Yolov4中添加了SPP模块、FPN+PAN结构;也支持“多尺度特征检测”,三种输出特征图分为19*19、38*38、76*76,对应检测大物体、中等物体、小物体。

    展开全文
  • 作文批改网如何粘贴英语作文

    万次阅读 多人点赞 2017-05-18 19:04:30
    批改网的英语作文不允许被粘贴的话,下面提供两种办法使用复制粘贴功能:  1。移除监听事件即可开启 在浏览器中打开,鼠标右键选择检查,或者按快捷键F12打开调试窗口 点击Console 输入一下代码:$('#...
  • 小目标检测

    千次阅读 2021-12-14 10:22:48
    小目标检测 参考论文:地址 小目标定义 相对尺度定义 从目标与图像的相对比对小目标进行定义。Chen等提出了一个针对小目标的数据集,对小目标进行定义:同一类别中,所有目标实例的相对面积,即边界框面积与图像...
  • 遥感图像目标检测研究综述

    千次阅读 2022-04-10 21:16:56
    遥感图像目标检测研究综述
  • 【MySQL】MySQL复制架构

    万次阅读 2022-02-19 11:20:17
    一主多从复制架构 在实际应用场景中,MySQL复制90%以上都是一个Master复制到一个或者多个Slave的架构模式。 在主库读取请求压力非常大的场景下,可以通过配置一主多从复制架构实现读写分离,把大量的对实时性要求...
  • 睿智的目标检测20——利用mAP计算目标检测精确度

    万次阅读 多人点赞 2020-03-06 17:12:48
    睿智的目标检测20——利用mAP计算目标检测精确度学习前言GITHUB代码下载知识储备1、IOU的概念2、TP TN FP FN的概念3、precision(精确度)和recall(召回率)4、概念举例5、单个指标的局限性什么是AP绘制mAP ...
  • EfficientDet训练自己的数据集实现抽烟检测

    千次阅读 热门讨论 2020-07-11 16:49:39
    本次用efficientdet来对抽烟检测检测出是否抽烟。那么,老规矩,先上结果图!!! 那么,接下来,还是原先一套流程。走起!!! 一、环境配置 python==3.7.4 tensorflow-gpu==1.14.0 keras==2.2.4 numpy==...
  • 在本教程中,您将学习如何使用 OpenCV 使用 EAST 文本检测检测图像中的文本。 EAST 文本检测器要求我们在我们的系统上运行 OpenCV 3.4.2 或 OpenCV 4 。 论文原文:https://arxiv.org/abs/1704.03155 代码地址...
  • 这是作者新开的一个专栏,主要...前文分享了Linux系统下针对性的APT攻击及技术要点,这篇文章将介绍钓鱼邮件网址混淆URL逃避检测,钓鱼是APT攻击中常用的手段,它究竟怎么实现混淆呢?基础性文章,希望对您有所帮助。
  • YOLOv5 目标检测

    千次阅读 2021-09-01 09:27:08
    YOLOv5官方发布的代码中,检测网络共有四个版本,依次为YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x 。其中YOLOv5s是“深度”和“特征图宽度”均最小的网络,另外三种可以认为是在其基础上,进行了加深、加宽。 看一下...
  • 论文检测软件Rost,学位论文撰写好帮手

    千次下载 热门讨论 2009-12-16 18:33:48
    自己写的东西,知道是主要是哪几篇里复制的,把它转化为文本先一下,一样的就会红色标出,然后修改一下。挺好用的,用了它,过学术不端行为检测系统肯定没问题啦!注意调整相似度在40%以下,我的硕士论文用了它之后...
  • 我们是如何改进YOLOv3进行红外小目标检测的?

    千次阅读 多人点赞 2020-09-12 00:00:00
    点击上方“3D视觉工坊”,选择“星标”干货第一时间送达【导语】本文将介绍BBuf、小武和笔者一起在过年期间完成的一个目标检测项目,将描述我们模型改进的思路、实验思路、结果汇总和经验性总结...
  • 基于YOLOv5的PCB板缺陷检测

    千次阅读 多人点赞 2021-07-16 15:57:26
    基于YOLOV5的PCB版缺陷检测 一、数据集介绍 印刷电路板(PCB)瑕疵数据集:数据下载链接,是一个公共的合成PCB数据集,由北京大学发布,其中包含1386张图像以及6种缺陷(缺失孔,鼠标咬伤,开路,短路,杂散,伪铜)...
  • 随着深度学习的发展,基于深度学习的目标检测方法因其优异的性能已经得到广泛的使用。目前经典的目标检测方法主要包括单阶段(YOLO、SSD、RetinaNet,还有基于关键点的检测方法等)和多阶段方法(Fast RCNN、Faster ...
  • 小目标检测中的数据扩展

    千次阅读 2019-06-24 17:41:09
    论文:Augmentation for small object detection Abstract 这些年来目标检测领域经历了令人...除了这些改进,在小目标检测与大目标检测领域还是有不小的差距。我们在MS COCO上分析了当前SOTA的模型Mask-RCNN。...
  • 在之前的一篇文章中,我从科学的角度讨论了起点/节拍检测。有很多不同的方案可以不同程度的做好这项工作。然而,有一种方法与其他更复杂的算法相比非常简单,性能也非常好,因此我选择使用它来实现我的目的。它被...
  • Elasticsearch 主从同步之跨集群复制

    千次阅读 2021-12-01 00:18:23
    1、什么是跨集群复制?跨集群复制(Cross-cluster replication,简称:CCR)指的是:索引数据从一个 Elasticsearch 集群复制到另一个 Elasticse...
  • 1.1 复制黏贴篡改检测方法 1.2 拼接组合篡改检测方法 2 基于卷积神经网络的篡改检测 3 未来发展趋势 面向互联网共享环境下的数字图像篡改检测研究 面向大规模图像数据集的数字图像篡改检测研究 0前言 随着...
  • 机器视觉工业缺陷检测的那些事(四) 二、算法(预处理算法、检测算法) 常用的图像处理算法: 1、图像变换:(空域和频域、几何变换、色度变换) 几何变换:图像平移、旋转、镜像、转置; 尺度变换:图像缩放...
  • 这里分享一篇文献中椭圆检测的方法(代码使用方法)。圆的物体,在实际拍摄中由于种种原因可能会变成椭圆,用圆拟合就不够准确。
  • python-OpenCV图像图形检测(四)

    千次阅读 2022-02-22 14:16:28
    python,OpenCV图像图形检测归类整理
  • 各位同学好,今天和大家分享一下目标检测算法中常用的图像数据增强方法Mosaic。先放张图看效果。将四张图片缩放后裁剪拼接在一起,并调整检测框的坐标位置,处理位于图像边缘的检测框。文末有完整代码 1. 方法...
  • 自动构建用于时间序列异常值检测的机器学习管道。 时间序列异常值检测旨在识别数据中意外或罕见的实例。作为数据分析最重要的任务之一,异常值检测在时间序列数据上有多种应用,例如欺诈检测、故障检测和网络安全...
  • Jetson Xavier NX基于YOLOv5+CSI摄像头实现目标检测
  • 在光线充足的白天,视觉图像热图像具有更多的细节,例如边缘、纹理和颜色。有了这些细节,我们可以很容易地找到隐藏在机动三轮车中的司机,而这在热图像中是很难找到的。 1.瓶颈问题: 现实世界中环境是不断...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 167,850
精华内容 67,140
关键字:

复制比怎么检测