精华内容
下载资源
问答
  • 显著性目标检测方法
    2022-08-02 11:28:32

    显著性目标检测

    定义

    • 显著性目标检测(salient object detection)(SOD),主要目标为区分图像中最明显的区域。

    应用领域

    • 目标广泛应用在计算机视觉领域,例如视觉跟踪、图像检索、非照片级别渲染、4D显著性检测、无参考的图像质量评估。

    存在的问题

    • 需要从多尺度变化的图像中获取更多有效信息。需要考虑持续准确地分割出不同尺度的突出物体信息。
    • 如何提高这种情况下预测的空间一致性。
    • 显著性目标检测中,高对比度的边缘通常会突出而不是突出物体,会导致物体的边界无法很好地进行保留。
    • 数据集稀少,昂贵。

    目标检测

    定义

    • 目标检测也叫做目标提取,是一种基于目标几何和统计特征的图像分割,将目标分割和识别合二为一,需要对多个目标进行实时处理。

    图像分割

    定义

    • 将图像分成若干个具有相似性的区域的过程,将图像划分成互不相交的区域的过程。

    应用领域

    • 场景物体分割、人体前景分割、人脸人体parsing、三维重建技术等在智能安防、无人驾驶、安防监控等应用广泛。

    显著性目标检测与图像分割、目标检测的区别:

    • 目标检测与显著性目标检测有重合也有区别,目标检测重点在于是否有目标,显著性目标检测重点在于目标是显著的,可以使用显著性目标检测来做目标检测背后的assumption(假设)。需要注意的是,目标并非是显著的,显著部分不一定都是目标。
    • 目标检测室需要找出图像中目标物体的范围,分割指的是对一张图像中的每一个像素点进行分类。图像分割一般分为两类,目标和背景,背景部分一般为黑色。显著性目标检测需要找出一张图像中人眼最关注的目标区域,一般属于一个二分类问题。显著性目标检测逐步向图像分割发展,显著性目标检测也叫做显著性目标分割。
    • 显著性目标检测虽然叫做检测,但不同于目标检测中的目标检测·,能够实现将显著性主体的像素级别分割出来。通过提取出图像中的目标区域来进行分析。
    更多相关内容
  • 针对现有的显著性目标检测算法在受到相似背景干扰时, 易出现目标检测准确度低、稳定性差的问题, 提出一种基于双目视觉的显著性目标检测方法。受人眼视觉特性启发, 将双目视觉模型感知的深度信息作为显著性特征与多...
  • 针对自顶向下显著性目标检测边界模糊及准确率低的问题,提出一种结合条件随机场( conditional random field,CRF) 和流行排序( manifold ranking,MR) 的自顶向下显著性目标检测方法。首先对图像进行超像素分割,...
  • 基于注意力机制的显著性目标检测方法.pdf
  • 人工智能-目标检测-基于卷积神经网络的图像显著性目标检测方法研究.pdf
  • 针对自顶向下显著性目标检测边界模糊及准确率低的问题,提出一种结合条件随机场(conditional random field,CRF)和流行排序(manifold ranking,MR)的自顶向下显著性目标检测方法。首先对图像进行超像素分割,以...
  • 针对显著性检测方法生成显著图存在对比度低、目标区域细节不明显、检测区域不准、背景抑制效果不足的问题,提出幂律变换和IGLC算法的显著性目标检测方法。利用幂律变换函数优化IG算法,彻底抑制显著图的背景区域。经...
  • 针对低水平特征显著性目标检测算法在检测图像时不能检测到不同大小的目标,而且精确度较低的问题。提出一种新的算法,通过将颜色分布,方向对比度以及基于频率信息这3种特征运用条件随机场进行最优全值线性融合后,...
  • 为了能正确检测显著性图中的多个显著性目标,提出了一种基于全局颜色对比的显著性目标检测算法。该算法首先提取图像的全局颜色对比度特征,然后把显著性图和全局颜色对比度作为特征输入条件随机场框架中,得到二值...
  • 显著性目标检测模型通常需要花费大量的计算成本才能对每个像素进行精确的预测,因此这使得其几乎不适用于低功耗的设备。 本文旨在通过提高网络计算效率来缓解计算花费与模型性能之间的矛盾。本文提出了一种灵活的...

    作者 | 南开大学 程明明、依图科技 颜水成

    译者 | 刘畅  责编 | Carol

    本文介绍ECCV 2020 录用论文:Highly Efficient Salient Object Detection with 100K Parameters ,代码已开源。

    显著性目标检测模型通常需要花费大量的计算成本才能对每个像素进行精确的预测,因此这使得其几乎不适用于低功耗的设备。

    本文旨在通过提高网络计算效率来缓解计算花费与模型性能之间的矛盾。本文提出了一种灵活的卷积模块,即广义的OctConv(generalized OctConv, gOctConv),以有效的利用级内和跨级的多尺度特征,同时通过一种新颖的动态权重衰减方案来减少特征的冗余。

    这种有效的动态权重衰减方案可稳定地提高训练期间参数的稀疏性,支持gOctConv中每个尺度的可学习通道数,从而可在性能下降忽略不计的情况下,减少80%的参数。利用gOctConv,本文构造了一个非常轻量的模型,即CSNet,该模型在公开的显著性检测基准数据集上,仅使用大型模型约0.2%的参数(100k),即可获得相同的性能。源代码会在文末公开。

     

    引言

     

    显著性目标检测(SOD)是一项非常重要的计算机视觉任务,它在图像检索,视觉跟踪和弱监督语义分割中有多种应用。尽管基于卷积神经网络(CNN)的SOD方法已经取得了很大的进步,但这些方法大多数都集中在通过利用精细细节和全局语义,注意力以及边缘信息来提升最新技术(SOTA)的性能。

    尽管这些模型的性能十分出色,但它们通常非常耗费资源,因此几乎不适用于存储/计算能力有限的低功耗设备。如何构建具有SOTA性能的超轻量级SOD模型是一个重要但研究较少的领域。

    SOD任务需要为每个图像像素生成准确的预测分数,因此既需要大规模的高级特征表示以正确定位显著对象,又需要精细的低级特征表示以进行精确的边界细化。建立超轻量级的SOD模型面临两个主要挑战。

    首先,当高级特征的低频特性满足显著性图的高输出分辨率时,可能会出现严重的冗余。其次,SOTA 的SOD模型通常依赖ImageNet预训练的模型来提取特征,而这些特征提取本身就是十分耗费资源的。

    最近,Chen等人也注意到了低频特征的空间冗余问题。为了替代普通的卷积,他们设计了一个OctConv运算来处理在低空间分辨率上变化较慢的特征图,从而降低了计算成本。但是,直接使用OctConv去减少SOD任务中的冗余问题仍然面临两个主要的挑战。(1)仅利用OctConv中的低和高分辨率两个维度,不足以完全减少SOD任务中的冗余问题,SOD任务比分类任务需要更强的多尺度表征能力。(2)在OctConv中,每个尺度的通道数是手动选择的,由于SOD任务需要的类别信息较少,因此需要花费大量努力为显着性模型做出重新调整。

    在本文中,作者通过在以下几个方面进行扩展,提出了一个广义上的OctConv(gOctConv),用于构建极轻量的SOD模型。(1)可以灵活地从级内和跨级特征中获取任意数量的尺度输入,可以实现更大范围的多尺度表示。(2)本文提出了一种动态权重衰减方案,以支持每种尺度下可学习的通道数,从而使得在性能几乎无下降的情况下,减少80%的参数。

    得益于gOctConv的灵活性和效率,本文提出了一个高度轻量级的模型CSNet,该模型充分研究了级内和跨级的多尺度特征。为了参数数量可以非常少,本文的CSNet可以从头开始直接进行训练,而无需ImageNet进行预训练,从而避免了不必要的特征表示。总而言之,作者在本文主要有两个贡献: 

    • 本文提出了一种灵活的卷积模块,即gOctConv,它可以有效地利用级内和跨级的多尺度特征来进行SOD任务,同时通过一种新颖的动态权重衰减方案来减少表征冗余。

    • 利用gOctConv,本文建立了一个非常轻量级的SOD模型CSNet,该模型在公开的SOD基准上,相较于SOTA的大型模型,可以在仅使用约0.2%的参数下(100k),取得相似的性能。

    方法

    1.方法概述

    OctConv最初的设计仅是为替代传统卷积单元,它在一个阶段内引入高/低两个尺度进行卷积操作。但是,一个阶段只有两个尺度是不能引入SOD任务所需的足够的多尺度信息。因此,作者提出了一种广义的OctConv(gOctConv),如图2所示。作为原始OctConv的通用版本,gOctConv主要从以下几个方面进行了改进:

    • 任意数量的输入和输出尺度可以支持更大范围的多尺度表示。

    • 除了级内的特征外,gOctConv还可以从特征提取器以任意比例处理跨级的特征。

    • gOctConv通过本文提出的动态权重衰减方案可以学习每个尺度的通道数。

    • 可以关闭跨尺度的特征交互,提升灵活性。在下面的轻量模型设计中,本文将详细介绍gOctConv的不同实例。

     

    2.轻量级模型设计

    如下图所示,本文提出的轻量级网络是由特征提取器和跨阶段的融合部分组成,可同时处理多个尺度的特征。特征提取器与本文提出的层内多尺度块(即ILBlocks)堆叠在一起,并根据特征图的分辨率分为4个阶段,每个阶段分别具有3、4、6和4个ILBlock。由gOctConvs组成的跨阶段融合部分会处理来自特征提取器各阶段的特征以获得高分辨率的输出。 

    其中gOctConv用于在ILBlock中引入多尺度。gOctConv通过消除跨尺度的运算,使每个输入通道对应于具有相同分辨率的输出通道。每个尺度内的depthwise操作可进一步节省计算成本。ILBlock由一个原始OctConv和两个3×3 gOctConv组成,如上图所示。原始OctConv会与两个尺度进行交互,而每个尺度由gOctConvs提取特征。块中的多尺度特征将分别进行处理和交互。每个卷积后面紧跟着BatchNorm和PRelu。

    为了保持高的输出分辨率,常规方法会在特征提取器的高层语义上进行操作,这不可避免地增加了计算冗余。相反,本文仅使用gOctConvs融合来自特征提取器各阶段的多尺度特征,并生成高分辨率输出。作为效率和性能之间的折衷,仅使用了后三个stage的特征。gOctConv 1×1将每个阶段最后一次转换的特征作为输入,并进行跨阶段卷积以输出具有不同比例的特征。为了在粒度级别上提取多尺度特征,特征的每个尺度都由一组具有不同扩展率的并行卷积处理。

    3.动态权重衰减

    作者建议在训练过程中利用本文提出的动态权重衰减方法,为gOctConv中的每个尺度获取可学习的通道数。动态权重衰减可在引入稀疏性的同时保持通道之间的权重分布稳定,从而有助于修剪算法消除冗余通道。具体的算法过程如下 

    实验

    1.基本设置

    本文方法是基于PyTorch框架。对于轻量级模型,本文使用Adam优化器,批处理大小为24,从头开始训练300个epoch。在没有ImageNet预训练的情况下,CSNet仍可以达到与基于预训练主干的大模型相当的性能。最初将学习率设置为1e-4,然后在200个epoch和250个epoch时衰减10倍。本文仅使用了随机翻转和裁剪的数据增强。gOctConvs之后的BatchNorms权重衰减,作者建议使用动态的权重衰减替代,默认权重为3,而其他权重的权重衰减默认设置为5e-3。

    训练数据集是DUST-TR,并在几个常见的测试集上进行评价,包括ECSSD,PASCAL-S,DUT-O,HKU-IS,SOD和DUTS-TE。

    2.实验结果

    图5显示了使用本文提出的轻量级CSNet进行显著性检测的可视化结果。

    3.固定通道数 VS 可学习的通道数

    特征提取器仅由ILBlocks组成。使用固定的参数,并仅调整ILBlocks的gOctConvs中高分辨率/低分辨率特征的通道数分配比例。如表格1所示,就F-measure而言,CSNet-5 / 5的F值比特征提取器3/1高出1.4%。即使在极端情况下,仅具有低分辨率功能的CSNet-0 / 1的性能也比具有所有高分辨率功能的提取器1/0多44%的FLOPs。但是,手动调整具有不同分辨率的特征通道数的分割比例可能在性能和计算成本之间仅能达到次优。

    如表格2所示。ResNet + CSF仅使用53%的参数和21%的FLOP达到与ResNet + PoolNet相似的性能。gOctConvs可以在主干的不同阶段获得高分辨率和低分辨率的特征,从而获得高分辨率输出,同时节省了大量计算资源。

     

    4.运行时间

    CSNet的设计初衷是轻量级且可以高效地执行SOD任务。因此本文在i7-8700K CPU的单核上使用224×224的图像测试了运行时间。与大模型相比,本文提出的CSNet具有超过x10的加速。

    与为其他任务设计的模型相比,CSNet以相似的速度实现了F-measure最高6%的增长。但是,由于当前的深度学习框架尚未针对原始的OctConvs和本文的gOctConvs进行优化,因此FLOPs与运行时间之间仍然不具有很强的关系。

     

    总结

    在本文中,作者提出了一种具有更大灵活性的广义OctConv,可以有效利用级内和跨级的多尺度特征,同时通过一种新颖的动态权重衰减方案来减少冗余。动态权重衰减方案可在通道之间保持稳定的权重分布,并在训练过程中稳定提高参数的稀疏性。

    动态权重衰减支持学习gOctConvs中每个尺度的通道数,从而减少了近80%的参数,而性能下降却忽略不计。本文建立了一个非常轻量级的模型CSNet,该模型在公开的显著性物体检测基准上,相较于大模型,可在仅使用约0.2%参数(100K)的情况下,保持相似的性能。 

    论文:https://arxiv.org/abs/2003.05643

    (点击左下角阅读原文直达论文原文)

    代码:https://github.com/MCG-NKU/Sal100K (尚未)

    备注:检测

    目标检测交流群

    交流学习2D、3D目标检测、显著目标检测等最新资讯,若已为CV君其他账号好友请直接私信。

    我爱计算机视觉

    微信号:aicvml

    QQ群:805388940

    微博知乎:@我爱计算机视觉

    投稿:amos@52cv.net

    网站:www.52cv.net

    在看,让更多人看到  

    展开全文
  • 视觉显著性检测是很多计算机视觉任务的重要步骤,在图像分割、自适应压缩和识别物体方面都有很重要的应用。提出了一种基于HSV颜色、纹理特征和空间位置关系相结合的显著性检测算法。该方法先将图像分割成小的图像片...
  • 在采用图像谱残差分析方法... 对两种分析方法下获得的显著图进行融合分析, 获得最终的图像显著部分, 并利用视觉转移机制在原图中勾画出显著性目标. 实验结果分析表明, 改进后的方法提高了图像显著目标检测的准确率.</p>
  • 基于深度诱导多尺度循环注意力网络的显著性检测 图1 复杂场景中几种最先进的基于CNNs的方法的显著图 1、论文主要研究内容 本文主要研究如何在具有挑战的场景下有效的利用RGB-D数据增强模型的鲁棒性。 第一、本文...

    DMRANet 总结

    Depth-induced Multi-scale Recurrent Attention Network for Saliency Detection ICCV 2019

    基于深度诱导多尺度循环注意力网络的显著性检测
    在这里插入图片描述
    图1 复杂场景中几种最先进的基于CNNs的方法的显著图

    1、论文主要研究内容

    本文主要研究如何在具有挑战的场景下有效的利用RGB-D数据增强模型的鲁棒性。
    第一、本文借鉴残差连接的优势设计了一个简单而有效的深度提取块(DRB)去充分提取和融合多层的RGB图像和深度图像的特征。
    第二、考虑到
    图像由多个不同大小、尺度的物体组成
    ,并在多个布局中跨越不同的空间位置,本文创新性的设计了一个深度诱导的多尺度加权模块(DMSW)
    第三、启发于人脑的内部推导机制,本文设计了一个全新的循环注意力模块(RAM),这个模块可以通过使用面向记忆的场景理解功能,逐渐的优化局部细节,最终形成一个最优的检测结果。

    2、DMRANet 网络结构

    在这里插入图片描述

    此框架中:
    1、使用一个双流结构分别提取RGB图像的特征和深度图像的特征。
    2、保留了VGG-19的5个卷积块,最后的池化层和全连接层被丢弃。
    3、两个流的唯一区别就是,深度流被进一步处理以学习深度向量。

    2.1 模型原理

    DMRANet网络采用2路模式去分别提取RGB图像的特征以及深度图像的特征,这两路有相同的结构,但是拥有不同的参数。分别是RGB图像流和深度图像流。
    此网络中使用的是VGG-19作为网络的主干结构,为了更好的适应本文任务的需要,VGG-19的5个卷积层被保留,最后的池化层和全连接层被舍弃。此两路结构设计上的唯一不同点是,深度图像流后面加上了一个池化操作、一个卷积操作以及一个Softmax激活函数去学习一个深度向量。
    在此两路结构下,本模型设计了一个简单并且高效的深度提取模块去提取和融合多层的成对出现的RGB图像和Depth图像特征。

    注意:
    很多实验表明,从底层到高层的特征均包含了丰富的显著性检测线索,可以用来准确的识别和定位显著性物体。
    ①底层的特征,也就是VGG-19 网络前几层提取出来的特征,会包含更多的图像细节信息,这对于精确的识别显著性物体很重要。
    ②高层的特征,同时包含了更多的全局信息,能够帮助快速准确的定位显著性物体的区域。
    针对每一层中深度图像和RGB图像的融合,之前的研究多采用直接级联或者简单相加的方式去融合特征,本文认为这种融合方式是不充分的,因为它们没有考虑到RGB图像和深度图像提供信息之间的差异。
    本文设计的深度提取模块 DRB 中,引入了残差学习的思想,更充分的融合了深度信息以及RGB图像信息。融合之后的特征被输入到深度诱导的多尺度加权模块中,在这个模块中,通过使用多个并行的卷积层和池化层,能够提取出多个不同上下文的多尺度的特征,之前学习得到的深度向量被用于给这几个多尺度特征加权,然后加权后的多尺度特征被按元素相加求和,得到一个和输入特征相同大小的特征图。
    这个步骤也可以看作是RGB信息和深度信息的进一步的融合。
    到目前为止,融合后的特征已经可以直接用来去做预测,但是,如果直接将该特征去预测显著性图,融合特征的内部语义相关性就会被忽略掉。本文根据人脑的内部推导机制,设计了一个全新的循环注意力模块(Recurrent Attention Modulc,RAM)。在这里,注意力机制和 ConvLSTM被巧妙的结合在一起,极大的提高了本文模型的效果。最后预测得到的显著性图被真值监督,通过反向传播去更新网络的参数。此外,本文的网络是一个端到端的模型。

    2.2 深度提取块(DRB模块)

    在这里插入图片描述
    考虑到多层成对深度和RGB线索之间的互补性,利用残差连接来充分提取和融合多层成对互补信息。(此DRB可以充分的提取和融合多层成对的互补性信息

    DRB模块原理:fiRGB 和fidepth 分别代表在第 i 层RGB图像流和深度图像流的侧边输出。本文将fidepth输入到了一系列的加权层。这个加权层包含了两个卷积层和两个PReLU激活函数去学习一个深度残差向量。

    这个残差结果可以近似为从深度图像流中提取出互补信息,接下来,通过残差连接的方式,深度残差被加到RGB 图像特征上去学习一个融合的特征。通过这种方法,第 i 层的深度特征和RGB 图像特征被充分的提取和融合。

    下一步,为了更好的融合多层的特征,本文采取了一些调整特征大小和特征维度的操作,同时,在这里,本文仍然借鉴了残差学习的优势,在其中加入了一个常用的残差模块。如图所示,本文先调整(reshape)每层融合特征的大小(使用双线性插值的方法去增大特征图的大小,使用最大池化的方法减小特征图的大小),本文将所有层的特征图都调整到相同的分辨率大小。接下来,一个常规的残差模块被使用,去放缩特征的值,为了更好的适应多层特征的相加。一个1×1卷积操作被用来更改特征图的维度。最后从DRB模块中输出的特征为fi,fi是四分之一输入图像的大小,并且拥有相同的维度。

    2.3 深度诱导的多尺度加权模块(DMSW模块)

    在这里插入图片描述
    考虑到一个图像中的物体拥有不同的尺度,不同的大小,以及位于不同深度位置,本文设计了一个深度诱导的多尺度加权模块(DMSW),在这个模块中,深度线索被进一步和多尺度的特征结合在一起,去准确定位显著性区域。

    DMSW模块原理:带有丰富空间位置信息的深度线索被进一步处理,去学习一个深度向量depth vector ,去指导多尺度特征的权重分配。具体来说,为了捕获到多尺度的上下文特征,本文在输入特征Fuse上加了一个全局卷积操作以及若干个并行的卷积操作,这些卷积操作拥有不同大小的卷积核,不同的膨胀率。通过这种方法,6个多尺度的上下文特征Fm(m = 1,2, …)被生成。这6个特征拥有相同的分辨率,但是捕获到了不同尺度的上下文信息,这些信息对于最终决定显著性物体具有不同的重要性,本文认为,深度线索能够对这种多尺度特征捕获到的不同尺度的目标分配权重,判断他们在最终结果的重要性。和普通的卷积操作相比,空洞(膨胀)卷积操作能够增大感受野的同时,不损失分辨率的信息,也不会增加计算的负担。

    同时,为了获得对应的深度向量,一个全局平均池化操作和一个卷积层被加在深度图像流的最后一个卷积块的输出特征Fconv5_4上。然后本文使用了一个softmax激活函数去得到深度向量Vdepth,它可以被看作一个放缩向量,去加权每一个多尺度的上下文特征Fm,最后,所有的多尺度上下文特征会根据深度向量进行加权,然后加权后的多尺度上下文特征按特征级别进行相加,得出融合后的特征F∑ 。

    2.4 循环注意力模块(RAM模块)

    在这里插入图片描述
    RAM模块原理:受到人类视觉系统内部推导机制的启发。本文认为,充分挖掘融合特征内部的语义相关性也是非常重要的。本文通过使用一个全新的循环注意力模块去提升模型的性能。这个模型考虑到人脑内部推导机制IGM的核心所在,能够全方位的理解一个场景并且充分的学习融合特征的内部语义关联。详细来说,为了准确的捕获显著性物体,人脑IGM需要循环的根据之前的记忆去推导和预测显著性结果,在这个过程中,不确定和不重要的信息也会被忽略。

    对于人脑内部推导机制的启发,本文设计了一个全新的循环注意力模块RAM,巧妙的结合了注意力机制和ConvLSTM。通过这种方式,当推断当前的结果时,本文的RAM可以获取之前的记忆去辅助当前的决策。能够循环的学习不同语义之间的时间空间依赖性,并且通过面向记忆的场景理解逐渐的优化检测结果的细节信息。

    2.4.1 注意力子模块
    在这里插入图片描述
    注意力子模块原理:在注意力模块中,ht 代表的是循环注意力模块对上一次场景理解的记忆,F∑ 代表的是输入的特征。下角标 t 代表的是ConvLSTM中的时间步骤。ht 和 F∑ 被同时输入到卷积层中,然后分别得到一个卷积之后的特征图,之后这两个特征图被按元素级别进行相加。接下来,一个全局平均池化层和一个softmax激活函数被使用,去生成一个通道级别的注意力图。这里的注意力图是一个向量,用来给输入特征的每一个通道分配权重。

    注意:之前的研究表明,使用不同的卷积核得到的特征,在语义表征上有很大的差异,所以简单的将每一个通道分配相同的权重,同等对待是不充分的,有必要采取一定的措施去学习它们之间的内部语义关系。接下来通过将注意力图和F∑ 按元素级别相乘,在这次加权中,一个更具有代表性的,包含更多特征的特征图F ̃∑,t生成了。

    2.4.2 RAM子模块
    在这里插入图片描述
    RAM子模块原理
    F ̃∑,t被进一步输入到ConvLSTM中,去学习不同语义特征之间的空间相关性。

    2.4.3 普通的空间级别的注意力机制
    此外,本文使用了一个普通的空间级别的注意力机制,它被用来强调每一个像素点对最后显著性区域判断的重要程度。对于前一步提取的通道特征Fc,本文使用了一个卷积操作和一个Softmax激活函数去计算得到一个空间级别的注意力图。它可以被用来判断一个特征图的每一个像素点是否应该被强调或被降低重要性。

    接下来,通道级别的注意力图Atts(Fc)和输入特征Fc被按元素级别进行相乘,得到一个空间加权的特征。最后,本文通过一个2通道的1x1卷积操作生成显著性图,然后本文将Fcs进行四次上采样得到最终的显著性图。

    3、实验结果分析

    实验结果:可视化展示
    在这里插入图片描述
    本图显示了一个12行12列的不同方法下的显著性检测结果。
    从图中可以看出,本文的结果更加符合GT。
    ①在复杂的场景中,杂乱的背景。(第5行和第6行)
    ②在低对比度、透明物体以及多个小物体等更具有挑战性的场景中,能够比其他场景更准确地定位和检测具有尖锐细节的整个明显物体。(第9行-第12行)

    4、结论

    显著性物体检测的目的是识别一个场景中最吸引人的区域,这个基础的工作在很多计算机视觉中发挥了至关重要的作用,比如视觉追踪,图像分割,物体识别,等等。
    本文提出了一个新颖的深度诱导的多尺度循环注意力网络,该网络从三个方面显著提高了显著性检测模型的能力:
    (1) 通过使用一个简单而有效的深度提取块(DRB)去充分的提取和融合多层的RGB图像和深度图像互补信息;
    (2) 创新性的将深度信息与多尺度上下文特征结合到一起,去帮助准确定位显著性区域
    (3) 受到人脑的内部推导机制的启发,本文提出了一个新颖的循环注意力模块,该模块能够循环使用之前的场景理解的记忆,渐进式的优化模型检测的细节和移除背景躁点;

    此外,本文还建立了一个具有1200图片的大规模RGB-D显著性数据集。包含了更多具有挑战性的场景。本文全面地验证了DMRA网络的每个组成部分的有效性,并显示了实验精度逐渐增加。实验结果也证明了本文的方法在7个RGB-D数据集上取得了最新的性能。

    综上所述:这篇2019年在ICCV上发表的显著性检测论文:Depth-induced Multi-scale Recurrent Attention Network for Saliency Detection 是一篇很值得研究的论文,其网络结构具有很强的推广性,希望此总结能够帮助大家更好的理解这篇文章!

    展开全文
  • 提出一种基于深度条件随机场网络的图像显著性目标检测方法,改善基于深度学习的图像显著性目标检测方法产生的显著性图边缘模糊的情况,并提高显著性检测的精度。 提出一种基于最小二乘条件随机场模型的视频显著性...
  • 一、目标检测的分类和其他相关计算机视觉任务 参考: 目标检测总结笔记(Q&Cui) 1.目标检测根据检测的类别个数不同和输入不同可以细分为: ...3)显著目标检测 显著目标:最吸引人注意力的区域/物体 前景/

    一、目标检测的分类和其他相关计算机视觉任务
    参考:
    目标检测总结笔记(Q&Cui)
    1.目标检测根据检测的类别个数不同和输入不同可以细分为:
    (1)单类目标跟踪,多类/同用目标检测
    (2)静态图像目标检测,视频目标检测
    2.相关的其他计算机视觉任务
    1)物体定位(Localization)

    • 给出输入图像的类别标签,并框出一个对应的物体
    • 物体定位可以看成单个物体的检测任务
      在这里插入图片描述
      2)实例分割
      在输入图像上精确地标记出每一个物体的所有像素点
      在这里插入图片描述
      3)显著目标检测
    • 显著目标:最吸引人注意力的区域/物体
    • 前景/背景分割
      在这里插入图片描述
      二、显著性目标检测
      参考:什么是自底向上/自上而下的显著性目标检测?https://blog.csdn.net/Leeeoplod/article/details/104130563
      显著性目标检测可以分为自上而下的显著性目标检测自下而上的目标检测,又叫自上而下的注意机制和自底向上的注意机制。
      1.自底向上的注意机制
      这种检测方法由数据驱动,它可以理解为:仅受数据驱动,由此将视觉点指引到场景中的显著区域。比如在一群黑羊中有一只白羊,自底向上的注意机制的任务便是把这只白羊找出来。也就是说,通常与周围有较强对比度或与周围有明显不同的区域吸引自底向上注意机制的注意,如图。
      在这里插入图片描述
      2.自上而下的注意机制
      这种注意机制由任务驱动,即由人的意识来指导。也就是说,它是在人的意识控制下对图像进行注意。比如在监视器视图中(如下图),虽然高大的建筑更加与众不同、显眼,但是我们想要注意的是人,所以算法的目的不是找最显眼的目标,而是专注于实现“找人”这一任务。这种注意机制就是自上而下的注意机制。
      在这里插入图片描述
      需要注意的是:计算机视觉领域主要做的是从下而上的视觉显著性,而从上而下的视觉显著性由于对人的大脑结构作用不够了解,无法深刻的揭示作用原理,在计算机视觉领域的研究也相应很少。
    展开全文
  • 本文主要对SOD领域内的主要模型方法、数据集、评估方法和数据集做了一定的总结报告,部分内容源自于相关论文和网站博客内容。
  • 人工智能-目标检测-图像显著性目标检测算法研究.pdf
  • 显著性检测近年来引起了广泛的研究兴趣。这种日益流行的原因在于在各种视觉任务(如图像分割、目标检测、视频摘要和压缩等)中有效地使用了这些模型。显著性模型大致可分为两类:人眼...
  • 人工智能-目标检测-图像显著性目标检测理论及其应用.pdf
  • 显著性目标检测(综述)

    万次阅读 2020-07-08 14:07:34
    ),快速有效地提取场景中有用的区域(目标区域等)进行进一步分析(显著性目标检测),如object proposal generation, generic scene segmentation, saliency for fixation prediction. 2.显著性检测的过程:..
  • 论文仅供学习参考使用。...提出使用目标性作为先验信息得到前景显著图,并且利用乘法运算将其与基于背景先验信息计算的显著图相融合,然后进行空间优化得到单尺度下的显著图,最终显著图为多尺度显著图的加权融合.
  • 针对热辐射特征与图像特点,提出了基于梯度域的视觉显著性目标检测方法,并给出了算法运行的流程;最后,从背景抑制后的目标对比度、运行时间、检测效果等方面,对提出的方法与常用的小目标检测算法进行了对比实验,显示了...
  • 为满足自然场景下显著性检测精度的要求, 提出了一种显著性检测优化方法。该方法采用简单线性迭代聚类分割算法将图像分割为多个超像素区域, 并提取颜色区域对比度特征。通过Harris角点检测算法定位目标的大致几何中心...
  • 基于图的流形排序的多层级融合显著性目标检测,李翠萍,陈振学,针对基于图的流形排序的显著性目标检测方法在突出显著性物体和抑制背景方面的不足,提出一种基于图的流形排序的多层级融合显著性
  • 显著性目标检测是机器视觉领域的研究热点,具有广泛的应用前景。针对现有显著性目标检测算法存在的显著区域检测不均匀、边缘表示模糊等问题,提出一种双注意力循环卷积显著性目标检测算法。在U-Net全卷积骨干网络中...
  • 为了准确地进行显著性目标检测,提出了一种基于散度—形状引导和优化函数的显著性检测有效框架。通过考虑颜色、空间位置和边缘信息,提出了一种有辨别力的相似性度量;再利用散度先验剔除图像边界中的前景噪声获得...
  • 显著性目标检测数据集-附件资源
  • 显著性目标检测数据集

    千次阅读 多人点赞 2019-07-27 10:21:46
    更新了九个常用的显著性目标检测数据集:SOD、DUT-OMRON、MSRA-B、SOC、SED2、HKU-IS、PASCAL-S、DUTS、THUR-15K,自取。
  • 这是一种图像视觉显著性提取方法,对应文献S. Goferman, L. Zelnik-Manor, and A. Tal, “Context-aware saliency detection,” in IEEE CVPR, 2010, pp. 2376–2383.该文献中的模型同时考虑了图像的局部特征和全局...
  • 人工智能-目标检测-结合显著性目标检测与图像分割的服饰提取算法研究及实现.pdf

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 58,300
精华内容 23,320
关键字:

显著性目标检测方法