精华内容
下载资源
问答
  • 显著性目标检测综述
    千次阅读
    2021-02-03 18:42:11

    论文:RGB-D Salient Object Detection: A Survey
    论文下载RGB-D Salient Object Detection: A Survey
    代码https://github.com/taozh2017/RGBD-SODsurvey

    论文一共24页,共计193篇参考文献。
    作者单位:IIAI&南开大学(程明明)

    摘要

    本文从各个角度对基于RGB-D的SOD模型算法、基准项目进行了全面调研和评估,并详细调查了相关的数据集。显著性目标检测(SOD)可模拟人类视觉感知系统以定位场景中最吸引人的物体,已广泛应用于各种计算机视觉任务。现在,随着深度传感器的出现,可以轻松地捕获具有丰富的空间信息的深度图,这些空间信息可以有益于提高SOD的性能。尽管在过去的几年中已经提出了各种基于RGB-D的具有良好性能的SOD模型,但是仍然缺乏对这些模型的深入理解和本主题中的挑战。在本文中,我们从各个角度对基于RGB-D的SOD模型进行了全面的调查,并详细调研了相关的基准数据集。此外,考虑到光场还可以提供深度图,因此我们还回顾了该领域的SOD模型和流行的基准数据集。此外,为了研究现有模型的SOD能力,我们对几种代表性的基于RGB-D的SOD模型进行了综合评估以及基于属性的评估。最后,我们讨论了基于RGB-D的SOD的一些挑战和开放方向,以供将来研究。

    模型统计

    首先是对各种RGBD模型有一定的了解,知道哪些模型比较新,一般较新的模型表现较好,刷得分越高,比如BBS-Net。我刷了好久,还是没有质的突破。
    下面是具体的模型来龙去脉以及开源的code都在下图中
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    数据集统计

    这里是数据集的直观感受,调整模型的时候,我会有一定参考。模型在某个数据集上表现不佳,可能是这个数据集与众不同,那就得找到他的独特之处,然后在针对于这个不同点对模型进行改进,网络进行相关设计。这里给出了可视化图和具体的数据作为参考。
    在这里插入图片描述
    在这里插入图片描述

    模型结构统计

    近几年的SOD的模型基本也是这样的,后面延伸到了RGBD-SOD,所以这部分对我们模型的整体设计是有一定参考的,先放在这里,设计模型结构的时候看一下。
    在这里插入图片描述

    更多相关内容
  • 基于深度学习的显著性目标检测综述.pdf
  • 显著性目标检测综述

    万次阅读 2020-07-08 14:07:34
    ),快速有效地提取场景中有用的区域(目标区域等)进行进一步分析(显著性目标检测),如object proposal generation, generic scene segmentation, saliency for fixation prediction. 2.显著性检测的过程:..

    《Salient Object Detection: A Survey》

    url:https://arxiv.org/abs/1411.5878

    笔记思路:

    1.显著性检测的用途:根据显著性特征(空间域、频域等

    ),快速有效地提取场景中有用的区域(目标区域等)进行进一步分析(显著性目标检测),如object proposal generation, generic scene segmentation, saliency for fixation prediction.

    2.显著性检测的过程:1)检测明显物体;2)分割该物体准确区域。

    3.显著性检测的评价指标:1)良好的检测:丢失真实的显着区域并错误地将背景标记为显着区域的可能性要小;2)高分辨率:显着图应具有高分辨率或全分辨率,以准确地定位显着对象并保留原始图像信息;3)计算效率:作为其他复杂过程的前端,这些模型应快速检测出显着区域

    回归本文目的:显着物体检测模型通常旨在仅检测场景中最显着的物体,并分割这些物体,另一方面,是对人类注意点的预测。这两种方法,共同的地方是输出一个显著图,图中数值越高,受关注程度越高。

    趋势:基于手工特征-》CNN提取特征


    第一波显著性模型:

    基于中心周围机制的自下而上注意的心理学理论

    L. Itti, C. Koch, and E. Niebur, “A model of saliency-based visual attention for rapid scene analysis,” IEEE TPAMI, no. 11, pp. 1254–1259, 1998.

    第二波:

    显著性检测问题定义为二值分割问题。

    T. Liu, J. Sun, N. Zheng, X. Tang, and H.-Y. Shum, “Learning to detect a salient object,” in CVPR, 2007, pp. 1–8.
    
    T. Liu, Z. Yuan, J. Sun, J. Wang, N. Zheng, X. Tang, and H.-Y. Shum, “Learning to detect a salient object,” IEEE TPAMI,vol. 33, no. 2, pp. 353–367, 2011.
    
    R. Achanta, F. Estrada, P. Wils, and S. S ¨ usstrunk, “Salient region detection and segmentation,” in Comp. Vis. Sys., 2008.

    第三波:

    基于卷积神经网络

    J. Long, E. Shelhamer, and T. Darrell, “Fully convolutionalnetworks for semantic segmentation,” in CVPR, 2015, pp.3431–3440.

    1.显著性目标检测模型

    1) block-based models with intrinsic cues,

    逐像素中心环绕对比度

    缺点:高对比度的边缘通常会突出而不是突出物体、突出物体的边界无法很好地保留

    2) region-based models with intrinsic cues

    加入先验条件,颜色先验区域、中心先验等,多种先验条件融合,使其能适应更复杂的环境

    低秩为背景,可用PCA提取分量占比大的认为是背景。

    利用区域对比突出显著性

    3)models with extrinsic cues (both block- and region-based).

    外在提示可以从训练图像,相似图像,视频序列,一组包含公共显着物体的输入图像,深度图或光场图像的标注信息中得出。

    相似的图像可以很好地逼近背景区域,而显着区域可能无法很好地近似。

    4)Other Classic Models

    用边框信息来定位或分割显著目标。

    显著目标转化为是否存在显著目标的二值分类问题。

    s =wTf

    有监督式vs无监督式

    5)深度学习模型

    CNN-based -MLPs with two layers

    FCN-based 全卷积网络考虑像素级别的操作来克服由全连接层所引起的问题,例如在显着对象边界附近的模糊性和不准确的预测。

    FCN-based 利用深层信息和浅层信息(语义信息和细节信息)

    倾向于FCN-based模型

    应用

    对象检测和识别[181]-[187],图像和视频压缩[188],[189],视频摘要[190]-[192],照片拼贴/媒体重新定位/裁剪/缩略图钉钉[ 175],[193],[194],图像质量评估[195]-[197],图像分割[198]-[201],基于内容的图像检索和图像收集浏览[178],[202]-[ 204],图像编辑和操作[41],[176],[179],[180],视觉跟踪[205]-[211],对象发现[212],[213]和人机交互[214] ],[215]。

    3.数据集

    3.1with bounding boxes annotation

    MSRA-A and MSRA-B

    3.2with pixel-wise binary masks

    ASD [37] and DUT-OMRON [97]

    4.评价指标

    显著图的二值化:有以下2种:

    1.

    2.GrabCut-like algorith

    5种常用指标

    1)Precision-recall (PR).

    2)F-measure

    3) Receiver operating characteristics (ROC) curve

    4)Arear under ROC curve (AUC).

    5)Mean absolute error (MAE).

    5.讨论

    5.1 启发式vs数据驱动式

    5.2 人工特征vsCNN特征

    5.3 CNN-based 模型:监督性模型、encoder-decoder模型

    6.未来方向

    1.  Beyond Working with Single Images. 在多图像中应用
    2. Instance-Level Salient Object Detection. 示例水平的显著性目标检测
    3. Versatile Network Architectures.多功能网络架构
    4. 开放性问题:一个场景中需要展示多少显著性目标、平滑的显著图是否会影响分数和模型排名、显着物体检测与其他领域有何不同、解决模型评估中的中心偏差的最佳方法是什么、模型表现和人类之间的还有多少差距。。。
    5. 开放性问题:一个场景中需要展示多少显著性目标?显著图的平滑是否影响分数和分级?。。。

    (Some remaining questions include:

    1.how many (salient) objects are necessary to represent a scene?

    2.does map smoothing affect the scores and model ranking?

    3.how is salient object detection different from other fields?

    4. what is the best way to tackle the center bias in model evaluation?

    5. what is the remaining gap between models and humans?)

    Don’t ask what segments can do for you, ask what you can do for the segments.

    — Jitendra Malik.

    展开全文
  • 在基于视频的显著性目标检测方面,最终的模型训练和测试效果主要由两个因素所决定:(1)数据集内容丰富度和标注细化度;(2)使用网络模型的主要结构,一般我们将其划分成两部分,第一个部分用来对静态图像的特征...

    本文主要对SOD领域内的主要模型方法、数据集、评估方法和数据集做了一定的总结报告,部分内容源自于相关论文和网站博客内容。



    一、介绍

    显著性检测通常分为眼动点检测和显著目标检测。显著目标检测(SOD)的目的是突出图像中的显著目标区域。而显著性检测的另一个任务凝视点检测(fixation prediction)则起源于认知和心理学研究,与眼动点检测不同的是,显著目标检测更多的受不同领域的应用驱动:比如,在CV研究中,SOD可以应用于图像理解,图像描述,目标检测,无监督的视频目标分割,语义分割,行人重识别;在计算机图形学中,SOD可以应用于非真实性渲染,图像自动裁剪,图像重定位,视频摘要;在机器人领域中,可用于人机交互和目标发现等。在我们的工程项目中,360VR领域内可以针对用户所关注的兴趣区域,对该区域进行着重渲染,不仅可以降低带宽消耗,还可以在有限的带宽限制下提升用户体验。

    二、深度显著目标检测模型

    (1)基于多层感知机(MLP)的模型

    • MACL:传统SOD方法对于背景对比度低并且容易造成视觉混淆的图像不能产生好的显著性划分。针对此问题,该网络模型使用两个路径从两个超像素不同的窗口中提取局部和全局上下文,随后在同一的混合文本深度学习框架中联合建模。img

    • ELD:使用VGG-net提取高级特征,低级特征与图像的其他部分进行比较生成低级距离图,然后使用具有多个1x1卷积和ReLU层的卷积神经网络(CNN)对低级距离图进行编码。我们将编码过的低级距离图和高级特征连接,并将它们送入全卷积网络分类器去评估显著区域。img

    • MAP:我们的目的是在无约束图像中的检测显著性目标。在无约束的图像中,显著目标的数量因图像而异。我们提出了一个显著性目标检测系统,直接为输入图像输出一组紧凑的检测窗口。我们的系统利用CNN来生成显著对象的位置建议。位置建议往往是高度重叠和嘈杂的。基于最大后验准则,我们提出了一种新的子集优化框架来从杂乱建议中生成一组紧凑的检测窗口。在这里插入图片描述

    (2)基于全卷积网络(FCN)的模型

    • RFCN:现在PASCAL VOC2010分段数据集上进行了预训练,以学习语义信息,然后调整到SOD数据集以预测前景和背景。显著性图是前景和背景分数的softmax组合。我们通过使用循环完全卷积网络(RFCN)开发新的显著性模型更进一步。此外循环结构使我们的方法能够通过纠正先的错误自动学习优化显著性映射。为了训练具有多个参数的网络,我们提出了使用语义分割数据的预训练策略,其同时利用对分割任务的强有力的监督来进行更好的训练,并使网络能够捕获对象的通用表示以用于显著性检测。img

    • FSN:受到人类观察事物的启发,显著物体通常会获得人们的视觉关注,将眼睛注视流和语义流的输出融合到初始分割模块中以预测显著性。img

    (3)基于混合网络的模型,利用多尺度上下文产生边缘保留检测

    • DCL:该网络包括两个部分,一个是像素级的全卷积流和片段级的稀疏池化流。第一步产生一个显著图,第二步产生片段级特征和显著性间断点。最后一个全连接CRF模型可以进行合并改善。img

    • CRPSD:结合了超像素级和超级像素级别显著性。前者是通过融合FCN的最后和倒数第二侧输出特征生成的,而后者是通过将MCDL应用于自适应生成区域而获得的。只有FCN和融合层是可以进行训练的。img

    (4)利用金字塔扩张卷积结构和ConvLSTM的结合模型

    • PDB-ConvLSTM:由PDC模块和PDB-ConvLSTM模块组成。在PDC模块中,一组并行的扩张卷积被用来提取多尺度的空间特征。在PDB-ConvLSTM模块中,卷积ConvLSTM被更深的信息提取和并行的两个ConvLSTM来扩展,从而提取不同尺度的序列特征。img
    • SSAV:由两部分组成,金字塔扩张卷积(PDC)模块和显著性转移感知ConvLSTM(SSLSTM)模块。前者用于有效的静态显著性学习,后者用于同时捕获时间动态和显著性转换。img

    三、显著目标检测数据集

    (1)早期包含简单场景的SOD数据集

    • MSRA-A (Learning to detect a salient object) 包含从各种图像论坛和图像搜索引擎收集的20,840张图像。 每个图像都有一个清晰,明确的对象,相应的注释是三个用户提供的边界框由“少数服从多数”选择制定。

    • MSRA-B (Learning to detect a salient object) 作为MSRA-A的一个子集,有由9个用户使用边界框重新标记的5000个图像。与MSRA-A相比,MSRA-B的模糊度较低。 突出的对象。 MSRA-A和MSRA-B的性能变得饱和,因为大多数图像仅包括围绕中心位置的单个且清晰的显着物体。

    • SED(Image Segmentation by Probabilistic Bottom-Up Aggregation and Cue Integration) 包括单个对象子集SED1和双个对象子集SED2,每个子集包含100个图像并具有逐像素注释。 图像中的物体通过各种低级线索(例如强度,纹理等)与周围环境不同。每个图像由三个主体分割。,如果至少两个主体同意,则将像素视为前景。

    • ASD(Frequency-tuned Salient Region Detection) 包含1,000个逐像素真值。 从MSRA-A数据集中选择图像,其中仅提供显着区域周围的边界框。 ASD中的精确突出掩模是基于对象轮廓创建的。

    (2)最近流行的SOD数据集

    • SOD (Design and perceptual validation of performance measures for salient object segmentation) 包含来自伯克利分割数据集的120张图像。每个图像由七个主题标记。许多图像具有多个与背景或与图像边界形成低色彩对比度的显著对象。提供像素注释。

    • MSRA10K(Frequency-tuned Salient Region Detection) 也称为THUS10K,包含从MSRA中选择的10,000张图像,涵盖了ASD中的所有1,000张图像。 图像具有一致的边界框标记,并且进一步使用像素级注释进行扩充。 由于其大规模和精确的注释,它被广泛用于训练深SOD模型(见表2)。

    • ECSSD(Hierarchical saliency detection) 由1000个图像组成,具有语义上有意义但结构复杂的自然上下文。 真值由5名参与者注释。

    • DUT-OMRON(Saliency detection via graph-based manifold ranking) 包含5,168张背景相对复杂和内容多样性的图像。 每个图像都伴有像素级真值注释。

    • PASCAL-S(The secrets of salient object segmentation) 由从PASCALVO 2010的VAL集合中选择的850个具有挑战性的图像。除了眼动点记录外,还提供了粗略的像素和非二值显著目标注释。

    • HKU-IS(Visual saliency based on multiscale deep features) 包含4,447个复杂场景,其通常包含具有相对不同空间分布的多个断开连接的对象,即,至少一个显著对象接触图像边界。 此外,类似的前/后地面外观使这个数据集更加困难。

    • DUTS(Learning to detect salient objects with image-levels supervision) 最大的SOD数据集,包含10,553个训练和5,019个测试图像。 训练图像选自ImageNet DET 训练集/值集,以及来自ImageNet测试集和SUN数据集的测试图像。 自2017年以来,许多深度SOD模型都使用了DUTS训练集训练。

    (3)当前实验所用数据集

    • DAVSOD:我们根据真实的人类注视点来标注显著的对象,并且首次标注了注意力转移所发生的时刻,强调了该领域中显著性转移这一更具挑战的任务。它具有以下几个重要特征:丰富多样的显著对象,显著对象实例的数量更多,显著对象的尺寸变化范围更广,具有多样化的相机运动模式,不同的对象运动模式,中心偏向。

    四、评估指标

    1. Precision-Recall(PR):根据二值化显著mask和真值来计算, P r e c i s i o n = T P T P + F P , R e c a l l = T P T P + F N . Precision=\frac{TP}{TP+FP}, Recall=\frac{TP}{TP+FN}. Precision=TP+FPTP,Recall=TP+FNTP. 为了获得二进制掩码,应用一组范围从0到255的阈值,每个阈值产生一对精确/召回率来形成用于描述模型性能的PR曲线。
    2. F-measure:通过计算加权调和平均值来全面考虑精度和召回, F β = ( 1 + β 2 ) P × R β 2 P + R F_{\beta}=\frac{(1+{\beta}^2)P\times R}{{\beta}^2P+R} Fβ=β2P+R(1+β2)P×R. β 2 {\beta}^2 β2根据经验一般所设定为0.3,来更加强调精度的影响。另一些方法使用自适应阈值,即预测显著图的平均值的两倍,以生成二元显著性映射并报告相应的平均F-measure值。
    3. Mean Absolute Error(MAE):用于通过测量归一化映射和真值掩码之间平均像素方向的绝对误差来解决这个问题。 M A E = 1 W × H ∑ i = 1 W ∑ j = 1 H ∣ G ( i , j ) − S ( i , j ) ∣ MAE=\frac{1}{W\times H}\sum_{i=1}^W\sum_{j=1}^H|G(i,j)-S(i,j)| MAE=W×H1i=1Wj=1HG(i,j)S(i,j).
    4. Structural measure(S-measure):用以评估实值显著性映射与真实值之间的结构相似性,其中So和Sr分别指对象感知和区域感知结构的相似性。 S = α × S o + ( 1 − α ) × S r S=\alpha \times S_o+(1-\alpha)\times S_r S=α×So+(1α)×Sr.

    五、当前最先进的VSOD模型在数据集上的评测结果

    1. 37种最有代表性的VSOD模型总结:在这里插入图片描述
    2. 17种最先进的VSOD模型在7个数据集上的表现结果在这里插入图片描述
    3. 在所提出的DAVSOD数据集上的视觉表现结果
      在这里插入图片描述

    六、结论

    在基于视频的显著性目标检测方面,最终的模型训练和测试效果主要由两个因素所决定:(1)数据集内容丰富度和标注细化度;(2)使用网络模型的主要结构,一般我们将其划分成两部分,第一个部分用来对静态图像的特征进行提取,可以通过扩张卷积来进行多尺度提取,第二个部分用来对连续视频帧序列的相关特征进行划分提取。随着SOD在计算机视觉领域的应用范围增长,其数据集和算法也会呈现较大程度的提高,更加接近于人工标注的显著性映射。

    参考文献

    1: https://www.cnblogs.com/imzgmc/p/11072100.html
    2: Zhao R, Ouyang W, Li H, et al. Saliency detection by multi-context deep learning[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2015: 1265-1274.
    3: Lee G, Tai Y W, Kim J. Deep saliency with encoded low level distance map and high level features[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016: 660-668.
    4: Zhang J, Sclaroff S, Lin Z, et al. Unconstrained salient object detection via proposal subset optimization[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2016: 5733-5742.
    5: Wang L, Wang L, Lu H, et al. Saliency detection with recurrent fully convolutional networks[C]//European conference on computer vision. Springer, Cham, 2016: 825-841.
    6: Chen X, Zheng A, Li J, et al. Look, perceive and segment: Finding the salient objects in images via two-stream fixation-semantic cnns[C]//Proceedings of the IEEE International Conference on Computer Vision. 2017: 1050-1058.
    7: Li G, Yu Y. Deep contrast learning for salient object detection[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016: 478-487.
    8: Tang Y, Wu X. Saliency detection via combining region-level and pixel-level predictions with CNNs[C]//European Conference on Computer Vision. Springer, Cham, 2016: 809-825.
    9: Song H, Wang W, Zhao S, et al. Pyramid dilated deeper convlstm for video salient object detection[C]//Proceedings of the European Conference on Computer Vision (ECCV). 2018: 715-731.
    10: Fan D P, Wang W, Cheng M M, et al. Shifting more attention to video salient object detection[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2019: 8554-8564.

    展开全文
  • 显著性检测综述(完整整理)

    万次阅读 多人点赞 2018-03-12 17:37:43
    显著性对象检测综述 参考:http://mmcheng.net/zh/paperreading/ 一、 程明明等人的论文:Salient Object Detection: A Surve(简单归纳了文章中的我认为比较重要的部分) 该论文旨在全面回顾突出显示目标检测的...

     转载请附链接,注明出处。

    显著性对象检测综述

    参考:http://mmcheng.net/zh/paperreading/

    一、    程明明等人的论文:Salient Object Detection: A Surve(简单归纳了文章中的我认为比较重要的部分)

    该论文旨在全面回顾突出显示目标检测的最新进展,并将其与其他密切相关领域(如通用场景分割,目标建议生成以及固定预测的显著性)相关联。主要内容涉及i)根源,关键概念和任务,ii)核心技术和主要建模趋势,以及iii)显著性物体检测中的数据集和评估指标。讨论并提出了未来的研究反向等开放性问题。

    1.介绍

    1.1 什么是显著性物体

    提到一般认为,良好的显著性检测模型应至少满足以下三个标准:1)良好的检测:丢失实际显著区域的可能性以及将背景错误地标记为显著区域应该是低的;2)高分辨率:显著图应该具有高分辨率或全分辨率以准确定位突出物体并保留原始图像信息;3)计算效率:作为其他复杂过程的前端,这些模型应该快速检测显著区域。

    1.3显著物体检测历史

    (1)Itti等人提出的最早、经典的的显著模型。例如[24]一文掀起了跨认知心理学、神经科学和计算机视觉等多个学科的第一波热潮。

    (2)第二波热潮由刘等人的[25],[55]和Achanta等人的[56]掀起,他们将显著性检测定义为二元分割问题,自此出现了大量的显著性检测模型。

    (3)最近出现了第三波热潮,卷积神经网络(CNN)[69],特别是引入完全卷积神经网络[70]。与基于对比线索的大多数经典方法不同[1],基于CNN的方法消除了对手工特征的需求减轻了对中心偏见知识的依赖,因此被许多科研人员所采用。基于CNN的模型通常包含数十万个可调参数和具有可变感受野大小的神经元。神经元具有较大的接受范围提供全局信息,可以帮助更好地识别图像中最显著的区域。CNN所能实现前所未有的性能使其逐渐成为显著性物体检测的主流方向。

    2. 现状调查

    本节主要回顾三部分内容:1)显著性物体检测模型;2)应用;3)数据集。

    2.1 经典模型(非常详细)

    2.1.1 具有内在线索的基于块的模型

    有两个缺点:1)高对比度边缘通常突出而不是突出物体;2)凸显物体的边界不能很好地保存。为了克服这些问题,一些方法提出基于区域来计算显著性。两个主要优点:1)区域的数量远少于区块的数量,这意味着开发高效和快速算法的潜力;2)更多的信息功能可以从区域中提取,领先以更好的表现。

    2.1.2 具有内在线索的基于区域的模型(图4)

    基于区域的显著性模型的主要优势:1)采用互补先验,以提高整体性能,这是主要优势;2)与像素和色块相比,区域提供更复杂的线索(如颜色直方图),以更好地捕捉场景的显著对象;3)由于图像中的区域数量远小于像素数量,因此在生成全分辨率显著图时,区域级别的计算显著性可以显著降低计算成本。

    2.1.3 具有外部线索的模型(图5)

    2.1.4 其他经典模型(图6)

    局部化模型、分割模型、监督模式与无监督模式、聚合和优化模型

    2.2 基于深度学习的模型

    2.2.1 基于CNN(经典卷积网络)的模型

    CNN大大降低了计算成本,多级特征允许CNN更好地定位检测到显著区域的边界,即使存在阴影或反射。但CNN特征的空间信息因为使用了MLP(多层感知器)而无法保留。

    2.2.2 基于FCN(完全卷积网络)的模型

    该模型具有保存空间信息的能力,可实现点对点学习和端到端训练策略,与CNN相比大大降低了时间成本。但在具有透明物体的场景、前景和背景之间的相同对比度以及复杂的背景等情况无法检测显著物体。

    元素: PI=像素,PA=补丁,PE=区域,前缀m和h分别表示多尺度和分层版本。

    假设: CP=中心先验,G=全局对比度,L=局部对比度,ED=边缘密度,B=背景先验,F=先验焦点,O=先验物体,CV=先验凸度,CS=中心环绕对比度,CLP=先验颜色,SD空间分布,BC=边界连通之前,SPS=稀疏噪声。

    聚合/优化: LN=线性,NL=非线性,AD=自适应,RI=分层,BA=贝叶斯,GMRF=高斯MRF,EM=能量最小化,LS=最小二乘解

    线索 :GT=地面真值注释,SI=相似图像,TC=时间线索,SCO=显著性实现,DP=深度,LF=光场。

    对于显著性假设 : P=通用属性,PRA=预注意线索,HD=高维特征空间中的判别性,SS=显著性相似性,CMP=显著性提示的互补,SP=采样概率,MCO=运动相干性,RP=重复性,RS=区域相似度,C=相应,DK=领域知识。

    其他 : CRF=条件随机场,SVM=支持向量机,BDT=提升决策树,RF=随机森林

    4 数据集和评估措施

    4.1 显著对象检测数据集

    早期的带有包围框的突出物体图像:MSRA-A和MSRA-B

    使用像素方式的二进制掩码来注释显著对象:ASD和DUT-OMRON

    具有复杂和杂乱背景中的多个对象的数据集:[22]、[23]、[26]

    4.2 评估措施(5个)

    用S表示归一化为[0,255]的预测显著图,G是显著对象的地面正式二进制掩模

    (1) 精确召回(PR)。首先将显著图S转化为二进制掩码M,然后通过将M与地面真值G进行比较来计算Precission和Recall:

    (2) F值:通常Precission和Recall都不能完全评估显著图的质量,为此提出F值作为Precission和Recall的非负权重的集权跳河平均:

    (3) ROC(Receiver Operating Characteristic)曲线:是以假正率(FP_rate)和假负率(TP_rate)为轴的曲线

    (4)ROC曲线下面积(AUC):AUC越大性能越好

    (5) 平均绝对误差(MAE):进行更全面的比较。

    图12,比较流行的显著性对象检测数据集:

     

     

     

    二、    传统显著性检测内容补充(论文中的分类和自己平时习惯不一致,所以重新收集资料整理了一下)

    常用显著性检测方法:

    1.  认知模型

    几乎所有模型都直接或间接地受认知模型启发而来,其一大特点是与心理学和神经学相结合。Itti模型(使用三个特征通道:颜色、属性、方向)是这一类模型的代表,也是后来很多衍生模型的基础

    2.  信息论模型

    本质是最大化来自所处视觉环境的信息,其中最有影响力的模型是AIM模型。

    3.  图论模型

    基于图轮的显著性模型把眼动数据看成时间序列,使用了隐马尔科夫模型、动态贝叶斯网和条件随机场等方法。图模型可以对复杂的注意机制建模,因此能取得较好的预测能力,缺点在于模型的高复杂度,尤其涉及训练和可读性时。典型模型有:GBVS等

    4.  频域模型

    基于频谱分析的显著性模型,形式简洁,易于解释和实现,并且在注意焦点预测和显著区域检测方面取得了很大的成功,但其生物合理性不是非常清楚。经典模型有:频谱残差的显著性检测模型(纯数学计算方法)。

     

    参考资料链接:

    http://www.docin.com/p-915060851.html

    http://www.doc88.com/p-4993561181219.html

    http://blog.csdn.net/u012507022/article/details/52863461

     

     

     

    三、    基于深度学习的显著性检测内容补充(论文是2014年所写,关于深度学习部分不够完善,因此在此又补充了一下)

    基于深度学习的显著性目标检测研究发展初期从物体检测神经网络到OverFeat,一直难以取得理想的效果。2014R-CNN的诞生成为第一个真正可以工业级应用的方案,其在VOC2007测试集的mAP提升至66%。但R-CNN框架仍然存在很多问题:

    1) 训练分为多个阶段,步骤较为繁琐:微调网络+训练SVM+训练边框回归器

    2) 训练耗时,占用磁盘空间大:5000张图片产生几百G的特征文件

    3) 速度慢:使用GPUVGG-16模型处理一张图像需要47s

    截止目前,基于深度学习的显著性目标检测研究可以分为基于区域建议的深度学习目标检测基于回归的深度学习目标检测两个类别。

     

    基于区域建议的深度学习目标检测方法有:R-CNNSPP-netFastR-CNNFaster R-CNNR-FCN等。

    1) R-CNN(Regions with CNN features)重复计算,时间、空间代价较高;

    2) SPP-net(Spatial Pyramid Pooling)强化了CNN的使用,允许输入大小不一致的图片,进一步强调了CNN特征计算前移、区域处理后移的思想,极大节省计算量,但不是端到端的模型且CNN特征提取没有联动调参数;

    3) FastR-CNN的出现解决了前两者重复计算的问题,实现了区域建议到目标检测一端的卷积共享,首次提出的RoI Pooling技术极大地发挥区域后移的优势,加快了训练速度,采用VGG-16作为CNN网络模型,联动调用参数提升了实验效果,但是依然没有实现端到端的模型,对SS区域建议依赖严重;

    4) Faster R-CNN弃用选择性搜索,提出了RPN网络来计算候选框,使用端到端的网络进行目标检测,无论在速度上还是在精度上,都得到了极大的提高,但在速度上并不能满足实时的需求,对每个建议分类计算量仍较大,功能上没有进入实例分割阶段。

     

    基于回归的深度学习目标检测方法有:YOLOSSDG-CNNNMS等。

    1) YOLO(You Only Look Once)将目标检测任务转换成回归问题,大大简化了检测的过程、加快了检测的速度,但预测目标窗口时使用的是全局信息,冗余度高,且没有区域建议机制后检测精度不高;

    2) SSDSingle ShotMultibox Detector)预测某个位置时使用的是该位置周围的特征,结合YOLO的回归思想以及FasterR-CNN中的候选区域机制,既保持了YOLO速度快的特性,也保证了精确定位;

    3) G-CNN着力于减少初始化建议数量,使数以万计的建议变成极少的初始格网,提升了检测速度;

    4) NMS(Non Maximum Suppression)则通过迭代的形式去除重复候选框,取置信率最大的框。

    当前实际应用中,基于区域建议的深度学习目标检测使用更为广泛。

     

    当前基于深度学习的显著性检测研究方法:

    R-CNN系列显著性目标检测框架和YOLO显著性目标检测框架给了我们进行基于深度学习的目标检测两个基本框架。目前研究人员基于这些框架从其他方面入手提出一系列提高目标检测性能的方法。如:难样本挖掘、多层特征融合、使用上下文信息、更深网络学习的特征等。

     (本来是熬了个夜准备组会的稿子~结果最后也没汇报成,有种换好衣服结果告诉我不用出门了,小失落~)

    展开全文
  • 显著性检测算法综述

    千次阅读 2018-06-26 16:43:03
    最近又对显著性检测的发展现状做了一些梳理,特整理于此。参考了这篇文献:Borji A, Cheng M M, Jiang H, et al. Salient Object Detection: A Survey[J]. Eprint Arxiv, 2014, 16(7):3118. 人类的视觉神经系统可以...
  • 在本文中,我们注意到,通过迭代挖掘和纠正传统无监督方法中对显著图的标注不确定性,可以实现更好的显著性目标检测。我们提出使用来自分类网络的粗略的显著物体激活图和来自无监督方法的显著图的组合作为像素级的...
  • 从人类视觉推理显著性目标检测

    千次阅读 2021-01-15 10:26:11
    目前关于视觉显著性的研究主要集中在两个方面: 注视点的预测和SOD(显著性目标检测),然后这两者之间的关系并没有很好的探索,论文提出了一种利用注视点预测模型辨别显著性目标。通过利用注视点预测推理显著目标,...
  • 显著性检测近年来引起了广泛的研究兴趣。这种日益流行的原因在于在各种视觉任务(如图像分割、目标检测、视频摘要和压缩等)中有效地使用了这些模型。显著性模型大致可分为两类:人眼...
  • 现有的方法大多依靠RGB信息来区分显著性目标,在一些复杂的场景中存在困难。为了解决这一问题,近年来许多基于RGB的网络被提出,它们采用深度图作为独立的输入,并将特征与RGB信息融合。借鉴RGB方法和RGBD方法的优点...
  • 作者丨文永亮学校丨哈尔滨工业大学(深圳)硕士生研究方向丨目标检测、GAN概要上一次我们介绍了 CVPR 2019 的BASNet,CVPR 2019 的那篇 BASNe...
  • 深度学习显著性目标检测的代码总结(如果以后有时间给大家归类),下面链接中有一篇综述,还在整理中,大家可以先看一下原文 这篇综述是沈建冰、王文冠老师的文章:https://arxiv.org/abs/1904.09146v1 相关代码:...
  • 学习笔记–深度学习时代的显著目标检测综述 这篇文章作者引用了182篇参考文献,撰写正文16页,堪称显著目标检测领域综述的良心之作。本文系论文学习笔记。 1 引言 文章开篇作者首先介绍了显著目标检测的起源与发展,...
  • 红外弱小目标检测技术已成为...从基于空间域和变换域的滤波、人类视觉系统以及图像数据结构3个方面,对当前单帧图像的红外弱小目标检测算法的原理、主要步骤及特点进行了综述;分析了红外弱小目标检测技术的发展趋势。
  • 显著性检测-综述

    2019-12-25 22:42:28
    显著性目标检测】CVPR2018 显著性检测领域论文整理解读(Salient Object Detection) 2019-显著性检测之BASNet: Boundary Aware Salient Object Detection 深度无监督显著性检测:多个Weak Label的伪监督 ...
  • 显著性目标检测 显著性目标检测旨在从输入图像上识别出最引人注目的对象,简单来说,这个研究方向希望能够识别出图像的主体。 以深度学习方法进行显著性目标检测 虽然手制特征允许传统显著性目标检测方法实时进行...
  • 显著性检测—学习笔记

    千次阅读 2019-09-09 15:43:33
    同时也拼接这个三个16通道的特征图,得到一个48通道的特征图,来讲捕获的边缘信息转换到显著性目标检测分支,继而强化细节信息。 相似于[Instance-level salient object segmentation],训练阶段使用显著性目标的...
  • 在光学遥感图像中,目标尺度变化很大,这对显著性目标检测模型的鲁棒性和泛化性都提出了很大的挑战。在现有方法中,多尺度金字塔注意力机制可以增强特征的判别力,也在一定程度上缓解了目标大小变化的影响。然而,...
  • 这种额外的空间信息可以提高显著目标检测的性能。虽然在过去的几年中,已经提出了各种基于RGB-D的具有良好性能的显著目标检测模型,但对这些模型和该领域的挑战仍然缺乏深入的理解。本文从不同的角度对基于RGB-D的...
  • 显著性检测

    千次阅读 2019-09-23 11:07:00
    显著性目标检测框架给了我们进行基于深度学习的目标检测两个基本框架。目前研究人员基于这些框架从其他方面入手提出一系列提高目标检测性能的方法。如:难样本挖掘、多层特征融合、使用上下文信息、更深网络学习的...
  • 本文提出了一个简单但有效的基于图的无监督目标检测方法,TokenCut。
  • [OpenCV实战]47 基于OpenCV实现视觉显著性检测

    千次阅读 多人点赞 2020-09-15 19:54:28
    人类具有一种视觉注意机制,即当面对一个场景时,会选择性...通过计算机视觉算法对左边的图像进行视觉显著性检测能够得到下图右边的结果,其中黑色区域为不显著区域,白色为显著区域,显著性检测在机器人领域、目标检测
  • 显著性检测论文综述阅读笔记 Author: wbzhang 2020/3/19 E-mail: wbzhang233@163.com 1.Salient Object Detection in the Deep Learning Era: An In-Depth Survey 刊于2019.10 单张图片的显...
  • 目标检测综述

    2021-11-07 20:12:15
    目标检测方法综述笔记 在过去的20年时间里,人们普遍认为,目标检测的发展大致经历了两个历史时期,分别是2014年以前的传统的目标检测时期和2014年以后的基于深度学习的目标检测时期。 1 传统目标检测 早期的目标...
  • 人工智能论文:基于深度学习的目标检测技术综述.pdf人工智能论文:基于深度学习的目标检测技术综述.pdf人工智能论文:基于深度学习的目标检测技术综述.pdf人工智能论文:基于深度学习的目标检测技术综述.pdf人工智能...
  • 目标检测研究综述

    千次阅读 2022-03-23 10:49:40
    2、目标检测模型与发展(对比) 2.1 传统目标检测模型与发展 (1) Viola Jones检测器 (2) HOG 检测器 (3) 基于可变形部件的模型(DPM) 2.2 基于深度学习目标检测模型与发展 2.2.1基于卷积神经网络的单级...
  • 基于深度学习的显著性目标检测综述_史彩娟 主要内容: 不足和进步:
  • 移动增强现实(AR)借助智能移动终端将虚拟信息和真实世界进行实时融合,能否实时准确地对 环境中需要增强的物体进行目标检测直接决定了系统的性能。随着深度学习的快速发展,近年来出现了大量的 基于深度学习的目标...
  • 遥感图像目标检测研究综述

    千次阅读 2022-04-10 21:16:56
    遥感图像目标检测研究综述
  • 目标检测文章综述

    2022-03-06 19:47:10
    论文源地址 1. 对目标检测技术演变的全面回顾 2.深入探索的关键技术和最近的技术现状 3.对检测加速技术的综合分析

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 4,904
精华内容 1,961
关键字:

显著性目标检测综述