精华内容
下载资源
问答
  • 显著性检测综述

    千次阅读 2015-12-15 10:11:03
    Harel在2006年提出基于图的视觉显著性检测. 有Matlab实现。http://www.klab.caltech.edu/~harel/share/gbvs/ J. Harel, C. Koch, &P. Perona. Graph-based visual saliency. Advances in Neural ...

    先加入作者链接1:http://blog.csdn.net/anshan1984/article/details/8657176

    先加入作者链接2:http://blog.csdn.net/anan1205/article/details/49175591

    1. 早期C. Koch与S. Ullman的研究工作.

    他们提出了非常有影响力的生物启发模型。

    C. Koch and S. Ullman . Shifts in selective visual attention: Towards the underlying neural circuitry. Human Neurobiology, 4(4):219-227, 1985.

    C. Koch and T. Poggio. Predicting the Visual World: Silence is Golden. Nature Neuroscience, 2(1):9–10, 1999.

    C.Koch是加州理工大学Koch Lab的教授,后文的侯晓迪师从C. Koch进行博士研究。


    2. 南加州大学iLab实验室Itti教授及其学生Siagian等的研究工作.

    见http://ilab.usc.edu/publications/. 主页提供iLab Neuromorphic Vision C++ Toolkit。Christian Siagian博士期间的主要工作是生物学启发的机器人视觉定位研究(Biologically Inspired Mobile Robot Vision Localization).

    L. Itti, C. Koch, & E. Niebur .A model of saliency based visual attention for rapid scene analysis. IEEE Transactions on Pattern Analysis and Machine Intelligence, 20(11):1254-1259, 1998.

    L. Itti and C. Koch. Computational Modelling of Visual Attention. Nature Reviews Neuroscience, 2(3):194–203, 2001.

    L. Itti, & P. Baldi . Bayesian surprise attracts human attention. Advances in Neural Information Processing Systems, 19:547-554, 2005.

    C. Siagian, L. Itti, Comparison of gist models in rapid scene categorization tasks, In: Proc. Vision Science Society Annual Meeting (VSS08), May 2008.


    3. Caltech 的J. Harel研究工作.

    Koch Lab的J. Harel在2006年提出基于图的视觉显著性检测. 有Matlab实现。http://www.klab.caltech.edu/~harel/share/gbvs/

    J. Harel, C. Koch, &P. Perona. Graph-based visual saliency. Advances in Neural Information Processing Systems, 19:545-552, 2006.


    4. Caltech 侯晓迪博士的研究工作.

    他是上交硕士,后去加州理工大学读博。他提出的频域残差法(Spectral Residual)让人认识到数学的美。

    X,Hou &L,Zhang. Saliency Detection: A spectral residual approach. IEEE Conference on Computer Vision and Pattern Recognition, 2007, pp.1-8.

    Xiaodi Hou, Jonathan Harel and Christof Koch: Image Signature: Highlighting Sparse Salient Regions (PAMI 2012)

     同时推荐他出演的电影“The PHD Movie”:

    http://movie.douban.com/subject/6855109/comments

    这里有一个很好的JOKE:

    http://bbs.sjtu.edu.cn/bbstcon,board,AI,reid,1203564832.html


    5. 复旦大学Chenlei Guo, Liming Zhang的工作.

    他们在频域残差法(Spectral Residual)的基础上提出相位谱(Phase Spectrum)方法。

    Chenlei Guo, Qi Ma, Liming Zhang: Spatio-temporal Saliency detection using phase spectrum of quaternion fourier transform. CVPR 2008

    Chenlei Guo, Liming Zhang: A Novel Multiresolution Spatiotemporal Saliency Detection Model and Its Applications in Image and Video Compression. IEEE Transactions on Image Processing 19(1): 185-198 (2010)


    6. 瑞士洛桑联邦理工学院EPFL的R. Achanta研究工作.

    R. Achanta, F. Estrada, P. Wils, & S. Süsstrunk, Salient region detection and segmentation. International Conference on Computer Vision Systems, 2008, pp.66-75.

    R. Achanta and S. Süsstrunk, “Saliency Detection for Content-aware Image Resizing,” in IEEE International Conference on
    Image Processing, 2009.

    R. Achanta, S. Hemami ,F. Estrada,& S. Süsstrunk, Frequency-tuned salient region detection. IEEE International Conference on Computer Vision and Pattern Recognition, 2009, pp.1597-1604.

    R. Achanta and S. Süsstrunk, Saliency Detection using Maximum Symmetric Surround, ICIP, 2010.


    7. 西安交通大学TieLiu在微软亚研院的一些工作.

    Tie Liu, Jian Sun, Nan-Ning Zheng, Xiaoou Tang and Heung-Yeung Shum. Learning to Detect A Salient Object. In Proc. IEEE Cont. on Computer Vision and pattern Recognition (CVPR), 2007.

    Tie Liu, et. al. ,Video Attention: Learning to Detect A Salient Object Sequence, ICPR 2008.

     

    8. 瑞典KIT的Boris Schauerte的研究工作.

    B. Schauerte, R. Stiefelhagen, "Predicting Human Gaze using Quaternion DCT Image Signature Saliency and Face Detection". In Proc. 12th IEEE Workshop on the Applications of Computer Vision (WACV), 2012. (Best Student Paper Award)

    B. Schauerte, R. Stiefelhagen, "Quaternion-based Spectral Saliency Detection for Eye Fixation Prediction". In Proc. 12th European Conference on Computer Vision (ECCV),  2012.


    9.  以色列理工大学(The Technion),CGM Lab,L. Zelnik-Manor研究组的工作.

    D. Rudoy, D.B Goldman, E. Shechtman and L.Zelnik-Manor, " Learning video saliency from human gaze using candidate selection ",  To appear in CVPR, 2013.

    R. Margolin, A. Tal, and L. Zelnik-Manor, " What Makes a Patch Distinct? ",  To appear in CVPR, 2013.

    R. Margolin, L. Zelnik-Manor, and A. Tal " SaliencyFor ImageManipulation ",  The Visual Computer, June 2012.

    R.Margolin, L. Zelnik-Manor, and A. Tal " SaliencyFor ImageManipulation ",  Computer Graphics International (CGI) 2012.

    S. Goferman, L. Zelnik-Manor, and A. Tal " Context-AwareSaliency Detection ", IEEE Trans. on Pattern Analysis and Machine Intelligence(PAMI), 34(10): 1915--1926,Oct. 2012.

    M. Holtzman-Gazit, L. Zelnik-Manor and I.Yavne, " Salient Edges: A MultiScale Approach", ECCV 2010 Workshop on Vision for Cognitive Tasks.

    S. Goferman, L. Zelnik-Manor, and A. Tal. Context-Aware Saliency Detection. CVPR 2010.


    10. 美国西北大学Ying Wu研究组的工作.

    Xiaohui Shen and Ying Wu, "A Unified Approach to Salient Object Detection via Low Rank Matrix Recovery", in IEEE Conference on Computer Vision and Pattern Recognition (CVPR)(Oral), 2012.


    11. 清华大学程明明(Ming-Ming Cheng)相关工作。

    SalientShape: Group Saliency in Image Collections. Ming-Ming Cheng, Niloy J. Mitra, Xiaolei Huang, Shi-Min Hu. Technical Report TR-120624, GGC Group, Tsinghua University.

    Global Contrast based Salient Region Detection. Ming-Ming Cheng, Guo-Xin Zhang, Niloy J. Mitra, Xiaolei Huang, Shi-Min Hu. IEEE International Conference on Computer Vision and Pattern Recognition, CVPR2011.


    12. MIT Graphics Group, Tilke Judd的研究工作.

    Tilke Judd, Understanding and Predicting Where People Look. MIT PhD Thesis of Computer Science, 2011.

    Tilke Judd, Frédo Durand, Antonio Torralba, A Benchmark of Computational Models of Saliency to Predict Human Fixations.
    currently under review, also available as a 2012 MIT Tech Report.

    Tilke Judd, Frédo Durand, Antonio Torralba, Fixations on Low-Resolution Images,Journal of Vision 2011.

    Tilke Judd, Krista Ehinger, Frédo Durand, Antonio Torralba.Learning to predict where people look,International Conference on Computer Vision, ICCV 2009.

    Judd提供了一个Saliency Benchmark. 并且总结了相关数据集。

    http://people.csail.mit.edu/tjudd/SaliencyBenchmark/index.html


    13. 大连理工大学卢湖川(Huchuan Lu)老师研究组的工作。

    Yulin Xie, Huchuan Lu, Minghsuan Yang, Bayesian Saliency via Low and Mid Level Cues, IEEE Transaction On Image Processing, 2013.

    Chuan Yang, Lihe Zhang, Huchuan Lu, Minghsuan Yang, Saliency Detection via Graph-Based Manifold Ranking, CVPR 2013.


    今年自己跟的几篇论文:

    CVPR2015 3篇显著性区域检测都是卢湖川教授的工作(链接:点击打开链接):

    1)Na Tong, Huchuan Lu, Minghsuan Yang.Salient Object Detection via Bootstrap Learning(感觉效果还不错)

    2)Yao Qin, Huchuan Lu , Yiqun Xu, He Wang, Saliency Detection via Cellular Automata

    3)Lijun Wang, Huchuan Lu, Minghsuan Yang, Deep Networks for Saliency Detection via Local Estimation and Global Search


    展开全文
  • 显著性检测综述(完整整理)

    万次阅读 多人点赞 2018-03-12 17:37:43
    显著性对象检测综述 参考:http://mmcheng.net/zh/paperreading/ 一、 程明明等人的论文:Salient Object Detection: A Surve(简单归纳了文章中的我认为比较重要的部分) 该论文旨在全面回顾突出显示目标检测的...

     转载请附链接,注明出处。

    显著性对象检测综述

    参考:http://mmcheng.net/zh/paperreading/

    一、    程明明等人的论文:Salient Object Detection: A Surve(简单归纳了文章中的我认为比较重要的部分)

    该论文旨在全面回顾突出显示目标检测的最新进展,并将其与其他密切相关领域(如通用场景分割,目标建议生成以及固定预测的显著性)相关联。主要内容涉及i)根源,关键概念和任务,ii)核心技术和主要建模趋势,以及iii)显著性物体检测中的数据集和评估指标。讨论并提出了未来的研究反向等开放性问题。

    1.介绍

    1.1 什么是显著性物体

    提到一般认为,良好的显著性检测模型应至少满足以下三个标准:1)良好的检测:丢失实际显著区域的可能性以及将背景错误地标记为显著区域应该是低的;2)高分辨率:显著图应该具有高分辨率或全分辨率以准确定位突出物体并保留原始图像信息;3)计算效率:作为其他复杂过程的前端,这些模型应该快速检测显著区域。

    1.3显著物体检测历史

    (1)Itti等人提出的最早、经典的的显著模型。例如[24]一文掀起了跨认知心理学、神经科学和计算机视觉等多个学科的第一波热潮。

    (2)第二波热潮由刘等人的[25],[55]和Achanta等人的[56]掀起,他们将显著性检测定义为二元分割问题,自此出现了大量的显著性检测模型。

    (3)最近出现了第三波热潮,卷积神经网络(CNN)[69],特别是引入完全卷积神经网络[70]。与基于对比线索的大多数经典方法不同[1],基于CNN的方法消除了对手工特征的需求减轻了对中心偏见知识的依赖,因此被许多科研人员所采用。基于CNN的模型通常包含数十万个可调参数和具有可变感受野大小的神经元。神经元具有较大的接受范围提供全局信息,可以帮助更好地识别图像中最显著的区域。CNN所能实现前所未有的性能使其逐渐成为显著性物体检测的主流方向。

    2. 现状调查

    本节主要回顾三部分内容:1)显著性物体检测模型;2)应用;3)数据集。

    2.1 经典模型(非常详细)

    2.1.1 具有内在线索的基于块的模型

    有两个缺点:1)高对比度边缘通常突出而不是突出物体;2)凸显物体的边界不能很好地保存。为了克服这些问题,一些方法提出基于区域来计算显著性。两个主要优点:1)区域的数量远少于区块的数量,这意味着开发高效和快速算法的潜力;2)更多的信息功能可以从区域中提取,领先以更好的表现。

    2.1.2 具有内在线索的基于区域的模型(图4)

    基于区域的显著性模型的主要优势:1)采用互补先验,以提高整体性能,这是主要优势;2)与像素和色块相比,区域提供更复杂的线索(如颜色直方图),以更好地捕捉场景的显著对象;3)由于图像中的区域数量远小于像素数量,因此在生成全分辨率显著图时,区域级别的计算显著性可以显著降低计算成本。

    2.1.3 具有外部线索的模型(图5)

    2.1.4 其他经典模型(图6)

    局部化模型、分割模型、监督模式与无监督模式、聚合和优化模型

    2.2 基于深度学习的模型

    2.2.1 基于CNN(经典卷积网络)的模型

    CNN大大降低了计算成本,多级特征允许CNN更好地定位检测到显著区域的边界,即使存在阴影或反射。但CNN特征的空间信息因为使用了MLP(多层感知器)而无法保留。

    2.2.2 基于FCN(完全卷积网络)的模型

    该模型具有保存空间信息的能力,可实现点对点学习和端到端训练策略,与CNN相比大大降低了时间成本。但在具有透明物体的场景、前景和背景之间的相同对比度以及复杂的背景等情况无法检测显著物体。

    元素: PI=像素,PA=补丁,PE=区域,前缀m和h分别表示多尺度和分层版本。

    假设: CP=中心先验,G=全局对比度,L=局部对比度,ED=边缘密度,B=背景先验,F=先验焦点,O=先验物体,CV=先验凸度,CS=中心环绕对比度,CLP=先验颜色,SD空间分布,BC=边界连通之前,SPS=稀疏噪声。

    聚合/优化: LN=线性,NL=非线性,AD=自适应,RI=分层,BA=贝叶斯,GMRF=高斯MRF,EM=能量最小化,LS=最小二乘解

    线索 :GT=地面真值注释,SI=相似图像,TC=时间线索,SCO=显著性实现,DP=深度,LF=光场。

    对于显著性假设 : P=通用属性,PRA=预注意线索,HD=高维特征空间中的判别性,SS=显著性相似性,CMP=显著性提示的互补,SP=采样概率,MCO=运动相干性,RP=重复性,RS=区域相似度,C=相应,DK=领域知识。

    其他 : CRF=条件随机场,SVM=支持向量机,BDT=提升决策树,RF=随机森林

    4 数据集和评估措施

    4.1 显著对象检测数据集

    早期的带有包围框的突出物体图像:MSRA-A和MSRA-B

    使用像素方式的二进制掩码来注释显著对象:ASD和DUT-OMRON

    具有复杂和杂乱背景中的多个对象的数据集:[22]、[23]、[26]

    4.2 评估措施(5个)

    用S表示归一化为[0,255]的预测显著图,G是显著对象的地面正式二进制掩模

    (1) 精确召回(PR)。首先将显著图S转化为二进制掩码M,然后通过将M与地面真值G进行比较来计算Precission和Recall:

    (2) F值:通常Precission和Recall都不能完全评估显著图的质量,为此提出F值作为Precission和Recall的非负权重的集权跳河平均:

    (3) ROC(Receiver Operating Characteristic)曲线:是以假正率(FP_rate)和假负率(TP_rate)为轴的曲线

    (4)ROC曲线下面积(AUC):AUC越大性能越好

    (5) 平均绝对误差(MAE):进行更全面的比较。

    图12,比较流行的显著性对象检测数据集:

     

     

     

    二、    传统显著性检测内容补充(论文中的分类和自己平时习惯不一致,所以重新收集资料整理了一下)

    常用显著性检测方法:

    1.  认知模型

    几乎所有模型都直接或间接地受认知模型启发而来,其一大特点是与心理学和神经学相结合。Itti模型(使用三个特征通道:颜色、属性、方向)是这一类模型的代表,也是后来很多衍生模型的基础

    2.  信息论模型

    本质是最大化来自所处视觉环境的信息,其中最有影响力的模型是AIM模型。

    3.  图论模型

    基于图轮的显著性模型把眼动数据看成时间序列,使用了隐马尔科夫模型、动态贝叶斯网和条件随机场等方法。图模型可以对复杂的注意机制建模,因此能取得较好的预测能力,缺点在于模型的高复杂度,尤其涉及训练和可读性时。典型模型有:GBVS等

    4.  频域模型

    基于频谱分析的显著性模型,形式简洁,易于解释和实现,并且在注意焦点预测和显著区域检测方面取得了很大的成功,但其生物合理性不是非常清楚。经典模型有:频谱残差的显著性检测模型(纯数学计算方法)。

     

    参考资料链接:

    http://www.docin.com/p-915060851.html

    http://www.doc88.com/p-4993561181219.html

    http://blog.csdn.net/u012507022/article/details/52863461

     

     

     

    三、    基于深度学习的显著性检测内容补充(论文是2014年所写,关于深度学习部分不够完善,因此在此又补充了一下)

    基于深度学习的显著性目标检测研究发展初期从物体检测神经网络到OverFeat,一直难以取得理想的效果。2014R-CNN的诞生成为第一个真正可以工业级应用的方案,其在VOC2007测试集的mAP提升至66%。但R-CNN框架仍然存在很多问题:

    1) 训练分为多个阶段,步骤较为繁琐:微调网络+训练SVM+训练边框回归器

    2) 训练耗时,占用磁盘空间大:5000张图片产生几百G的特征文件

    3) 速度慢:使用GPUVGG-16模型处理一张图像需要47s

    截止目前,基于深度学习的显著性目标检测研究可以分为基于区域建议的深度学习目标检测基于回归的深度学习目标检测两个类别。

     

    基于区域建议的深度学习目标检测方法有:R-CNNSPP-netFastR-CNNFaster R-CNNR-FCN等。

    1) R-CNN(Regions with CNN features)重复计算,时间、空间代价较高;

    2) SPP-net(Spatial Pyramid Pooling)强化了CNN的使用,允许输入大小不一致的图片,进一步强调了CNN特征计算前移、区域处理后移的思想,极大节省计算量,但不是端到端的模型且CNN特征提取没有联动调参数;

    3) FastR-CNN的出现解决了前两者重复计算的问题,实现了区域建议到目标检测一端的卷积共享,首次提出的RoI Pooling技术极大地发挥区域后移的优势,加快了训练速度,采用VGG-16作为CNN网络模型,联动调用参数提升了实验效果,但是依然没有实现端到端的模型,对SS区域建议依赖严重;

    4) Faster R-CNN弃用选择性搜索,提出了RPN网络来计算候选框,使用端到端的网络进行目标检测,无论在速度上还是在精度上,都得到了极大的提高,但在速度上并不能满足实时的需求,对每个建议分类计算量仍较大,功能上没有进入实例分割阶段。

     

    基于回归的深度学习目标检测方法有:YOLOSSDG-CNNNMS等。

    1) YOLO(You Only Look Once)将目标检测任务转换成回归问题,大大简化了检测的过程、加快了检测的速度,但预测目标窗口时使用的是全局信息,冗余度高,且没有区域建议机制后检测精度不高;

    2) SSDSingle ShotMultibox Detector)预测某个位置时使用的是该位置周围的特征,结合YOLO的回归思想以及FasterR-CNN中的候选区域机制,既保持了YOLO速度快的特性,也保证了精确定位;

    3) G-CNN着力于减少初始化建议数量,使数以万计的建议变成极少的初始格网,提升了检测速度;

    4) NMS(Non Maximum Suppression)则通过迭代的形式去除重复候选框,取置信率最大的框。

    当前实际应用中,基于区域建议的深度学习目标检测使用更为广泛。

     

    当前基于深度学习的显著性检测研究方法:

    R-CNN系列显著性目标检测框架和YOLO显著性目标检测框架给了我们进行基于深度学习的目标检测两个基本框架。目前研究人员基于这些框架从其他方面入手提出一系列提高目标检测性能的方法。如:难样本挖掘、多层特征融合、使用上下文信息、更深网络学习的特征等。

     (本来是熬了个夜准备组会的稿子~结果最后也没汇报成,有种换好衣服结果告诉我不用出门了,小失落~)

    展开全文
  • 显著性检测论文综述阅读笔记 Author: wbzhang 2020/3/19 E-mail: wbzhang233@163.com 1.Salient Object Detection in the Deep Learning Era: An In-Depth Survey 刊于2019.10 单张图片的显...

    typora-root-url: images


    SaliencyReviews

    显著性检测论文综述阅读笔记

    Author: wbzhang 2020/3/19

    E-mail: wbzhang233@163.com

    1.Salient Object Detection in the Deep Learning Era: An In-Depth Survey

    刊于2019.10 单张图片的显著性,DL

    作者:王文冠

    摘要:本综述主要致力于回顾基于深度学习的显著性检测方法,并且从不同的网络结构、监督信号层面、学习范式层面和目标/实例检测层面进行了综述。最后,总结了已有的SOD方法的评估数据集和评价指标。

    并且基于先前的方法,特意编译通过了一个SOD benchmark评价方法。我们进一步分析了深度SOD模型的鲁棒性和迁移性。

    最后讨论了一些SOD方面的挑战与问题。

    1.引言

    略,注释在论文上。

    2.DL_SOD

    2.1 SOD中具有代表性的网络架构

    先有MLP,后有FCN。

    MLP的方法通常采用超像素或者图像区块,并且手工设计特征来进行降维,并喂给MLP或者CNN进行预测。

    因为MLP-SOD通过不能够很好的提取紧要的空间信息并且对每个子单元进行处理很耗时间,基于FCN的方法流行起来。
    在这里插入图片描述

    1)Single-stream 单流程架构

    大多都使用编码-解码流来预测粗略的显著图,然后进行精细化,或在超像素层面上。

    2)mulit-stream 多流程架构

    通常在不同尺度上学习显著性特征,从不同流输出的特征进行结合产生最终的显著图预测结果。

    3)side-out fusion 旁侧融合架构

    利用CNN层次结构的固有多尺度表示,通常由GT进行监督。

    4)bottom-up/top-down 自下而上/自上而下架构

    通过逐步结合底层空间信息最丰富的的特征来精细化初步的显著性估计,并且在最顶层生成最终的显著图。

    • DHSNet :通过使用RNN层来逐步结合浅层特征并对粗略的显著图进行精细化,所有的中间图均由GT进行全监督。
    • SBF:借鉴了DHSNet的网络体系结构,但是在几种无监督的启发式SOD方法提供的弱GT上进行训练。
    • BDMP:使用具有多种感受野的卷积层细化特征,并且使用门控双向通路实现层间交换。
    • RLN:使用一个inception形模块来纯化低层特征,在自上而下通路进一步通过循环机制来细化结合的特征。显著图通过边界细化网络来增加。
    • PAGR:通过合并多路径循环连接将高层语义信息传递到低层,从而增强了特征提取通路的学习能力。自上而下的通路嵌入了若干个通道空间注意模块用于细化特征。
    • ASNet:在前馈过程中学习一个粗略的显著图,然后利用一堆卷积LSTM层通过合并来自较浅层的多层特征来迭代地推断像素方向的显著对象分割。
    • PiCANet:
    • RAS:

    5)branch network 分支结构

    这个大概是结合了其他任务的显著性检测,知识量过于庞杂,暂且跳过。

    6)hybrid network-based 混合网络结构

    类似MLP与FCN相结合,不同类型的架构进行混组。

    2.2 监督层面

    主要分为像素层面的全监督,或者无监督/弱监督方法

    非监督/弱监督里又包含类别层面监督和伪像素层面监督。

    类别监督:采用图像层面标记的层级深度特征可以定位包含物体的区域,可以用于标记场景中的显著目标。

    伪像素层面监督:虽然内容丰富,图像层面的标记对于实现精确的像素级的显著性分割还是过于稀疏。有些学者提出利用传统的非监督SOD方法,或者轮廓信息去自动生成带噪声的显著图,随后将其精细化(提纯)并且提供像素级别的监督信号,用来训练深度SOD模型。

    2.3 学习范式

    这方面咱也不是砖家,先跳过吧。

    2.4 目标/实例层面的SOD

    简而言之,通常不加额外说明的显著性只分别那个像素属于显著目标,但并不区分单个像素属于哪一个具体的目标,而实例层面则需要区分每个像素所述的目标。

    3.SOD数据集

    早期:仅仅标注了显著目标的boundingbox,被认为是不充分不可靠的评估。

    中期并且主流:像素级的大尺度数据集,常用的GT二值图。

    • SOD–300张图片

    包含了来自于Berkeley分割数据集的300张图片,许多图片可能具有超过一个显著性目标,这些显著性目标可能相对背景有较低的颜色对比度或者触及边界。

    • MSRA10K (THUS10K)–10k张图片

    又称之为TUHS10K,包含来自于MSRA的10k张图片并且覆盖了ASD数据集中的1000张图片。这些图片具有一致的边界框标注,并且进一步进行了像素级别的注解。因为其具有较大尺寸和精准的标注,被广泛应用于训练深度SOD模型。

    • ECSSD–1k张

    由1000张语义丰富的但是结构复杂的自然场景图片组成,GT由5位参与者给与标注。

    • DUT-OMRON–5168张

    包含5168张内容丰富并且背景相对复杂的图片,每张图片均具有像素级的GT标注。

    • PASCAL-S–850张

    包含了从PASCAL VOC2010中选出的850张具有挑战性的图片,另外对于注视预测,提供了粗糙的像素级和非二值显著目标标注。

    • HKU-IS–4447张

    包含了4447张复杂场景图片,并且典型的包含了多个不连通的目标,具有相对多样化的空间分布,也就是说,至少有一个显著目标触及边界。

    • DUTS-(10553训练,5019测试)

    最大的SOD数据集,包含10553张训练图片和5019张测试图片,训练集图片选自ImageNet DET 训练验证集,测试集选择ImgaeNet test数据集和SUN数据集。2017年之后,许多深度SOD模型在DUTS数据集上进行训练。

    最近:每张图片具有高杂乱背景,并且有多个显著目标。有的还提供实例显著性级别的评估。

    在这里插入图片描述

    此外,还包括其他特殊的SOD数据集。

    4.评价指标

    • PR曲线
      P=TP/(TP+FP) P=TP/(TP+FP)

      R=TP/(TP+FN) R=TP/(TP+FN)

    • F值
      Fβ=(1+β2)PR/(β2P+R);β=0.3 F_β=(1+β^2)*P*R/(β^2*P+R);β=0.3

    • MAE(均方误差)

    在这里插入图片描述

    • 加权F_β值,扩展了F值,并且赋予TP、TN、FP、FN根据不同位置考虑周边信息来分配不同的权重给不同的错误,即导致P和R受加权改变。
      Fβ F_β

    • S-Measure:与上述仅解决像素错误的指标不同,它评估了实值显著图和二进制真值GT之间的结构相似性。S值考虑了两项,
      SoSrS=α×So+(1α)×Sr S_o:目标感知;S_r:区域感知;则总的 S=α×S_o+(1-α)×S_r
      分别表示目标感知和区域感知的结构相似度(Structure similarities,SSIM)

    • E-Measure:考虑了图像的全局均值与局部相似同时匹配。公式如下:
      在这里插入图片描述

    • SOR(salient object ranking)

      被设计用于显著目标替代,它是根据同一图像中多个显著物体的GT登等级排序(rank order)和预测等级顺序rgS之间的归一化Spearman等级顺序相关性来计算的。

    在这里插入图片描述

    5.BENCHMARKING与分析

    6.讨论

    7.结论

    本文提出了基于DL的SOD的第一篇全面的综述。

    …一堆废话…

    我们以基准测试和基准测试的新方法调查了一些先前未充分研究的问题。我们通过编译和注释新数据集并测试几种代表性的SOD算法来执行基于属性的性能分析。

    我们最终研究了深度学习时代SOD的一些开放性问题和挑战,并对未来可能的研究方向进行了深刻的讨论。

    展开全文
  • 基于深度学习的显著性目标检测综述_史彩娟 主要内容: 不足和进步:

    基于深度学习的显著性目标检测综述_史彩娟

    主要内容:
    请添加图片描述

    请添加图片描述
    请添加图片描述
    不足和进步:
    请添加图片描述
    请添加图片描述
    请添加图片描述
    请添加图片描述

    视觉和物体显著性检测方法:

    主要内容:
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    提到的数据集:
    在这里插入图片描述
    视觉显著性检测应用到显著性物体检测中(???)

    在这里插入图片描述
    主要内容:
    ???

    数据模型:
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    数据集:
    在这里插入图片描述

    展开全文
  • 显著性对象检测综述 参考:http://mmcheng.net/zh/paperreading/ 一、 程明明等人的论文:Salient Object Detection: A Surve(简单归纳了文章中的我认为比较重要的部分) 该论文旨在全面回顾突出显示目标检测的...
  • 显著性检测-综述

    2019-12-25 22:42:28
    【显著性目标检测】CVPR2018 显著性检测领域论文整理解读(Salient Object Detection) 2019-显著性检测之BASNet: Boundary Aware Salient Object Detection 深度无监督显著性检测:多个Weak Label的伪监督 ...
  • 显著性检测算法综述

    千次阅读 2018-06-26 16:43:03
    最近又对显著性检测的发展现状做了一些梳理,特整理于此。参考了这篇文献:Borji A, Cheng M M, Jiang H, et al. Salient Object Detection: A Survey[J]. Eprint Arxiv, 2014, 16(7):3118. 人类的视觉神经系统可以...
  • 显著性检测

    2019-03-15 21:46:55
    传送小尾巴~ 1.显著性检测综述(完整整理) https://blog.csdn.net/qq_32493539/article/details/79530118 2.南开大学媒体计算实验室 https://mmcheng.net/zh/code-data/
  • 学习笔记–深度学习时代的显著目标检测综述 这篇文章作者引用了182篇参考文献,撰写正文16页,堪称显著目标检测领域综述的良心之作。本文系论文学习笔记。 1 引言 文章开篇作者首先介绍了显著目标检测的起源与发展,...
  • 写在开头:这篇综述最开始写在2019年刚接触显著性目标检测之时,现在整理重发,留个位置,为以后回顾做一定的参照。因为是初探,许多观点都还不够成熟,涉及的方法也大多是18年以前,对于19年新发表的论文和普遍受...
  • 这篇综述是沈建冰、王文冠老师的文章: https://arxiv.org/abs/1904.09146v1 相关代码:https://github.com/wenguanwang/SODsurvey 中文博客介绍: https://www.cnblogs.com/imzgmc/p/11072100.html ...
  • 这里还有显著性检测综述的文章:https://blog.csdn.net/qq_32493539/article/details/79530118 国内的话感觉还是程明明的实验室做的比较多 1. 显著点的检测 Itti的A Model of Saliency-Based Visual Attent.....
  • 显著性目标检测综述

    千次阅读 2020-07-08 14:07:34
    《Salient Object Detection: A Survey》 ... 笔记思路: 1.显著性检测的用途:根据显著性特征(空间域、频域等 ),快速有效地提取场景中有用的区域(目标区域等)进行进一步分析(显著性...2.显著性检测的过程:..
  • 写在开头:这篇综述最开始写在2019年刚接触显著性目标检测之时,现在整理重发,留个位置,为以后回顾做一定的参照。因为是初探,许多观点都还不够成熟,涉及的方法也大多是18年以前,对于19年新发表的论文和普遍受...
  • 方法概要:综述性文章/理论研究 2. GraB: Visual Saliency via Novel Graph Model and Background Priors 原文链接:openaccess 翻译: 题目: 作者: 发表:CVPR2016 方法概要:传统方法/
  • YOLO系列对象检测算法,算是人工智能技术领域的一...YOLOV4对象检测YOLOV4对象检测算法综述:COCO 模型上的检测数据43.5%mAP+65FPS 精度速度最优平衡,YOLOV4无论是在速度上,还是在精度上,都绝对碾压很多对象检测算...
  • 深度学习显著性目标检测的代码总结(如果以后有时间给大家归类),下面链接中有一篇综述,还在整理中,大家可以先看一下原文 这篇综述是沈建冰、王文冠老师的文章:https://arxiv.org/abs/1904.09146v1 相关代码:...
  • 因为最近的paper涉及,所以对channel ...Attention综述:基础原理、变种和最近研究 我挑一些我学习过程中觉得重要的点。 首先,Attention的本质是一个查询(query)到一系列(键key-值value)对的映射,也就是一个寻...
  • 视觉显著性

    2015-08-24 22:55:00
    一、视觉显著性的综述 ...现有的显著性检测的方法有基于层次的、基于频谱的、基于熵的和基于图像对比度的方法。基于层次的方法采用的是多尺度的图像处理,然后不同层次的结果聚集起来成为最后的...
  • 基于随机抽样的视觉显著性

    千次阅读 2015-08-24 22:59:28
    一、视觉显著性的综述  视觉显著性和相关的认知...现有的显著性检测的方法有基于层次的、基于频谱的、基于熵的和基于图像对比度的方法。基于层次的方法采用的是多尺度的图像处理,然后不同层次的结果聚集起来成为最
  • 视觉显著性检测是计算机视觉领域最基础的问题之一,在许多复杂问题中都有所涉及。近年来,得益于神经网络的发展,视觉显著性检测技术有着快速发展。然而之前所有的方法都是基于像素层面进行检测,而不是在物体实例...
  • RGB-D显著检测 之 论文阅读

    千次阅读 2018-05-31 15:19:34
    最近开始研究结合深度信息的图像显著性检测方向的文章,特此记录一下。1. Salient Object Detection: A Survey这篇文章是可查到的最新的一篇关于图像检测的综述,是由程明明老师和Borji主写的。这两位也是显著检测...
  • 参考综述:图像的显著性检测——点特征 详细内容,请拜访原=文章:Fast特征点检测算法 在局部特征点检测快速发展的时候,人们对于特征的认识也越来越深入,近几年来许多学者提出了许许多多的特征检测算法及其改进...
  • 我们的目标是全面回顾显著目标检测的最新进展,并将该领域与其他密切相关的领域,如通用场景分割、目标建议生成和注视预测的显著性进行比较。包括228种出版物,我们调查了i)根源、关键概念和任务,ii)核心技术和主要...
  • 异常(Outlier)检测算法综述

    万次阅读 2014-05-09 21:50:39
    Hawkins(1980)给出了异常的本质的定义:异常是在数据集中与众不同的数据,使人怀疑这些数据并非随机偏差,而是产生于完全不同的机制。聚类算法对异常的定义:异常是聚类嵌于其中的背景噪声。异常检测算法对异常的...
  • 介绍 显著目标检测(Salient Obejct Detection)是模拟人类视觉感知系统来定位场景中...显著目标检测在现实中的应用有:立体匹配(stereo matching)、图像理解(img understanding)、共显著性检测(co-saliency detection)
  • 本文对图像显著性检测及深度敏感信息提取研究的相关检测模板及技术进行广泛研究,对深度敏感信息提取的研究现状进行了分类和概括,并通过对比实验,分析了几种典型深度敏感信息提取算法。最后,对深度敏感信息提取技术...
  • SOD在真实世界的应用范围内起着关键性的作用,例如立体匹配、图像理解、显著性检测、行为感知、视频探测和分割、语义分割、视频图像分割、目标追踪、行人检测、伪装目标检测等等。尽管在过去的几十年里SOD领域已经有...
  • 2019年计算机视觉综述论文汇总

    千次阅读 2019-12-14 22:36:20
    【导读】本文整理了2019年计算机视觉方面的综述论文,包含目标检测、图像分割(含语义/实例分割)、目标跟踪、医学图像分割、显著性目标检测、行为识别、深度估计等。可以使读者对相关 目标检测 2019 四大目标检测...
  • Salient Object Detection即显著性检测,是机器视觉的一个领域。对一幅图像进行显著性检测一般有两个步骤,第一步是检测出图像中最为显著的部分,第二步是将显著部分与图像中其他场景分割开来。显著性检测能够作为...

空空如也

空空如也

1 2 3
收藏数 52
精华内容 20
关键字:

显著性检测综述