精华内容
下载资源
问答
  • 显著性检测综述(完整整理)(转自https://blog.csdn.net/qq_32493539/article/details/79530118)
    千次阅读
    2018-08-08 22:05:51

    显著性对象检测综述

    参考:http://mmcheng.net/zh/paperreading/

    一、    程明明等人的论文:Salient Object Detection: A Surve(简单归纳了文章中的我认为比较重要的部分)

    该论文旨在全面回顾突出显示目标检测的最新进展,并将其与其他密切相关领域(如通用场景分割,目标建议生成以及固定预测的显著性)相关联。主要内容涉及i)根源,关键概念和任务,ii)核心技术和主要建模趋势,以及iii)显著性物体检测中的数据集和评估指标。讨论并提出了未来的研究反向等开放性问题。

    1.介绍

    1.1 什么是显著性物体

    提到一般认为,良好的显著性检测模型应至少满足以下三个标准:1)良好的检测:丢失实际显著区域的可能性以及将背景错误地标记为显著区域应该是低的;2)高分辨率:显著图应该具有高分辨率或全分辨率以准确定位突出物体并保留原始图像信息;3)计算效率:作为其他复杂过程的前端,这些模型应该快速检测显著区域。

    1.3显著物体检测历史

    (1)Itti等人提出的最早、经典的的显著模型。例如[24]一文掀起了跨认知心理学、神经科学和计算机视觉等多个学科的第一波热潮。

    (2)第二波热潮由刘等人的[25],[55]和Achanta等人的[56]掀起,他们将显著性检测定义为二元分割问题,自此出现了大量的显著性检测模型。

    (3)最近出现了第三波热潮,卷积神经网络(CNN)[69],特别是引入完全卷积神经网络[70]。与基于对比线索的大多数经典方法不同[1],基于CNN的方法消除了对手工特征的需求减轻了对中心偏见知识的依赖,因此被许多科研人员所采用。基于CNN的模型通常包含数十万个可调参数和具有可变接受字段大小的神经元。神经元具有较大的接受范围提供全局信息,可以帮助更好地识别图像中最显著的区域。CNN所能实现前所未有的性能使其逐渐成为显著性物体检测的主流方向。

    2. 现状调查

    本节主要回顾三部分内容:1)显著性物体检测模型;2)应用;3)数据集。

    2.1 经典模型(非常详细)

    2.1.1 具有内在线索的基于块的模型

    有两个缺点:1)高对比度边缘通常突出而不是突出物体;2)凸显物体的边界不能很好地保存。为了克服这些问题,一些方法提出基于区域来计算显著性。两个主要优点:1)区域的数量远少于区块的数量,这意味着开发高效和快速算法的潜力;2)更多的信息功能可以从区域中提取,领先以更好的表现。

    2.1.2 具有内在线索的基于区域的模型(图4)

    基于区域的显著性模型的主要优势:1)采用互补先验,以提高整体性能,这是主要优势;2)与像素和色块相比,区域提供更复杂的线索(如颜色直方图),以更好地捕捉场景的显著对象;3)由于图像中的区域数量远小于像素数量,因此在生成全分辨率显著图时,区域级别的计算显著性可以显著降低计算成本。

    2.1.3 具有外部线索的模型(图5)

    2.1.4 其他经典模型(图6)

    局部化模型、分割模型、监督模式与无监督模式、聚合和优化模型

    2.2 基于深度学习的模型

    2.2.1 基于CNN(经典卷积网络)的模型

    CNN大大降低了计算成本,多级特征允许CNN更好地定位检测到显著区域的边界,即使存在阴影或反射。但CNN特征的空间信息因为使用了MLP(多层感知器)而无法保留。

    2.2.2 基于FCN(完全卷积网络)的模型

    该模型具有保存空间信息的能力,可实现点对点学习和端到端训练策略,与CNN相比大大降低了时间成本。但在具有透明物体的场景、前景和背景之间的相同对比度以及复杂的背景等情况无法检测显著物体。

    元素: PI=像素,PA=补丁,PE=区域,前缀m和h分别表示多尺度和分层版本。

    假设: CP=中心先验,G=全局对比度,L=局部对比度,ED=边缘密度,B=背景先验,F=先验焦点,O=先验物体,CV=先验凸度,CS=中心环绕对比度,CLP=先验颜色,SD空间分布,BC=边界连通之前,SPS=稀疏噪声。

    聚合/优化: LN=线性,NL=非线性,AD=自适应,RI=分层,BA=贝叶斯,GMRF=高斯MRF,EM=能量最小化,LS=最小二乘解

    线索 :GT=地面真值注释,SI=相似图像,TC=时间线索,SCO=显著性实现,DP=深度,LF=光场。

    对于显著性假设 : P=通用属性,PRA=预注意线索,HD=高维特征空间中的判别性,SS=显著性相似性,CMP=显著性提示的互补,SP=采样概率,MCO=运动相干性,RP=重复性,RS=区域相似度,C=相应,DK=领域知识。

    其他 : CRF=条件随机场,SVM=支持向量机,BDT=提升决策树,RF=随机森林

    4 数据集和评估措施

    4.1 显著对象检测数据集

    早期的带有包围框的突出物体图像:MSRA-A和MSRA-B

    使用像素方式的二进制掩码来注释显著对象:ASD和DUT-OMRON

    具有复杂和杂乱背景中的多个对象的数据集:[22]、[23]、[26]

    4.2 评估措施(5个)

    用S表示归一化为[0,255]的预测显著图,G是显著对象的地面正式二进制掩模

    (1) 精确召回(PR)。首先将显著图S转化为二进制掩码M,然后通过将M与地面真值G进行比较来计算Precission和Recall:

    (2) F值:通常Precission和Recall都不能完全评估显著图的质量,为此提出F值作为Precission和Recall的非负权重的集权跳河平均:

    (3) ROC(Receiver Operating Characteristic)曲线:是以假正率(FP_rate)和假负率(TP_rate)为轴的曲线

    (4)ROC曲线下面积(AUC):AUC越大性能越好

    (5) 平均绝对误差(MAE):进行更全面的比较。

    图12,比较流行的显著性对象检测数据集:

     

     

    二、    传统显著性检测内容补充(论文中的分类和自己平时习惯不一致,所以重新收集资料整理了一下)

    常用显著性检测方法:

    1.  认知模型

    几乎所有模型都直接或间接地受认知模型启发而来,其一大特点是与心理学和神经学相结合。Itti模型(使用三个特征通道:颜色、属性、方向)是这一类模型的代表,也是后来很多衍生模型的基础

    2.  信息论模型

    本质是最大化来自所处视觉环境的信息,其中最有影响力的模型是AIM模型。

    3.  图论模型

    基于图轮的显著性模型把眼动数据看成时间序列,使用了隐马尔科夫模型、动态贝叶斯网和条件随机场等方法。图模型可以对复杂的注意机制建模,因此能取得较好的预测能力,缺点在于模型的高复杂度,尤其涉及训练和可读性时。典型模型有:GBVS等

    4.  频域模型

    基于频谱分析的显著性模型,形式简洁,易于解释和实现,并且在注意焦点预测和显著区域检测方面取得了很大的成功,但其生物合理性不是非常清楚。经典模型有:频谱残差的显著性检测模型(纯数学计算方法)。

     

    参考资料链接:

    http://www.docin.com/p-915060851.html

    http://www.doc88.com/p-4993561181219.html

    http://blog.csdn.net/u012507022/article/details/52863461

     

     

    三、    基于深度学习的显著性检测内容补充(论文是2014年所写,关于深度学习部分不够完善,因此在此又补充了一下)

    基于深度学习的显著性目标检测研究发展初期从物体检测神经网络到OverFeat,一直难以取得理想的效果。2014年R-CNN的诞生成为第一个真正可以工业级应用的方案,其在VOC2007测试集的mAP提升至66%。但R-CNN框架仍然存在很多问题:

    1) 训练分为多个阶段,步骤较为繁琐:微调网络+训练SVM+训练边框回归器

    2) 训练耗时,占用磁盘空间大:5000张图片产生几百G的特征文件

    3) 速度慢:使用GPU,VGG-16模型处理一张图像需要47s

    截止目前,基于深度学习的显著性目标检测研究可以分为基于区域建议的深度学习目标检测基于回归的深度学习目标检测两个类别。

     

    基于区域建议的深度学习目标检测方法有:R-CNN、SPP-net、FastR-CNN、Faster R-CNN、R-FCN等。

    1) R-CNN(Regions with CNN features)重复计算,时间、空间代价较高;

    2) SPP-net(Spatial Pyramid Pooling)强化了CNN的使用,允许输入大小不一致的图片,进一步强调了CNN特征计算前移、区域处理后移的思想,极大节省计算量,但不是端到端的模型且CNN特征提取没有联动调参数;

    3) FastR-CNN的出现解决了前两者重复计算的问题,实现了区域建议到目标检测一端的卷积共享,首次提出的RoI Pooling技术极大地发挥区域后移的优势,加快了训练速度,采用VGG-16作为CNN网络模型,联动调用参数提升了实验效果,但是依然没有实现端到端的模型,对SS区域建议依赖严重;

    4) Faster R-CNN弃用选择性搜索,提出了RPN网络来计算候选框,使用端到端的网络进行目标检测,无论在速度上还是在精度上,都得到了极大的提高,但在速度上并不能满足实时的需求,对每个建议分类计算量仍较大,功能上没有进入实例分割阶段。

     

    基于回归的深度学习目标检测方法有:YOLO、SSD、G-CNN、NMS等。

    1) YOLO(You Only Look Once)将目标检测任务转换成回归问题,大大简化了检测的过程、加快了检测的速度,但预测目标窗口时使用的是全局信息,冗余度高,且没有区域建议机制后检测精度不高;

    2) SSDSingle ShotMultibox Detector)预测某个位置时使用的是该位置周围的特征,结合YOLO的回归思想以及FasterR-CNN中的候选区域机制,既保持了YOLO速度快的特性,也保证了精确定位;

    3) G-CNN着力于减少初始化建议数量,使数以万计的建议变成极少的初始格网,提升了检测速度;

    4) NMS(Non Maximum Suppression)则通过迭代的形式去除重复候选框,取置信率最大的框。

    当前实际应用中,基于区域建议的深度学习目标检测使用更为广泛。

     

    当前基于深度学习的显著性检测研究方法:

    R-CNN系列显著性目标检测框架和YOLO显著性目标检测框架给了我们进行基于深度学习的目标检测两个基本框架。目前研究人员基于这些框架从其他方面入手提出一系列提高目标检测性能的方法。如:难样本挖掘、多层特征融合、使用上下文信息、更深网络学习的特征等。

    更多相关内容
  • 显著性检测综述(完整整理)

    万次阅读 多人点赞 2018-03-12 17:37:43
    显著性对象检测综述 参考:http://mmcheng.net/zh/paperreading/ 一、 程明明等人的论文:Salient Object Detection: A Surve(简单归纳了文章中的我认为比较重要的部分) 该论文旨在全面回顾突出显示目标检测的...

     转载请附链接,注明出处。

    显著性对象检测综述

    参考:http://mmcheng.net/zh/paperreading/

    一、    程明明等人的论文:Salient Object Detection: A Surve(简单归纳了文章中的我认为比较重要的部分)

    该论文旨在全面回顾突出显示目标检测的最新进展,并将其与其他密切相关领域(如通用场景分割,目标建议生成以及固定预测的显著性)相关联。主要内容涉及i)根源,关键概念和任务,ii)核心技术和主要建模趋势,以及iii)显著性物体检测中的数据集和评估指标。讨论并提出了未来的研究反向等开放性问题。

    1.介绍

    1.1 什么是显著性物体

    提到一般认为,良好的显著性检测模型应至少满足以下三个标准:1)良好的检测:丢失实际显著区域的可能性以及将背景错误地标记为显著区域应该是低的;2)高分辨率:显著图应该具有高分辨率或全分辨率以准确定位突出物体并保留原始图像信息;3)计算效率:作为其他复杂过程的前端,这些模型应该快速检测显著区域。

    1.3显著物体检测历史

    (1)Itti等人提出的最早、经典的的显著模型。例如[24]一文掀起了跨认知心理学、神经科学和计算机视觉等多个学科的第一波热潮。

    (2)第二波热潮由刘等人的[25],[55]和Achanta等人的[56]掀起,他们将显著性检测定义为二元分割问题,自此出现了大量的显著性检测模型。

    (3)最近出现了第三波热潮,卷积神经网络(CNN)[69],特别是引入完全卷积神经网络[70]。与基于对比线索的大多数经典方法不同[1],基于CNN的方法消除了对手工特征的需求减轻了对中心偏见知识的依赖,因此被许多科研人员所采用。基于CNN的模型通常包含数十万个可调参数和具有可变感受野大小的神经元。神经元具有较大的接受范围提供全局信息,可以帮助更好地识别图像中最显著的区域。CNN所能实现前所未有的性能使其逐渐成为显著性物体检测的主流方向。

    2. 现状调查

    本节主要回顾三部分内容:1)显著性物体检测模型;2)应用;3)数据集。

    2.1 经典模型(非常详细)

    2.1.1 具有内在线索的基于块的模型

    有两个缺点:1)高对比度边缘通常突出而不是突出物体;2)凸显物体的边界不能很好地保存。为了克服这些问题,一些方法提出基于区域来计算显著性。两个主要优点:1)区域的数量远少于区块的数量,这意味着开发高效和快速算法的潜力;2)更多的信息功能可以从区域中提取,领先以更好的表现。

    2.1.2 具有内在线索的基于区域的模型(图4)

    基于区域的显著性模型的主要优势:1)采用互补先验,以提高整体性能,这是主要优势;2)与像素和色块相比,区域提供更复杂的线索(如颜色直方图),以更好地捕捉场景的显著对象;3)由于图像中的区域数量远小于像素数量,因此在生成全分辨率显著图时,区域级别的计算显著性可以显著降低计算成本。

    2.1.3 具有外部线索的模型(图5)

    2.1.4 其他经典模型(图6)

    局部化模型、分割模型、监督模式与无监督模式、聚合和优化模型

    2.2 基于深度学习的模型

    2.2.1 基于CNN(经典卷积网络)的模型

    CNN大大降低了计算成本,多级特征允许CNN更好地定位检测到显著区域的边界,即使存在阴影或反射。但CNN特征的空间信息因为使用了MLP(多层感知器)而无法保留。

    2.2.2 基于FCN(完全卷积网络)的模型

    该模型具有保存空间信息的能力,可实现点对点学习和端到端训练策略,与CNN相比大大降低了时间成本。但在具有透明物体的场景、前景和背景之间的相同对比度以及复杂的背景等情况无法检测显著物体。

    元素: PI=像素,PA=补丁,PE=区域,前缀m和h分别表示多尺度和分层版本。

    假设: CP=中心先验,G=全局对比度,L=局部对比度,ED=边缘密度,B=背景先验,F=先验焦点,O=先验物体,CV=先验凸度,CS=中心环绕对比度,CLP=先验颜色,SD空间分布,BC=边界连通之前,SPS=稀疏噪声。

    聚合/优化: LN=线性,NL=非线性,AD=自适应,RI=分层,BA=贝叶斯,GMRF=高斯MRF,EM=能量最小化,LS=最小二乘解

    线索 :GT=地面真值注释,SI=相似图像,TC=时间线索,SCO=显著性实现,DP=深度,LF=光场。

    对于显著性假设 : P=通用属性,PRA=预注意线索,HD=高维特征空间中的判别性,SS=显著性相似性,CMP=显著性提示的互补,SP=采样概率,MCO=运动相干性,RP=重复性,RS=区域相似度,C=相应,DK=领域知识。

    其他 : CRF=条件随机场,SVM=支持向量机,BDT=提升决策树,RF=随机森林

    4 数据集和评估措施

    4.1 显著对象检测数据集

    早期的带有包围框的突出物体图像:MSRA-A和MSRA-B

    使用像素方式的二进制掩码来注释显著对象:ASD和DUT-OMRON

    具有复杂和杂乱背景中的多个对象的数据集:[22]、[23]、[26]

    4.2 评估措施(5个)

    用S表示归一化为[0,255]的预测显著图,G是显著对象的地面正式二进制掩模

    (1) 精确召回(PR)。首先将显著图S转化为二进制掩码M,然后通过将M与地面真值G进行比较来计算Precission和Recall:

    (2) F值:通常Precission和Recall都不能完全评估显著图的质量,为此提出F值作为Precission和Recall的非负权重的集权跳河平均:

    (3) ROC(Receiver Operating Characteristic)曲线:是以假正率(FP_rate)和假负率(TP_rate)为轴的曲线

    (4)ROC曲线下面积(AUC):AUC越大性能越好

    (5) 平均绝对误差(MAE):进行更全面的比较。

    图12,比较流行的显著性对象检测数据集:

     

     

     

    二、    传统显著性检测内容补充(论文中的分类和自己平时习惯不一致,所以重新收集资料整理了一下)

    常用显著性检测方法:

    1.  认知模型

    几乎所有模型都直接或间接地受认知模型启发而来,其一大特点是与心理学和神经学相结合。Itti模型(使用三个特征通道:颜色、属性、方向)是这一类模型的代表,也是后来很多衍生模型的基础

    2.  信息论模型

    本质是最大化来自所处视觉环境的信息,其中最有影响力的模型是AIM模型。

    3.  图论模型

    基于图轮的显著性模型把眼动数据看成时间序列,使用了隐马尔科夫模型、动态贝叶斯网和条件随机场等方法。图模型可以对复杂的注意机制建模,因此能取得较好的预测能力,缺点在于模型的高复杂度,尤其涉及训练和可读性时。典型模型有:GBVS等

    4.  频域模型

    基于频谱分析的显著性模型,形式简洁,易于解释和实现,并且在注意焦点预测和显著区域检测方面取得了很大的成功,但其生物合理性不是非常清楚。经典模型有:频谱残差的显著性检测模型(纯数学计算方法)。

     

    参考资料链接:

    http://www.docin.com/p-915060851.html

    http://www.doc88.com/p-4993561181219.html

    http://blog.csdn.net/u012507022/article/details/52863461

     

     

     

    三、    基于深度学习的显著性检测内容补充(论文是2014年所写,关于深度学习部分不够完善,因此在此又补充了一下)

    基于深度学习的显著性目标检测研究发展初期从物体检测神经网络到OverFeat,一直难以取得理想的效果。2014R-CNN的诞生成为第一个真正可以工业级应用的方案,其在VOC2007测试集的mAP提升至66%。但R-CNN框架仍然存在很多问题:

    1) 训练分为多个阶段,步骤较为繁琐:微调网络+训练SVM+训练边框回归器

    2) 训练耗时,占用磁盘空间大:5000张图片产生几百G的特征文件

    3) 速度慢:使用GPUVGG-16模型处理一张图像需要47s

    截止目前,基于深度学习的显著性目标检测研究可以分为基于区域建议的深度学习目标检测基于回归的深度学习目标检测两个类别。

     

    基于区域建议的深度学习目标检测方法有:R-CNNSPP-netFastR-CNNFaster R-CNNR-FCN等。

    1) R-CNN(Regions with CNN features)重复计算,时间、空间代价较高;

    2) SPP-net(Spatial Pyramid Pooling)强化了CNN的使用,允许输入大小不一致的图片,进一步强调了CNN特征计算前移、区域处理后移的思想,极大节省计算量,但不是端到端的模型且CNN特征提取没有联动调参数;

    3) FastR-CNN的出现解决了前两者重复计算的问题,实现了区域建议到目标检测一端的卷积共享,首次提出的RoI Pooling技术极大地发挥区域后移的优势,加快了训练速度,采用VGG-16作为CNN网络模型,联动调用参数提升了实验效果,但是依然没有实现端到端的模型,对SS区域建议依赖严重;

    4) Faster R-CNN弃用选择性搜索,提出了RPN网络来计算候选框,使用端到端的网络进行目标检测,无论在速度上还是在精度上,都得到了极大的提高,但在速度上并不能满足实时的需求,对每个建议分类计算量仍较大,功能上没有进入实例分割阶段。

     

    基于回归的深度学习目标检测方法有:YOLOSSDG-CNNNMS等。

    1) YOLO(You Only Look Once)将目标检测任务转换成回归问题,大大简化了检测的过程、加快了检测的速度,但预测目标窗口时使用的是全局信息,冗余度高,且没有区域建议机制后检测精度不高;

    2) SSDSingle ShotMultibox Detector)预测某个位置时使用的是该位置周围的特征,结合YOLO的回归思想以及FasterR-CNN中的候选区域机制,既保持了YOLO速度快的特性,也保证了精确定位;

    3) G-CNN着力于减少初始化建议数量,使数以万计的建议变成极少的初始格网,提升了检测速度;

    4) NMS(Non Maximum Suppression)则通过迭代的形式去除重复候选框,取置信率最大的框。

    当前实际应用中,基于区域建议的深度学习目标检测使用更为广泛。

     

    当前基于深度学习的显著性检测研究方法:

    R-CNN系列显著性目标检测框架和YOLO显著性目标检测框架给了我们进行基于深度学习的目标检测两个基本框架。目前研究人员基于这些框架从其他方面入手提出一系列提高目标检测性能的方法。如:难样本挖掘、多层特征融合、使用上下文信息、更深网络学习的特征等。

     (本来是熬了个夜准备组会的稿子~结果最后也没汇报成,有种换好衣服结果告诉我不用出门了,小失落~)

    展开全文
  • 显著性目标检测综述

    万次阅读 2020-07-08 14:07:34
    《Salient Object Detection: A Survey》 ... 笔记思路: 1.显著性检测的用途:根据显著性特征(空间域、频域等 ),快速有效地提取场景中有用的区域(目标区域等)进行进一步分析(显著性...2.显著性检测的过程:..

    《Salient Object Detection: A Survey》

    url:https://arxiv.org/abs/1411.5878

    笔记思路:

    1.显著性检测的用途:根据显著性特征(空间域、频域等

    ),快速有效地提取场景中有用的区域(目标区域等)进行进一步分析(显著性目标检测),如object proposal generation, generic scene segmentation, saliency for fixation prediction.

    2.显著性检测的过程:1)检测明显物体;2)分割该物体准确区域。

    3.显著性检测的评价指标:1)良好的检测:丢失真实的显着区域并错误地将背景标记为显着区域的可能性要小;2)高分辨率:显着图应具有高分辨率或全分辨率,以准确地定位显着对象并保留原始图像信息;3)计算效率:作为其他复杂过程的前端,这些模型应快速检测出显着区域

    回归本文目的:显着物体检测模型通常旨在仅检测场景中最显着的物体,并分割这些物体,另一方面,是对人类注意点的预测。这两种方法,共同的地方是输出一个显著图,图中数值越高,受关注程度越高。

    趋势:基于手工特征-》CNN提取特征


    第一波显著性模型:

    基于中心周围机制的自下而上注意的心理学理论

    L. Itti, C. Koch, and E. Niebur, “A model of saliency-based visual attention for rapid scene analysis,” IEEE TPAMI, no. 11, pp. 1254–1259, 1998.

    第二波:

    显著性检测问题定义为二值分割问题。

    T. Liu, J. Sun, N. Zheng, X. Tang, and H.-Y. Shum, “Learning to detect a salient object,” in CVPR, 2007, pp. 1–8.
    
    T. Liu, Z. Yuan, J. Sun, J. Wang, N. Zheng, X. Tang, and H.-Y. Shum, “Learning to detect a salient object,” IEEE TPAMI,vol. 33, no. 2, pp. 353–367, 2011.
    
    R. Achanta, F. Estrada, P. Wils, and S. S ¨ usstrunk, “Salient region detection and segmentation,” in Comp. Vis. Sys., 2008.

    第三波:

    基于卷积神经网络

    J. Long, E. Shelhamer, and T. Darrell, “Fully convolutionalnetworks for semantic segmentation,” in CVPR, 2015, pp.3431–3440.

    1.显著性目标检测模型

    1) block-based models with intrinsic cues,

    逐像素中心环绕对比度

    缺点:高对比度的边缘通常会突出而不是突出物体、突出物体的边界无法很好地保留

    2) region-based models with intrinsic cues

    加入先验条件,颜色先验区域、中心先验等,多种先验条件融合,使其能适应更复杂的环境

    低秩为背景,可用PCA提取分量占比大的认为是背景。

    利用区域对比突出显著性

    3)models with extrinsic cues (both block- and region-based).

    外在提示可以从训练图像,相似图像,视频序列,一组包含公共显着物体的输入图像,深度图或光场图像的标注信息中得出。

    相似的图像可以很好地逼近背景区域,而显着区域可能无法很好地近似。

    4)Other Classic Models

    用边框信息来定位或分割显著目标。

    显著目标转化为是否存在显著目标的二值分类问题。

    s =wTf

    有监督式vs无监督式

    5)深度学习模型

    CNN-based -MLPs with two layers

    FCN-based 全卷积网络考虑像素级别的操作来克服由全连接层所引起的问题,例如在显着对象边界附近的模糊性和不准确的预测。

    FCN-based 利用深层信息和浅层信息(语义信息和细节信息)

    倾向于FCN-based模型

    应用

    对象检测和识别[181]-[187],图像和视频压缩[188],[189],视频摘要[190]-[192],照片拼贴/媒体重新定位/裁剪/缩略图钉钉[ 175],[193],[194],图像质量评估[195]-[197],图像分割[198]-[201],基于内容的图像检索和图像收集浏览[178],[202]-[ 204],图像编辑和操作[41],[176],[179],[180],视觉跟踪[205]-[211],对象发现[212],[213]和人机交互[214] ],[215]。

    3.数据集

    3.1with bounding boxes annotation

    MSRA-A and MSRA-B

    3.2with pixel-wise binary masks

    ASD [37] and DUT-OMRON [97]

    4.评价指标

    显著图的二值化:有以下2种:

    1.

    2.GrabCut-like algorith

    5种常用指标

    1)Precision-recall (PR).

    2)F-measure

    3) Receiver operating characteristics (ROC) curve

    4)Arear under ROC curve (AUC).

    5)Mean absolute error (MAE).

    5.讨论

    5.1 启发式vs数据驱动式

    5.2 人工特征vsCNN特征

    5.3 CNN-based 模型:监督性模型、encoder-decoder模型

    6.未来方向

    1.  Beyond Working with Single Images. 在多图像中应用
    2. Instance-Level Salient Object Detection. 示例水平的显著性目标检测
    3. Versatile Network Architectures.多功能网络架构
    4. 开放性问题:一个场景中需要展示多少显著性目标、平滑的显著图是否会影响分数和模型排名、显着物体检测与其他领域有何不同、解决模型评估中的中心偏差的最佳方法是什么、模型表现和人类之间的还有多少差距。。。
    5. 开放性问题:一个场景中需要展示多少显著性目标?显著图的平滑是否影响分数和分级?。。。

    (Some remaining questions include:

    1.how many (salient) objects are necessary to represent a scene?

    2.does map smoothing affect the scores and model ranking?

    3.how is salient object detection different from other fields?

    4. what is the best way to tackle the center bias in model evaluation?

    5. what is the remaining gap between models and humans?)

    Don’t ask what segments can do for you, ask what you can do for the segments.

    — Jitendra Malik.

    展开全文
  • 基于深度学习的显著性目标检测综述_史彩娟 主要内容: 不足和进步:

    基于深度学习的显著性目标检测综述_史彩娟

    主要内容:
    请添加图片描述

    请添加图片描述
    请添加图片描述
    不足和进步:
    请添加图片描述
    请添加图片描述
    请添加图片描述
    请添加图片描述

    视觉和物体显著性检测方法:

    主要内容:
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    提到的数据集:
    在这里插入图片描述
    视觉显著性检测应用到显著性物体检测中(???)

    在这里插入图片描述
    主要内容:
    ???

    数据模型:
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    数据集:
    在这里插入图片描述

    展开全文
  • 显著性检测算法综述

    千次阅读 2018-06-26 16:43:03
    最近又对显著性检测的发展现状做了一些梳理,特整理于此。参考了这篇文献:Borji A, Cheng M M, Jiang H, et al. Salient Object Detection: A Survey[J]. Eprint Arxiv, 2014, 16(7):3118. 人类的视觉神经系统可以...
  • 显著性检测综述

    千次阅读 2015-12-15 10:11:03
    Harel在2006年提出基于图的视觉显著性检测. 有Matlab实现。http://www.klab.caltech.edu/~harel/share/gbvs/ J. Harel, C. Koch, &P. Perona. Graph-based visual saliency. Advances in Neural ...
  • 视频显著性检测

    2020-03-23 20:59:48
    1.《Motion Guided Attention for Video Salient Object Detection》 ——CVPR 2019
  • 显著性检测论文综述阅读笔记 Author: wbzhang 2020/3/19 E-mail: wbzhang233@163.com 1.Salient Object Detection in the Deep Learning Era: An In-Depth Survey 刊于2019.10 单张图片的显...
  • 对于计算机来说,前一种能力被称为显著性物体检测,而后一种能力被称为协同显著性物体检测显著性目标检测只需要对单张图片进行处理和检测,根据人眼的视觉注意机制找出图片中最具有信息量的区域和物体。而协同显著...
  • 显著性检测-综述

    2019-12-25 22:42:28
    【显著性目标检测】CVPR2018 显著性检测领域论文整理解读(Salient Object Detection) 2019-显著性检测之BASNet: Boundary Aware Salient Object Detection 深度无监督显著性检测:多个Weak Label的伪监督 ...
  • 学习笔记–深度学习时代的显著目标检测综述 这篇文章作者引用了182篇参考文献,撰写正文16页,堪称显著目标检测领域综述的良心之作。本文系论文学习笔记。 1 引言 文章开篇作者首先介绍了显著目标检测的起源与发展,...
  • 显著性检测—学习笔记

    千次阅读 2019-09-09 15:43:33
    将显著性物体检测推向新高度 Salient Objects in Clutter: Bringing Salient Object Detection to the Foreground [6] 显著性检测综述(完整整理) [7] 显著性检测数据集—学习笔记 [8] 关于文献阅读和科研选题
  • 显著性检测的另一个任务凝视点检测(fixation prediction)则起源于认知和心理学研究,与眼动点检测不同的是,显著目标检测更多的受不同领域的应用驱动:比如,在CV研究中,SOD可以应用于图像理解,图像描述,目标...
  • 人类具有一种视觉注意机制,即当面对一个场景时,会选择性...通过计算机视觉算法对左边的图像进行视觉显著性检测能够得到下图右边的结果,其中黑色区域为不显著区域,白色为显著区域,显著性检测在机器人领域、目标检测
  • 深度学习显著性目标检测的代码总结(如果以后有时间给大家归类),下面链接中有一篇综述,还在整理中,大家可以先看一下原文 这篇综述是沈建冰、王文冠老师的文章:https://arxiv.org/abs/1904.09146v1 相关代码:...
  • 论文:RGB-D Salient Object Detection: A Survey 论文下载:RGB-D Salient Object Detection: A Survey ...论文一共24页,共计193篇参考文献。 作者单位:IIAI&...显著性目标检测(SOD)可模拟人类视觉感
  • 显著性检测

    千次阅读 2019-09-23 11:07:00
    (2)第二波热潮由刘等人的[25],[55]和Achanta等人的[56]掀起,他们将显著性检测定义为二元分割问题,自此出现了大量的显著性检测模型。 (3)最近出现了第三波热潮,卷积神经网络(CNN)[69],特别是引入完全...
  • 基于深度学习的显著性目标检测综述.pdf
  • 人眼关注点预测(eye fixation prediction)和显著物体检测(salient object detection)都属于显著性检测任务,都是对图片或者视频的最显著区域进行检测。但是两者在方法机理和应用场景上有一些差异。 1.人眼关注点...
  • RGB-D显著检测 之 论文阅读

    千次阅读 2018-05-31 15:19:34
    最近开始研究结合深度信息的图像显著性检测方向的文章,特此记录一下。1. Salient Object Detection: A Survey这篇文章是可查到的最新的一篇关于图像检测的综述,是由程明明老师和Borji主写的。这两位也是显著检测...
  • 从人类视觉推理显著性目标检测

    千次阅读 2021-01-15 10:26:11
    目前关于视觉显著性的研究主要集中在两个方面: 注视点的预测和SOD(显著性目标检测),然后这两者之间的关系并没有很好的探索,论文提出了一种利用注视点预测模型辨别显著性目标。通过利用注视点预测推理显著目标,...
  • 视觉显著性检测

    万次阅读 多人点赞 2016-10-20 18:05:13
    视觉显著性检测(Visual saliency detection)指通过智能算法模拟人的视觉特点,提取图像中的显著区域(即人类感兴趣的区域)。 视觉注意机制(Visual Attention Mechanism,VA),即面对一个场景时,人类自动地对感兴趣...
  • 4 总结 本文提出了一种端到端的协同显著性检测网络,重点考虑了协同显著性检测任务中图间关系建模、图内显著性与图间关系的协同、协同显著性目标的一致性保持等问题,所提模型在多个数据集上都取得了较好的检测...
  • 在本文中,我们利用图像级标签能够提供前景显著目标的重要线索这一观察结果,开发了一种仅使用图像级标签进行显著性检测的弱监督学习方法。前景推理网络(FIN)被引入到这项具有挑战性的任务中。在我们训练方法的第一...
  • 首先,通过监督方案学习的局部特征可以有效地捕捉局部对比度、纹理和形状信息,用于显著性检测。第二,不同的全局显著性线索之间的复杂关系可以被深度网络所捕捉并被利用,而非启发式地使用。在几个基准数据集上进行...
  • 显著性检测论文阅读整理

    千次阅读 2019-11-07 15:20:43
    1. Visual Saliency Based on Multiscale Deep Features 原文链接:https://arxiv.org/pdf/1503.08663.pdf 翻译:... 题目:基于多尺度深度特征的视觉显著性 作者:Guanbin Li,Yi...
  • 显著性检测数据集之——眼动预测

    千次阅读 2020-11-07 17:45:30
    本文收集的显著性检测数据集包含两个部分:人眼关注点预测数据集(fixation prediction datasets)和显著物体检测数据集(salient object detection datasets)。 1.fixation prediction datasets: (1) MIT300数据...
  • 统计学_显著性检验综述

    万次阅读 2015-08-23 22:48:44
    显著性检验概述 关于统计的一些问题 关于独立 关于自由度 参数检验与非参数检验概述 联系与区别 优缺点 非参数适用情况 参数检验 正态总体均值的假设检验 正态总体方差的假设检验 二...
  • 这篇综述是沈建冰、王文冠老师的文章: https://arxiv.org/abs/1904.09146v1 相关代码:https://github.com/wenguanwang/SODsurvey 中文博客介绍: https://www.cnblogs.com/imzgmc/p/11072100.html ...
  • 显著检测分类 显著物体检测

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 5,211
精华内容 2,084
关键字:

显著性检测综述