精华内容
下载资源
问答
  • 给定m类的注意向量,对ROI特征进行channel-wise soft attention,以此对Faster/ Mask R-CNN的输入图片实现基于m类别的小样本目标检测 一、核心思想 通过在ROI(Region-of-Interest)特征上使用元学习代替完整的图像...

    1. ICCV_2019: Meta R-CNN : Towards General Solver for Instance-level Few-shot Learning (Faster/ Mask R-CNN)

    论文链接:https://arxiv.org/pdf/1909.13032.pdf

    代码链接:https://yanxp.github.io/metarcnn.html

    38951fbc84f614154726c05e191eb7e7.png
    图1: Meta R-CNN 由 Faster/ Mask R-CNN 和 PRN 两部分组成;PRN模块输入为 k-shot-m-class 的带有标注(回归框及语义),输出为表示m类的类注意向量;给定m类的注意向量,对ROI特征进行channel-wise soft attention,以此对Faster/ Mask R-CNN的输入图片实现基于m类别的小样本目标检测

    一、核心思想

    通过在ROI(Region-of-Interest)特征上使用元学习代替完整的图像特征,从而更快的扩展了R-CNN。具体来说,Meta R-CNN 加入了PRN( Predictor-head Remodeling Network)模块,它与Faster/ Mask R-CNN 共享主干网络;PRN输入包含回归框和掩膜信息的few-shot objects以生成其类关注向量;该向量对ROI特征进行channel-wise soft-attention,对R-CNN预测网络进行重构,以检测或分割出与这些类关注向量所代表对类相一致的目标。

    二、具体说明

    1、Review the R-CNN family

    输入图片:

    ROI特征:

    个region proposals

    预测head:

    2、Predictor-head Remodeling Network ( PRN )

    3220e3aba3b7b67ea073d145e8eb6305.png

    ,其中分别表示Faster/ Mask R-CNN 和PRN网络中的参数

    代表channel-wise 乘法运算

    2. ICCV_2019: Few-shot Object Detection via Feature Reweighting (YOLOv2)

    论文链接:https://arxiv.org/pdf/1812.01866.pdf

    代码链接:https:// github.com/bingykang/Fewshot_Detection

    e8fb99dc6a1ed413c4774582f8c283f3.png
    图2. 该模型主要包括两个结构,一是特征提取器,二是权重重组模块;其中权重重组模块用于训练N个类的支持集样本映射为N个权重重组向量,每个权重重组向量负责调整输入图片元特征以便检测对应类中的对象


    3. CVPR_2020: Few-Shot Object Detection with Attention-RPN and Multi-Relation Detector (Faster R-CNN)

    论文链接:https://arxiv.org/abs/1908.01998

    代码链接:https://github.com/fanq15/Few-Shot-Object- Detection-Dataset

    4332a482e827230e9f5858e961049188.png
    图3. 网络主要包括:权重共享网络提取支持集和查询集的图片特征;Attention RPN模块找出查询图片中与支持集图片中的相关类别(粗提取);Multi-Relation Head模块包含三种关系匹配进行精提炼

    163391cf9287ec5ad615881465efdd72.png
    图4. 左图为 Attention RPN 模块;右图为包含三个关系头的 Multi-Relation Head 模块

    contributions:

    1. 本文提供了一个检测novel目标无需重训练及微调的小样本目标检测模型(对抗训练策略+Attention RPN+Multi-Relation Head);网络前期 Attention RPN 模块可以大大提高proposal的质量;后期 Multi-Relation Head 模块能够抑制和滤除混淆背景下的 false 检测。
    2. 提出了一个新的用于小样本学习的数据集:包含1000个类别标注良好的大型数据集,每个类别只有几个examples,且实验证明类别的多样性对目标检测更为重要。

    4. ICLR_2020: Meta-RCNN: Meta Learning for Few-Shot Object Detection ( Faster RCNN)

    论文链接:

    dbb4bb03d9109035c5dd06eb70848854.png
    展开全文
  • 目录 介绍 网络框架 数据集准备 创新点 损失函数 训练和测试过程 实验 结论 介绍 网络框架 ...分为support set和Query set,对于第i次任务,K ways和N images随机从Lc中选择,建立成 ......

    目录

    介绍

    网络框架

    数据集准备

    创新点

    损失函数

    训练和测试过程

    实验

    结论


    介绍

     

    网络框架

     

    数据集准备

    L(训练集)

    分为support set和Query set,对于第i次任务,K ways和N images随机从Lc中选择,建立成

    S(测试集,与L没有类别重合)

     

    创新点

     

    损失函数

     

    训练和测试过程

     

    实验

     

    结论

    展开全文
  • 1

    目录

    背景:

    网络结构:

    数据集及其数据准备:

    创新点:

    损失函数:

    训练和测试过程:

    实验:



    背景:

     

     

    网络结构:

     

     

    数据集及其数据准备:

    FSOD(作者自创的数据集):

     

    ImageNet

     

    MS COCO

     

     

    创新点:

     

    损失函数:

     

    训练和测试过程:

     

    实验:

    展开全文
  • 点击蓝字关注我们computerVision计算机视觉研究院●关注我们,回复:最佳检测●获取源码和数据集下载链接1概 要传统的目标检测方法通常需要大量的训练数据,并且准备这样高质量的...

    点击蓝字关注我们

    computerVision

    计算机视觉研究院

    ● 关注我们,回复:最佳检测 

    获取源码和数据集下载链接

    1

    概 要

    传统的目标检测方法通常需要大量的训练数据,并且准备这样高质量的训练数据是劳动密集型的(工作)。在本文中,我们提出了少量样本的目标检测网络,目的是检测只有几个训练实例的未见过的类别对象。我们的方法的核心是注意力RPN和多关系模块,充分利用少量训练样本和测试集之间的相似度来检测新对象,同时抑制背景中的错误检测。为了训练我们的网络,我们已经准备了一个新的数据集,它包含1000类具有高质量注释的不同对象。据我们所知,这也是第一个数据集专门设计用于少样本目标检测。一旦我们的网络被训练,我们可以应用对象检测为未见过的类,而无需进一步的训练或微调。我们的方法是通用的,并且具有广泛的应用范围。我们证明了我们的方法在不同的数据集上的定性和定量的有效性。

    解决的问题

    少量support的情况,检测全部的属于target目标范畴的前景。

    2

    背景

    现有的物体检测方法通常严重依赖大量的注释数据,并且需要很长的训练时间。这激发了少量样本物体检测的最新发展。鉴于现实世界中物体的光照,形状,纹理等变化很大,少量样本学习会遇到挑战。尽管已经取得了重要的研究和进展,但是所有这些方法都将重点放在图像分类上,而很少涉及到很少检测到物体的问题,这很可能是因为转移从少样本分类到少样本目标检测是一项艰巨的任务。

    仅有少数样本的目标检测的中心是如何在杂乱的背景中定位看不见的对象,从长远来看,这是新颖类别中一些带注释的示例中对象定位的一个普遍问题。潜在的边界框很容易错过看不见的物体,否则可能会在后台产生许多错误的检测结果。我们认为,这是由于区域提议网络(RPN)输出的良好边界框得分不当而导致难以检测到新物体。这使得少样本目标检测本质上不同于少样本分类。另一方面,最近用于少样本物体检测的工作都需要微调,因此不能直接应用于新颖类别。

    在今天分享的文章中,作者解决了少样本目标检测的问题:给定一些新颖目标对象的支持图像,我们的目标是检测测试集中属于目标对象类别的所有前景对象,如下图所示。

    3

    FSOD: A Highly-Diverse Few-Shot Object Detection Dataset

    进行少量学习的关键在于,当新颖的类别出现时,相关模型的泛化能力。因此,具有大量对象类别的高多样性数据集对于训练可以检测到看不见的对象的通用模型以及执行令人信服的评估是必要的。但是,现有的数据集包含的类别非常有限,并且不是在一次性评估设置中设计的。因此,我们建立了一个新的少样本物体检测数据集。我们从现有的大规模对象检测数据集构建数据集以进行监督学习。但是,由于以下原因,这些数据集无法直接使用:

    • 不同数据集的标签系统是在某些具有相同语义的对象用不同的词注释的地方不一致;

    • 由于标签不正确和缺失,重复的框,对象太大,现有注释的很大一部分是嘈杂的;

    • 他们的训练/测试组包含相同的类别,而对于少样本设置,我们希望训练/测试组包含不同的类别,以评估其在看不见的类别上的普遍性。

    为了开始构建数据集,首先从中总结标签系统。我们将叶子标签合并到其原始标签树中,方法是将相同语义(例如,冰熊和北极熊)的叶子标签归为一类,并删除不属于任何叶子类别的语义。然后,我们删除标签质量差的图像和带有不合适尺寸的盒子的图像。具体而言,删除的图像的框小于图像尺寸的0.05%,通常框的视觉质量较差,不适合用作支持示例。接下来,我们遵循几次学习设置,将我们的数据分为训练集和测试集,而没有重叠的类别。如果研究人员更喜欢预训练阶段,我们将在MS COCO数据集中按类别构建训练集。然后,我们通过选择现有训练类别中距离最大的类别来划分包含200个类别的测试集,其中距离是连接is-a分类法中两个短语的含义的最短路径。其余类别将合并到总共包含800个类别的训练集中。总而言之,我们构建了一个包含1000个类别的数据集,其中明确地划分了类别用于训练和测试,其中531个类别来自ImageNet数据集,而469来自开放图像数据集。

    数据集分析

    数据集是专为几次学习和评估新颖类别模型的通用性而设计的,该模型包含1000个类别,分别用于训练和测试集的800/200分割,总共约66,000张图像和182,000个边界框。下表和下图显示了详细的统计信息。我们的数据集具有以下属性。

    类别高度多样性

    包含了83中父类语义,例如哺乳动物,衣服,武器等,这些语义进一步细分为1000个叶子类别。我们的标签树如上图所示。由于严格的数据集划分,我们的训练/测试集包含了非常不同的语义类别的图像,因此给要评估的模型带来了挑战。

    4

    新方法框架

    在RPN前加一个attention,在检测器之前加了3个attention,然后还是用到了负support训练。具体来说,我们构建了一个由多个分支组成的权重共享框架,其中一个分支用于查询集,另一个分支用于支持集(为简单起见,我们在图中仅显示了一个支持分支)。权重共享框架的查询分支是Faster R-CNN网络,其中包含RPN和检测器。我们利用此框架来训练支持和查询功能之间的匹配关系,使网络学习相同类别之间的常识。在该框架的基础上,我们引入了一种新颖的注意力RPN和具有多关系模块的检测器,用于在支持框和查询框之间产生准确的查询解析。

    Attention-Based Region Proposal Network

    没有support,RPN就没有目标,后面的子分类就搞不清楚这么多的不相关目标。使用support信息就能过滤掉大部分的背景框,还有那些不是匹配的类别。通过在RPN中用attention机制来引入support信息,来对其他类的proposal进行压制。通过逐深度的方法计算二者特征值的相似性,相似性用来生成proposal。相似度定义如下:

    其中GGG是attention特征图,X作为一个卷积核在query的特征图上滑动,以一种逐深度(取平均)的方式。使用的是RPN的底部特征,ResNet50的res4-6,发现设置S=1表现很好,这说明全局特征能提供一个好的先验G用3×3的卷积处理,然后接分类和回归层。

    Multi-Relation Detector

    不同的关系模块建模查询和支持图像之间的不同关系。全局关系模块使用全局表示来匹配图像;局部关系模块捕获像素到像素的匹配关系;补丁关系模块对一对多像素关系进行建模。

    该检测器包括三个注意模块,分别是要学习的全局关系模块在深度嵌入的全局匹配中,局部相关模块学习支持和查询建议之间的像素级和深度互相关,而补丁关系模块则学习深度非线性度量以用于补丁匹配。我们通过实验证明,三个匹配的模块可以相互补充以产生更高的性能。

    需要哪些关系模块?我们遵循RepMet中提出的Kway N-shot评估协议来评估我们的关系模块和其他组件。表2显示了我们在FSOD数据集的简单1-way 1-shot训练策略和5-way 5-shot评估下对我们提出的多关系检测器的模型简化测试。

    此后,我们对FSOD数据集上的所有模型简化测试使用相同的评估设置。对于单个模块,本地关系模块在AP50和AP75评估中均表现最佳。出人意料的是,尽管补丁关系模块对图像之间更复杂的关系进行建模,但其性能比其他关系模块差。我们认为,复杂的关系模块使模型难以学习。当组合任何两种类型的关系模块时,我们获得的性能要优于单个关系模块。通过组合所有的关系模块,我们获得了完整的多重关系检测器,并获得了最佳性能,表明三个提出的关系模块相互补充,可以更好地区分目标与不匹配的对象。因此,以下所有实验均采用完整的多关系检测器。

    Two-way Contrastive Training Strategy

    2次对比训练三联体和不同的匹配结果。在查询图像中,只有正支持与目标基本事实具有相同的类别。匹配对包括正面支持和前景建议,非匹配对具有三类:(1)正面支持和背景建议;(2)负面支持和前景建议;(3)负面支持和负面建议。选择训练策略:

    哪个RPN更好?

    我们根据不同的评估指标评估注意力RPN。为了评估提案质量,我们首先评估常规RPN和建议的RPN超过0.5 IoU阈值的前100个提案的召回率。我们关注的RPN具有比常规RPN更好的召回性能(0.9130对0.8804)。然后,我们针对这两个RPN评估整个ground truth框的平均最佳重叠率(ABO)。注意RPN的ABO为0.7282,而常规RPN的相同度量为0.7127。这些结果表明,关注RPN可以生成更多高质量的建议。

    上表进一步比较了在不同训练策略下具有注意力RPN的模型和具有常规RPN的模型。在AP50和AP75评估中,注意力RPN的模型始终表现出比常规RPN更好的性能。在AP50 / AP75评估中,注意力RPN在1-way 1-shot训练策略中产生0.9%/ 2.0%的收益,在2-way 5-shot训练策略中产生2.0%/ 2.1%的收益。这些结果证实,我们注意力的RPN会产生更好的建议并有益于最终的检测预测。因此,在我们的完整模型中采用了注意力RPN。

    5

    实验

    实验可视化

    /End.

    我们开创“计算机视觉协会”知识星球一年有余,也得到很多同学的认可,我们定时会推送实践型内容与大家分享,在星球里的同学可以随时提问,随时提需求,我们都会及时给予回复及给出对应的答复。

    如果想加入我们“计算机视觉研究院”,请扫二维码加入我们。我们会按照你的需求将你拉入对应的学习群!

    计算机视觉研究院主要涉及深度学习领域,主要致力于人脸检测、人脸识别,多目标检测、目标跟踪、图像分割等研究方向。研究院接下来会不断分享最新的论文算法新框架,我们这次改革不同点就是,我们要着重”研究“。之后我们会针对相应领域分享实践过程,让大家真正体会摆脱理论的真实场景,培养爱动手编程爱动脑思考的习惯!

    计算机视觉研究院

    长按扫描二维码

    回复“最佳检测”,

    获取源码和数据集下载链接

    展开全文
  • 文章目录前言一、背景二、相关工作——Related Works2.1 通用目标检测2.2 小样本学习三、 FSOD数据集——A Highly-Diverse Few-Shot Object Detection Dataset3.1 FSOD数据集构建3.2 数据集分析3.3 类别高度多样性...
  • 点击蓝字关注我们computerVision计算机视觉研究院●关注我们,回复:最佳检测●获取源码和数据集下载链接1概 要传统的目标检测方法通常需要大量的训练数据,并且准备这样高质量的...
  • 2020-02-14 05:33:49 目录 提高小样本学习对全新分类的识别能力 ... GTNet:用于零样本目标检测的生成迁移网络 提高小样本学习对全新分类的识别能力 论文名称:Cross-Domain Few-Sho...
  • 而one-stage的目标检测速度相对较快,但是检测精度相对较低.one-stage的精度不如two-stage的精度,一个主要的原因是训练过程中样本极度不均衡造成的. 目标检测任务中,样本包括哪些类别呢?正样本:标签区域...
  • 小样本检测

    千次阅读 2020-04-27 22:17:40
    小样本检测的难度在于目标很小,其特征比较浅(如亮度、边缘信息等),语义信息较少;另外小目标和背景之间尺寸不均衡,用较小的感受野去关注其特征的话,很难提取全局语义信息;用较大的感受野去关注背景信息的话,...
  • 作者 |VincentLee来源 | 晓飞的算法工程笔记该论文研究了非常有意义的增量式少样本目标检测场景iFSD(Incremental Few-Shot Detection),场景设置如下:检测模型可以在包含充足样本的基础类别上进行训练训练好后,...
  • 而one-stage的目标检测速度相对较快,但是检测精度相对较低.one-stage的精度不如two-stage的精度,一个主要的原因是训练过程中样本极度不均衡造成的. 目标检测任务中,样本包括哪些类别呢?正样本:标签区域...
  • 目标检测中数据增强的方法——mixup:针对小样本 在样本量不足的情况下,我们通常会采用mixup或者填鸭式的方法来进行数据增强。其中mixup是将正负样本融合成新的一组样本,使得样本量翻倍。填鸭式是将原本样本里的...
  • 编者按:目标检测与目标跟踪这两个任务有着密切的联系。针对目标跟踪任务,微软亚洲研究院提出了一种通过目标检测技术来解决的新视角,采用简洁、统一而高效的“目标检测+小样本学习”框架,在多个主...
  • 目标检测小tricks--样本不均衡处理参考paperweekly的微信公众号文章参考链接:目标检测小tricks之样本不均衡处理(paperweekly) 基于深度学习的目标检测主要包括:基于two-stage的目标检测和基于one-stage的目标...
  • 在深度学习中,一般要求样本的数量要充足,样本数量越多,训练出来的...填鸭式是将原本样本里的目标抠出来,随机复制粘贴到其他地方。(个人理解) 以下是mixup方法的代码示例: # coding:utf-8 import cv2 import o
  • 样本量不足的情况下,我们通常会采用mixup或者填鸭式的方法来进行数据增强。其中mixup是将正负样本融合成新的一组样本,使得样本量翻倍。填鸭式是将原本样本里的目标抠出来,随机复制粘贴到其他地方。() ...
  • 来源 | 微软研究院AI头条(ID: MSRAsia)编者按:目标检测与目标跟踪这两个任务有着密切的联系。针对目标跟踪任务,微软亚洲研究院提出了一种通过目标检测技术来解决的新视角,采用简...
  • 目标检测小tricks--样本不均衡处理参考paperweekly的微信公众号文章参考链接:目标检测小tricks之样本不均衡处理(paperweekly) 基于深度学习的目标检测主要包括:基于two-stage的目标检测和基于one-stage的目标...
  • 目标检测小tricks--样本不均衡处理参考paperweekly的微信公众号文章参考链接:目标检测小tricks之样本不均衡处理(paperweekly) 基于深度学习的目标检测主要包括:基于two-stage的目标检测和基于one-stage的目标...
  • 解决小样本目标检测问题。目前目标检测的增量都与小样本学习相结合,可能因为小样本的目标检测虽然性能较差,但是提升较大,因此容易产生一些贡献点和达到SOTA。 解决方案也是按照类似于,分类任务的方法,先将模型...
  • 目录提高小样本学习对全新分类的识别能力 机器学习的“学习如何遗忘”复杂城市背后简单的空间尺度规则FD-GAN:具有融合鉴别器的生成对抗网络用于单幅图像去雾 GTNet:用于零样本目标检测的生成迁移网络 提高小样本...
  • 文章目录一、图片输入层面1. 数据增强策略2....增加包含小目标样本的采样率,缓解了训练过程中包含小目标图片较少的这种不均衡; 将小目标在同一张图像中多拷贝几次;增加了匹配到小目标GT的anch
  • 长按扫描二维码关注我们 回复“sxd”获取论文下载 由于真实世界数据的固有long-tail分布,Few-shot目标检测是一个迫切而持久的问题。它的性能在很大程度上受到新类数据稀缺的影响。但是,不管数据的可用性如何,新...
  • 样本是指不包含任务所要识别的目标的图像,也叫负图像(Negtive Image)。以识别限速牌为例,如下所示,左图包含限速牌,为正样本,右图不包含限速牌,为背景图,即负样本。 正样本[外链图片转存失败,源站可能有...
  • 小目标检测的场景 Anchor 自适应算法 差分进化算法 超参优化算法 BML自动超参搜索 极端高宽比的案例----货架挡板的检测 目标数据增广 目标尺度分布不均衡,目标样本稀缺,漏检率高。 ...
  • 目标检测小技巧

    2019-10-02 02:28:48
    在训练检测网络时,若已经训练出一个较好的检测器,在用它进行测试时,还会有一些误检,这时可以把误检的图像加入负样本中retrain检测网络,迭代次数越多则训练模型越好 转载于:...
  • 前一篇文章已经总结了,要检测识别多目标,需要这几样东西。 1.建议框和真实框的相对位置 2 中心点 3 iou(建议框和真实框) 4 cls(类别) 如果自己做样本,就先用标注软件得到框的左上角和右下角的坐标点,然后算...

空空如也

空空如也

1 2 3 4 5 ... 19
收藏数 371
精华内容 148
关键字:

小样本目标检测