精华内容
下载资源
问答
  • ICCV2015 tutorial convolutional feature maps Kaiming He ICCV 2015 CNN 卷积神经网络 目标检测 教程 何凯明
  • Object detection networks on convolutional feature maps Abstract: 1. Introduction Use convolutional layers to extract region-independent features, followed by region-wise MLPs for classification. ...

    Object detection networks on convolutional feature maps

    Abstract:

    1. Introduction

    Use convolutional layers to extract region-independent features, followed by region-wise MLPs for classification.

    We focus on region-wise classifier architectures that are on top of the shared region-independent convolutional features.we call them ‘networks on convolutional feature maps

    我们使用了去掉全连接层的backbone,resnet,googlenet和vgg并没有直接的提升目标检测的准确率,因此networks on convolutional feature maps是一个更重要的因素。

    2. Related work

    Traditional object detection

    ConvNet-based object detection

     

    3. Ablation experiments

    Mainly designed based on the sppnet system.we consider following setting:

    1. the shared features maps are frozen so we can focus on the classifiers
    2. the proposals are pre-computed from selective search(replaced by RPN)
    3. the training step ends with a post-hoc SVM

    Experimental settings

    Outline of Method (More attention on NoCs)

    2000 region proposals by selective search

    Roi pooling prodduces a fixed-resolution (m*m) feature map for each region

      我们把m*m的feature map作为一个新的数据源并设计Noc结构来分类这些数据。

      NOC结构最后输出的是一个n+1维,n是目标,1是背景,使用SGD和反向传播

    3.1Using MLP AS NoC

    最简单的设计就是使用fc layers。我们讨论了2-4层fc,the last fc layer is always (n+1)-d with softmax, and the other fc layers are 4096d(with Relu).

    3.2 Using ConvNet as Noc

    In recent detection systems,预训练的卷积网络被认为是区域独立的特征提取器,在不区分roi上进行共享。尽管节约了计算,但是忽视了使用卷积网络去学习region-aware特征的机会。我们从Noc出发,Noc部分也需要自己的conv layer

    the mAP is nearly unchanged when using 1 additional conv layer, but drops when using more conv layers. We observe that the degradation is a result of overfitting.

    3.3 Maxout for Scale Selection

    We incorporate a local competition operation(maxout) into NoCs to improve scale selection from the feature pyramid

    To improve scale invariance, for each proposal region we select two adjacent scales in the feature pyramid. Two fixed-resolution (m × m) features are RoI-pooled, and the NoC model has two data sources.

    3.4 Fine-tuning NoC

    In the above,all Noc architectures are initialized randomly.对Noc部分进行迁移。

    3.5 Deep features vs deep classifiers

    This means that for exploiting very deep networks, the depth of features and the depth of classifiers are important

    3.6 Error Analysis

    The error can be roughly decomposed into two parts: localization error and recognition error.

    Locaization error is defined as the false positives that are correctly categorized but have no sufficient overlapping with ground truth.

    Recognition error

    3.7Comparisons of results

    3.8 Summary of observations

    (i) A deeper region-wise classifier is useful and is in general orthogonal to deeper feature maps.
    (ii) A convolutional region-wise classifier is more effective than an MLP-based region-wise classifier

     

    4. NoC for faster rcnn with resnet

    We demonstrate that the NoC design is an essential factor for Faster R-CNN [14] to achieve superior
    results using ResNets

    a deep and convolutional NoC is an essential factor for Faster R-CNN + ResNet to perform accurate object detection.

     

     

     

     

    展开全文
  • 这个文章作者在知乎又一个比较好的介绍:知乎链接 概要 疫情还未过去,趁着有空和项目需要来简单记录一下object tracking方面的文章吧。 这篇paper创新点主要有三个: (1)结构化SVM:结构化SVM与传统SVM相比有着...

    这个文章作者在知乎又一个比较好的介绍:知乎链接

    概要

    疫情还未过去,趁着有空和项目需要来简单记录一下object tracking方面的文章吧。

    这篇paper创新点主要有三个:
    (1)结构化SVM:结构化SVM与传统SVM相比有着强大的判别力,而相关滤波有着速度上惊人的优势,作者将结构化SVM与相关滤波算法相结合;
    (2)跟踪错检问题:多峰前向检测。这一点是用来解决相似物体干扰的。在目标周围有特征相似的干扰物体时,响应图会有多个峰值,且最高的那一个有可能是干扰物体的,这时候可能就会引起误判;
    (3)模型更新策略方面:如何判断跟踪器跟踪的不好,或者说如何判断当前帧出现了遮挡、甚至目标丢失?一旦能够判断这一点,模型更新的准确性就可以有较大提升。

    算法分析

    (1)结构化SVM:

    在基于相关滤波(Correlation Filter)算法(这个部分可以看我之前的博客文章有一定的介绍)出现之后,通过循环采样大大增加了样本数量,为一直以来困扰跟踪领域的稀疏采样问题提供了新的解决思路,并且可以用快速傅里叶变换FFT快速求解,因此可以在保证速度的前提下用一些维度较高的特征来做跟踪,比如KCF用到了HOG特征。KCF用简单的岭回归作为分类器,但是由于用到了高维的HOG特征以及稠密采样,使得它的效果还是非常好的,并且速度在170FPS左右,这也使得KCF变成了大量算法的baseline。到这里就出现了LMCF的第一个最重要的motivation了,我们想用循环矩阵来突破结构化SVM的稀疏采样问题,更想借助CF来突破结构化SVM的跟踪速度。

    (2)多峰值检测:

    展开全文
  • Mobile Video Object Detection with Temporally-Aware Feature Maps 来源: 谷歌,CVPR 2018 文章链接:https://arxiv.org/abs/1711.06368v2 最新研究 CVPR2019(在此基础上进一步提升速度):...

    Mobile Video Object Detection with Temporally-Aware Feature Maps

    来源: 谷歌,CVPR 2018
    文章链接:https://arxiv.org/abs/1711.06368v2
    最新研究 CVPR2019(在此基础上进一步提升速度):https://arxiv.org/abs/1903.10172
    代码:https://github.com/tensorflow/models/tree/master/research/lstm_object_detection

    motivation

    近几年图像目标检测算法在深度学习的助力下取得了令人瞩目的成就,但是在将其实际运用在视频检测当中会遇到很多图像目标检测算法很难解决的困难,例如检测不稳定,计算量等。并且会遗失视频中重要的时序信息(帧间的相关性),这些信息无疑会帮助提升视频目标检测的精度和速度。本文作者将conv-LSTM进一步改进并嵌入到现有的目标检测算法当中,旨在合理利用时序信息(将早期帧的检测信息用于当前检测)优化检测,同时可以实时检测。

    方法

    对于视频目标检测任务描述如下
    对于给定的视频序列 V = { I 0 , I 1 , … I n } \mathcal{V}=\left\{I_{0}, I_{1}, \ldots I_{n}\right\} V={I0,I1,In},我们想得到结果序列为 { D 0 , D 1 , … D n } \left\{D_{0}, D_{1}, \ldots D_{n}\right\} {D0,D1,Dn}
    单帧图像目标检测方法: G ( I t ) = D t \mathcal{G}\left(I_{t}\right)=D_{t} G(It)=Dt
    加入时序信息后可以定义为: F ( I t , s t − 1 ) = ( D t , s t ) \mathcal{F}\left(I_{t}, s_{t-1}\right)=\left(D_{t}, s_{t}\right) F(It,st1)=(Dt,st),其中 s k = { s k 0 , s k 1 , … s k m − 1 } s_{k}=\left\{s_{k}^{0}, s_{k}^{1}, \ldots s_{k}^{m-1}\right\} sk={sk0,sk1,skm1},表示 k k k帧之前特征映射的集合。
    现在通过带有 m m m层LSTM的目标检测器去拟合这个函数。

    如何将LSTM集成到SSD检测器中

    在这里认为LSTM的状态单元 s t s_{t} st带有时间上下文信息,LSTM可以将此状态单元和输入特征结合,将时间信息有选择的添加到输入特征中去,同时更新状态单元。作者认为可以将这样的LSTM层加到原来目标检测器的任意一层之后以细化下一层的输入特征。具体而言,我们将上面所定义的单帧图像目标检测函数 G ( I t ) = D t \mathcal{G}\left(I_{t}\right)=D_{t} G(It)=Dt分裂为 m + 1 m+1 m+1个子网络,所以目标检测器函数就变成了这个样子 G ( I t ) = ( g m ∘ ⋯ ∘ g 1 ∘ g 0 ) ( I t ) G\left(I_{t}\right)=\left(g_{m} \circ \cdots \circ g_{1} \circ g_{0}\right)\left(I_{t}\right) G(It)=(gmg1g0)(It),之后我们将 m m m层LSTM L 0 , L 1 , … L m − 1 \mathcal{L}_{0}, \mathcal{L}_{1}, \ldots \mathcal{L}_{m-1} L0,L1,Lm1 逐层添加到其中:

    ( M + 0 , s t 0 ) = L 0 ( g 0 ( I t ) , s t − 1 0 ) ( M + 1 , s t 1 ) = L 1 ( g 1 ( M + 0 ) , s t − 1 1 ) ⋮ ( M + m − 1 , s t m − 1 ) = L m − 1 ( g m − 1 ( M + m − 2 ) , s t − 1 m − 1 ) D t = g m ( M + m − 1 ) \begin{aligned}\left(M_{+}^{0}, s_{t}^{0}\right) &=\mathcal{L}_{0}\left(g_{0}\left(I_{t}\right), s_{t-1}^{0}\right) \\\left(M_{+}^{1}, s_{t}^{1}\right) &=\mathcal{L}_{1}\left(g_{1}\left(M_{+}^{0}\right), s_{t-1}^{1}\right) \\ & \vdots \\\left(M_{+}^{m-1}, s_{t}^{m-1}\right) &=\mathcal{L}_{m-1}\left(g_{m-1}\left(M_{+}^{m-2}\right), s_{t-1}^{m-1}\right) \\ D_{t} &=g_{m}\left(M_{+}^{m-1}\right) \end{aligned} (M+0,st0)(M+1,st1)(M+m1,stm1)Dt=L0(g0(It),st10)=L1(g1(M+0),st11)=Lm1(gm1(M+m2),st1m1)=gm(M+m1)

    M M M为特征映射。
    在这里插入图片描述
    当然我们不可能在目标检测器的每一个层之后都添加一个LSTM层,这样计算量会爆炸,那么问题来了要把LSTM放在哪里呢?作者基于MoblieNet+SSD结构做了一些实验。最后作者将放在FM4之后的结构最为最终模型。
    在这里插入图片描述

    改进宽度乘子

    为了避免加入LSTM之后网络的计算量过大,作者让模型不同部分的宽度乘子也不同。 α b a s e = α \alpha_{b a s e}=\alpha αbase=α α s s d = 0.5 α \alpha_{s s d}=0.5 \alpha αssd=0.5α α l s t m = 0.25 α \alpha_{l s t m}=0.25 \alpha αlstm=0.25α

    改进LSTM

    普通LSTM对于图像并不是很好的选择,作者考虑了对卷积LSTM进一步改进。首先给出了卷积LSTM的定义:
    f t = σ ( ( M + N ) W f N ⋆ [ x t , h t − 1 ] ) i t = σ ( ( M + N ) W i N ⋆ [ x t , h t − 1 ] ) o t = σ ( ( M + N ) W o N ⋆ [ x t , h t − 1 ] ) c t = f t ∘ c t − 1 + i t ∘ ϕ ( ( M + N ) W c N ⋆ [ x t , h t − 1 ] ) h t = o t ∘ ϕ ( c t ) \begin{aligned} f_{t} &=\sigma\left(^{(M+N)} W_{f}^{N} \star\left[x_{t}, h_{t-1}\right]\right) \\ i_{t} &=\sigma\left(^{(M+N)} W_{i}^{N} \star\left[x_{t}, h_{t-1}\right]\right) \\ o_{t} &=\sigma\left(^{(M+N)} W_{o}^{N} \star\left[x_{t}, h_{t-1}\right]\right) \\ c_{t} &=f_{t} \circ c_{t-1}+i_{t} \circ \phi\left(^{(M+N)} W_{c}^{N} \star\left[x_{t}, h_{t-1}\right]\right) \\ h_{t} &=o_{t} \circ \phi\left(c_{t}\right) \end{aligned} ftitotctht=σ((M+N)WfN[xt,ht1])=σ((M+N)WiN[xt,ht1])=σ((M+N)WoN[xt,ht1])=ftct1+itϕ((M+N)WcN[xt,ht1])=otϕ(ct)
    对于 j W k ^{j}W^{k} jWk k k k为输入的维度, j j j为输出维度
    改进如下:

    • 作者首先用深度分离卷积替换所有的卷积运算。
    • 为了保持LSTM前后特征的分布不变,这里的激活函数 ϕ \phi ϕ使用的是ReLU。
    • 作者还用Bottleneck Features进一步缩减了运算量,思路是这样的原来的LSTM每个门都需要将输入维度 M + N M+N M+N转换为输出维度 N N N,增加了计算量。作者先引入了一个Bottleneck layer b t = ϕ ( ( M + N ) W b N ⋆ [ x t , h t − 1 ] ) b_{t}=\phi\left(^{(M+N)} W_{b}^{N} \star\left[x_{t}, h_{t-1}\right]\right) bt=ϕ((M+N)WbN[xt,ht1]) 先完成这个变换,将其输出作为其他运算的输入,如下图。
      在这里插入图片描述
      作者通过实验比较了Bottleneck-LSTM相对于不使用LSTM,普通LSTM和GRU的优势。在这里插入图片描述

    实验结果

    • 与其他单帧图像目标检测方法比较
      在这里插入图片描述
    • 通过随机遮挡图片,验证Bottleneck-LSTM较其他目标检测方法的鲁棒性
      在这里插入图片描述
    • 实时检测效果
      新用户消息,请处理!!

    理解

    通过观察实验结果可以发现,作者提出的方法确实在检测精度上面有了提升,但是我个人认为速度方面的提升并不能归于LSTM,应该是对后面SSD部分用深度分离卷积替换标准卷积带来的。而谷歌在CVPR2019提出了对该文章的所做的 工作进一步改进,将速度可以提升到了72FPS。

    展开全文
  • this paper develops a method to improve the coupling between the convolution layer and the FC layer by reducing the noise in Feature Maps (FMs). Our approach is divided into three steps. Firstly, we ...
  • 论文:Enhancement of SSD by concatenating feature maps for object detection  论文链接:https://arxiv.org/abs/1705.09587 出发点:虽然深度网络的效果会随着feature map数量的增加而提升,但并不代表...

    论文:Enhancement of SSD by concatenating feature maps for object detection 
    论文链接:https://arxiv.org/abs/1705.09587


    出发点:虽然深度网络的效果会随着feature map数量的增加而提升,但并不代表简单地增加feature map的数量就能达到更好的效果。本文利用特征金字塔的原理,通过改进特征融合方式,共享分类网络的不同层的权重,充分利用特征,提升了原有的SSD的算法效果。


    传统SSD的不足:

    1.在SSD中,不同层的feature map都是独立作为分类网络的输入,因此可能出现相同物体被不同大小的框同时检测出来的情况。

    2.对小尺寸物体的检测效果比较差。


    针对传统SSD的改进:

    1.利用分类网络增加不同层之间的feature map的联系,减少重复框的出现。

    2.通过增加不同层之间的联系,来增加每一层的feature map的个数,使其可以检测到更多的小尺寸物体。



    特征融合方式:

    1.采用pooling的方式进行融合。

    举例:对于最左边的38*38的feature map,将其做pooling后和左边第二个的19*19的feature map做连接,这样原来的conv7层就有两个19*19的feature map了。然后再对这两个19*19的feature map做pooiling,再和左边第三个的10*10的feature map做连接......

    2.采用deconvolution的方式进行融合。

    举例:从最右边的1*1的feature map往左边做concate。因为deconvolution是降维,所以是从右到左;而前面的pooling是降维,所以是从左到右。

    3.同时采用pooling和deconvolution的方式进行融合。

    前两种融合方式的缺点在于,信息的传递都是单向的,这样分类网络不能够利用其他方向的信息。需要注意的是,不同层的feature map的scale不同,因此在对不同层的feature map做连接之前,都会对feature map做一个normalization操作。论文采用第3种特征融合方式。

    通过rainbow concatenation,每一层的feature map的个数都会变成2816个(是512, 1024, 512, 256, 256和256的和)。






    展开全文
  • Enhancement of SSD by concatenating feature maps for object detection BMVC 2017 本文是对SSD 的改进,通过牺牲一点速度来提高精度,主要解决SSD 两个问题:1)同一目标多次检测,2)小目标检测率不高 改进的...
  • feature maps 卷积的基本运算 先介绍第一个概念,卷积的运算,我们知道图像处理里面有很多的滤波操作,比如高斯滤波,拉普拉斯滤波,这些其实都是基于卷积的一种运算。 I ⊛ g I ⊛ g I \...
  • 这是CVPR 2015的一篇 关于深度学习和目标检测的文章,作者是MSRA的Shaoqing Ren, Kaiming He等。作者在基于卷积得到的feature map基础上,训练 新的网络作为 region classifier,获得性能提升。
  • 原工程 ...1.tools文件夹下新建一个vis_features.py 修改标签、模型、网络、测试图 #!/usr/bin/env python ...4.在data/feature_picture文件夹下生成以图片名命名的文件夹,文件夹下有该测试图所有层的feature maps
  • pytorch-obtain feature maps from network

    千次阅读 2017-05-29 21:04:35
    1. import torch import torch.nn as nn import torchvision.models as models from torch.autograd import Variable import time class toyNet(nn.Module): ... def __init__(self, pretrained_model, layers
  • 8、我们通过卷及特征图(实验框架),(Networks on convolutional feature maps),NoCs(简写),我们提出了融合的,预训练好的深度卷积网作为特征提取器,实验不同的NoC框架,每个都实现了一个目标分类 9、 是否...
  • 特征图(或者叫地标图,landmark maps)利用参数化特征(如点和线)的全局位置来表示环境。如图1所示,机器人的外部环境被一些列参数化的特征,即二维坐标点表示。... Fig.1 Feature maps.  机器人...
  • https://arxiv.org/abs/1703.05020 Mengmeng Wang, Yong Liu, Zeyi Huang ...(Submitted on 15 Mar 2017 (v1), last revised 20 Mar 2017 (this version, v2)) ...Structured output support vector machine
  • title={Learning directional feature maps for cardiac mri segmentation}, author={Cheng, Feng and Chen, Cheng and Wang, Yukang and Shi, Heshui and Cao, Yukun and Tu, Dandan and Zhang, Changzheng and ...
  • 通过纵向的对比,可以看出通过加深feature extractor,可以减少recognition error ,通过横向的对比,可以看出通过设计良好的classifier,可以减少localizaition error。可见后面的classifer和前面的feature ...
  • 今天小编就为大家分享一篇Pytorch抽取网络层的Feature Map(Vgg)实例,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
  • 因此需要获取网络最后层的所有featureMapsfeatureMaps的结果直接对应了segmentation的最终结果,可以直接用于掩模分析。 caffe源码给出了提取中间层featureMap的源代码,位置在tools/extract_features.cpp。 ...
  • #创建模型,将会输出五个layers的output,即feature maps outputs= [layer.output for layer in layers] model = tf.keras.Model([vgg.input], outputs)
  • 《Enhancement of SSD by concatenating feature maps for object detection》论文阅读 摘要: 用resnet网络代替传统SSD当中的分类网络VGG,共享权重的属性使得训练更快,泛化能力更好。在VOC2007和VOC2012组成的...
  • 理解CNN中的特征图 feature map

    千次阅读 2021-03-27 15:46:39
    feature map的含义 在每个卷积层,数据都是以三维形式存在的。你可以把它看成许多个二维图片叠在一起,其中每一个称为一个feature map。在输入层,如果是灰度图片,那就只有一个feature map;如果是彩色图片,一般...
  • The forth paper: LMCF Large Margin Object Tracking with CirculantFeature Maps/ Author: Mengmeng Wang, Yong Liu, Zeyi Huang /Publication information: CVPR2017Outline: LMCF puts much effort in improving...
  • Pooling layer is used to obtain small scale feature maps, and scale-transfer layer is used to obtain large scale feature maps. 网络结构如下图所示 所谓的Scale Transfer Module其实就是ESPCN里面...
  • 我对《Where to Focus: Query Adaptive Matching for Instance Retrieval Using Convolutional Feature Maps》的理解
  • https://blog.csdn.net/denghecsdn/article/details/77848246一直以来,感觉 feature map 挺晦涩难懂的,今天把初步的一些理解记录下来。参考了斯坦福大学的机器学习公开课和七月算法中的机器学习课。 CNN一个牛逼...
  • 个人理解卷积神经网络中feature map的含义 在每个卷积层,数据都是以三维形式存在的。你可以把它看成许多个二维图片叠在一起,其中每一个称为一个feature map。在输入层,如果是灰度图片,那就只有一个feature map...
  • keras特征图可视化:visualize_feature_map

    万次阅读 2021-03-09 14:09:50
    版本: (labelme) C:\Users\wym... 1、pip install keras 2、pip install tensorflow-cpu==2.2.0 ...feature_map: # coding: utf-8 from keras.applications.vgg19 import VGG19 from ke...
  • Detection-and-Segmentation-of-the-Left-Ventricle-in-Cardiac-MRI-Using-Deep-Learning
  • feature map理解

    万次阅读 多人点赞 2019-05-09 21:33:48
    Feature Map是什么 在CNN的设定里,Feature Map是卷积核卷出来的,你用各种情况下的卷积核去乘以原图,会得到各种各样的feature map。你可以理解为你从多个角度去分析图片。,而不同的特征提取(核)会提取不同的...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 23,854
精华内容 9,541
关键字:

featuremaps