精华内容
下载资源
问答
  • 细粒度图像识别

    千次阅读 2020-03-22 21:34:39
    大四上半年一直在做细粒度图像识别的相关研究工作,做了一个学期,也摸索出一些方案,最终把精度做到了和ICCV 2019一样——87.7%(数据集:CUB-200-2011,其他数据集暂时还没有验证性能),后面想接着做下去,超过...

    Fine-grained Image Recognition

    大四上半年一直在做细粒度图像识别的相关研究工作,做了一个学期,也摸索出一些方案,最终把精度做到了和ICCV 2019一样——87.7%(数据集:CUB-200-2011,其他数据集暂时还没有验证性能),后面想接着做下去,超过ICCV 2019,但是被导师制止了,说我创新点不足。。。无语。。。

    接下来总结一下细粒度相关的研究进展:

    1. Learning to Navigate for Fine-grained Classi cation—— ECCV 2018
    在这里插入图片描述

    datasetstop-1 Acc
    CUB-200-201187.5%
    FGVC Aircraft91.4%
    Stanford Cars93.9%
    在不同数据集上的精度,Backbone:ResNet 50

    2.LEARNING TO FOCUS AND DISCRIMINATE FOR FINE-GRAINED CLASSIFICATION——ICIP 2019
    在这里插入图片描述

    datasetstop-1 Acc
    CUB-200-201187.6%
    FGVC Aircraft92.1%
    Stanford Cars94.1%
    在不同数据集上的精度,Backbone:ResNet 50

    3.Cross-X Learning for Fine-Grained Visual Categorization——ICCV 2019

    在这里插入图片描述

    datasetstop-1 Acc
    CUB-200-201187.7%
    Stanford Dogs88.9%
    FGVC Aircraft92.7%
    在不同数据集上的精度,Backbone:ResNet 50

    4.Destruction and Construction Learning for Fine-grained Image Recognition——CVPR 2019
    在这里插入图片描述

    datasetstop-1 Acc
    CUB-200-201187.8%
    Stanford Cars94.5%
    FGVC Aircraft93.0%
    在不同数据集上的精度,Backbone:ResNet 50

    5.Looking for the Devil in the Details: Learning Trilinear Attention Sampling Network for Fine-grained Image Recognition——CVPR 2019
    在这里插入图片描述

    datasetstop-1 Acc
    CUB-200-201187.9%
    Stanford Cars93.8%
    iNaturalist 201768.2%
    在不同数据集上的精度,Backbone:ResNet 50

    6.Selective Sparse Sampling for Fine-grained Image Recognition——ICCV 2019
    在这里插入图片描述

    datasetstop-1 Acc
    CUB-200-201188.5%
    Stanford Cars94.7%
    Stanford Aircraft92.8%
    在不同数据集上的精度,Backbone:ResNet 50
    展开全文
  • 深度细粒度图像识别研究综述.pdf
  • 目前最新的细粒度图像识别,哪个更NB?知道的麻烦把模型说一下,我看一下,谢谢!
  • 人脸识别属于细粒度图像识别吗? 是不是同类物体的识别问题都属于细粒度图像识别
  • 基于用户点击数据的细粒度图像识别方法概述
  • 细粒度图像识别(2020)

    千次阅读 2020-03-18 10:20:58
    细粒度图像识别(2020) Fine-Grained Graph-propagation based Correlation Learning for Weakly Supervised Fine-grained Image Classification Fine-Grained Recognition: Accounting for Subtle Differences ...

    Fine-Grained Image

    如果有 错误 / 进一步更新, 欢迎提出, 谢谢!

    1. Associating Multi-Scale Receptive Fields for Fine-grained Recognition(ICIP2020)
    2. Interpretable and Accurate Fine-grained Recognition via Region Grouping (CVPR)
    3. Weakly Supervised Fine-grained Image Classification via Guassian Mixture Model Oriented Discriminative Learning(CVPR)
    4. Attention Convolutional Binary Neural Tree for Fine-Grained Visual Categorization(CVPR)
    5. Discriminative Feature-oriented Gaussian Mixture Model for Fine-grained Image Recognition(AAAI)
    6. Graph-propagation based Correlation Learning for Weakly Supervised Fine-grained Image Classification (AAAI)
    7. Fine-Grained Recognition: Accounting for Subtle Differences between Similar Classes(AAAI)
    8. Learning Attentive Pairwise Interaction for Fine-Grained Classification (AAAI)
    9. Channel Interaction Networks for Fine-Grained Image Categorization(AAAI)
    10. Web-Supervised Network with Softly Update-Drop Training for Fine-Grained Visual Classification(AAAI)
    11. Filtration and Distillation: Enhancing Region Attention for Fine-Grained Visual Categorization (AAAI)
      AAAI20 Fine-grained Image Classification List
    12. ELoPE: Fine-Grained Visual Classification with Efficient Localization, Pooling and Embedding(WACV)
    13. L*ReLU: Piece-wise Linear Activation Functions for Deep Fine-grained Visual Categorization(WACV)
    14. Color Composition Similarity and Its Application in Fine-grained Similarity(WACV)
    15. Associating Multi-Scale Receptive Fields for Fine-grained Recognition (ICIP)
    16. What Deep CNNs Benefit from Global Covariance Pooling: An Optimization Perspective (CVPR)
    17. Low-Rank Pairwise Alignment Bilinear Network For Few-Shot Fine-Grained Image Classification(Few-Shot)

    截止/更新于2020.04.07 (在投状态)

    1. Coarse2Fine: A Two-stage Training Method for Fine-grained Visual Classification

    2. Multi-Objective Matrix Normalization for Fine-grained Visual Recognition (更新于2020.04.07)

    3. Attribute Mix: Semantic Data Augmentation for Fine Grained Recognition (在投)(ECCV)(更新于2020.04.07)

    4. Group Based Deep Shared Feature Learning for Fine-grained Image Classification (在投)(BMVC)(更新于2020.04.07)

    5. A Systematic Evaluation: Fine-Grained CNN vs. Traditional CNN Classifiers (更新于2020.04.07)

    6. Fine-Grained Visual Classification with Efficient End-to-end Localization (在投) (BMVC) (更新于2020.05.07)

    7. TOAN: Target-Oriented Alignment Network for Fine-Grained Image Categorization with Few Labeled Samples

    8. Focus Longer to See Better:Recursively Refined Attention for Fine-Grained Image Classification

    图像检索

    1. Self-supervising Fine-grained Region Similarities for Large-scale Image Localization
    2. ExchNet: A Unified Hashing Network for Large-Scale Fine-Grained Image Retrieval(ECCV2020)
    3. Smooth-AP: Smoothing the Path Towards Large-Scale Image Retrieval (ECCV 2020,VGG)
    4. Attention-Based Query Expansion Learning(ECCV 2020)

    Image Classification

    1. Semi-Siamese Training for Shallow Face Learning(ECCV20)

    2. Learning to Learn Parameterized Classification Networks for Scalable Input Images(ECCV2020)

    3. Spatially Attentive Output Layer for Image Classification (CVPR)

    4. Towards Robust Image Classification Using Sequential Attention Models
      论文地址:https://arxiv.org/abs/1912.02184(CVPR)

    5. Image Matching across Wide Baselines: From Paper to Practice
      论文地址:https://arxiv.org/abs/2003.01587(CVPR)

    6. Self-training with Noisy Student improves ImageNet classification
      论文地址:https://arxiv.org/abs/1911.04252(CVPR)

    7. Web-Supervised Network with Softly Update-Drop Training for Fine-Grained Visual Classification(AAAI)

    8. Graph-Propagation Based Correlation Learning for Weakly Supervised Fine-Grained Image Classification(AAAI)

    9. Constructing Multiple Tasks for Augmentation: Improving Neural Image Classification With K-Means Features(AAAI)

    10. ViP: Virtual Pooling for Accelerating CNN-based Image Classification and Object Detection(WACV)

    11. Image identification of Protea species with attributes and subgenus scaling(WACV)

    转载请注明出处:https://hqufgcvyyw.blog.csdn.net/article/details/104938716
    展开全文
  • 细粒度图像识别算法Mask-CNN

    千次阅读 2018-05-16 18:52:13
    传统的图像识别一般都是识别花、鸟、汽车等不同类别物体,而细粒度图像识别则是要识别同一类物体下的不同子类。举个例子,识别一张图片是猫、狗、汽车还是飞机就是传统的图像识别,而识别一张图片是贵宾犬、边境牧羊...

    1 简介

    • 传统的图像识别一般都是识别花、鸟、汽车等不同类别物体,而细粒度图像识别则是要识别同一类物体下的不同子类。举个例子,识别一张图片是猫、狗、汽车还是飞机就是传统的图像识别,而识别一张图片是贵宾犬、边境牧羊犬、吉娃娃还是斗牛犬,则是细粒度图像识别。不同的犬类相似性一般都很高,比如下面的哈士奇和阿拉斯加雪橇犬,如果事先不知道它们有差别的部位,很难正确识别。现在图像识别大都使用卷积神经网络CNN,卷积层会针对整个图像(不论是背景还是物体)提取特征,而细粒度图像识别重点在于物体的一些关键部分,如此一来CNN提取的有很多特征向量都是没用的。

    这里写图片描述

    • 前人已经提出了很多先检测物体部位后识别的方法。本文提出了Mask-CNN模型(M-CNN),它在训练时仅需要part annotations和image-level标签这两个信息。其中part annotations分成两个集合:头部和躯干,如此part localization就成了一个三类分割问题。完整的网络可见下图,M-CNN是一个四线模型(four-stream),四个输入分别为完整图像、检测到的头部、检测到的躯干和检测到的完整物体,每条线程通过卷积最后都得到了deep descriptors(应该是常说的特征图),进而得到1024-d向量,将四个向量拼接在一起,通过l2l2正则化、全连接层和softmax,最后得到类别。

    这里写图片描述

    这里写图片描述

    • 文章做出了三大贡献: 1、在细粒度图像识别方面,M-CNN是首个端到端的,将深度卷积描述符运用到物体检测的模型;2、M-CNN的参数最少(40.96M),向量维度最小(8192-d),CUB200-2011上准确率最高(85.4%)。如果通过SVD压缩特征向量至4096-d,准确率还能提高到85.5%;3、part localization方面同样比其他细粒度识别方法的高,尤其是其他方法还需要额外的边界框(bounding boxes)头部定 位准确率要比state-of-the-art高10%。

    2 相关工作

    • 过去几年,细粒度识别方法可以分成三类。第一类单纯地增加网络深度;第二类试图消除物体姿势、相机位置等影响,在更加统一的环境下进行分类;第三类注重物体部分的细节,因为现实中不同子类的区别也正是在一些独特的细节方面。
    • part-based细粒度识别方法也有许多区别。例如有的方法在训练时既用到了bounding boxes又用到了part annotations。有的方法在测试阶段也使用了bounding boxes以确保准确率。有的方法不使用任何额外信息,只用图像级别的标签来训练(弱监督)。还有一些方法基于分割而非基于bounding box。

    3.1 Learning Object and Part Masks

    • 首先,整个M-CNN的设计基于全卷积网络(FCN),也就是说,前面的掩膜和特征提取只用到了卷积层。作者不仅用全卷积网络(FCN)定位细粒度图像中的目标和parts,还将预测的分割部分视为目标和parts的掩膜。
    • 在数据集CUB200-2011中,每个鸟类细粒度图像都有许多part annotations,比如左腿、右腿、喉、喙、眼睛、肚子、前额等等,它们都以key points的形式标注(见图2的第一张)。本论文将这些key points分成头、躯干两大类,简单地连接这些点来生成头和躯干两个Mask,剩下的都是背景。学习Mask的网络结构如下所示:

    这里写图片描述

    • 以下是部分图像学习到的Mask。红色的称作head mask,蓝色的称作torse mask,这两个合并在一起就是一个完整的物体,称作object mask。学习这三个mask就是标题说的Learning Object and Part Masks(不得不说一下,当时我愣是没看懂这标题的意思)。需要注意的是,虽然基于key points生成的ground-truth不是特别准确,但是FCN模型能够返回更加准确的Mask。

    这里写图片描述

    3.2 M-CNN训练

    • 经过了3.1的FCN,我们已经得到了head mask、torse mask和object mask三个Mask。接下来,前面提到的four-stream model就要派上用场了。

      1. 根据上面三个Mask,返回对应的 mallest rectangle bounding box,再加上原图本身,这四张图像就是four-stream model的输入;
      2. (a)->(b)->(c):作者选用VGG-16作为基础模型,四个输入通过五个卷积层、relu层和池化层,最终得到512维的特征向量。如果输入尺寸统一为224*224,那么它们特征向量为7*7*512,其实它也对应着一张图像7*7方格的空间位置;
      3. (c)->(d):对于后三条线程,把Mask用最近邻方法缩放成7*7大小地二值矩阵,并和对应的7*7*512的特征向量比较:如果某一条512-d向量对应位置的Mask值为1(表示有检测到东西),则向量的值保留,如果对应的Mask值为0,则向量的值置零。而第一条线程,也需要通过object mask的过滤;
      4. (d)->(e):每条线程中,对于被Mask选中的那么多条512-d特征向量,用求平均和求最大值两种方法得到两条512-d特征向量,并经过l2l2正则化处理。最后把两个向量拼接起来成为一条1024-d的向量。
      5. (e)->(f):经过上一步,每条线程都有一个1024-d的向量了,将它们拼接起来,送进全连接层 + softmax,得到结果。由于CUB200-2011有200个类别,所以最终向量也是长200。
    • 训练时,所有图像都保持原有的分辨率,并且只取中间384*384的部分(应该是为了统一尺寸+去除部分背景);

    • M-CNN的四个线程都是端到端训练的,而且参数同时学习;
    • 训练M-CNN时,前面的FCN参数保持不变。

    4 实验

    4.1 数据集和封装细节

    • Caltech-UCSD 2011 bird dataset有200种鸟类,其中每类都有30个训练图像,每张图像还有15个标注点,用来标记鸟类的身体部位。
    • 四线程网络中每一条都有一个VGG-16模型,其参数通过在ImageNet分类上预训练得到。
    • 作者还用水平翻转的方法使训练图像翻倍。在测试时将原图和对应的翻转图像的预测求平均,并输出得分最高的那个分类。
    • 直接使用softmax的结果要比使用logistic回归差

    4.2 分类准确度

    4.2.1 Baseline

    为了验证M-CNN的优越性,作者额外设计了两个Baseline方法:

    1. 在4-stream M-CNN中,把卷积网络替换成全连接层。于是(b)到(e)变成一个最后为全连接层的CNN,输出4096-d的向量,拼接起来为16384-d的向量。此方法称作“4-stream FCs”。
    2. 抛弃(d)部分的descriptor selection,把(c)的结果直接求平均和求最大值。此方法称作“4-stream Pooling”。

    三种方法的结果:

    这里写图片描述

    4.2.2 与state-of-the-art对比

    • M-CNN准确率的提升之路:

      1. 一开始,输入的图像是224*224,M-CNN的准确率有83.1%;
      2. 将输入图像变为448*448后,准确率提升到了85.3%;
      3. 提高4-stream M-CNN的输入大小到448*448后,准确率反而有些下降;
      4. 如果从relu5_2层来提取deep descriptors,并且用Mask过滤一遍,提取出4096-d向量,再和pool5提取出来的拼在一起,变成一个8096-d向量,后续操作相同。该模型称作“4-stream M-CNN+”,它的准确率提升到了85.4%;
      5. 用SVD whitening方法将上述的8096-d向量压缩到4096-d,准确率提升到了85.5%;
      6. 如果CNN部分采用和part-stacked CNN一样的 Alex-Net模型,准确率只有78.0%,但还是比part-stacked CNN高。关键是替换后的参数只有9.74M了。

    为了与其他方法公平比较,所有方法在测试时都不使用part annotations。实验结果如下:

    这里写图片描述

    4.3 Part定位结果

    • 为了评价定位效果,作者采用常用的PCP准则(Percentage of Correctly Localized Parts),该准则指的是与ground-truth相比,IOU大于50%的bounding box的比例;
    • 下表是和其他方法相比的分割结果。作者的方法和Deep LAC相比躯干的准确率更低,主要是因为Deep LAC在测试时有用到Bounding box,而M-CNN没有。

    这里写图片描述

    4.4 object分割结果

    下图是一个分割的结果。第一行是原图像,第二行是ground-truth,第三行是M-CNN的分割结果。M-CNN在分割鸟的细微部分(例如爪子)存在一些困难,但M-CNN的任务不是细致地分割出物体,因此可以不用做微调。

    这里写图片描述

    展开全文
  • 细粒度图像识别初步学习

    千次阅读 2018-05-14 19:11:23
    细粒度图像识别现在图像分类中一个难点,它的目标是在一个大类中识别子类,比如说在鸟的大类下识别鸟的种类,在车的大类下,识别车的型号。由于相同的子类中物体的动作姿态可能大不相同,不同的子类中物体可能又有着...

    细粒度图像识别现在图像分类中一个难点,它的目标是在一个大类中识别子类,比如说在鸟的大类下识别鸟的种类,在车的大类下,识别车的型号。由于相同的子类中物体的动作姿态可能大不相同,不同的子类中物体可能又有着相同的动作姿态,这是识别的一大难点。不止对计算机,对普通人来说,细粒度图像识别的难度和挑战也很巨大。

    细粒度图像分类的关键点在寻找一些存在细微差别的局部区域(比如鸟类的喙、眼睛、爪子等),因此,现有的细粒度图像识别算法不但寻找图像中的整个物体(object),还寻找一些有区别的局部(part)。

    细粒度图像主要分为两类


    1. 基于强监督信息的细粒度图像分类模型

    所谓“强监督细粒度图像分类模型”是指:在模型训练时,为了获得更好的分类精度,除了图像的类别标签外,还使用了物体标注框(Object Bounding Box)和部位标注点(PartAnnotation)等额外的人工标注信息,如下图所示。

    几个经典模型

    Part-based R-CNN

    Pose Normalized CNN

    Mask-CNN

    Mask-CNN中,借助FCN学习一个部位分割模型(part-based segmentation model)。一个图像分为三部分,其中,一部分为头部,一部分为躯干,最后一部分则是背景。

    FCN训练完毕后,可以对测试集中的细粒度图像进行较精确地part定位。

    将头部,躯干,整个个体输入Mask-CNN模型,即可得到最终的分类



    2.基于弱监督信息的分类模型

    思路同强监督分类模型类似,也需要借助全局和局部信息来做细粒度级别的分类。而区别在于,弱监督细粒度分类希望在不借助part annotation的情况下,也可以做到较好的局部信息的捕捉。当然,在分类精度方面,目前最好的弱监督分类模型仍与最好的强监督分类模型存在差距(分类准确度相差约1~2%)。

    三个弱监督细粒度图像分类模型的代表

    Two Level Attention Model

    Constellations

    Bilinear CNN


    参考https://zhuanlan.zhihu.com/p/24738319
    展开全文
  • 细粒度图像识别——算法&论文 转载自:杨国峰(Tencent)
  • 传统的图像识别一般都是识别花、鸟、汽车等不同类别物体,而细粒度图像识别则是要识别同一类物体下的不同子类。举个例子,识别一张图片是猫、狗、汽车还是飞机就是传统的图像识别,而识别一张图片是贵宾犬、边境牧羊...
  • 关于细粒度图像识别的一些思考

    千次阅读 2017-11-20 11:11:32
    背景细粒度图像识别是图像分类中的一个颇具挑战性的任务,它的目标是在一个大类中的众多子类中正确的识别目标。但是相同子类中物体的动作和姿态步态可能相同,不同子类间又有可能有着相同的姿态,这是识别的一大难点...
  • 细粒度图像识别指的是在一个大类中的数个子类进行识别(例如识别不同鸟类的种类),人们通常需要专业的知识才能达到很高的准确率,而普通的图像分类网络在细粒度图像识别方面也是表现欠佳。本博客讲解了一篇CVPR2016...
  • 细粒度图像识别 (fine-grained image recognition),即 精细化分类 。 精细化分类 识别出物体的大类别(比如:计算机、手机、水杯等)较易,但如果进一步去判断更为精细化的物体分类名称,则难度极大。 最大...
  • 细粒度视觉识别之双线性CNN模型 [1] Lin T Y, RoyChowdhury A, Maji S. Bilinear cnn models for fine-grained visual recognition[C]//Proceedings of the IEEE International Conference on Computer Vision. 2015...
  • 本文介绍了17年4月在arxiv上的一篇细粒度图像识别文章,由清华大学的Yuxin Peng等人撰写,采用的是弱监督识别方法,准确率达到了最高。
  • 百度ai—细粒度图像识别

    千次阅读 2017-12-06 15:33:11
    代码实现图像识别植物,并给出植物的详细介绍。
  • 细粒度图像识别主要是对某个类别的子类进行细分类,例如狗的品种、不同品牌不同型号的车。往往大类总体外观差不多,需要通过一些局部的细节来进行区分,而局部的细节又随着当前目标的姿态不同在图像中的位置也不同,...
  • 细粒度图像识别论文

    2020-12-22 21:45:27
    Are These Birds Similar: Learning ...(文本信息数据集来源于AMT)每张图像有10个句子描述。 Hierarchical Bilinear Pooling for Fine-Grained Visual Recognition[C] Learning Rich Part Hierarchies W.
  • Fine-Grained Global Second-order Pooling Convolutional Networks ... (WS...
  • Fine-Grained Multi-Attention Multi-Class Constraint for Fine-grained Image Recognition (ECCV 2018 Oral) 暂无代码 部分代码:... Large Scale Fine-Grained Categorizati...
  • 细粒度图像识别,例如鸟类、车类的子类别。本文并没有提出新的网络结构,主要是通过迁移学习达到此目的。针对source数据的选取、预训练及fine-tune。 图像分辨率讨论 分辨率越高包含的信息量...
  • 细粒度识别的挑战:类间差异大,类内差异小 常用的数据集:鸟,花,汽车…… 不同的范式: 1. by localization-classification subnetworks 定位子网络,典型工作:ICCV,S3N
  • 细粒度图像识别Object-Part Attention Driven Discriminative Localization for Fine-grained Image Classification(OPADDL) 论文笔记 原文:"Object-Part Attention Model for Fine-grained Image ...
  • 双线性神经网络 ... python bilinear_ResNet_linear_layer.py 在此步骤中,需要计算图像数据的平均值和方差,以进行图像预处理 模型中的所有参数都经过训练。 运行以下代码。 python bilinear_ResNet_fine_tunin
  • 故训练一个C x 1 x 1的卷积核,来检测某种特定的局部特征,比如鸟的某种部位,车的某个位置,来进行细粒度识别。论文里叫mid-level representation,因为是增强中间层的特征(太往后的对应的感受野太大了)。经过...
  • 细粒度图像识别引起广泛关注,这具有挑战性,因为需要具有在子类别中发现视觉差异的能力。许多工作依赖边界框和部位标注,但费时费力并具有人的主观成分,这不是细粒度识别的最佳方法。 不带边界框和部位标注的...
  • 细粒度图像分析综述2019

    千次阅读 2019-07-13 20:48:32
    文章目录导读细粒度应用和分类2 细粒度的问题和挑战问题挑战3 数据集4 细粒度图像识别4.1 定位分类子网络4.2 端到端特征编码4.3 辅助信息5 细粒度图像检索6 细粒度图像生成7 细粒度图像分析相关的特定领域应用8 未来...
  • 细粒度图像分类(FGVC)---综述

    万次阅读 多人点赞 2019-04-28 16:28:02
    细粒度图像分类问题是对大类下的子类进行识别细粒度图像分析任务相对通用图像(General/Generic Images)任务的区别和难点在于其图像所属类别的粒度更为精细。 以图1为例,通用图像分类其任务诉求是将“袋鼠”和...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 8,414
精华内容 3,365
关键字:

细粒度图像识别