精华内容
下载资源
问答
  • 应用图像局部特征和全局特征对比的显著性检测模型
  • 为了进一步提高手指静脉识别系统的性能,提出了一种融合局部特征和全局特征的手指静脉识别方法。应用局部二元模式方法提取手指静脉局部特征,利用海明距离计算匹配得分;应用双向两维主成分分析方法提取手指静脉全局...
  • 在采用图像谱残差分析方法获取全局特征显著性图像的基础上, 利用小波变换在时域频域具有的局部特征信息表征能力, 通过对图像包含的不同特征信息进行小波变换, 去除各个特征图中的冗余信息, 得到图像局部特征显著...
  • 全局特征和局部特征

    2021-04-07 11:28:47
    联合局部特征和全局特征往往能够得到更好的结果。 Gate Siamese: 将一张图像从上到小按块切片,每一块图像经过CNN网络得到特征,局部特征按着顺序输入到LSTM网络,自动表达为图像最终的表征。利用对比损失训练网络...

    1. 全局特征

    全局特征是指,对每一张行人图片的全局信息进行一个特征提取,所以这个全局特征没有任何的空间信息。

    缺陷:噪声区域会对全局特征造成极大的干扰;姿态的不对齐也会使得全局特征无法匹配。

    2. 局部特征

    局部特征是指对图像中的某个区域进行特征提取,最后将多个局部特征融合起来作为最终特征。方式:切片(一般水平切分)、利用姿态信息、利用分割信息(例如把人分割出来)、网格。

    2.1 一些概念

    姿态:通常一个行人会定义14个姿态点;两个相邻的姿态点相连形成骨架;常用的姿态点估计模型(Hourglass、OpenPose等)

    Part和Attention:Part是指通过一定规则(例如姿态点信息)手工设置的一些矩形区域;Attention是指网络自动学习出的比较重要的任意形状区域。

    水平池化:将feature maps进行水平等分,然后再池化得到分块的局部特征。

    网格特征:将HXWXC尺寸的feature map中每个像素的C维特征作为一个网格特征,最终共有HXW个网格特征向量,每个向量的维度为通道数C。

    2.2 水平切块

    代表算法:Gate Siamese、AlignedReID、PCB、ICNN、SCPNet

    总结:将图像进行水平方向的等分,每一个水平切块通过水平池化提取一个特征;Gate Siamese和AlignedReID通过设计规则(例如LSTM网络、动态对齐等)来融合所有的局部特征计算距离;PCB、ICNN对每一个局部特征计算一个ReID损失,直接将局部特征拼接起来;联合局部特征和全局特征往往能够得到更好的结果。

    Gate Siamese
    在这里插入图片描述
    将一张图像从上到小按块切片,每一块图像经过CNN网络得到特征,局部特征按着顺序输入到LSTM网络,自动表达为图像最终的表征。利用对比损失训练网络;水平切块是比较早期的工作,目前很少使用,缺陷是硬性暴力切片,无法解决图像姿态不对齐的问题。

    AlignedReID:

    将行人图像的不同部位对齐,而不是暴力的分割。主要解决姿态不对齐的问题,论文中骨架网络为Resnet50。

    PCB
    在这里插入图片描述
    将图像分为6块,利用ResNet50提取特征得到feature map,每行提取一个局部特征,连接一个ReID loss(对每一个局部特征计算一个loss),使用的时候把6个局部特征concatenate起来。

    ICNN

    就是PCB加上了一个带有三元组损失的全局分支,性能好与PCB。在这里插入图片描述

    2.3 姿态信息

    代表算法:PIE、Spindle Net、PDC、GLAD、PABP
    总结:通常利用一个训练好的姿态估计模型,得到行人的(14个)关键姿态点;根据姿态点得到具有语义信息的part区域;对于每个part区域提取局部特征;联合局部特征和全局特征。

    PIE

    比较早期的利用姿态信息做行人重识别的方法。利用姿态点,来定义一些part,仿射变换,特征提取。
    在这里插入图片描述
    仿射变换:将part变成矩形块放到新图的固定位置。经过仿射变换后的图片是一一对齐的,头部对头部…

    将原图和仿射图分别放入一个网络得到特征,进行融合,全局特征loss、融合特征loss、局部特征loss。

    Spindle Net(经典)

    利用姿态点估计模型,得到14个姿态点。

    分成7个part,三个大part:头、上身、下身;四个小part:左手、右手、左腿、右腿。

    FEN网络提取特征,FFN网络层次性地融合特征。F0为全局特征,F1,2,3为三个大part特征,F4,5,6,7为四个小part特征。

    在这里插入图片描述
    PDC

    利用14个姿态点信息分割为6个part,经过一个(可以自己学习的)放射变换得到仿射图(新图中允许有空隙,PIE是填充全图)

    对原图和仿射图分别进行特征抽取
    在这里插入图片描述

    GLAD

    分为头、上身、下身三个part;利用参数共享的网络提取特征,然后融合全局特征和三个part的特征。
    在这里插入图片描述
    PABP

    上述的方法都是在part级别,该方法是在像素级别。

    使用CNN网络提取ReID特征feature map A;使用open pose提取姿态特征feature map P,H X W X 14,14代表姿态点的数量,每一个通道提取一个姿态点的信息;A和P每个对应像素位置的向量进行外积并展平向量化;会激活对应位置的外观特征。
    在这里插入图片描述

    2.4 分割信息

    图像分割可以分为粗粒度的行人前景分割、细粒度的肢体语义分割(把行人的语义part分割出来,头上身下身鞋)。分割结果通常作为图像预处理的mask或者feature map中的attention相乘。

    常用的数据集:COCO(粗粒度)、LIP(细粒度)

    常用的分割算法:FCN、PSPNet等。

    2.5 网格特征

    网格特征是比较细粒度的物理区域特征;早期工作是把网格特征扩展为part特征计算两幅图像的特征图差;近期使用网格特征解决Partial ReID问题;网格特征计算量大性能也不是特别好,所以不常用。

    常用算法:IDLA、PersionNet、DSR

    展开全文
  • 全局特征 全局特征:每一张行人图片的全局信息进行一个特征抽取,这个特征没有任何的空间信息 局部特征 局部特征是对图像中的某一个区域进行特征提取,最后将多个局部特征融合起来作为最终特征。 常用的方式:切片...

    全局特征

    全局特征:每一张行人图片的全局信息进行一个特征抽取,这个特征没有任何的空间信息
    在这里插入图片描述

    局部特征

    局部特征是对图像中的某一个区域进行特征提取,最后将多个局部特征融合起来作为最终特征。
    常用的方式:切片、姿态、分割、网格
    在这里插入图片描述

    一些概念

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    水平切块

    Gate Siamese
    在这里插入图片描述
    AlignedReID
    在这里插入图片描述
    PCB
    在这里插入图片描述
    ICNN
    在这里插入图片描述
    SCPNet
    在这里插入图片描述
    总结:

    • 将图像进行水平方向的等分,每一个水平切块通过水平池化提取一个特征
    • Gate Siamese与AlignedReID通过设计规则融合所有的局部特征计算距离
    • PCB、ICNN、SCPNet对每一个局部特征计算一个Reid损失,直接将局部特征拼接起来
    • 联合局部特征和全局特征往往得到更好的结果

    姿态信息

    代表算法:
    PIE
    在这里插入图片描述
    Spindle Net
    在这里插入图片描述
    在这里插入图片描述
    PDC
    GLAD
    PABP

    总结

    • 利用一个姿态估计模型得到行人的(14个)关键姿态点
    • 根据姿态点得到具有语义信息的part区域
    • 对于每个part区域提取局部特征
    • 联合局部特征和全局特征往往能够得到更好的结果

    行人分割

    在这里插入图片描述
    coco粗粒度,lip细粒度
    总结:
    在这里插入图片描述

    网格特征

    在这里插入图片描述

    展开全文
  • 局部特征融合为全局特征笔记

    千次阅读 2018-03-29 20:46:00
    图像特征分为全局特征和局部特征两种,其中全局特征代表了图像的整体表现特性,比如颜色直方图,而局部特征代表了图像的局部特性,往往能够从一幅图片中提取出若干个数量不等的局部特征, 这些局部特征组合起来代表...

    图像特征分为全局特征和局部特征两种,其中全局特征代表了图像的整体表现特性,比如颜色直方图,而局部特征代表了图像的局部特性,往往能够从一幅图片中提取出若干个数量不等的局部特征,
    这些局部特征组合起来代表了整幅图像的特征分布。其中局部特征提取算法(比如SIFT)提取出来的局部特征称为描述子,比如SIFT描述子的维度为128,那么如果从一张图像中提取出m个描述子,
    该幅图像的描述子矩阵为m*128。每一张图片提取出的局部特征数可能是不同的,那么我们需要将这些不同数目的描述子融合成一个特征向量(假设维度为n)来表征整个图像,这样一张图片就可以用一个1*k
    的向量来表征。这样做后就可以方便的实现图片检索,分类任务。

    其中将局部特征融合为图片全局特征表示需要一个模型来转化。

    BOW
    其中源自文本分类领域的词袋模型(BOW)被应用于此就是一个很成功的应用案例。词袋模型通过对局部特征描述子进行聚类得到视觉单词,有了视觉单词就可以很方便地构建视觉词典。BOW典型的做法是计算图片所有描述子映射到离描述子最近的视觉单词,通过计算视觉单词词频来表征图片特征,其中这儿可以类似文本分类算法计算视觉单词的权重系数(IDF
    inverse document frequency)来优化特征向量,还可以进行正则化(L2正则)。BOW得到的特征向量维度和视觉词典大小有关(也就是聚类中心数有关)

    Fisher vector
    fisher vector是通过fisher kernel计算。。。这儿fisher vector的计算过程很复杂,参考论文。
    其中VLFEAT提供了fisher vector的计算接口,可以得到2*D*K维的fisher vector向量,该向量就是将一张图片中
    的m*128维(假设用SIFT提取的特征)的描述子转化为一条表征整个图片的特征向量,最后得到的特征向量和BOW模型得到的特征向量是一样的效用。

    聚类分为hard,soft聚类

    hard聚类是非1即0型也就是说某个待聚类样本只能属于某个聚类中心,不属于其他聚类中心。(此方法的hard就这个感觉)

    soft聚类以概率表征待聚类样本属于哪个聚类中心,这也比较合理。(某些样本离某些聚类中心又不近又不远,用概率表示归属于哪个聚类中心也比较符合自然感受)

    典型的聚类算法有Kmeans,GMM等

    GMM算法主要采用EM算法来计算聚类中心,Kmeans类似

    EM算法可以说是用极大似然估计求参数估计的升级版本,EM算法是求得含有隐变量的利器,在求GMM算法的参数估计中发现样本标签算得上是隐变量了,EM求GMM参数估计的核心思路就是先初始化GMM参数值,计算在当前GMM参数下样本的聚类结果(分类结果,也就是求得了隐变量),该步骤称为E步骤。接下来再根据上面求得得样本标签(也就是隐变量)来求似然函数的极大参数估计,此步骤称为M步。接下来将M步求得的GMM参数计算E步,如此反复迭代,直到模型收敛且估计的参数不再有大变动。其中EM算法求得的GMM参数也可能是局部极值。

    参考python实现fv,vlad,bow https://github.com/jeromewang-github/computer_vision

    参考资料:论文,http://yongyuan.name/blog/CBIR-BoF-VLAD-FV.html

    展开全文
  • 为提高目标识别的准确性和快速性,提出了基于全局局部特征对目标识别的方法。...实验结果表明,该方法很好地结合了目标的整体和局部信息,能有效地识别目标,且识别效果优于单一的全局特征和局部特征的识别效果。
  • 为克服方向梯度直方图(HOG)特征在人体行为识别中仅表征动作的全局梯度特征、缺乏局部细节信息、对遮挡表现不佳的问题,改进了一种基于全局特征和局部特征的方法来实现人体行为识别。该算法首先使用背景减法获得人体...
  • 局部和全局特征学习,用于盲目评估屏幕内容和自然场景图像
  • 基于光谱聚类的局部和全局结构保留用于特征选择
  • 通过特征向量进行全局和局部度量学习
  • 基于全局GSP特征和局部ScSIFT特征融合的近重复视频检测算法
  • 具有局部线性解码和全局特征融合的图像分类
  • 文档,主讲了基于全局和局部特征融合的图像匹配算法研究
  • 在Fisher线性准则下,抽取出图像全局特征和局部特征的最佳分类特征。计算待识别样本和训练样本集的加权欧氏距离。在最近邻准则下,判别待识别样本的类别,在ORL人脸库上进行的对比实验结果表明该方法的优越性。
  • 基于全局和局部特征的人脸识别

    千次阅读 2016-04-20 17:29:17
    —–本文是基于苏煜等人的文章《基于全局和局部特征集成的人脸识别》而写成的方法摘要。人脸的全局特征描述主要特征信息,包括肤色,轮廓,面部器官的分布等的整体信息。而局部特征描述的人脸的细节特征,比如器官...

    —–本文是基于苏煜等人的文章《基于全局和局部特征集成的人脸识别》而写成的方法摘要。

    人脸的全局特征描述主要特征信息,包括肤色,轮廓,面部器官的分布等的整体信息。而局部特征描述的人脸的细节特征,比如器官特点、面部奇异特征,类似伤疤、黑痣、酒窝等。前者用于粗略匹配,后者用于精细匹配。两种特征进行集成,可以作为人脸识别的分类器。

    首先对图像做傅里叶变化,保留低频部分的实部和虚部的系数,当做全局傅里叶特征向量。这一步操作可以选用低分辨率的人脸图像就能满足要求。
    接下来,将图像分N块,然后用Gabor核函数与每一块图像卷积,得到N个特征,然后将这些特征串联起来,形成局部Gabor特征向量。这一步操作需要选用高分辨率的人脸图像。
    然后,使用LDA线性判别分析对得到的一个全局特征向量和N个局部特征向量进行降维处理,得到了全局分类器和局部分量分类器。
    将N个局部向量分类器进行加权求和,得到局部分类器。全局分类器也与局部分类器进行加权求和,并行集成,得到全局分类器。
    对待对比的两幅图像做同样的以上处理,然后分别对比他们对应的N+1个向量的像素度,常用的归一化互相关(normalized cross-correlation,
    简称 NCC)方法来计算对应特征向量的相似度。根据集成学习理论,将以上全局分类器和局部分类器输出的相似度进行加权求和,作为最终的相似度。

    展开全文
  • 针对人脸识别算法缺乏对光照变化的自动调节能力的弱点,提出了一种综合利用全局和局部特征进行人脸识别的新方法。对整幅人脸图像进行主成分分析;针对人脸局部特征,提出一种根据各局部子块包含的信息量即利用图像熵...
  • 点云的检测分类一般使用全局特征,传统的检测方法严重依赖于点云的场景分割,所幸的是点云的分割一般情况下比二维灰度图像彩色图像更容易进行。基于分割方法的好处是,一旦目标被正确分割,点云分类即可以转换...
  • 全局特征是指图像的整体属性,常见的全局特征包括颜色特征、纹理特征和形状特征,比如强度直方图等。由于是像素级的低层可视特征,因此,全局特征具有良好的不变性、计算简单、表示直观等特点,但特征维数高、计算量...
  • 为了提高人脸的识别率,提出一种典型相关分析融合全局和局部特征的人脸识别算法(SUB-CCA)。通过划分子模式方式避免人脸识别存在小样本、非线性问题,并提取局部特征,采用主成分分析提取人脸图像的全局特征,并...
  • 基于多核学习的GIST全局和SIFT局部特征融合遥感图像检索方法.pdf
  • 本文提出了一种通过局部局部模式识别和全局标签相关性分析(mPadal)联合的多视图特征选择方法。 与以前的直接通过视图级别分析全局选择多视图特征的方法不同,拟议的mPadal采用新的局部和全局联合方式。 在局部...
  • 全局图像特征局部图像特征区别

    万次阅读 2018-03-10 09:41:41
    全局特征是指图像的整体属性,常见的全局特征包括颜色特征、纹理特征和形状特征,比如强度直方图等。由于是像素级的低层可视特征,因此,全局特征具有良好的不变性、计算简单、表示直观等特点,但特征维数高、计算量...
  • 充分利用包含场景局部细节信息的卷积层特征和包含场景全局信息的全连接层特征,完成对遥感影像场景的高效表达。通过对两个不同规模的遥感图像场景数据集的实验研究表明,相比现有方法,所提方法在高层特征表达能力和...
  • 提出了一种基于稳定局部区域检测和全局图像特征描述的图像检索新算法。该算法继承了局部区域特征和GIST特征的优点,能够更精确地描述图像的内容,并且可以应对不同的视角变换,在一定程度上提高了图像检索的精度。
  • matlab开发-特征路径长度全局和局部系数以及图的聚集系数。计算与网络连通性有关的各种图论性质

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 990
精华内容 396
关键字:

局部特征和全局特征