精华内容
下载资源
问答
  • 一种基于低秩表示和流形正则化的零样本分类方法与流程
    2021-04-19 04:52:20

    本发明涉及样本分类技术领域,尤其涉及一种基于低秩表示和流形正则化的零样本分类方法。

    背景技术:

    在大规模的分类问题中,缺乏足够的训练样本,或许多样本的标签信息丢失,在一定程度上限制了分类精度的提高。零样本分类是针对这一问题提出的一种有效的解决方法。

    现有技术中通常假设样本数据都分布在低维的子空间中且具有低秩的结构。已有方法基于数据分布近似跨越多个低维子空间的假设,专注于寻找数据的低秩表示。它通过l1/l2范数处理离群点,并在一定的技术条件下精确的恢复了样本的子空间结构,同时检测出了离群点。然而当数据分布于联合非线性子空间时,这类方法无法精确地恢复数据的几何结构。在实际的应用中,人脸的面部图像就是位于非线性的流形结构中。

    在样本去噪方面,现有技术通常假设样本数据严格分布在流形中,然而在实际应用中,样本数据往往都存在噪声。在这种情况下,一些方法通过惩罚流形中局部或全局的结构来处理噪声问题,然而这种过度的惩罚通常会降低分类器的泛化能力,导致了当前在缺乏足够的训练样本或样本的标签信息丢失时,分类精度低的问题。

    技术实现要素:

    本发明提供了一种基于低秩表示和流形正则化的零样本分类方法,解决了当前在缺乏足够的训练样本或样本的标签信息丢失时,分类精度低的技术问题。本发明提供的一种基于低秩表示和流形正则化的零样本分类方法,包括:

    步骤1:计算可见类数据集中样本的视觉特征Xs和语义表示As之间的映射关系f,即f:Xs→As,其中可见类数据集为为可见类数据集中样本的视觉特征,p是样本视觉特征的维度,为可见类数据集中样本的语义表示,q是每个样本对应语义表示的维度,cs为可见类数据集样本的类别总数,m为可见类数据集的样本总数;

    步骤2:利用映射关系f计算不可见类数据集中样本的语义表示Au,其中不可见类数据集为为不可见类数据集中样本的视觉特征且cu为不可见类数据集样本的类别总数,n为不可见类数据集的样本总数,为计算得到的不可见类数据集Xu的语义表示,

    步骤3:计算不可见类数据集中样本的拉普拉斯正则化的非负稀疏低秩表示Z;

    步骤4:利用低秩表示Z计算权重矩阵W和拉普拉斯矩阵L;

    步骤5:引入流形正则化,去除不可见类数据集中的语义表示的噪声;

    步骤6:利用去噪后的不可见类数据集中的语义表示,预测不可见类数据集中样本的标签,实现样本分类。

    优选地,步骤3中计算不可见类数据集中样本的拉普拉斯正则化的非负稀疏低秩表示Z的表达式为:

    s.t.Xu=XuZ+E

    Z≥0

    ||Z||0≤T

    其中E为噪声,α为第一预置可调参数,β为第二预置可调参数,||·||*表示核范数,||·||1表示l1范数,tr(·)表示迹函数,Z≥0保证了矩阵Z的非负特性,‖Z||0≤T保证了矩阵Z的稀疏特性。

    优选地,步骤5中引入流形正则化,去除不可见类数据集中的语义表示的噪声的公式为:

    其中,I为单位矩阵,λ为第三预置可调参数,为去噪后不可见类数据集中的语义表示。

    从以上发明内容可以看出,本发明具有以下优点:

    本发明在样本数量少、样本标签信息丢失等情况下,通过低秩表示和流形正则化获取不可见类数据集上更准确的语义表示,增强对数据特征的描述能力,能够有效地提高零样本分类的精度,解决了当前在缺乏足够的训练样本或样本的标签信息丢失时,分类精度低的问题。

    附图说明

    图1为本发明实施例提供的一种基于低秩表示和流形正则化的零样本分类方法的流程示意图。

    图2为本实施例提供的一种基于低秩表示和流形正则化的零样本分类方法的部分分类结果示意图。

    具体实施方式

    Attribute Pascal and Yahoo(aPY)数据集包含32个类别,其中20个类别是可见类,用于训练,12个类别是不可见类,用于测试。每个样本有64个属性信息。本实施例使用aPY数据集对本发明提出的方法做示例性说明。为使得本发明的发明目的、特征、优点能够更加明显和易懂,下面将结合本发明实施例中的附图,对本发明实施例中的方法进行清楚、完整地描述,显然,下面所描述的实施例仅仅是本发明一部分实施例,而非全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。

    请参阅图1,本发明实施例提供的一种基于低秩表示和流形正则化的零样本分类方法的一个实施例,包括:

    步骤1:计算可见类数据集中样本的视觉特征Xs和语义表示As之间的映射关系f,即f:Xs→As,其中可见类数据集为为可见类数据集中样本的视觉特征,p是样本视觉特征的维度,为可见类数据集中样本的语义表示,q是每个样本对应语义表示的维度,cs为可见类数据集样本的类别总数,m为可见类数据集的样本总数;

    步骤2:利用映射关系f计算不可见类数据集中样本的语义表示Au,其中不可见类数据集为为不可见类数据集中样本的视觉特征且cu为不可见类数据集样本的类别总数,n为不可见类数据集的样本总数,为计算得到的不可见类数据集Xu的语义表示,

    步骤3:计算不可见类数据集中样本的拉普拉斯正则化的非负稀疏低秩表示Z;

    需要说明的是,为了更好地获取数据的局部结构,引入稀疏约束项,计算不可见类数据集中样本的拉普拉斯正则化的非负稀疏低秩表示Z的表达式为:

    s.t.Xu=XuZ+E

    Z≥0

    ||Z||0≤T

    其中E为噪声,α为第一预置可调参数,β为第二预置可调参数,‖·‖*表示核范数,||·||1表示l1范数,tr(·)表示迹函数,Z≥0保证了矩阵Z的非负特性,‖Z‖0≤T保证了矩阵Z的稀疏特性。

    步骤4:利用低秩表示Z计算权重矩阵W和拉普拉斯矩阵L;

    需要说明的是,计算权重矩阵W的公式为:

    计算拉普拉斯矩阵L的公式为:

    L=D-W (3)

    其中,D为n×n的度矩阵,即包含元素{d1,d2,d3,...,dn}的对角矩阵,其第k个对角元素dk表示无向权重图上与第k个顶点相连的所有边上的权重值之和;

    步骤5:引入流形正则化,去除不可见类数据集中的语义表示的噪声;

    需要说明的是,引入流形正则化,去除不可见类数据集中的语义表示的噪声的公式为:

    其中,I为单位矩阵,λ为第三预置可调参数,为去噪后不可见类数据集中的语义表示。

    步骤6:利用去噪后的不可见类数据集中的语义表示,预测不可见类数据集中样本的标签,实现样本分类,其公式为:

    请参阅图2,图2为本实施例提供的一种基于低秩表示和流形正则化的零样本分类方法的部分分类结果示意图。图中同一行的样本表示被分到同一类中,其中有错误符号×的样本为分类错误的样本,其他样本为分类正确的样本。

    在本实施例中,数据集可选择aPY数据集,实验平台可选择MATLAB R2017a,操作系统可选择Windows 10教育版,处理器可选择Intel(R)Core(TM)i7-6700K CPU@4.00GHz,内存可选择32.0GB。

    本实施例的基于低秩表示和流形正则化的零样本分类方法,能够有效克服传统分类方法针对样本数量少、样本标签信息丢失等情况下分类精度低的局限性,获得不可见类数据集上更准确的语义表示,增强对数据特征的描述能力,能够有效地提高零样本分类的精度,解决了当前在缺乏足够的训练样本或样本的标签信息丢失时,分类精度低的技术问题。

    以上所述,以上实施例仅用以说明本发明的方法,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的方法进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应方法的本质脱离本发明方法的精神和范围。

    更多相关内容
  • 流形正则化

    2021-05-28 16:44:31
    流形正则化 最近看到一篇新论文《基于点态流形正则化的半监督学习》,关于这的讲解不多,先学一下流形正则化。 以下是关于论文的摘要: 流形正则化(MR)为同时使用标记和未标记数据的半监督分类提供了一个强大的学习...

    流形正则化

    最近看到一篇新论文《基于点态流形正则化的半监督学习》,关于这的讲解不多,先学一下流形正则化。

    以下是关于论文的摘要:
    流形正则化(MR)为同时使用标记和未标记数据的半监督分类提供了一个强大的学习框架。
    依据流形假设,MR约束在流形结构图上的相似实例共享相似的分类输出。因此,MR基于流形图上的成对光滑性。光滑性的约束对象为所有实例对,从而将各实例对视为单个操作对象。然而,平滑性在本质上可以是点态的,即平滑性发生在“任何地方”,将各实例的行为与其近邻相联系。本文试图通过对各局部实例进行约束,提出半监督学习的点态MR(简称PW_MR)。在PW-MR中,平滑性的点态性质得以保留,同时可引入单个实例的重要性或贡献。重要性可用正确预测的置信度或局部密度描述。PW_MR为实现流形光滑性提供了不同思路。最后实验验证了PW_MR的有效性。

    半监督学习是用大量的无标签样本结合部分有标签样本进行训练。

    步骤:
    首先是无监督学习找出分布信息,然后给分布信息贴上有监督的标签,为有监督的样本提供足够的样本分布信息,那么分类能力就可以得到提升和保证。这就是半监督学习要做的主要工作。

    在流形正则化中,就是通过流形正则化项来达到结合有监督和无监督样本来找出分布特征的目的。
    其实就是在机器学习问题中的正则化项中加入和流形相关的项,利用数据中的几何结构,起到半监督的作用,

    比如:两个样本在流形中距离相近,那么他们的label也应该一样或相似。
    在这里插入图片描述

    应用中这么几个作用:

    1. 利用样本的空间分布信息
    2. 给有监督模型加流形正则化,可以尽可能多得利用无监督的数据,使得模型转化为半监督模型
    展开全文
  • 流形正则化matlab代码近似流形正则化:可扩展算法和泛化分析 该存储库提供了用于运行论文“近似流形正则化:可伸缩算法和泛化分析”的实验的代码。 该论文已发表在。 论文借鉴了Nystom和PCG的LapRLS的思想。 该实现...
  • 流形正则化matlab代码使用图维拉普拉斯正则化的低维流形模型进行3D点云降噪 作者:曾增,张Gene,吴敏,庞佳豪,成阳 出现在IEEE Trans上。 关于图像处理 组织 |--- main_addnoise.m : main for adding noise to gt ...
  • 流形正则化matlab代码
  • 流形正则化matlab代码LapEMR-1.0 林晨,2012年6月 介绍 LapEMR是用于半监督学习的软件包。 该软件包包括算法LapESVR的MATLAB接口。 用法 该软件包是使用MATLAB和C ++开发的。 QP求解器改编自LIBSVM,后者由C ++通过...
  • 流形正则化公式的理解

    千次阅读 2019-02-23 14:56:44
    来自知乎的截图 加入的流形正则化项可以这样理解:从它的假设已知样本相似的数据则对于的标签也有相似性(两个样本在流形中距离相近,那么他们的label也应该一样或相似。)。那么最后一个公式就保证训练的f满足这种...

    来自知乎的截图来自知乎大佬:在这里插入图片描述 加入的流形正则化项可以这样理解:从它的假设已知样本相似的数据则对于的标签也有相似性(两个样本在流形中距离相近,那么他们的label也应该一样或相似。)。那么最后一个公式就保证训练的f满足这种关系(样本的分布函数),而不仅仅是保证很高的分类能力。无监督学习就是学习样本的分布,监督学习是寻找一个最优的分界面,流形正则化则是减弱监督学习的使之带有无监督学习的优点。

    展开全文
  • 在本文中,我们提出了一种具有集成流形正则化的新型生成模型,用于多视图学习,该模型同时考虑了数据的生成和流形结构。 在现实世界中的多视图数据集上的实验结果证明了我们方法的有效性。 :copyright:瑞士施普林格...
  • 流形正则化转移距离度量学习
  • 流形正则化相关对象跟踪
  • 基于流形正则化极限学习机的语种识别系统
  • 通过概念分解与局部流形正则化进行多视图聚类
  • 用于单个图像超分辨率的流形正则化稀疏支持回归
  • 为了获取更充分的人脸特征信息以提高识别性能,应用加权小波变换和流形正则化非负矩阵分解的方法实现人脸识别。采用小波变换,提取训练样本人脸图像的加权高频分量和低频分量的特征信息;应用流形正则化非负矩阵分解...
  • 基于流形正则化学习框架的人类疾病相关circRNA的计算预测
  • 流形正则化学习笔记

    万次阅读 多人点赞 2013-12-10 10:13:00
    早就听说流形正则化能将有监督学习和无监督学习融合成半监督学习,听上去威武霸气,但真正一看就只能高山仰止了。今天硬着头皮学习了一下,浅浅品味往圣先哲的思维魅力。  半监督学习(semi-supervise learning)...
         早就听说流形正则化能将有监督学习和无监督学习融合成半监督学习,听上去威武霸气,但真正一看就只能高山仰止了。今天硬着头皮学习了一下,浅浅品味往圣先哲的思维魅力。
         半监督学习(semi-supervise learning)初一听觉得很迷惑,什么是半监督学习?为什么要半监督学习?平时我们做机器学习的时候,大多数都是人为给定label的有监督学习,大家也都很向往人们毫不费力的无监督学习。但细细一想,这两类情况都有点先天缺陷的感觉,有监督学习虽然精度较高,但是人们得手工标注,太累,离人们理想中的“智能”太远;无监督学习虽然很轻松,计算机自动的就把所有工作一步到位了,但是往往精度低于人们的预期。于是乎,大牛们又开始进行哲学的思考了,如果一个婴儿(暂且把我们可爱的不懂事的计算机当成小宝宝吧)要学习一个东西,他会怎么学呢?终于有一天,善于思考的大家们发现,小婴儿会根据自己的好奇心观察探索一个东西很久,期间会有人告诉他这是什么,然后聪明的宝宝从此就学认识了这个东西。于是乎,半监督学习就应运而生了,用大量的无标签样本结合部分有标签样本进行训练。细细想来,生活中大多数情况都是如此。自从有了半监督学习,研究机器学习的人们从此进入了崭新的时代,既可以偷懒,又可以达到理想的效果。
         如何进行半监督学习型呢?在浩瀚的历史长河之中,半监督学习的方法也有很多。有兴趣的大家可以到网上搜一下。今天这里仅仅品尝一下流形正则化的美味。
         今天看的是《Manifold Regularization: A Geometric Framework for Learning from Labeled and Unlabeled Examples》,由Mikhail Belkin,Partha Niyogi,Vikas Sindhwani在2006年所做,是流形正则化的开山之作。暂且不管流形这种高深的几何概念,我们先看看文章到底做了什么。文中提出了一种将有监督数据和无监督数据结合结合起来学习的半监督学习方法,使用了一种新的正则化形式来进行这种结合。(这种方法貌似也可以将无监督学习完全转换成有监督学习,不过在这儿咱们暂且只关注加入了有监督数据的半监督学习)按照文中的说法这个正则化的作用是挖掘边缘分布的几何形状(exploit the geometry of marginal distribution)。这么高大上的方法,到底内部有何玄机呢?这个方法说白了就干了一件事—— 挖掘了数据分布的几何形状然后将其作为一个增加的正则化项。 可以先有一个这样的概念,原来我们的分类器一般是有一个控制分类器复杂度的正则化项,现在按照这个方法我们增加了一个正则化项,这个正则化项就是用来控制样本分布的几何形状的。看到了这里,估计各位看官都会对他是如何融合有监督和无监督的数据来进行半监督学习有一个直观的想法了。没错,这个方法的 精髓 就是用了有监督和无监督样本共同来挖掘这一个数据分布的几何结构。说了这么多,对于只是想用流行学习方法来将有监督变成半监督学习的玩家来说已经足够了,直接在自己已有方法的目标函数后加入这一项吧(怎么加?直接Google这篇论文,里面有公式,还有解法,这儿就不多说了)。对于还想对这个方法一探究竟的勇士们,我们接着往下看。
          想一想,如果我只用有监督学习的话,在拿到较少样本的时候,只是在几类数据点间找到了一个分类面,但是这个分类面不一定是包含了数据真实的分布信息的。也就是说这样的一个分类面只是在就事论事,精度是不高的。可以看看下图,在这个图中我们只是在两个样本点中,找到了一个分类面,让你们再找一个测试样本来检验一下,这个正确率估计就和掷硬币差不多了。


         但是如果加入了数据分布的信息,也就是说我们只要让电脑知道我们的样本是一个什么样子的分布,而不一定要把每一个分布的点都打上标签,这样得到的分类面就比较精确了。大家看看下面这幅图


         再想想,这样的分布如果直接按照最开始的一刀切方法来做,能好吗?好了,又啰啰嗦嗦说了一大堆,其实想表达的意思只有一个,就是我们要是能为有监督的样本给出足够的样本分布信息,那么分类能力就可以得到提升和保证了。可能有的看官已经明白了,找出分布信息就是无监督学习最擅长做的事。换句话说,我们给无监督学习学到的分布信息帖上少量有监督的标签,这个分类工作就能漂亮的完成了。这也就是半监督学习要做的主要工作。在流形正则化中,就是通过流形正则化项来达到结合有监督和无监督样本来找出分布特征的目的。
         在流形正则化中,用到的是谱方法来表示几何信息的。这儿有个前提假设,就是我们的数据是分布于嵌入在高位空间中的低维流形之上。有了这个假设,我们就可以根据谱得到一个平滑的正则化项了。至于谱又是何方神圣了,在此咱们先打住,后面我们再慢慢揭开这层貌似神秘的面纱。
    展开全文
  • 针对吸收马尔可夫随机游走方法未能充分抑制显著图的中心背景区域和丢失位于图像边界的显著目标的问题, 提出一种基于流形正则化随机游走的图像显著性检测方法。首先以超像素作为节点对输入图像构造全局图, 通过吸收...
  • 鉴于此,基于流形正则化思想,提出了一种新颖的基于流形正则化的非光滑非负矩阵分解方法。该方法不仅考虑了数据的几何结构,而且对编码系数矩阵和基矩阵同时进行稀疏约束,并将它们整合于单个目标函数中。构造了一个有效...
  • 针对非负矩阵分解方法在有噪声的真实数据中获得特征的有效性问题,提出了一种稀疏诱导的流形正则化凸非负矩阵分解算法。所提算法在流形正则化的基础上,向低维子空间的基矩阵添加基于L<sub>2,1范数的稀疏约束,构建...
  • 流形正则化matlab代码多视图学习 在此软件包中,您可以找到以下论文的MATLAB代码的更新版本: 关于向量值流形正则化和多视图学习的统一框架,Minh,HQ,Bazzani,L.和Murino,V.,在第30届国际机器学习会议(ICML-13...
  • 本文将半监督学习算法应用到基于支持向量机的文本分类技术[1-2] 中,提出了一组基于几何正则化方式的学习算法。虽然这种新型算法适用于无监督到完全监督的整个范围,本文专注于半监督学习算法方面的研究。之后,本文...
  • 此算法以半监督学习完成离线训练,首先,以机器人在其预置运动路径上采集到的畸变图像中的稀疏目标面积为观察数据,将部分标定数据的坐标作为其标签,然后以核PCA所揭示的低维视觉流形正则化约束条件,运用最小二乘方法...
  • Manifold regularization: A geometric framework for learning from labeled and unlabeled examples Between-class learning for image classification-CVPR2018 Manifold mixup: Better representations by ...
  • 实时流形正则化上下文感知相关跟踪
  • 降维:从流形正则化角度的解释
  • 流形正则化卷积神经网络的转移学习
  • 一种基于流形正则化的半监督人脸识别方法.pdf
  • 重叠社区检测的流形正则化对称联合链接模型
  • 基于流形正则化的多类型关系数据联合聚类方法.pdf

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 2,556
精华内容 1,022
关键字:

流形正则化