零样本学习_零样本学习2020 - CSDN
精华内容
参与话题
  • 的理解和整理,这里省去了众多的数学符号,以比较通俗的语言对零样本学习做一个简单的入门介绍,用词上可能缺乏一定的严谨性。一些图和公式直接来自于论文,并且省略了论文中讲的比较细的东西,如果感兴趣建议还是去...

    -------本文内容来自对论文A Survey of Zero-Shot Learning: Settings, Methods, and Applications
    的理解和整理,这里省去了众多的数学符号,以比较通俗的语言对零样本学习做一个简单的入门介绍,用词上可能缺乏一定的严谨性。一些图和公式直接来自于论文,并且省略了论文中讲的比较细的东西,如果感兴趣建议还是去通读论文

    注1:为了方便,文中“已知类别(标签)”都指训练集中出现的类别;“未知类别(标签)”指测试集中出现的新类别。

    注2:“特征空间(feature space)”指样本的原始信息(即x)所在的空间;语义空间(sematic space)指类别描述信息所在空间,已知类别和未知类别在语义空间中被联系起来。

    注3:文中用到的公式符号含义如下图所示:
    在这里插入图片描述

    一.零样本学习的一些相关概念

    本节首先介绍一下零样本学习相关的技术和概念。

    1.1零样本学习概念

    零样本学习属于迁移学习,是迁移学习的一个子领域。迁移学习可分为同质迁移学习(homogeneous)和不同质迁移学习(heterogeneous),前者两个域的特征空间和标签空间都相同,后者特征空间和标签空间不同。因为零样本学习的特征空间相同,但是源领域的标签空间(seen class)已知,目标领域标签空间(unseen class)未知,所以零样本学习属于不同质迁移学习。零样本学习就是,在测试集中,有些类别不在训练集中,利用训练集的样本训练一个模型,使之应用到测试集能正确识别那些在训练集中不存在的标签。

    1.2额外信息(Auxiliary information)

    因为零样本学习的特殊性,即测试集中包含训练集中不存在的类别。所以零样本学习需要引入一些额外信息,这些额外信息通常是对所有类别(包括已有类别和未知类别)的描述。由于这些描述通常是语义层面的,所以额外信息组成的空间又叫语义空间(sematic spaces),而原始样本组成的空间称为特征空间(feature spaces)。

    1.2.1语义空间(sematic spaces)

    根据语义空间如何构建,可把语义空间分为手工语义空间,学习得到的语义空间。分类如下图所示:
    语义空间分类

    1.2.1.1手工语义空间(Engineered sematic spaces)

    手工语义空间即人们手动构造的一些关于类别额外信息。主要分为属性空间(attribute space),词法空间(lexical spaces),文本关键词空间(Text-keyword spaces)。
    属性空间即找到关于类别的一些属性,基于这些属性值构建语义向量。如在动物识别中,动物类别的属性可以包括毛色,速度,体积等,通过手工构造这些属性和属性值,得到类别的语义向量,其中每一维是一个属性值。
    词法空间即语义空间由类别的一些词法信息构成,这些词法信息可以来自一些泛化知识库如WordNet;或者来自一些针对特定问题的词法分析工具,如依存树;或者来自一些大型的语料,利用在语料中类别的共现关系。具体构造方法有很多,比如利用类别在WordNet中的父子关系,类别语义向量的每一维代表一个类别,如果是父子关系的类别,则相应位置置1。
    文本关键词空间即从类别描述信息中抽取出的关键词构成语义空间。可以采用tf-idf,Bag of Words等技术得到。
    手工语义空间的优点是可解释性好,灵活性高,缺点是需要手工构造,费时费力,并且由于手工构造的局限性导致语义信息丢失。

    1.2.1.2 学习得到的语义空间(Learned sematic spaces)

    学习得到的语义空间不是手工构造的,而是通过其他机器学习模型训练得到的,这些语义向量可以是针对其他任务预训练好的,也可以是专门针对零样本学习训练得到的,语义向量的每一维没有实际意义,整个语义向量代表了这个类别的信息。
    学习得到的语义空间包括标签向量空间(Label-embedding spaces),文本向量空间(Text-embedding spaces),图像表示空间(Image-representation spaces)等。
    标签向量空间即通过类似于词向量的方式得到每个标签的向量表示,常用技术有word2vec,glove等。它的核心思想是,具有相似含义的标签具有相似的语义向量。
    文本向量空间类似于标签向量空间,只不过它对标签的描述信息进行向量化,把标签的描述信息输入到预训练好的模型,输出的向量即可以表示为这个标签的语义信息。
    图像表示空间即把某种类别对应的图像做为描述信息,输入到预训练的模型如GoogLeNet,得到的输出向量做这个标签的语义信息。
    学习的得到的语义空间优点就是节省了人力,依赖机器学习模型可以捕捉到更多的语义信息,缺点是语义向量的含义是隐式的,不利于分析。

    1.3直推式学习(Transductive)和归纳学习(Inductive)

    直推式学习和归纳学习是机器学习中的基本概念。按直推式学习和归纳学习的程度,零样本学习可分为如下图所示的三种方式:
    零样本学习中不同的学习设置
    在训练过程中,如果用到了测试集中的样本,则称为实例直推式(Instance-Transductive),否则称为实例归纳式(Instance-Inductive);如果用到了未知的类别描述信息,则称为类别直推式(Class-Transductive),否则称为类别归纳式(Class-Inductive)。所以按上述进行分类,零样本的学习过程可分为上图所示三种,训练过程中利用的信息越多,可能会过拟合,越少可能会欠拟合,甚至导致领域漂移(domain shift )。所谓领域漂移指源领域和目标领域数据差别太大,比如已有类别是家具,未知类别是动物,这种情形下采用传统的零样本学习也达不到很好的效果,因为很难根据类别相似来识别新类别。

    二.零样本学习方法的分类

    零样本学习可以分为两大类:基于分类器的方法和基于实例的方法。基于分类器的方法主要致力于直接学习到一个用于未知类别分类的模型,是一个“改进模型”的方法,从模型入手,不改变训练数据。而基于实例的方法主要致力于为未知类别构造样本,然后用这些构造的样本去训练一个分类器,是一个“改进数据”的方法,从改变训练数据入手,让训练数据包含那些未知样本,这样训练出的模型就能正确分类未知样本了。
    整个分类如下图所示:
    零样本学习方法的分类

    2.1 基于分类器的方法(classifier-based)

    根据分类器的构造方法,基于分类器的零样本学习又可分为映射方法,关系方法和组合方法。
    首先需要说明的是,基于分类器的方法的主要思想:它是基于“1对多”的方式来训练N个分类器(想想为什么要多个分类器,而不是一个?),N为类别的数量,即它为每个类别单独训练一个分类器,每次训练的时候用属于当前待识别类别的样本做为正样本,其他所有样本做为负样本。
    因为测试集中的有些类别不在训练集中,所以直接用训练集训练一个分类器,用在测试集上效果会很差。基于分类器方法的主要思想是利用额外知识----类别描述信息(语义空间),具有相似类别描述信息的类别,其分类器也比较相似。比如驴和马,它们之间的类别描述信息很相似,则用驴构成的训练集训练一个二分类模型f来判断样本是否属于驴,则这个二分类模型f利用到马构成的测试集上效果也不会很差:用1表示属于(驴)马,0表示不属于(驴)马,则f在驴数据集上训练时,分类器输出越接近1则越有信息认为它是一头驴,越接近0则相反;把训练好的f用到马数据集上分类马时,因为马和驴很相似,所以分类器的输出和在驴数据集上的输出相似,于是也大概率能正确分类出马。但是我们不可能只给训练集中出现的类别各自训练一个分类器,因为这样还是无法分类测试集中的具有新类别的样本(因为测试集中的新种类可能有多个,你不知道这个测试样本属于新种类还是训练集中的种类,如果是新种类你也不知道是哪个新种类),所以需要对每个类别(包括已知类别和未知类别)都构建一个二分类器,这样对于每个测试样本,可以采取“依次带入这些分类器取概率最高的类别做为它的类别”。通过上述分析我们知道,马和驴的分类器参数应该是相似的,现在的问题是,模型事先并不知道马和驴是相似的,所以也就不知道让马和驴的分类器参数相似,所以这时就需要额外信息的加入。通过加入类别描述信息,模型知道了马和驴相似,于是把马的分类器参数训练得和驴相似,也就得到了新类别马的分类器模型。
    有了上面的主要思想,则要做的就是如何把类别的描述信息加入模型,被模型所感知和利用?于是有了以下的各种方法:

    2.1.1 映射方法(correspondence methods)

    1)首先针对训练集中的每个类别训练一个二分类器fif_i,得到识别每个类别所需的分类器参数wiw_i
    2)用训练集中每个类别的描述信息tit_i做为输入,wiw_i做为标签训练一个模型φ\varphi,得到模型的中间参数ζ\zeta。这个模型φ\varphi即映射函数(correspondence function),它的作用是求出每一种类别对应的分类器参数。求出映射函数φ\varphi后,对于每个未知类别,用它的描述信息tjt_j做为输入,输入到φ\varphi,就可以得到相应类别的分类器参数wjw_j,即得到了新类别的分类器参数。基于的思想正是具有相似描述信息的类别,它们的分类器参数也相似
    3)在测试阶段,对于每一个测试样本,带入到每个类别的分类器中,取概率最大的类别做为它的类别(论文中关于如何测试说的不太详细,这是我自己的想法)。

    上述的方法是一个最基础的方法,现在的研究大多都基于以上思想进行了改进。比如上述方法中,类别分类器和映射函数是分开学习的,一个改进思想就是让分类器和映射函数联合学习,以使它们之间彼此促进。这种方法的损失函数如下式所示:
    在这里插入图片描述
    公式中符号含义在文章开头已给出。其中θ(xitr,π(cjs);φ)\theta(x^{tr}_i,π(c^{s}_j);\varphi)是要学习的分类器,π(cjs)π(c^{s}_j)即对cjsc^{s}_j这个类别的描述信息,可以看做tjst^{s}_j=π(cjs)π(c^{s}_j)。对于一个输入样本xitrx^{tr}_i和任意一个类别的描述tjst^{s}_j,如果tjst^{s}_j是或接近xitrx^{tr}_i的类别描述,则θ\theta函数的输出接近1(变大),反之,θ\theta函数的输出接近0(变小),因为类别描述就代表了类别,所以根据θ\theta函数的输出大小就可以判断样本输入哪个类别。那么如何训练这个θ\theta函数来实现这种功能呢?上式给出的损失函数第一项ϕ(yitr,cjs)\phi(y^{tr}_i,c^{s}_j)为标签yitry^{tr}_i和类别cjsc^{s}_j的相似度,越相似数值越大。所以损失函数ll即最小化ϕ\phiφ\varphi的差异,即yitry^{tr}_i和类别cjsc^{s}_j越相似,ϕ\phi越大,则θ\theta也越大,则样本xitrx^{tr}_i属于类别cjsc^{s}_j的置信度越高;反之越小。
    上述思想可按以下步骤实现:
    (1)对训练样本构造(样本,类别描述)对,即(xitr,tj)(x^{tr}_i,t_j),以这些(样本,类别描述)对和相应样本标签和类别的相似度ϕ(yitr,cjs)\phi(y^{tr}_i,c^{s}_j)做为输入,最小化损失函数ll,学习到分类器函数θ\theta的参数φ)\varphi)
    (2)在测试阶段,对于输入的一个测试样本xiux^{u}_i和一个类别描述tjut^{u}_jθ\theta分类器能输出xiux^{u}_i属于类别描述对应类别cjuc^{u}_j的概率,取所有类别中概率最大的类别做为测试样本xiux^{u}_i的类别。

    这里θ\theta函数也叫兼容函数(compatibility function),它其实就是前文讲到的一种映射函数。

    θ\theta函数说白了就是求输入xix_i和类别描述tjt_j的相似度,常用的定义θ\theta函数的方法有θ(xi,tj;W)=xiTWtj\theta(x_i,t_j;W)=x^T_iWt_j,但这是一种线性的分类器,所以也有使用θ(xi,tj;W)=ϕ(xi)TWφ(tj)\theta(x_i,t_j;W)=\phi(x_i)^TW\varphi(t_j)等等。


    上述方法训练过程中只使用了训练样本和训练样本类别的描述信息,而没有使用测试样本和测试样本类别的描述信息。根据前文直推式学习和归纳式学习对零样本学习的分类,训练过程中也可以使用测试样本和测试样本类别的描述信息,这里不再详细展开。

    2.1.2 关系方法(relationship methods)

    关系方式主要借助于类别之间的关系来构建模型。其核心思想和映射方法一样,即相似的类别描述信息,其类别分类器也相似。
    它的过程如下:
    (1)利用训练集中的样本和标签,对训练集中出现的每个类别训练一个二分类器。
    (2)对于测试集中每个新类别,通过对已有类别二分类器加权平均的方式,得到新类别的分类器。即
    在这里插入图片描述
    其中δ(ciu,cis)\delta(c^u_i,c^s_i)为新类别ciuc^u_i和训练集中类别cisc^s_i之间的相似度,做为类别cisc^s_i分类器的权重。把所有已知类别分类器加权平均,即为未知类别的分类器。

    类别之间关系(相似度)有多种计算方法,比如计算它们描述信息的余弦相似度,或者利用WordNet中两个类别之间的结构关系。类别分类器的选择可以选择与未知类别关系最紧密(相似度最高)的K个类别加权平均。

    训练的时候也可以加入未知类别的信息。一些工作已已知类别和未知类别为节点在语义空间中构建一个关系图,图的边权重为类别之间的关系。然后在图上学习类别的二分类器。

    2.1.3 组合方法(combination methods)

    组合方法是把每个类别看成由一系列属性组成的。比如马可以有属性集合{肤色,速度,体积…}一系列属性构成。对训练集中的每个属性训练一个二分类器,这样给定一个样本x,就可以判断它是否拥有某个属性。在测试阶段,利用下式来计算测试样本xjtex^{te}_j是类别ciuc^u_i的概率:
    在这里插入图片描述
    有点类似贝叶斯公式,具体细节需要阅读这方面的论文,在此省略。

    2.2 基于实例的方法(instance-based)

    基于实例的方法从数据入手,为那些训练集中没有出现过的类别构造样本,然后把这些样本加入训练集训练一个分类器或进行聚类(KNN)。根据这些样本是如何构造的,基于实例的方法可分为拟合方法,借助其他实例方法和合成方法。

    2.2.1 拟合方法(projection methods)

    拟合方法基于的思想是,类别描述信息可以被当做样本标签看待(构造新实例)。首先通过拟合函数,将样本xix_i和类别描述信息tjt_j拟合到一个同一空间P:
    在这里插入图片描述
    因为未知类别在特征空间中没有样本,且只在语义空间中有一个类别描述信息标签,所以每个未知类别相当于只有一个样本,无法用常规的分类方法去训练。但是可以借助KNN的思想,将样本xix_i和类别描述信息tjt_j拟合到一个同一空间P,然后对于未知样本,也拟合到这个空间,并选择离它最近的类别描述信息所对应的类别做为它的类别(1NN)

    拟合空间P有多种选择,可以将语义空间做为拟合空间,将样本xix_i拟合到这个空间中;也可以将特征空间做为拟合空间,将类别描述信息tjt_j拟合到这个空间;或者既不选择语义空间,也不选择特征空间,而使用其他空间,或者使用多个空间做拟合空间。

    2.2.1.1 语义空间做为拟合空间(Semantic space as projection space)

    首先介绍语义空间做拟合空间。这种设置下类别描述信息tjt_j不用改变,只通过拟合函数θ\theta来将样本xix_i拟合到语义空间。损失函数为:
    在这里插入图片描述
    π(yitr)π(y^{tr}_i)可以看做是类别描述信息titrt^{tr}_i,这个式子的目的就是学习一个拟合函数θ\theta,来把样本xitrx^{tr}_i拟合到语义空间,并且在拟合空间的表示和它的类别描述信息的表示titrt^{tr}_i相似。
    然后在测试阶段,对于每个测试样本xiux^{u}_i,通过拟合函数θ\theta拟合到语义空间,并找离它最近的类别描述信息所对应的类别做为它的类别(1NN)。

    枢纽度问题
    使用语义空间做拟合空间并且使用回归函数做拟合函数时,会产生枢纽度问题。在拟合空间P中,一些类别描述信息是很多样本的最近邻,而这些样本实际上类别并不相同,这个描述信息就被称为"枢纽(hubs)",这种现象称为"枢纽度问题(hubness)"。
    一些工作为了解决枢纽度问题,采用其他损失函数如rank loss或采用不同的距离度量函数如余弦相似度等。

    2.2.1.2 特征空间做为拟合空间(Feature space as projection space)

    特征空间做拟合空间即通过拟合函数ξ\xi将类别描述信息tjt_j拟合到特征空间,而样本特征xix_i不用改变。损失函数为:
    在这里插入图片描述
    损失函数的主要思想和语义空间做拟合空间一样,这里不再赘述。把特征空间做拟合空间缓解了枢纽度问题。

    2.2.1.3 其他

    还有一些其他方法既不使用语义空间做拟合空间,也不使用特征空间做拟合空间,而是使用一些其他的空间甚至多个空间。具体可以参考一些相关论文。

    2.2.2 借助其他实例方法(instance-borrowing methods)

    借助其他实例的方法即对于未知类别cic_i,虽然训练集中没有此类别的样本,但可以训练集中找到一些和cic_i相似的类别,用他们的样本作为类别cic_i的样本,然后放入训练集训练。比如未知类别是卡车,我们没有卡车的样本,但是训练集中有拖车和货车,于是把拖车和货车的样本拿出来,并给它们重新标上标签“卡车”,这样就“造”出了未知类别cic_i的样本,就可以用这些样本去训练类别cic_i的分类器了。
    这其实还是那个思想“相似的类别,分类器也相似”。
    下面的问题就是如何选择相似的样本?大多数研究根据类别描述信息,选择类别描述信息比较相似的类别对应的样本作为未知类别的样本。

    2.2.3 合成方法(synthesizing methods)

    合成方法通过一些生成模型来生成未知类别的样本。未知类别的样本假设服从某些分布,比如高斯分布或均匀分布,首先求出已知类别的分布参数,然后根据未知类别描述信息和已知类别描述信息的关系求出未知类别的关系分布(比如对于高斯分布,参数是均值和方差)。有了未知类别样本的分布,就可以根据生成模型生成一些样本。生成模型比如generative mo-ment matching network (GMMN), denoising autoencoder, adversarial autoencoder, conditional variational autoencoder-based architecture, generative adversarial networks (GAN)等。生成模型的输入通常是未知类别描述信息和符合某一分布的噪音。

    三.零样本学习方法的比较

    方法 优点 缺点
    基于分类器的方法 映射方法 类别描述信息和分类器通过映射函数进行关联,这样的映射函数方便且有效 没有对不同的类别之间的关系建模,这些类别间关系在零样本学习中是非常重要的知识
    关系方法 对类别之间的关系进行了建模,并且未知类别的分类使用了已知类别的分类器,所以节省了时间 语义空间中类别的关系直接应用到了特征空间,所以没有解决从语义空间到特征空间的适应问题
    组合方法 对类别属性的分类器可以直接拿来使用,所以节省了时间 属性分类器的训练,和属性到类别的推断是两个分离的过程,很难去联合优化
    基于实例的方法 拟合方法 拟合函数的选择很灵活,一些半监督学习方法可以拿来使用 因为每个未知类别只有一个实例(类别描述信息),所以将测试样本映射到统一空间后只能用1NN的方法去寻找最接近的类别,是非常受限的
    借助实例方法 借助的样本数量可以很大,所以很多监督学习方法都能用上 因为借助的样本属于已知类别,所以训练出的未知类别分类起难免会不精确
    合成方法 合成的样本数量可以很大,所以很多监督学习方法都能用上 合成的样本事先假定服从某一分布,所以比起真实样本会有偏差

    四.未来的研究方向

    一.样本的一些特性
    样本的一些特性没有用到。比如图像物体识别,除了图像本身,物体的其他方面的特征也可以用上;一些多模态的数据;时间序列的特点等。

    二.训练数据的选择
    (1)现有的零样本学习,训练集和测试集往往是同一种类型,比如都是图片,或都是文字。实际上训练集和测试集的数据所对应的类别可以不在同一个语义空间,比如训练集是物体图片,测试集是场景图片。甚至训练集和测试集的实例都不相同,比如训练集是音频,测试集是图片。有些语义类型的数据很容易得到,而有的不容易得到,所以尝试一下异构零样本学习也是很有必要的。
    (2)通过主动学习挑选训练数据。可以减轻标注压力

    三.额外信息的选择和保持

    额外信息不仅仅是在语义空间,也可以使用其他类型的语义信息。比如属性空间(attribute space),也有研究不适用语义空间,而使用人工构造的类别相似度信息。
    得到额外信息后,如何在训练中保持这些额外信息也很重要,即使这些信息在训练过程中不丢失,不改变。因为当只学习样本分类器的时候,额外信息就很容易丢失。有些工作加入了重构模块,以尽大可能使额外信息在训练中保持。

    四.更加实际和更加针对于特定任务的问题设置

    (1)在现实生活中,测试集中往往即包括训练集中出现的类别,也包括未出现的类别,这种问题设置称为广义零样本学习(generalized zero-shot learning)。在这种问题设置下,模型的效果要比零样本学习差很多,所以有很大改进的地方。

    (2)针对不同的任务设置不同的零样本学习方法。

    五.理论研究

    现有方法大多是一些启发式的,并没有严格的证明。比如(1)如何选择额外信息(2)哪些来自训练样本的信息对测试样本分类有帮助?(3)如何阻止无关信息迁移和负迁移?

    六.与其他学习方法相结合
    比如zero-shot和few-shot相结合;与机器学习方法相结合,比如零样本学习可以做为主动学习之前的步骤来加强主动学习的效果等等。

    展开全文
  • Zero-Shot Learning Table of Contents Papers Datasets Starter code for ZSL Other Resources Zero-Shot Object Classification Papers CVPR 2019 ...CADA-VAE: Edgar Schönfeld, Sayna Ebrahimi, Samarth Sinha, ...

    Zero-Shot Learning

    Table of Contents

    Zero-Shot Object Classification

    Papers

    CVPR 2019

    • CADA-VAE: Edgar Schönfeld, Sayna Ebrahimi, Samarth Sinha, Trevor Darrell, Zeynep Akata. “Generalized Zero- and Few-Shot Learning via Aligned Variational Autoencoders.” CVPR (2019). [pdf] [code]
    • GDAN: He Huang, Changhu Wang, Philip S. Yu, Chang-Dong Wang. “Generative Dual Adversarial Network for Generalized Zero-shot Learning.” CVPR (2019). [pdf] [code]
    • DeML: Binghui Chen, Weihong Deng. “Hybrid-Attention based Decoupled Metric Learning for Zero-Shot Image Retrieval.” CVPR (2019). [pdf] [code]
    • Gzsl-VSE: Pengkai Zhu, Hanxiao Wang, Venkatesh Saligrama. “Generalized Zero-Shot Recognition based on Visually Semantic Embedding.” CVPR (2019). [pdf]
    • LisGAN: Jingjing Li, Mengmeng Jin, Ke Lu, Zhengming Ding, Lei Zhu, Zi Huang. “Leveraging the Invariant Side of Generative Zero-Shot Learning.” CVPR (2019). [pdf] [code]
    • DGP: Michael Kampffmeyer, Yinbo Chen, Xiaodan Liang, Hao Wang, Yujia Zhang, Eric P. Xing. “Rethinking Knowledge Graph Propagation for Zero-Shot Learning.” CVPR (2019). [pdf] [code]
    • DAZL: Yuval Atzmon, Gal Chechik. “Domain-Aware Generalized Zero-Shot Learning.” CVPR (2019). [pdf]
    • PrEN: Meng Ye, Yuhong Guo. “Progressive Ensemble Networks for Zero-Shot Recognition.” CVPR (2019). [pdf]
    • Tristan Hascoet, Yasuo Ariki, Tetsuya Takiguchi. “On Zero-Shot Learning of generic objects.” CVPR (2019). [pdf] [code]
    • SABR-T: Akanksha Paul, Naraynan C Krishnan, Prateek Munjal. “Semantically Aligned Bias Reducing Zero Shot Learning.” CVPR (2019). [pdf]
    • AREN: Guo-Sen Xie, Li Liu, Xiaobo Jin, Fan Zhu, Zheng Zhang, Jie Qin, Yazhou Yao, Ling Shao. “Attentive Region Embedding Network for Zero-shot Learning.” CVPR (2019). [pdf] [code]
    • Zhengming Ding, Hongfu Liu. “Marginalized Latent Semantic Encoder for Zero-Shot Learning.” CVPR (2019). [pdf]
    • PQZSL: Jin Li, Xuguang Lan, Yang Liu, Le Wang, Nanning Zheng. “Compressing Unknown Classes with Product Quantizer for Efficient Zero-Shot Classification.” CVPR (2019). [pdf]
    • Mert Bulent Sariyildiz, Ramazan Gokberk Cinbis. “Gradient Matching Generative Networks for Zero-Shot Learning.” CVPR (2019). [pdf]
    • Bin Tong, Chao Wang, Martin Klinkigt, Yoshiyuki Kobayashi, Yuuichi Nonaka. “Hierarchical Disentanglement of Discriminative Latent Features for Zero-shot Learning.” CVPR (2019). [pdf]

    NeurIPS 2018

    • DCN: Shichen Liu, Mingsheng Long, Jianmin Wang, Michael I. Jordan.“Generalized Zero-Shot Learning with Deep Calibration Network” NeurIPS (2018). [pdf]
    • S2GA: Yunlong Yu, Zhong Ji, Yanwei Fu, Jichang Guo, Yanwei Pang, Zhongfei (Mark) Zhang.“Stacked Semantics-Guided Attention Model for Fine-Grained Zero-Shot Learning.” NeurIPS (2018). [pdf]
    • DIPL: An Zhao, Mingyu Ding, Jiechao Guan, Zhiwu Lu, Tao Xiang, Ji-Rong Wen “Domain-Invariant Projection Learning for Zero-Shot Recognition.” NeurIPS (2018). [pdf]

    ECCV 2018

    • SZSL: Jie Song, Chengchao Shen, Jie Lei, An-Xiang Zeng, Kairi Ou, Dacheng Tao, Mingli Song. “Selective Zero-Shot Classification with Augmented Attributes.” ECCV (2018). [pdf]
    • LCP-SA: Huajie Jiang, Ruiping Wang, Shiguang Shan, Xilin Chen. “Learning Class Prototypes via Structure Alignment for Zero-Shot Recognition.” ECCV (2018). [pdf]
    • MC-ZSL: Rafael Felix, Vijay Kumar B. G., Ian Reid, Gustavo Carneiro. “Multi-modal Cycle-consistent Generalized Zero-Shot Learning.” ECCV (2018). [pdf] [code]

    CVPR 2018

    • GCN: Xiaolong Wang, Yufei Ye, Abhinav Gupta. “Zero-shot Recognition via Semantic Embeddings and Knowledge Graphs.” CVPR (2018). [pdf] [code]
    • PSR: Yashas Annadani, Soma Biswas. “Preserving Semantic Relations for Zero-Shot Learning.” CVPR (2018). [pdf]
    • GAN-NT: Yizhe Zhu, Mohamed Elhoseiny, Bingchen Liu, Xi Peng, Ahmed Elgammal. “A Generative Adversarial Approach for Zero-Shot Learning From Noisy Texts.” CVPR (2018). [pdf]
    • TUE: Jie Song, Chengchao Shen, Yezhou Yang, Yang Liu, Mingli Song. “Transductive Unbiased Embedding for Zero-Shot Learning.” CVPR (2018). [pdf]
    • SP-AEN: Long Chen, Hanwang Zhang, Jun Xiao, Wei Liu, Shih-Fu Chang. “Zero-Shot Visual Recognition Using Semantics-Preserving Adversarial Embedding Networks.” CVPR (2018). [pdf] [code]
    • ML-SKG: Chung-Wei Lee, Wei Fang, Chih-Kuan Yeh, Yu-Chiang Frank Wang. “Multi-Label Zero-Shot Learning With Structured Knowledge Graphs.” CVPR (2018). [pdf] [project]
    • GZSL-SE: Vinay Kumar Verma, Gundeep Arora, Ashish Mishra, Piyush Rai. “Generalized Zero-Shot Learning via Synthesized Examples.” CVPR (2018). [pdf]
    • FGN: Yongqin Xian, Tobias Lorenz, Bernt Schiele, Zeynep Akata. “Feature Generating Networks for Zero-Shot Learning.” CVPR (2018). [pdf] [code] [project]
    • LDF: Yan Li, Junge Zhang, Jianguo Zhang, Kaiqi Huang. “Discriminative Learning of Latent Features for Zero-Shot Recognition.” CVPR (2018). [pdf]
    • WSL: Li Niu, Ashok Veeraraghavan, and Ashu Sabharwal. “Webly Supervised Learning Meets Zero-shot Learning: A Hybrid Approach for Fine-grained Classification.” CVPR (2018). [pdf]

    TPAMI 2018

    • C-GUB: Yongqin Xian, Christoph H. Lampert, Bernt Schiele, Zeynep Akata. “Zero-shot learning-A comprehensive evaluation of the good, the bad and the ugly.” TPAMI (2018). [pdf] [project]

    AAAI 2018, 2017

    • GANZrl: Bin Tong, Martin Klinkigt, Junwen Chen, Xiankun Cui, Quan Kong, Tomokazu Murakami, Yoshiyuki Kobayashi. “Adversarial Zero-shot Learning With Semantic Augmentation.” AAAI (2018). [pdf]
    • JDZsL: Soheil Kolouri, Mohammad Rostami, Yuri Owechko, Kyungnam Kim. “Joint Dictionaries for Zero-Shot Learning.” AAAI (2018). [pdf]
    • VZSL: Wenlin Wang, Yunchen Pu, Vinay Kumar Verma, Kai Fan, Yizhe Zhang, Changyou Chen, Piyush Rai, Lawrence Carin. “Zero-Shot Learning via Class-Conditioned Deep Generative Models.” AAAI (2018). [pdf]
    • AS: Yuchen Guo, Guiguang Ding, Jungong Han, Sheng Tang. “Zero-Shot Learning With Attribute Selection.” AAAI (2018). [pdf]
    • DSSC: Yan Li, Zhen Jia, Junge Zhang, Kaiqi Huang, Tieniu Tan.“Deep Semantic Structural Constraints for Zero-Shot Learning.” AAAI (2018). [pdf]
    • ZsRDA: Yang Long, Li Liu, Yuming Shen, Ling Shao. “Towards Affordable Semantic Searching: Zero-Shot Retrieval via Dominant Attributes.” AAAI (2018). [pdf]
    • DCL: Yuchen Guo, Guiguang Ding, Jungong Han, Yue Gao. “Zero-Shot Recognition via Direct Classifier Learning with Transferred Samples and Pseudo Labels.” AAAI (2017). [pdf]

    ICCV 2017

    • A2C: Berkan Demirel, Ramazan Gokberk Cinbis, Nazli Ikizler-Cinbis. “Attributes2Classname: A Discriminative Model for Attribute-Based Unsupervised Zero-Shot Learning.” ICCV (2017). [pdf] [code]
    • PVE: Soravit Changpinyo, Wei-Lun Chao, Fei Sha. “Predicting Visual Exemplars of Unseen Classes for Zero-Shot Learning.” ICCV (2017). [pdf][code]
    • LDL: Huajie Jiang, Ruiping Wang, Shiguang Shan, Yi Yang, Xilin Chen. “Learning Discriminative Latent Attributes for Zero-Shot Classification.” ICCV (2017). [pdf]]

    CVPR 2017

    • Deep-SCoRe: Pedro Morgado, Nuno Vasconcelos.“Semantically Consistent Regularization for Zero-Shot Recognition.” CVPR (2017). [pdf] [code]
    • DEM: Li Zhang, Tao Xiang, Shaogang Gong. “Learning a Deep Embedding Model for Zero-Shot Learning.” CVPR (2017). [pdf] [code]
    • VDS: Yang Long, Li Liu, Ling Shao, Fumin Shen, Guiguang Ding, Jungong Han. “From Zero-Shot Learning to Conventional Supervised Classification: Unseen Visual Data Synthesis.” CVPR (2017). [pdf]
    • ESD: Zhengming Ding, Ming Shao, Yun Fu. “Low-Rank Embedded Ensemble Semantic Dictionary for Zero-Shot Learning.” CVPR (2017). [pdf]
    • SAE: Elyor Kodirov, Tao Xiang, Shaogang Gong. “Semantic Autoencoder for Zero-Shot Learning.” CVPR (2017). [pdf] [code]
    • DVSM: Yanan Li, Donghui Wang, Huanhang Hu, Yuetan Lin, Yueting Zhuang. “Zero-Shot Recognition Using Dual Visual-Semantic Mapping Paths”. CVPR (2017). [pdf]
    • MTF-MR: Xing Xu, Fumin Shen, Yang Yang, Dongxiang Zhang, Heng Tao Shen, Jingkuan Song. “Matrix Tri-Factorization With Manifold Regularizations for Zero-Shot Learning.” CVPR (2017). [pdf]
    • Nour Karessli, Zeynep Akata, Bernt Schiele, Andreas Bulling. “Gaze Embeddings for Zero-Shot Image Classification.” CVPR (2017). [pdf] [code]
    • GUB: Yongqin Xian, Bernt Schiele, Zeynep Akata. “Zero-Shot learning - The Good, the Bad and the Ugly.” CVPR (2017).
      [pdf] [code]

    CVPR 2016

    • MC-ZSL: Zeynep Akata, Mateusz Malinowski, Mario Fritz, Bernt Schiele. “Multi-Cue Zero-Shot Learning With Strong Supervision.” CVPR (2016). [pdf] [code]
    • LATEM: Yongqin Xian, Zeynep Akata, Gaurav Sharma, Quynh Nguyen, Matthias Hein, Bernt Schiele. “Latent Embeddings for Zero-Shot Classification.” CVPR (2016). [pdf][code]
    • LIM: Ruizhi Qiao, Lingqiao Liu, Chunhua Shen, Anton van den Hengel. “Less Is More: Zero-Shot Learning From Online Textual Documents With Noise Suppression.” CVPR (2016). [pdf]
    • SYNC: Soravit Changpinyo, Wei-Lun Chao, Boqing Gong, Fei Sha. “Synthesized Classifiers for Zero-Shot Learning.” CVPR (2016). [pdf][code]
    • RML: Ziad Al-Halah, Makarand Tapaswi, Rainer Stiefelhagen. “Recovering the Missing Link: Predicting Class-Attribute Associations for Unsupervised Zero-Shot Learning.” CVPR (2016). [pdf]
    • SLE: Ziming Zhang, Venkatesh Saligrama. “Zero-Shot Learning via Joint Latent Similarity Embedding.” CVPR (2016). [pdf] [code]

    ECCV 2016

    • Wei-Lun Chao, Soravit Changpinyo, Boqing Gong2, Fei Sha. “An Empirical Study and Analysis of Generalized Zero-Shot Learning for Object Recognition in the Wild.” ECCV (2016). [pdf]
    • MTE: Xun Xu, Timothy M. Hospedales, Shaogang Gong. “Multi-Task Zero-Shot Action Recognition with Prioritised Data Augmentation.” ECCV (2016). [pdf]
    • Ziming Zhang, Venkatesh Saligrama.“Zero-Shot Recognition via Structured Prediction.” ECCV (2016). [pdf]
    • Maxime Bucher, Stephane Herbin, Frederic Jurie.“Improving Semantic Embedding Consistency by Metric Learning for Zero-Shot Classification.” ECCV (2016). [pdf]

    AAAI 2016

    • RKT: Donghui Wang, Yanan Li, Yuetan Lin, Yueting Zhuang. “Relational Knowledge Transfer for Zero-Shot Learning.” AAAI (2016). [pdf]

    TPAMI 2016, 2015, 2013

    • ALE: Zeynep Akata, Florent Perronnin, Zaid Harchaoui, and Cordelia Schmid. “Label-Embedding for Image Classification.” TPAMI (2016). [pdf]
    • TMV: Yanwei Fu, Timothy M. Hospedales, Tao Xiang, Shaogang Gong. “Transductive Multi-view Zero-Shot Learning.” TPAMI (2015) [pdf] [code]
    • DAP: Christoph H. Lampert, Hannes Nickisch and Stefan Harmeling. “Attribute-Based Classification for Zero-Shot
      Visual Object Categorization.” TPAMI (2013) [pdf]

    CVPR 2015

    • SJE: Zeynep Akata, Scott Reed, Daniel Walter, Honglak Lee, Bernt Schiele. “Evaluation of Output Embeddings for Fine-Grained Image Classification.” CVPR (2015). [pdf] [code]
    • Zhenyong Fu, Tao Xiang, Elyor Kodirov, Shaogang Gong. “Zero-Shot Object Recognition by Semantic Manifold Distance.” CVPR (2015). [pdf]

    ICCV 2015

    • SSE: Ziming Zhang, Venkatesh Saligrama. “Zero-Shot Learning via Semantic Similarity Embedding.” ICCV (2015). [pdf] [code]
    • LRL: Xin Li, Yuhong Guo, Dale Schuurmans.“Semi-Supervised Zero-Shot Classification with Label Representation Learning.” ICCV (2015). [pdf]
    • UDA: Elyor Kodirov, Tao Xiang, Zhenyong Fu, Shaogang Gong. “Unsupervised Domain Adaptation for Zero-Shot Learning.” ICCV (2015). [pdf]
    • Jimmy Lei Ba, Kevin Swersky, Sanja Fidler, Ruslan Salakhutdinov. “Predicting Deep Zero-Shot Convolutional Neural Networks using Textual Descriptions.” ICCV (2015). [pdf]

    NIPS 2014, 2013, 2009

    • Dinesh Jayram, Kristen Grauman.“Zero-Shot Recognition with Unreliable Attributes” NIPS (2014) [pdf]
    • CMT: Richard Socher, Milind Ganjoo, Christopher D. Manning, Andrew Y. Ng. “Zero-Shot Learning Through Cross-Modal Transfer” NIPS (2013) [pdf] [code]
    • DeViSE: Andrea Frome, Greg S. Corrado, Jonathon Shlens, Samy Bengio, Jeffrey Dean, Marc’Aurelio Ranzato, Tomas Mikolov.“DeViSE: A Deep Visual-Semantic Embedding Model” NIPS (2013) [pdf]
    • Mark Palatucci, Dean Pomerleau, Geoffrey Hinton, Tom M. Mitchell. “Zero-Shot Learning with Semantic Output Codes” NIPS (2009) [pdf]

    ECCV 2014

    • TMV-BLP: Yanwei Fu, Timothy M. Hospedales, Tao Xiang, Zhenyong Fu, Shaogang Gong. “Transductive Multi-view Embedding for
      Zero-Shot Recognition and Annotation” ECCV (2014).[pdf] [code]
    • Stanislaw Antol, Larry Zitnick, Devi Parikh. “Zero-Shot Learning via Visual Abstraction.” ECCV (2014). [pdf] [code] [project]

    CVPR 2013

    • ALE: Z.Akata, F. Perronnin, Z. Harchaoui, and C. Schmid. “Label Embedding for Attribute-Based Classification.” CVPR (2013). [pdf]

    Other Papers

    • EsZSL: Bernardino Romera-Paredes, Philip H. S. Torr. “An embarrassingly simple approach to zero-shot learning.” ICML (2015). [pdf] [Code]
    • AEZSL: “Zero-Shot Learning via Category-Specific Visual-Semantic Mapping and Label Refinement” IEEE SPS (2018). [pdf]
    • ZSGD: Tiancheng Zhao, Maxine Eskenazi. “Zero-Shot Dialog Generation with Cross-Domain Latent Actions” SIGDIAL (2018). [pdf] [code]
    • Yanwei Fu, Tao Xiang, Yu-Gang Jiang, Xiangyang Xue, Leonid Sigal, Shaogang Gong “Recent Advances in Zero-shot Recognition”. IEEE Signal Processing Magazine. [pdf]
    • Michael Kampffmeyer, Yinbo Chen, Xiaodan Liang, Hao Wang, Yujia Zhang, Eric P. Xing “Rethinking Knowledge Graph Propagation for Zero-Shot Learning” arXiv (2018). [pdf] [code]
    • Survey: Wei Wang, Vincent W. Zheng, Han Yu, Chunyan Miao. “A Survey of Zero-Shot Learning: Settings, Methods, and Applications”. TIST (2019). [pdf]

    Datasets

    • LAD: Large-scale Attribute Dataset. Categories:230. [link]
    • CUB: Caltech-UCSD Birds. Categories:200. [link]
    • AWA2: Animals with Attributes. Categories:50. [link]
    • aPY: attributes Pascal and Yahoo. Categories:32 [link]
    • Flowers Dataset: There are two datasets, Categories: 17 and 102. [link]
    • SUN: Scene Attributes. Categories:717. [link]

    Starter Code

    This repository contains a Demo folder which has a Jupyter Notebook step-by-step code to “An embarrassingly simple approach to zero-shot learning.” ICML (2015).
    This can be used as an introductory code to obtain the basic understanding of Zero-shot Learning.

    Other resources

    • https://medium.com/@alitech_2017/from-zero-to-hero-shaking-up-the-field-of-zero-shot-learning-c43208f71332
    • https://www.analyticsindiamag.com/what-is-zero-shot-learning/
    • https://medium.com/@cetinsamet/zero-shot-learning-53080995d45f

    License

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-toLgVBbD-1576163986178)(http://mirrors.creativecommons.org/presskit/buttons/88x31/svg/cc-zero.svg)]

    展开全文
  • DeepLearning | Zero Shot Learning 零样本学习

    万次阅读 多人点赞 2020-06-02 20:36:51
    最近因为比赛的原因看了一些关于Zero Shot Learning (ZSL)的论文,总的来说这个方向还是有一些前人的工作的,不过有些内容个人觉得确实有些不太靠谱和跑偏,找了两篇我个人认为思路比较清晰和实用的论文,在这里介绍...

    最近因为比赛的原因看了一些关于Zero Shot Learning (ZSL)的论文,总的来说这个方向还是有一些前人的工作的,不过有些内容个人觉得确实有些不太靠谱和跑偏,找了两篇我个人认为思路比较清晰和实用的论文,在这里介绍一下关于Zero Shot Learning的基本问题,思路以及方法算是科普性的文章

    一篇是 Lampert 2009年在CVPR上发表的
    Learning to Detect Unseen Object Class by Between-Class Attribute Transfer
    这是最早提出 Zero Shot Learning 这一问题和概念的文章
    同样是2009年,Hinton在NIPS上发表的
    Zero Shot Learning with Semantic Output Codes

    这里还有几篇零样本算法的介绍和复现:
    DeepLearning | Semantic Autoencoder for Zero Shot Learning 零样本学习 (论文、算法、数据集、代码)
    DeepLearning | Relational Knowledge Transfer for Zero Shot Learning 零样本学习(论文、算法、数据集、代码)

    一、Zero Shot Learning 的基本问题

    首先,我们来说清楚,ZSL是针对怎样的问题提出的

    假设这样一个场景,现在我们有了一个训练用的数据集,里面有A、B、C三类样本,可是在测试集中却有A、B、C、D四类,那么我们如何去用一个只有A、B、C三类样本的训练集去预测测试集中的D类呢?这就是零样本学习Zero Short Learning 所需要解决的问题,如果测试集中存在训练集中不存在的类别,我们应该如何建模?

    这里写图片描述

    ##二、Zero Shot Learning 的类间属性迁移
    利用只有A类、B类和C类的数据集去预测D类,这个问题乍看上去似乎十分困难,现在我们将这个问题具体化,我们就会发现这个问题并不是那么刁钻,而是我们在现实中确实有可能遇到的,我们来看下面这张图

    这里写图片描述

    现在的A、B、C类分别是老虎、大熊猫和马,而D类则是斑马
    那么Zero Shot Learning的问题我们可以用下面这种方式进一步理解

    小明(小明躺枪…)的爸爸带他去动物园看动物,分别看了老虎,大熊猫和马,然后又告诉他希望他在动物园中去找一种叫做斑马的动物,这种动物有老虎的斑纹,大熊猫的黑白混色以及马的外形。

    这样来看,这个问题就显得不是那么困难了,这一思路,也正是Lampert在论文中所提到的类间属性迁移,通常我们做有监督学习的思路,是实现数据的特征空间到数据标签之间的映射,而这里,我们利用数据特征预测的却是样本的某一属性

    这里写图片描述

    Lampert在论文中给出了两种属性预测的结构
    这里写图片描述

    1. 直接属性预测 Direct attribute prediction (DAP)
      这一方法先将数据从特征空间映射到中间层的属性向量层,属性向量层的标签是通过收集来的每一类特征的总结,比如是否有尾巴,有几只脚等等,通过利用数据预测属性,再通过属性映射到标签来实现对于未知类别的预测,这一方法也是接受和应用最为广泛的一种

    2. 间接属性预测 Indirect attribute prediction (IAP)
      这一方法使用了两层标签,属性层作为中间层,在实际中使用较少,这里不多做介绍

    ##二、Zero Shot Learning 的语意输出编码
    还有一个觉得比较有意思的是Hinton在论文里提到的语意输出编码方式,这里的思想其实与DAP的思路类似,也是在以往的特征空间与标签之间增加了一层
    这里增加的一层不再是数据本身的属性比如动物的一些特征之类的,而是标签本身的编码,说简单点就是NLP里面的词向量,通过将标签进行词向量的编码,利用模型基于数据矩阵对编进行预测,得到结果之后,通过衡量输出与各个类别词向量之间距离,判别样本的类别

    总结一下,上面提到的两篇论文里的方法,都是将数据对标签的预测转化成了对中间层的预测,继而利用中间层的结果实现对标签的确定,我觉得这是一种独具一格的思路,可以借鉴一下

    这篇博客写了之后个人感觉不是很充分,于是又扩展写了一篇
    DeepLearning | Zero Shot Learning 零样本学习(扩展内容、模型、数据集)

    二、更多资源下载

    微信搜索“老和山算法指南”获取更多下载链接与技术交流群
    在这里插入图片描述
    有问题可以私信博主,点赞关注的一般都会回复,一起努力,谢谢支持。

    展开全文
  • 零样本学习

    2020-07-15 10:08:48
    零样本学习 (Zero-shot learning).,零样本学习是迁移学习的一种特殊场景;在零样本学习过程中,训练类集和测试类集之间没有交集,需要通过训练类与测试类之间的知识迁移来完成学习,使在训练类上训练得 到的模型...

    前言

    这篇博客为阅读论文后的总结与感受,方便日后翻阅、查缺补漏,侵删!

    论文:

    • 零样本学习研究进展
    • 零样本图像识别

    概念:

    零样本学习 (Zero-shot learning).,零样本学习是迁移学习的一种特殊场景;在零样本学习过程中,训练类集和测试类集之间没有交集,需要通过训练类与测试类之间的知识迁移来完成学习, 使在训练类上训练得 到的模型能够成功识别测试类输入样例的类标签。更一般来说,零样本学习如果模型在训练过程中,只使用训练类的样本进行训练,,且在测试阶段可以识别从未见过的测试类样例,,那么就认为该模型实现 了零样本学习。

    迁移学习:

    迁移学习简单来说,就是将一个学习任务A建立的模型可以迁移到学习任务B中;这里举个例子:人在实际生活中有很多迁移学习,比如学会了骑自行车,就比较容易学摩托车,学会了C语言,再学一些其它编程语言会简单很多。

    应用:

    在机器视觉领域,你如果想实现一个应用,而不想从零开始训练权重,比方从随机初始化开始训练,实现最快的方式通常是下载已经训练好的权重的网络结构,把它当做预训练迁移到你感兴趣的新任务上,这样可以节省大量的训练时间。

    如上图所示,已有一个模型,该模型输入x最后经Sigmoid处理可以输出猫和狗的概率;但现在我们有一个新任务分类猫、狗、猪、其他动物。这时我们不需要重新训练模型的所有参数,只需要修改模型最后一层并训练改层的参数。

    当然这不是绝对的,如果我们的训练集比较充分,可以选择从零开始训练我们模型的参数,这样分类效果可能更高;但如果我们的数据集较少,也可以选择冻结模型参数的一部分,训练模型的其他参数,实现特定任务的分类。

    零样本学习的基本思想:

    零样本学习利用训练集中的样本,和样本对应的辅助信息 (例如文本描述或者属性特征等) 对模型进行训练,在测试阶段利用在训练过程中得到的信息,以及模型的测试类辅助信息对模型进行补足,使得模型能够成功对测试集中的样例进行分类。我的理解,在训练样本中假设有个牛的样本,我们可以运用该样本集对神经网络模型进行训练,我们知道神经网络可以将输入样本压缩成隐空间的一个向量表示,如果在训练过程还得知,对应隐空间的第i维数值表示待识别动物的体重,第j维数值表示待识别动物鼻子的长短;当我们如果规定,在隐空间的对应牛和训练样本距离很近,且第j维数值较大,我们有理由相信待识别的图像为大象图像。

    零样本学习结构示意图 :

    零样本学习的相关领域:

    • 单样本学习 

    单样本学习 (One-shot learning)是与零样本学习最为相似的研究领域,单样本学习希望识别模型可以实现仅使用某些对象类极为少量 (100 以 内, 甚至只有 1 个) 的训练样本,,就可以对这些类的样例进行识别。但是,单样本学习模型较差的泛化能力是它所具有的致命缺陷,如果测试阶段的样例与训练样例不是十分相似的话,那么单样本学习模型很有可能无法准确地识别测试样例的类标签.。因此,为了回避这一问题,零样本学习在单样本学习的基础上得以产生。

    • 偶然学习 

     “偶然学习” (Serendipitous learning, SL) 方法,该方法希望能够在给定的标签空间之外,识别未定义类标签的测试样例所属类标签;这一方法的核心思想是在对见过的训练类的样例进行识别的同时,也可以对从未见过的未见类样例进行聚类分析

    零样本学习经典模型:

    • 新任务的零数据学习 

    零数据学习的目标在于如何构造模型学习没有可用的训练数据、且只有类描述的分类器学习问题。因此在定义上,零数据学习与零样本学习本质上是相同的。零数据学习主要有(1)输入空间方法 (2)模型空间方法 。

    • (1)输入空间方法

    核心思想:

    利用训练类和测试类中对应于每一类的描述信息,对模型进行信息补充, 使得模型不再是简单的学习由输入样例到类标签的映射关系,而是把输入样例与对应类描述的信息对作为新的输入, 并学习其到类标签的映射关系。 在训练阶段,输入空间方法利用训练类的样本以及对应的类描述信息对模型进行训练,因为是直接在输入阶段,对模型所需要的信息进行了补充,所以该 方法被命名为输入空间方法。个人理解:即测试阶段将测试集类描述信息与已知训练集的辅助联系起来,从而确定未知样本的类别。

    示意图 : 

    上述过程简单来说:训练过程,将训练样例的描述信息D_{tr}看做该样例的类别和训练样例^{}X_{tr}一块输入到模型中进行训练,得到D_{tr}X_{tr}映射关系f。测试阶段,将未知类别的测试样例输入到模型f中,找到待分类样例的描述信息,从而确定类别的方法。

    • (2)模型空间方法 

    核心思想:

    模型空间方法假设对于每一类 y, 都存在对应的分类函数 d(y)∈D。 假定 d(y)为该类所对应的描述信息,用把分类函数参数f_{f}(.)化为g_{d(y)}(x)即令: 

    零数据学习问题变为用 d(y) 和输入样例学习g_{d(y)}(x)的表示问题,例如,可以使用以下平均损失最小化来求解模型参数::

    通俗来讲:训练阶段,如果可以利用给定的 x_{i}y_{i}以及 d(y)^{i}对函数 g 进行充分的训练,在测试阶段,假定每一个测试类都具有给定的 d(y) 时,就可以利用训练阶段学习到的函数 g, 计算每个测试类样例所对应的分类函数g_{d(y)}(x),这样,就可以利用这一系列测试类函数族,来判断测试类输入样例的类标签。

    示意图 : 

    个人感觉这个和输入空间方法是一样的,但论文给的解释为:与输入空间方法相比, 模型空间方法具有更 强的泛化能力, 输入空间方法相当于令 gd(y)(x) = g(x,d(y)), 可看作是模型空间方法的特例. 模型空 间方法将 d(y) 作为调整模型 gd(y)(x) 的参数,不太理解。

    • 语义输出编码零样本学习

    具体做法:先定义多维的语义特征空间,每个维度都对应一个二值编码特征。例如,对于 “狗” 这一类标签来说,在 “多毛”、“有尾巴”、“水下呼吸”、“肉食 性” 和 “可以快速移动” 5 条语义特征下的语义空间中,“狗” 这一类可以利用布尔值表示为语义特征向量 [1, 1, 0, 1, 1],(这里假设知识库只有这5个语义知识)。定义语义输出编码分类器为 H :X → Y,假定 H 是复合映射函数H = L(S(·)),S 函数负责将图像映射到语义空间,L 函数负责将语义编码空间映射到标签集上。 L函数通过查询知识库 K 中语义编码与类标签的对应关 系实现映射。

     学习过程示意图:

    个人感觉这个和新任务的零数据学习相比,就是把新任务的零数据学习中的描述信息D_{tr}进行了one_hat编码而已。

    • 基于属性类间迁移的未见类学习 

    基于属性类间迁移的未见类检测方法, 这一模型可谓是零样本学习的奠基之作,现有的零样本学习方法大多都继承了该模型的思想,Lampert 等建立的数据集 “Animals with attributes” 也成为研究零样本学习所必须使用的数据集之一。

    下面介绍两种拓扑结构零样本学习模型,分别为(1)直接属性预测 (Direct attribute prediction, DAP) 模型,(2)间接属性预测 (Indirect attribute prediction, IAP) 模型。

    • (1)直接属性预测 (Direct attribute prediction, DAP) 模型

    假定y_{1} ,··· ,y_{k}为训练类, y_{k+1},··· ,y_{k+L} 为 测试类; a_{1},··· ,a_{M}为全部属性特征的集合。在测试阶段时,尽管模型从未针对测试类进行训练,但属性层仍然可以利用训练阶段得到的属性分类器 β 对输入的测试类图像所具有的属性进行判断,得到输入图像的属性特征估计之后,就可以利用得到测试样例的属性特征估计以及测试类的属性指示对输入样例进行分类判断。通俗来讲:假设我们要通过{有无尾巴,体积大小、头有没有角}来对动物种类识别,属性分类器 β 可以提取输入图像有无尾巴?体积有多大?头有没有角?,得到的结果与测试类的属性指示对输入样例进行分类判断。

    • (2)间接属性预测 (Indirect attribute prediction, IAP) 模型

    分类公式如下图所示:

     

    •  跨模态迁移的零样本学习 

    核心思想:

    跨模态迁移学习的核心思想是将图像和类标签同时映射到相同的子空间内, 目前通常是将图像和类标签同时映射 (或称为嵌入 (Embedding)) 到语义空间中, 并在语义空间内, 利用一定的相似性度量方法,去确定测试类输入图像的类标签。

    学习示意图:

    上图五边形白点代表测试类 “猫” 的输入图像在语义空间中的表示, 除此之外的白点代表训练类的输入图像在语义空间中的映射向量。在该方法中,黑点代表所有类标签的语义向量,所有的语义向量都是预先给定的辅助信息,这些语义向量可以是 属性向量,也可以是使用文本描述生成的单词语义向量。 训练阶段,首先利用训练类标签对应的语义向量和训练类的样例对跨模态映射模型进行训练。训练后,映射模型可以成功地将输入样例映射到语义空间中,并准确地映射到输入样例所对应的类标签的语义向量附近,测试阶段,输入测试类的样例时, 首先利用训练阶段得到的跨模态映射模型将测试类输入样例映射到语义空间中,并根据相似性判断方法 (如余弦相 似性、K 近邻方法等), 将与输入样例的的语义向量估计最为相似的语义向量的类标签, 作为测试类图 像的类标签估计。

    简单来说,将类标签映射到语义空间中,根据训练集依据一定原则来训练样例到语义空间的映射关系f,原则即:“样例映射到语义空间中应该在类标签向量周围”,依据映射关系f将测试集也映射到语义空间中,并根据相似性判断方法确定其类别。

    零样本学习关键问题:

    • 广义零样本学习 (Generalized zero-shot learning)

    零样本学习在测试阶段,只有未 见类样例出现。” 这在实际应用中是不现实的,已见类的对象往往是现实世界中最为常见的对象, 而且,如果在训练阶段已见类样本容易得到、未见类样本难以获取, 那么在测试阶段就也不应只有未见类样例出现。

     广义零样本学习定义:

    如果模型在训练过程 中,只可以使用训练类的样本进行训练,并且在测试 阶段可以准确识别已见类样例以及从未见过的未见类样例,那么就认为该模型实现了广义零样本学习。

    虽然广义零样本学习定义十分简单, 但传统零样本学习方法仍会出现上述未见类识别准确率较低的问题,这是因为模型在训练过程中只使用了已见类样本进行训练,已见类的先验知识也更为丰富,从而使得已见类模型占主导地位。所以在输入测试样例时,模型会更加倾向于对未见类样例标注为已见类的标签,从而造成识别准确率与传统零样本学习相比的大幅度下跌对于这一问题, 一般有两种解决方法,一种是 在输入样例时,判断其属于已见类或未见类,这种方 法称为新颖检测;另一种方法是在模型判断输入样例为已见类时,叠加一个校准因子以平衡模型对已见类识别的倾向性, 这一种方法称为叠加校准,两种方法具体内容如下。

    • 枢纽度问题 (Hubness)

    这一问题是指将原始空间 (例如图像特征空间或类标签空间) 中的某个元素映射到特征子空间中,得到原始空间中某个元素的在特征子空间中的新表示,这时如果使用 K 近邻方法进行相似性度量时,可能会有某些原始空间中无关元素映射到多个测试样本特征空间中表示最近的几个近邻中, 而这些无关向量,就称为 “枢纽 (hub)”, 枢纽的出现,污染了测试类的近邻列表,对零样本学习产生了较大的影响。所有利用特征子空间的机器学习模型,都会存在这一现象,维度越高,这一现象愈发明显。简单来说,就是在原特征空间类别可分的样例,映射到特征空间中出现类别不可分的现象。

    枢纽化现象的示意图:.

     

    • 映射域偏移问题 (The projection domain shift problem)

    映射域偏移问题的根源在于映射模型较差的泛化能力:模型使用了训练类样本学习由样例特征空间到类标签语义空间的映射,由于没有测试类样本可以用于训练,因此,在映射测试类的输入样例时,就会产生一定的偏差。示意图如下所示:白色圆点为训练类标签的语义向量,黑色圆点为测试类标签的语义向量,灰色圆点为测试类输入在语义空间中的映射向量,其余为训练类在语义空间的映射向量,可以看出,老虎、马和斑马为训练类, 熊猫为测试类,训练类的样本都很好地映射到了训练类语义向量的附近,而测试类输入样例映射到语义空间后,却与它所对应的类标签距离较远。 因此,如果想要解决映射域偏移问题,就需要提高映射模型的泛化能力。

    映射域偏移问题示意图:

    零样本学习方法研究进展 :

    目前的零样本学习方法一般都沿袭了将输入和输出映射到子空间的思路,在这一思路下的零样本学习方法可以分为两类:“相容性模型” (主要是DAP 模型)和 “混合模型”(主要是IAP 模型)。

    • (1)相容性模型结构示意图(主要是DAP 模型)

    相容性模型又分为线性相容性模型和非线性相容性模型。 非线性相容性模型使用非线性相容函数,与线性相容性模型相比具有着更强的表达能力;因此, 目前的零样本学习研究中,非线性相容性模型在相容性模型中占据主流地位。

    • 线性相容性模型分类示意图 :

    线性相容性模型与非线性相容性模型的主要区别在于 F(θ(x),ϕ(y),w) 是否为线性函数。 在线性相容性模型中,相容性函数定义为:

    线性相容性零样本学习模型:分别是深度语义嵌入模型、属性标签嵌 入模型、属性描述替换模型、文本描述替换模型、多视图零样本学习模型和细粒度数据视觉描述的深度表示模型。

    • 深度语义嵌入模型:

     

    • 属性标签嵌 入模型:

     

    •  属性描述替换模型:

     

    • 文本描述替换模型:

     

    • 多视图零样本学习模型:

     

    • 细粒度数据视觉描述的深度表示模型:

     

    • 非线性相容性模型分类示意图 :

     顾名思义,非线性相容性模型的相容性函数是非线性的, 一般来说有两种常见形式:(1)距离函数形式 (2)概率形式。我们将介绍 7 种典型非线性相容性模型:语义自编码器模型、语义嵌入一致 性度量模型、联合隐变量相似嵌入模型、隐嵌 入模型、反向深度嵌入模型、基于文本描述的 深度零样本卷积神经网络和基于随机森林的零 样本学习模型。 

    • 语义自编码器模型

     

    • 语义嵌入一致 性度量模型

     

    • 联合隐变量相似嵌入模型

     

    • 隐嵌 入模型

     

    • 反向深度嵌入模型

     

    • 基于文本描述的深度零样本卷积神经网络

     

    • 基于随机森林的零 样本学习模型

     

    • (2)混合模型结构示意图(主要是IAP 模型)

    利用训练类类标签所对应的特征子空间映射的混合组合来表示测试类输入样例在特征子空间中的映射,进而判断输入样例的映射与测试类类标签映射之间的相似性,得到输入样例类标签估计的模型,称为混合模型。简单来说:训练样例映射到特征子空间中,测试阶段过来一个测试样例同样方法可以映射到特征子空间中,且可以用其他已知样例的特征向量表示出来,比如熊猫 = 猫+熊,这样我们就可以预测输入的类别。

    混合模型分类示意图 : 

    •  语义凸组合模型 

     

    • 综合零样本学习模型 

     

    • 语义相似嵌入模型 

     

    • 高斯混合模型 

     

    • 结构预测模型 

     

    • 相关知识迁移模型

     

    • 属性回归类原型矫正模型 

     

    • 基于神经网络输出无监督学习应用的零样本学习

     

    • 辅助信息介绍 :

    辅助信息用于描述训练类和测试类, 并将训练类和测试类关联起来,使得训练类和测试类之间可以共享某些特征, 是成功实现零样本学习的关键,目前来说,有三种形式的辅助信息成功应用于零样本学习中,分别为:手工标注的属性、文本学习模型、 以及层次结。 

    • (1)手工标注的属性 (也称:基于属性的方法)

    属性特征向量表示形式为:a^{l} = \left \{ a_{1}^{l},a_{2}^{l},....,a_{M}^{l} \right \}l代表类标签索引值,,M为第 l个类标签中所有可能出现的属性个数;这种方法带来巨大的人力损耗。

    • (2)文本学习 (也称:基于词嵌入向量的方法)

    运用自然语言处理领域语义向量来表示,得到的特征表示为类标签单词在语义空间中的特征向量。目前,应用在零样 本学习中的自然语言处理工具共有三种:Bag-ofWords、Word2Vec和 GloVe。

    • (3)类层次结构关系 (也称:基于知识图的方法)

    WordNet 为包含100000 个英语单词的数据库, 可以提供大量的类层次结构关系, 可以使用多个相似性度量函数对各个类标签的相似度进行度量;层次结构信息在零样本学习中应用较少。

     

    零样本图像识别

    零样本图像识别通俗来讲,处理对象为图片的零样本学习。
    机器学习方法对比表:

    零样本图像学习技术结构图:

    其中,函数f是由训练数据集学习而来,用来完成 图像特征到嵌入空间的映射,函数一般选用最近邻算法或是其他更复杂的相似度计算方法,用来确定图像所属的类别标签 。目前根据在训练阶段是否使用未知类的无标记数据,可以将零样本学习分为两大类,分别是直推式零样本学习归纳式零样本学习。 

    •  直推式零样本学习:

    直推式零样本学习是指在训练阶段使用未知类的无标记数据,在训练阶段使用无标签未知类数据提高最终分类器对未知类的判别能力,如下图所示:一方面,利用未知类中的数据训练分类器可以提高在未知类上的泛化能 力;另一方面,未知类与已知类的数据相互结合用于学习,可以联合优化分类器 。 

    直推式零样本学习结构示意图如下: 

    • 归纳式零样本学习:

    归纳式零样本学习是指在分类器训练阶段只使用训练集数据学习函数 ,在测试阶段以并行方式对所有测试集数据进行类标签预测,预测过程相互独立,如下图所示:该方法也是目前零样本学习问题中应用最广泛的一种解决思路。 在归纳式零样本学习中最经典的方法就是 Lampert等人提出的直接预测模型(Direct Attribute Prediction, DAP)和间接预测模型(Indirect Attribute Prediction, IAP),前面已经介绍过,这里就不赘述啦。

     归纳式零样本学习结构示意图:

     工程应用 :

    (1)图像处理领域:

    • 人类姿态识别模型(可以精确地识别图片中人类的姿态)
    • 种不依赖于局部 和低维特征的指纹识别方法(实现在低廉的商用设 备上就能达到高精度的识别效果)
    • 基于零样本学习的语义输出编码分类器(对fMRI图像进行解码分析,做到了对从未见过的图像的预测功能)
    • Zero-shot Hashing算法(实现较以往哈希算法更优越的图像检索性能,同时规避了 高昂的人工标签成本)

    (2)视频处理领域:

    • 基于属性的零样本学习将属性特征运用在人类行为识别上
    • 了一种学 习潜在属性的模型(解决了稀疏标签群体社会活动理解中的 属性学习问题)
    • objects2action 模型(利用零样本学习实现在视频中动作的时空定位)
    • 辅助图像传输编码(解决了基于深度特征编码的 大规模视频情绪识别中对未知情绪的识别问题)

    (3)自然语言处理领域:

    • 多语种的神经机器翻译(NMT)模型(提升了在训练源数据不充足时的翻译质量)
    • 一种简单的零样本学习方法解决了预测一个文档的多个以前从未出现过的可能标签的问题

    关键技术:

    处理零样本学习问题中使用的普遍的步骤为:(1)提取视觉特征构建视觉空间; (2)提取语义特征构建语义空间;(3)实现视觉空间 与语义空间之间的映射构建嵌入空间。 

    • 视觉特征:(一般包括颜色、纹理、 形状等信息)

    (1)传统方法(只能提取图像的低级特征):

    •  描述颜色信息   {HSV、 Lab、HIS等颜色模型和HOG特征}
    • 描 述纹理信息   {灰度共生矩阵、Tamura特征、自回归模型和LBP算子}
    • 描述形状信息  {Hough变换、傅里叶形状描述符、SIFT、 SURF、Haar等特征 }

    (2)基于深度学习方法(可以提取图像的高级特征):

    tip:在零样本图像识别任务中,一般使用基于深度学习方法提取特征效果较好。

    零样本学习中使用较为广泛主要有(1)VGG(2)GoogleNet(3)ResNet

    零样本学习中深度卷积神经网络使用情况统计表:

    • 语义特征(类别的特征表示):

    语义特征提取的目的在于构建语义向量,它必须同时具有足够的语义性和较强的判断性。两者相 互矛盾,语义性强要求语义向量能够包含更多对象 的细节信息,其中包含了与分类任务不相关的信息,如动物的习性、人类的习惯、场景的描述等; 而判断性强则要求语义向量更应该关注最能区分不同对象类别的信息。如何平衡两者之间的权重,强 化零样本学习的泛化能力也是目前零样本学习领域的研究重点之一。

    零样本学习中主要的语义特征提取方法分为(1)基于属性(2)基于词嵌入向量(3)基于知识图;其中这3中属性前面已经介绍过了,这里同样不在赘述了。

    • 视觉---语义映射 :

    视觉-语义映射是解决零样本学习问题必不可少的基石,是图像特征与语义向量之间的连接的枢纽。一旦建立好视觉-语义映射,便可以计算任意未知类数据和未知类原型之间的相似度,并基于该相似度对未知类进行分类。

    构建视觉-语义映射主要有3种方式:

    (1)正向映射

    在视觉端构建,将图片特征映射到语义向量空间, 并在语义向量空间进行未知类识别。(通俗来讲:就是将图片特征映射成语义向量的形式

    (2)反向映射

    在语义端构建,将语义向量映射到图片特征空间,并在图片特征空间进行未知类识别。(通俗来讲:就是将语义向量映射成图片特征的形式

    (3)公共 映射

    该方式为零样本学习的主流映射方式;在公共端构建,将图片特征和语义向量映射到公共空间,比如嵌入空间,并在公共空间内完成识别任务。

     3种视觉-语义映射示意图:

    零样本学习领域常用数据集:

    它们分别是(1)AwA(2)CUB(3)aPY(4)SUN(5)Flower (6)Dogs(7)ImageNet。其中前6个数据集为小规模数据集,最后一个为大规模数据集。

    传统零样本学习VS泛化零样本学习 :

    • 传统零样本学习(conventional Zero-Shot Learning, cZSL)是指在实验阶段仅使用已知类训练模型,仅使用未知类测试模型。
    • 泛化零样本学习 (generalized Zero-Shot Learning, gZSL)是指在实验阶段仅使用已知类训练模型,则不再将测试数据强制认定为仅来自未知类,而是对测试数据的来源做更松弛化的假设(测试数据可以来自于所有类别中的任意对象类)。

    注意:上面两项与直推式零样本学习/归纳式零样本学习的区别与联系。

    一个切实有用的零样本学习系统应该既能精确地识别已知类,又能准确地区分未知类。它不但可以区分待识别对象是来自于已知类还是未知类,也可以识别待识别对象属于已知类或未知类中的哪种 物体。但是由于传统零样本学习的测试阶段设置过 于严苛,不能真实反映现实世界中物体识别的情 景,为了更好地评价零样本学习模型在实际情况中 的性能,泛化零样本学习必不可少。

     零样本学习性能比较(%):

    传统零样本学习性能比较选取两个量化指标对模型性能进行分析,其中SS表示数据集在标准分割规则下得到的识别精度,PS表示数据集在新提出的分割规则下得到的识别精度:(1)早期基于浅层图像特征的模型性能普遍较低,当使用深度卷积神经网络提取图像的深度特征后,性能大幅度提升。(2)零样本学习对于粗粒度数据集的性能要优于细粒度数据集,在表中表现为各个模型在AwA数据集上的性能均大于在CUB和 SUN数据集上的性能。

    泛化零样本学习性能比较选取3个量化指标对模型性能进行分析,其中U->T表示假设测试数据来自于未知类,但在所有对象类中进行识别, S->T表示假设测试数据来自于已知类,但在所有对象类中进行识别, H表示调和平均数。从对比结果可以发现:(1)大多数模型在泛化零样本学习设置下的性能指标都不理想,这说明了传统的零样本学习设置存在一定程度的缺陷,未能较真实地契合现实世界的分类情况;(2)QFSL模型在泛化能力上要明显好于其他模型,由于该模型属于直推式零样本学习模型,所以从侧面说明了只依靠已知类数据构建的 算法缺乏泛化能力。

     

     

    展开全文
  • 零样本学习公开代码整理

    千次阅读 2018-12-09 16:47:44
    2018_CVPR_Zero-shot Recognition via Semantic Embeddings and Knowledge Graphs [code] 2018_CVPR_Learning to Compare: Relation Network for Few-Shot Learning [code] 2018_CVPR_A Generative Adversarial App....
  • https://zhuanlan.zhihu.com/p/41846072 https://zhuanlan.zhihu.com/p/38418698 https://zhuanlan.zhihu.com/p/41854739
  • 零样本学习依赖语义类表示,如属性或预训练的嵌入来预测类,而不需要任何标记示例。我们提出从常识知识图谱学习类表示。常识知识图谱是显性高级知识,它只需要很少的人力投入就可以应用到一系列任务中。
  • 零样本学习综述(一):概览 机器学习中的大多数方法是通过有标签的训练集进行学习,侧重于对已经在训练中出现过标签类别的样本进行分类。然而在现实场景中,许多任务需要对以前从未见过的实例类别进行分类,这样就...
  • 1、零样本学习原理介绍  https://blog.csdn.net/Liangjun_Feng/article/details/82026574  https://zhuanlan.zhihu.com/p/34656727?spm=5176.9876270.0.0.3430e44aQUtl4x   内容概要:  1)零样本学习 Zero...
  • 之前写过一篇关于零样本学习的博客,当时写的比较浅。后来导师让我弄个ppt去给本科生做一个关于Zero Shot Learning 的报告,我重新总结了一下,添加了一些新的内容,讲课的效果应该还不错,这里就再写一篇作为相关...
  • 阿里天池之江杯零样本图像目标识别Top1%方案分享

    千次阅读 热门讨论 2018-11-11 22:42:32
    比赛结束了一周多了,历时近三个月,也是我第一次做零样本识别。名次是32/3224,虽然不太满意,但学到了很多东西。在这篇博文做一次总结,并将公开我们的代码。 零样本识别概念 零样本识别不同于传统的分类识别,...
  • 局部保留投影(LPP)推导

    万次阅读 2015-12-02 10:28:25
    流形算法的主要思想是能够学习高维空间中样本的局部邻域结构,并寻找一种子空间能够保留这种流行结构, 使得样本在投影到低维空间后,得到比较好的局部近邻关系。  所谓流形,是指高维样本空间中呈现的一种低维的...
  • 其实很简单,但是为什么我还要提一提呢,因为机器学习里还有很多相关名词,例如:准确率,召回率,精确度等等,所以希望大家能清楚认识。 关键词:经验误差(empirical error)。 在训练集上,预测输出与样本...
  • 上篇主要介绍了几种常用的聚类算法,首先从距离度量与性能评估出发,列举了常见的距离计算公式与聚类评价指标,接着分别讨论了K-Means、LVQ、高斯混合聚类、密度聚类...本篇将讨论机器学习常用的方法--降维与度量学习
  • 监督,无监督,半监督,弱监督,多示例,迁移学习! 监督学习:多是分类问题,数据与标记有一一对应的关系 半监督学习:大量未标记数据和少量标签数据, 弱监督学习: 不完全监督:只有一部分训练数据具备标签; 不...
  • 解决样本稀疏/稀缺问题的方法

    万次阅读 2020-10-06 09:20:03
    其次,学习特征不够,人工先验来凑。 2、方法2 人工增加训练集的大小. 通过平移, 翻转, 加噪声等方法从已有数据中创造出一批”新”的数据. Regularization. 数据量比较小会导致模型过拟合, 使得训练误差很...
  • 机器学习(十三)k-svd字典学习

    万次阅读 多人点赞 2016-03-26 12:31:27
    给定训练数据Y,Y的每一列表示一个样本,我们的目标是求解字典D的每一列(原子)。K-svd算法,个人感觉跟k-means差不多,是k-means的一种扩展,字典D的每一列就相当于k-means的聚类中心。其实球面k-means也是一种特殊...
  • 前言相信每一位研究深度学习的朋友都明白,深度学习能够在这几年取得如此爆炸式的发展,除了算法本身的改进与创新,最关键的因素就是拥有海量的数据和强大的计算资源。那么,我们很自然的会问:没有海量数据怎么办...
  • 深度学习中的数据预处理方法

    千次阅读 2017-03-06 22:30:43
    本文主要讲深度学习中的数据预处理方法,主要参考NG的UFLDL教程以及其他一些博客和论文进行总结,UFLDL数据预处理教程链接为 http://deeplearning.stanford.edu/wiki/index.php/数据预处理 数据预处理在众多...
  • 极大似然估计

    万次阅读 2014-04-23 23:02:16
    极大似然估计,顾名思义是一种估计方法
1 2 3 4 5 ... 20
收藏数 40,946
精华内容 16,378
关键字:

零样本学习