精华内容
下载资源
问答
  • 少样本学习

    千次阅读 2018-05-14 17:49:33
    少样本学习研究的就是如何从少量样本中去学习。拿分类问题来说,每个类只有一张或者几张样本。少样本学习可以分为zero-shot learning,即要识别训练集中没有出现过的类别样本,和one-shot learning/few shot learning...

    深度学习是data hungery的方法, 需要大量的数据,标注或者未标注。少样本学习研究的就是如何从少量样本中去学习。拿分类问题来说,每个类只有一张或者几张样本。少样本学习可以分为zero-shot learning,即要识别训练集中没有出现过的类别样本,和one-shot learning/few shot learning,即在训练集中,每一类都有一张或者几张样本。

    人类是有少样本学习的能力。以zero-shot learning来说,比如有一个中文 “放弃”,要你从i,your,she,them,abnegation 五个单词中选择出来对应的英文单词,尽管你不知道“放弃”的英文是什么,但是你会将“放弃”跟每个单词对比,而且在你之前的学习中,你已经知道了i,your,she,them的中文意思,都不是“放弃”,所以你会选择abnegation。

    关于deep learning on few-shot leaning ,有比较多的研究。不过要明白的是,使用深度学习一定是要足够多的数据的,不管是样本增强,还是根据网络构造样本。这篇文章主要会介绍四种方法,都是分类问题:

    (1)Siamese Neural Network

    (2)Matching Network

    (3)Prototypical Network

    (4)Relation Network

    孪生网络 - Siamese Neural Network

    孪生网络的主要思想是学习一个网络,对于输入的两张图片,判断其是否是同类还是非同类,也就是一个二分类问题。孪生网络就是有两支对称的(相同)网络,各自输入一张图片,各自对其进行特征编码,论文中是编码为[1,4096]的特征向量,随后对这两个向量特征计算L1距离,对得到的[1,4096]的向量进行fully connect 至一维输出,0 or 1,不相同 or 相同。其中,要求对称或相同是因为p(x1,x2)与p(x2,x1)是相等的。

    下图是网络结构,只画了其中一支网络,另一只是一样的,在倒数第二层结合了。

    孪生网络

    当网络做单样本学习的时候,也就是预测,孪生网络简单的分类一下测试图像与训练集的图像中哪个最相似就可以了:

    需要指出的是,在训练时,采用逐对训练的话,将会有平方级别对的图像对来训练模型,这让模型很难过拟合,好酷。假设我们有E类,每类有C个样本。一共有 C⋅ E 张图片,总共可能的配方数量可以这样计算:

    对于Omniglot中的964类(每类20个样本),这会有185,849,560个可能的配对,这是巨大的!然而,孪生网络需要相同类的和不同类的配对都有。每类E个训练样本,所以每个类别有

    对,这意味着这里有

    个相同类别的配对。 对于Omniglot有183,160对。即使 183,160对已经很大了,但只是所有可能配对的千分之一,因为相同类别的配对数量随着E平方级的增大,但是随着C是线性增加。这个问题非常重要,因为孪生网络训练的时候,同类别和不同类别的比例应该是1:1。或许,它表明逐对训练在那种每个类别有更多样本的数据集上更容易训练。

    匹配网络-matching network

    首先明确几个概念

    (1)support set :每次训练的样本集合

    (2)query set :用于与训练样本比对的样本,一般来说query set就是一个样本

    (3)在support set中,如果有n个种类,每个种类有m个样本,那么这个训练过程叫

    n -way m-shot ,如下图就是4-way 1-shot.

    匹配网络
    matching network 引入了注意力机制。以下是其核心步骤:

    (1) 用g和f对图片提取特征向量,也可说是 embedding,f和g可以是相同的

    (2)用query set样本的特征向量与support set 样本的特征向量一 一计算相似度,如余弦距离或者欧式距离。如果到了这步就停止的话就是简单的KNN了。

    (3)如下公式,其中C就是距离度量函数。利用softmax对得到的距离度量进行归一化得到注意力矩阵

    公式1
    (4)如下公式,其中y(i)是support set中每个样本的标签。那么最终query set样本的预测结果就可以表达为下式,也就是利用注意力矩阵a对标签线性加权得到。

    公式2
    如果你了解attention机制就会发现,(3)(4)步就是用了很简单的attention机制。在这里,attenion论文中的F函数就对应于公式1,计算C(i)就对应于公式2.在NLP中,C(i)还只是计算y的一个输入,这里就已经是输出了,同时此处也不需要训练参数。这里的注意力机制,我们可以将其理解为一种特殊的联想记忆,在给定输入的情况下,我们“指向”支持集中的相应示例,检索其标签。

    原型网络-Prototypical networks

    Our approach, Prototypical Networks, is based on the idea that there exists an embedding in which points cluster around a single prototype representation for each class. In order to do this,we learn a non-linear mapping of the input into an embedding space using a neural network and take a class’s prototype to be the mean of its support set in the embedding space. Classification is then performed for an embedded query point by simply finding the nearest class prototype.
    源论文中的这段话 已经指出了论文所提出的方法了。就是说,Prototypical Networks是基于这样一种思想,对于每个类别,都存在一个嵌入空间中的点,称为类的原型,每个样本的嵌入空间表示都会围绕这个点进行聚类。 为了做到这一点,即利用神经网络的非线性映射将输入映射到嵌入空间,并将嵌入空间中支持集的平均值作为类的原型。 预测分类的时候,就只需要比较跟支持集类别的哪个类的原型更近了。看看下面这幅图就更清楚了

    简述一下几个训练过程:

    (1)在所有的类别中随机选择K个类别的样本

    (2)在K个类别的样本中,随机选择出每个类别的support set和query set,各M个

    (3)通过CNN网络进行特征映射,并计算每个类的样本的特征向量平均值作为类原型,下图c(k)就是类原型。

    (4)计算quert set 的特征向量与K个类原型的距离,并通过softmax归一化,得到

    quert set 所属类别的概率分布。

    关系网络-Relation Network

    Relation Network 的 5-way 1-shot的结构见下图。 也是先利用一个 网络f 先将样本提取特征向量,然后用query set样本的特征向量与support set 样本的特征向量一 一进行特征拼接,再利用网络g计算相关评分,可以理解为query set样本与每个support set 样本的相似度。其中,relation module里进行特征拼接时,图上是按特征向量的depth进行拼接,当然还可以有其他的方法。

    下图是更为详细的一个结构图。需要指出的是,最后一层的激活函数是signoid,而不是softmax,也就是仅仅独立的衡量了query set与每个support set样本的relation score.同时,损失函数采用的均方误差(MSE),引用论文中的话就是:MSE的选择有些不合标准, 我们的问题可能似乎是一个{0,1}的二分类问题, 然而从概念上讲,我们预测的是关系分数,尽管对于实际情况来说我们只能自动生成{0,1}个目标,但它可以被认为是回归概率模型。

    这里的C-way K-shot 还有一个问题就是 , 对于K> 1的K-shot,就将每个训练类的所有样本的特征向量进行求和,以形成这个类的特征映射。 这个汇集的类级特征图与上面的查询图像特征图结合。 因此,对于一个查询集的关系分数的数量在ont shot还是 few shot 任务中总是为C.

    可以看到这几个网络的方法都很类似(是不是有点水?)。以上几个网络的实验细节可以查看一下原论文。下图是关于多个few shot learning算法 在Omniglot数据集上的表现的比较。可以看到,relation-network是很start-of-art的。(文章如有错误请多多指出)

    参考

    (1)koch et al, Siamese Networks for one-shot learning

    (2)Matching Networks for One Shot Learning

    (3)Prototypical Networks for Few-shot Learning

    (4)Learning to Compare: Relation Network for Few-Shot Learning

    (5)Attention Is All You Need

    展开全文
  • 目录(一)Few-shot learning(少样本学习)1. 问题定义2. 解决方法2.1 数据增强和正则化2.2 Meta-learning(元学习)(二)Meta-learning(元学习)1. 学习微调 (Learning to Fine-Tune)2. 基于 RNN 的记忆 (RNN ...

    (一)Few-shot learning(少样本学习)

    1. 问题定义

    众所周知,现在的主流的传统深度学习技术需要大量的数据来训练一个好的模型。例如典型的 MNIST 分类问题,一共有 10 个类,训练集一共有 6000 个样本,平均下来每个类大约 600 个样本,但是我们想一下我们人类自己,我们区分 0 到 9 的数字图片的时候需要看 6000 张图片才知道怎么区分吗?很显然,不需要!这表明当前的深度学习技术和我们人类智能差距还是很大的,要想弥补这一差距,少样本学习是一个很关键的问题。另外还有一个重要原因是如果想要构建新的数据集,还是举分类数据集为例,我们需要标记大量的数据,但是有的时候标记数据集需要某些领域的专家(例如医学图像的标记),这费时又费力,因此如果我们可以解决少样本学习问题,只需要每个类标记几张图片就可以高准确率的给剩余大量图片自动标记。这两方面的原因都让少样本学习问题很吸引人。

    在 few-shot learning 中有一个术语叫做 NN-way KK-shot 问题,简单的说就是我们需要分类的样本属于 NN 个类中一种,但是我们每个类训练集中的样本只有 KK 个,即一共只有 NKN * K 个样本的类别是已知的。
    在这里插入图片描述
    图片来自论文《Optimization as a Model for Few-Shot Learning.》,这是一个 5-way 1-shot 的图示,左边是训练集一共 5 张图片来自 5 个类,每个类只有一张图片。右边是测试集,理论上可以有任意多个图片用于测试,图中只给出了两张实例。

    Few-shot learning 问题的关键是解决过拟合 (overfitting) 的问题,因为训练的样本太少了,训练出的模型可能在训练集上效果还行,但是在测试集上面会遭遇灾难性的崩塌。

    2. 解决方法

    2.1 数据增强和正则化

    这一类方法想法很直接简单,既然训练数据不够那我就增加训练样本,既然过拟合那我就使用正则化技术。

    1. 数据加强:最常见的例子就是有时对 Omniglot 数据集的预处理,会将图片旋转 90 、180 、270 度,这样就可以使样本数量变为原来的 4 倍。
    2. 正则化:在训练的时候加入一个正则项,这个正则项的构建选择是关键。比如 《Few-shot Classification on Graphs with Structural Regularized GCNs》。该论文讨论 Graph 中节点分类的 few-shot 问题,常见的节点分类是使用 GCN 从节点的特征向量 feature 学习一个 embedding 然后用 embedding 来做分类,如果是 few-shot 问题,性能会大大下降(准确率大约从 70% 到了 40%),作者在训练的时候给损失函数加了一个正则项。作者将 feature 到 embedding 的过程看成编码器 encoder,然后额外加了几层网络作为 decoder,将 embedding 重构为 feature ,然后重构误差作为正则项(准确率从 40% 提升了 50%,大约 10 个百分点)。(更多内容可以参考这篇论文和别的使用正则化技术的论文)

    2.2 Meta-learning(元学习)

    元学习的核心想法是先学习一个先验知识(prior),这个先验知识对解决 few-shot learning 问题特别有帮助。Meta-learning 中有 task 的概念,比如上面图片讲的 5-way 1-shot 问题就是一个 task,我们需要先学习很多很多这样的 task,然后再来解决这个新的 task 。最最最重要的一点,这是一个新的 task。分类问题中,这个新的 task 中的类别是之前我们学习过的 task 中没有见过的! 在 Meta-learning 中之前学习的 task 我们称为 meta-training task,我们遇到的新的 task 称为 meta-testing task。因为每一个 task 都有自己的训练集和测试集,因此为了不引起混淆,我们把 task 内部的训练集和测试集一般称为 support setquery set
    在这里插入图片描述
    简单画了一个示意图,前面三个是三个 meta-training task (当然实际需要很多这样的 meta-training task 才能学到我们需要的先验知识),最后一个就是 meta-testing task。我们最后评价我们的 meta-learning 方法的好坏就是在红色标记部分上的 performance。

    方法 2.1 和方法 2.2 之间有个明显的差异就是 meta-learning 需要一些类来构建 meta-training task。由于 meta-testing 的类别要和 meta-training 完全不同,因此如果我们只有 MNIST 数据集,没法使用 meat-learning 来解决 MNIST 上的 10-way few-shot learning 问题,但是方法 2.1 可以。不过我们可以使用 meta-learning 解决 MNIST 上的 N-way (N < 6) 的 few-shot learning 问题。那么如果我们非要解决 MNIST 上的 10-way few-shot learning 问题怎么办呢,可以在另外一个数据集,例如 Omniglot ,上面进行 meta-training,然后学到的先验知识用来解决这个问题。《Siamese neural networks for one-shot image recognition.》 和 《Matching networks for one shot learning.》都在论文中做过这样子实验(这一种情况和迁移学习(transfer learning)有相似的地方)。

    (二)Meta-learning(元学习)

    Meta-learning 方法的分类标准有很多,个人喜欢按照如下标准分为三类。参考文章《Learning to Compare: Relation Network for Few-Shot Learning》

    1. 学习微调 (Learning to Fine-Tune)
    2. 基于 RNN 的记忆 (RNN Memory Based)
    3. 度量学习 (Metric Learning)

    Meta-learning 中 task 的概念是和 meta-learning 的本质有关的。Meta-learning 其实还有一个名字叫做“学会学习” (Learn to learn),这来自于对人类智能的基本认知:我们人类学习一个东西的时候不是从头开始学的,都是基于之前学习的知识来进行学习的。比如如果你会玩英雄联盟,那你学习玩王者荣耀会快很多。但是我们的深度学习模型呢,学习新的东西(可以看成新的类,新的 task)需要从头开始学习( 当然需要大量的样本 ),即使你之前学过特别类似的东西。因此 Meta-learning 就像让深度学习学会学习,利用之前学过的知识在面对新的问题可以学习得又快又好,如何体现又快又好呢? – few-shot learning 呗~ 因此 meta-learning 和 few-shot learning 现在的研究基本都是在一起的。接下来介绍如何从之前的 task 来学习我们想要的先验知识。

    1. 学习微调 (Learning to Fine-Tune)

    MAML(《Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks》) 是这类方法的范例之一。MAML 的思想是学习一个 初始化参数 (initialization parameter),这个初始化参数在遇到新的问题时,只需要使用少量的样本 (few-shot learning) 进行几步梯度下降就可以取得很好地效果( 参见后续博客 )。另一个典型是《Optimization as a Model for Few-Shot Learning》,他不仅关注于初始化,还训练了一个基于 LSTM 的优化器 (optimizer) 来帮助微调( 参见后续博客 )。

    2. 基于 RNN 的记忆 (RNN Memory Based)

    最直观的方法,使用基于 RNN 的技术记忆先前 task 中的表示等,这种表示将有助于学习新的 task。可参考《Meta networks》和 《Meta-learning with memory-augmented neural networks.》

    3.度量学习 (Metric Learning)

    主要可以参考《Learning a Similarity Metric Discriminatively, with Application to Face Verification.》,《Siamese neural networks for one-shot image recognition》,《Siamese neural networks for one-shot image recognition》,《Matching networks for one shot learning》,《Prototypical Networks for Few-shot Learning》,《Learning to Compare: Relation Network for Few-Shot Learning》。
    核心思想:学习一个 embedding 函数,将输入空间(例如图片)映射到一个新的嵌入空间,在嵌入空间中有一个相似性度量来区分不同类。我们的先验知识就是这个 embedding 函数,在遇到新的 task 的时候,只将需要分类的样本点用这个 embedding 函数映射到嵌入空间里面,使用相似性度量比较进行分类。

    4.方法简单比较

    三种方法会在后续博客中继续介绍,这里简单比较一下三种方法:

    1. 基于 RNN 的记忆 (RNN Memory Based) 有两个关键问题,一个是这种方法经常会加一个外部存储来记忆,另一个是对模型进行了限制 (RNN),这可能会在一定程度上阻碍其发展和应用。
    2. 学习微调 (Learning to Fine-Tune) 的方法需要在新的 task 上面进行微调,也正是由于需要新的 task 中 support set 中有样本来进行微调,目前我个人还没看到这种方法用于 zero-shot learning(参考 few-shot learning 问题的定义,可以得到 zero-shot learning的定义)的问题上,但是在《Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks》的作者 Chelsea Finn 的博士论文《Learning to Learn with Gradients》中给出了 MAML 的理论证明,并且获得了 2018 ACM 最佳博士论文奖,还有一点就是 MAML 可以用于强化学习,另外两种方法多用于分类问题。链接:https://mp.weixin.qq.com/s/AdlwI-nbVlDWCj0o5LR7Sw
    3. 度量学习 (Metric Learning),和学习微调 (Learning to Fine-Tune) 的方法一样不对模型进行任何限制,并且可以用于 zero-shot learning 问题。虽然效果比较理想但是现在好像多用于分类任务并且可能缺乏一些理论上的证明,比如相似性度量是基于余弦距离还是欧式距离亦或是其他?为什么是这个距离?(因为 embedding 函数是一个神经网络,可解释性差,导致无法很好解释新的 embedding 空间),虽然《Learning to Compare: Relation Network for Few-Shot Learning》中的 Relation Network 将两个需要比较的 embedding 又送到一个神经网络(而不是人为手动选择相似性度量)来计算相似性得分,但是同样缺乏很好地理论证明。

    5.未来方向

    5.1 更好的 meta-learning 方法

    现有方法都有各自的优缺点,提出一个新的更好的 meta-learning 方法是目前的主流研究方向。实验结果还有很大的提升空间。例如,如果想从基于度量学习方向出发,那么是否可以从理论入手推导出相似性度量应该怎么选择(图片分类和文本分类问题,CNN 和 RNN 作为 embedding 函数都有可能使度量选择不同)。

    5.2 meta-learning 的应用

    现在的主流还是算法的研究,一般研究问题都是理论上的问题,例如图片的 5-way 1-shot 问题。实际应用问题研究还很少,这也是一个未来的方向。

    (三)论文链接

    《Optimization as a Model for Few-Shot Learning》:https://openreview.net/pdf?id=rJY0-Kcll.
    《Few-shot Classification on Graphs with Structural Regularized GCNs 》: https://openreview.net/pdf?id=r1znKiAcY7.
    《Siamese neural networks for one-shot image recognition》:http://www.cs.toronto.edu/~gkoch/files/msc-thesis.pdf.
    《Matching networks for one shot learning》: http://papers.nips.cc/paper/6385-matching-networks-for-one-shot-learning.pdf.
    《Learning to Compare: Relation Network for Few-Shot Learning》:http://openaccess.thecvf.com/content_cvpr_2018/papers/Sung_Learning_to_Compare_CVPR_2018_paper.pdf.
    《Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks》:https://www.cs.utexas.edu/~sniekum/classes/RL-F17/papers/Meta.pdf
    《Meta networks》:https://pdfs.semanticscholar.org/3ecc/71263d5dd8a51438e351f0a27fba5a6e7592.pdf
    《Meta-learning with memory-augmented neural networks.》:http://proceedings.mlr.press/v48/santoro16.pdf
    《Prototypical Networks for Few-shot Learning》:http://papers.nips.cc/paper/6996-prototypical-networks-for-few-shot-learning.pdf
    《Learning a Similarity Metric Discriminatively, with Application to Face Verification.》:http://yann.lecun.com/exdb/publis/pdf/chopra-05.pdf.

    展开全文
  • CVPR2019少样本学习

    2019-09-10 20:14:38
  • 如何从少数训练样本中学习并识别新的类别,对于深度神经网络来说是一个具有...针对如何解决少样本学习的问题,全面总结了现有的基于深度神经网络的少样本学习方法,涵盖了方法 所用模型、数据集及评估结果等各个方面。
  • 文章目录前言一、对比自监督学习与FSL1.对比学习与自监督学习2.自监督学习与FSL二、元...还有对比学习和自监督学习,最近自己也在看,并且和少样本学习(FSL)相关,就一起放在这里。 文章中出现的ppt截图是自己讲组


    前言

    本人的研究方向是少样本图像分类,在阅读论文时会遇到很多元学习、迁移学习这样的名词,这些词在不同的论文中关系仿佛都不一样,人们的说法也不统一。因此在此记录一下自己的逻辑,希望不再混乱了~
    还有对比学习和自监督学习,最近自己也在看,并且和少样本学习(FSL)相关,就一起放在这里。

    文章中出现的ppt截图是自己讲组会用的,大家仅作参考。
    如需转载,请注明来源!


    一、对比自监督学习与FSL

    1.对比学习与自监督学习

    对比自监督学习是一种当下流行的算法,其实它是指通过对比学习来完成自监督学习的过程。 对比学习的精髓就在于在特征域拉近相似正样本对之间的距离,拉远负样本对的距离。

    在自监督学习中,对于当前训练图片而言,正样本对通常由来自于同一张图片的两个随机增广图片构成,负样本对由来自于其他图片的增广图片构成。

    对比学习还可以用于有监督学习,这时正样本对是来自同一类的图片,负样本对是来自不同类的图片。

    在这里插入图片描述

    2.自监督学习与FSL

    为了检验自监督学习算法的优劣,通常在下游任务上对由自监督学习获得的特征提取器进行检验。下游任务包括很多种,FSL就是其中一种。但是在自监督学习算法中,很少有人会在FSL上作检验,一般会选择线性探针、目标检测等常用方法。
    当然,对比自监督学习属于自监督学习,FSL也可以作为它的一种下游任务。

    在这里插入图片描述

    二、元学习与FSL

    1.元学习是什么

    元学习在2018年就被提出了,也可能更早就出现了这个概念。人们在提到它是,都说“元学习是指学会学习”,这个解释很抽象啊。
    在参考一些文章后,我认为元学习的核心是,网络通过在大量相似任务上做训练获取元知识,就可以在新任务上快速学习以完成这个新任务。

    在这里插入图片描述
    这里有两个重点:
    1、什么是元知识?
    在元学习中,存在元训练和元测试阶段,其中元训练(上面ppt中的outer-level)就是为了获取最佳的元知识,使得网络在元测试阶段(inner-level)能快速解决新任务。
    元知识这个词也有点抽象,它是指影响网络学习的一些因素,比如网络权重的初始值、网络结构、学习率等超参数,等等。

    在这里插入图片描述
    2、新任务和用于元训练的那一堆任务有什么关系?
    新任务需要和元训练使用的任务同分布! 这是元学习的一个限制。从上面ppt中可以看到,损失函数是对任务的分布求均值获得的。

    2.元学习与FSL

    元学习其实就是解决FSL问题的一种方法,这两种学习没有概念上的混淆,他们是单独的两种问题。
    但是现在大部分解决少样本学习问题的算法都采用了元学习方法,所以人们很容易将二者混为一谈。
    我们来看下面的对比,就知道元学习为什么总是被用于解决FSL了。
    在这里插入图片描述
    从上图中可以看出元学习希望网络能快速学习,而FSL要求网络在少量样本下就可以学会分类,这其实是对应的。少量样本就代表着快速学习。 FSL要求的新类别其实就对应着元学习的新任务。
    因此,元学习和FSL完美对应,就可以应用上去啦!

    同时,少样本学习的效果也是验证元学习算法性能的一种方式。

    三、迁移学习与FSL

    1.迁移学习

    迁移学习是一个很广的概念,但凡涉及到知识迁移的情况都可以称为迁移学习。
    比如说从大数据集向小数据集的迁移,从ImageNet向CIFAR 10图像分类的迁移。因此元学习就是一种迁移学习,它是同分布任务之间的迁移。
    同时,之前提到的检验自监督学习算法性能的下游任务,也涉及了迁移。这是从上游任务向下游任务的迁移。
    在这里插入图片描述

    2.迁移学习与FSL

    了解了迁移学习的概念后,我们可以发现,FSL目前就是依靠迁移学习来完成的!

    这是因为元学习和自监督学习是目前用来解决FSL的两种方式,而这两种方法又都属于迁移学习。
    在这里插入图片描述


    总结

    以上就是我在阅读论文及博客后,得到的一个自认为可以捋顺的关系结构。这些“学习”的概念确实会然在一起,但是需要我们完全区分开。

    如果大家有补充或修正,欢迎留言啊!
    如需转载,请注明来源!

    展开全文
  • 论文|少样本学习综述

    2020-09-25 16:57:55
    实际中,医学、军事、金融等一些领域由于无法获取足够的训练样本标签(可能是涉及隐私安全花费等),所以少样本学习很有意义。意义:1.不用依赖大规模样本 2.缩小人类与AI的差距 3.低成本,快速
  • CVPR2019 少样本学习

    2019-07-24 18:04:33
    分类任务上的少样本学习 1.Edge-Labeling Graph Neural Network for Few-shot Learning(classification) paper: https://arxiv.org/abs/1905.01436 code: https://github.com/khy0809/fewshot-egnn 图...
  • 少样本学习(FSL)在机器学习领域具有重要意义和挑战性。成功地从很少的样本中学习和归纳的能力是区分人工智能和人类智能的一个明显的界限,因为人类可以很容易地从一个或几个例子中建立他们对新颖性的认知,而机器...
  • 少样本学习(Few-Shot Learning)是近两年来非常有研究潜力的一个子方向,由于深度学习在各学科交叉研究与商业场景都有比较普遍的应用,然而训练出高精度模型的情况大部分来源于充足的训练数据,这一条件在很多实际...
  • 本文介绍一篇最新发表在ICLR2021 Oral上的少样本学习工作,他们尝试从数据分布估计的角度去缓解少样本学习中的过拟合现象,并提出通过分布矫正(估计)的方式弥合这种差距。 链接:...
  • 文章目录核心问题少样本学习的解决办法文献参考 核心问题   机器学习中很大一部分的核心问题都在于误差分析,少样本也不例外,最核心的东西就是对误差的分析。按照机器学习的方式将few shot learning中的误差进行...
  • ©作者|杨朔学校|悉尼科技大学博士生研究方向|少样本学习,噪音标签学习介绍一篇我们刚刚发表在 ICLR 2021 Oral 上的一篇少样本学习工作,简单有效。论文标题:Free Lun...
  • 机器之心原创作者:Angulia Chao编辑:Joni Zhong少样本学习(Few-Shot Learning)是近两年来非常有研究潜力的一个子方向,由于深度学习在各学科交叉研究与商业场景都有比较普遍的应用,然而训练出高精度模型的情况大...
  • 学习定义?   深度学习地发展主要是表征学习地发展,也就是如何更好地看到和理解数据,然后用于传统地算法中,从而取得较好地效果。这也是为什么外界对于AI持怀疑态度,因为并没有什么很原理性地算法被提出,...
  • 人类非常擅长通过极少量的样本识别一个新物体,比如小孩子只需要书中的一些图片就可以认识什么是“斑马”,什么是“犀牛”。... 这里的少样本学习的研究领域与迁移学习有一大部分交集部分,即在源域有足够...
  • (一)Few-shot learning(少样本学习) 1. 问题定义 2. 解决方法 2.1 数据增强和正则化 2.2 Meta-learning(元学习) (二)Meta-learning(元学习) 1. 学习微调 (Learning to Fine-Tune) 2. ...
  • 文 | 杨朔@知乎本文已获作者授权,禁止二次转载介绍一篇我们刚刚发表在ICLR2021 Oral上的一篇少样本学习工作,简单有效。题目:Free Lunch for Few-shot L...
  • 点击上方“机器学习与生成对抗网络”,关注"星标"获取有趣、好玩的前沿干货!转自创新奇智近日,创新奇智有关少样本学习(Few-shot Learning)的研究论文《Pr...
  • (一)Few-shot learning(少样本学习) 1. 问题定义 众所周知,现在的主流的传统深度学习技术需要大量的数据来训练一个好的模型。例如典型的 MNIST 分类问题,一共有 10 个类,训练集一共有 6000 个样本,平均...
  • 本文提出构建一个关系网络(Relation Network)来让其学习如何比较(Learning to Compare),从而实现少样本学习(Few-Shot Learning)。关于作者:吴仕超,东北大学硕士生,研究方向为脑机接口、驾驶疲劳检测和机器...
  • 因此通过扩展一个记忆模块似乎也能做到少样本学习。这一节主要介绍通过模型结构的设计,来做few shot learning。 Neural Turing Machines (NTMs) Neural Turing Machines   LSTM将记忆藏在隐藏节点
  • 元和少样本学习总结

    2020-12-03 15:18:30
    学习是关于学习学习,即:学习到的内容是如何更好的学习,是一种通过一些列不同但是相似的任务,去学习到其内在的通用的技巧。 例子:如果是骑自行车,电瓶车、摩托车。我们现在有一个负责教授别人学这三种车的...
  • 本文转载自知乎,已获作者授权转载。链接:https://zhuanlan.zhihu.com/p/344531704介绍一篇我们刚刚发表在ICLR2021 Oral上的一篇少样本学习工作...
  • 本文介绍一篇最新发表在ICLR2021 Oral上的少样本学习工作,他们尝试从数据分布估计的角度去缓解少样本学习中的过拟合现象,并提出通过分布矫正(估计)的方式弥合这种差距。 链接:...
  • 来源:机器之心本文长度为2000字,建议阅读5分钟这篇综述文章回顾了少样本学习(FSL)的演进历史和当前进展,对 FSL 方法进行了层次分类,并总结了近期多个 FSL 扩展性主题及其最新...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 1,600
精华内容 640
关键字:

少样本学习