精华内容
下载资源
问答
  • 利用标签相关性进行多标签分类
  • 利用局部正负配对标签相关性进行多标签分类
  • 针对基于概率统计的 ML-kNN算法只能对每个独立的标签进行分析,忽略了真实世界中标签间的相关性,提出了一种联系标签相关性的 ML-kNN算法(S-ML-kNN)。该方法对训练集进行扩展,并按照标签间的二阶组合来构造新的...
  • 针对K近邻标签(ML-KNN)分类算法中未考虑标签相关性的问题,提出了一种基于标签相关性的K近邻多标签分类(CML-KNN)算法。首先,计算出标签集合中每对标签间的条件概率;其次,对于即将被预测的标签,将其与已经...
  • 如标题图所示,为前馈神经网络添加适当数量的隐含层,同时在输出层使用某个阈值判断标签分类结果即为一种基础的解决思路。上述是一种简单的从分类问题拓展到标签问题的解决思路,这样的思路中,我们可以用输出...

    3ef84b0eb3768f98bfbc4f0edd2328c9.png

    1 多标签问题的简单解决思路

    利用神经网络,我们可以很轻松处理一个多标签问题。如标题图所示,为前馈神经网络添加适当数量的隐含层,同时在输出层使用某个阈值判断标签分类结果即为一种基础的解决思路。

    上述是一种简单的从多分类问题拓展到多标签问题的解决思路,这样的思路中,我们可以用输出结果[0.1, 0.9, 0.8, 0.2, 0.85]表示该输入属于标签2、3和5(假设阈值为0.5,标签从1开始计数)。

    2 存在的问题

    上述思路存在的问题之一是没有考虑标签间的相关性,而这种相关性可能能够提高特定问题上模型的效果。例如,在对文章进行分类的时候,我们经常能够看到标签神经网络深度学习一起出现,而神经网络区块链一起出现的几率就会降低一些,我们基本可以从中得知,标签为神经网络的文章具有较大的可能也可以具有标签深度学习,这便是标签间相关性对多标签问题模型的促进效果。

    3 解决思路

    如今我们希望在多标签分类问题中考虑标签间的相关性,因此我阅读了较新的相关文献,对这些文献进行了总结。

    3.1 COLING2018《SGM: Sequence Generation Model for Multi-label Classification》

    来源链接:https://arxiv.org/abs/1806.04822

    这篇论文是COLING2018 Best papers(Best error analysis & Best evaluation),其误差分析和评估方面做的比较好,论文主要的贡献是:

    1. 把多标签分类问题当做序列生成问题,进而考虑标签间相关性
    2. 在序列生成模型的decode部分进行了改造,不但考虑了标签间相关性,还自动获取了输入文本的关键信息(Attention机制)
    3. 本论文提出的方法效果极好,指标比baseline提升很多。在关系表示上也具有非常好的效果。

    模型如下图所示:

    0ce4c1e4945d1e8dbe6645f27fdc1304.png

    我试着将自己代入作者,梳理了作者的思考思路:

    Seq2Seq模型的输入和输出均为序列,且能够学习到输入和输出序列的相关性。对于文本的多标签分类问题,这似乎是个很合适的选择。

    然而,直接套用会存在一些能够想到的问题,因此作者一步步来解决这些问题:

    1. 多标签分类的输出显然是不能重复的,于是作者在最终
      输出的时候引入了
      将已输出的标签剔除。

    cd828d12931ed80d1e9b4760a46d6fe5.png

    5da090ea82ad1e4521156a1509370491.png

    2. Seq2Seq中某时刻

    的输出对时刻
    的输出影响很大,也就是说时刻
    出错会对时刻
    之后的所有输出造成严重影响。在多标签分类问题中,我们显然不想让标签间拥有如此强的关联性,于是作者提出Global Embedding:

    e59a174d97e7a02577d736034ba75b26.png

    8fa091c281c23d3e700b24ddad20cd30.png

    cadbd53553264da5fa3958849e8f0754.png

    其中

    表示时刻
    输出对应的Embedding,在不存在Global Embedding时,
    。此处我们引入Global Embedding,让其等于某时刻
    的概率向量和各个标签Embedding的乘积,降低
    值的影响。

    3. 考虑到出现此处更多的标签在标签相关性训练中具有更强的作用,在训练时把标签按照其出现次数进行从高到低排序作为输出序列。出现次数更多的标签可以出现LSTM的前面,进而更好地指导整个标签的输出。

    4. 此外,作者在使用Seq2Seq时,在Encode部分加入双向LSTM,在Decode部分加入了目前很常用的Attention机制。这些已经是大家耳熟能详的组件了,目前在Seq2Seq模型中也很常用。

    3.2 《Deep Learning with a Rethinking Structure for Multi-label Classification》

    来源链接:https://arxiv.org/abs/1802.01697

    有了上篇文章的铺垫,这篇文章思路显得容易理解很多。之前我们提到,直接将RNN用于标签的序列生成存在上述提到的一些问题。作者这里使用了名为rethinking的decode组件:

    2e5035ef0cf66c63cbdea3dd500f0f94.png

    这里主要分为两层:RNN + Dense。

    在RNN层中,使用一种名为SRN的简化版RNN:

    2e5e563e4ee95208e318820857f179d6.png

    该层主要学习了标签间的相关性,

    表示标签
    之间的相关性:

    4b8f8d27c1217e27d6fa4f5e7d2fbfae.png

    经过了Dense层,

    的结果实际上已经能够预测出多标签,但是并没有学习到标签间的关系。随着
    的增大,
    阶段已经能够学习到标签间的关系,这样的机制就叫做rethinking。

    总的来说,这篇论文主要提出了上述名为rethinking的组件,让RNN应用在了多标签分类问题上。

    展开全文
  • 针对标签特有特征和标签相关性的有效利用,提出了一种新的多标签算法LSFLC,它可以有效地集成标签特有特征和标签相关性。首先,对于每个标签,通过重采样技术生成新的正类实例以扩充其正类实例的数目;其次,通过...
  • 带有标签相关性探索的主动学习用于多标签图像分类
  • 作者丨王磊单位丨汽车之家视频理解工程师研究方向丨深度学习、计算机视觉本文介绍了汽车之家团队 ICCV 2019 一篇关于视频理解论文相关的工作。针对视频多标签分类的问题,论文提出了将视频...

    作者丨王磊

    单位丨汽车之家视频理解工程师

    研究方向丨深度学习、计算机视觉

    本文介绍了汽车之家团队 ICCV 2019 一篇关于视频理解论文相关的工作。针对视频多标签分类的问题,论文提出了将视频多标签之间相关性特征加入到网络之中,结果证明该方法可以显著的提高视频多标签分类效果。本文作者为该论文原作者。

    背景介绍

    随着短视频应用的不断普及,基于视频内容的理解与分析也成为计算机视觉领域一个热门的方向。2017 年,Google 开源了其大规模视频内容数据集 Youtube-8M,鼓励研究者利用深度学习技术对视频内容进行理解分析。

    最新的 Youtube-8M 数据集包括两部分,第一部分为 video-level(视频层级)的标注,该部分总计包含 610 万个已标注的视频,3862 个分类,平均每个视频标注了 3 个标签;第二部分为 segment-level(视频片段标注),该部分挑选了 1000 个分类,对视频中随机抽取的 5 秒片段进行标注,该部分总共有 23.7 万个标注数据;值得注意的是,segment-level 的数据标注仅标注了抽取的 5 秒视频片段是否属于某一特定标签,并没有标识该视频片段的所有标签。

    标签相关性

    近年来,视频理解成为计算机视觉领域的一个热点方向。相比较图像内容,视频内容更为复杂多样,因此对于视频内容而言,单个标签很难完整的表征视频的内容,对于视频内容理解分析大多为多标签的分类问题。

    在视频的多标签中,标签之间会有一定的相关性并成对出现;如图一所示(标签从 Youtube8M 数据集中选取),当宝马(BMW)、发动机(Engine)的标签出现时,汽车(Car)的标签大概率也会出现;但是当汽车的标签出现时,宝马标签出现的可能性则非常低。

     图1. 标签有向图示例

    通过对 Youtube8M 数据集的部分标签数据进行分析,可以得到一个图来表征各个标签之间的关系,如图二所示。

     图2. 标签相关性Weighted-Graph表示

    图二中每个不同颜色的节点代表一个独立的标签类别,不同节点之间的连线代表着两个节点之间是否有相关性,节点之间连线上的数值则代表了不同的标签之间联系的紧密程度,数值越大,则联系越高;没有联系的节点之间则不会有线连接。通过对视频的多标签之间的相关性进行建模分析,并通过图神经网络将标签类别映射为对应类别分类器加入到最终的视频多标签分类网络之中,可以提升整体模型的学习分类能力。

    图卷积神经网络

    如何有效获取目标标签之间的相关性?如何利用这些标签相关性提升网络的特征学习以及分类表现?这是视频多标签分类的两个重要问题。由于图的特点可以很好的表征各个标签之间的相互依赖性,因此我们选择基于图神经网络进行建模学习,并用于最终视频分类网络中。一个图神经网络的基本结构如图三所示:

     图3. 图卷积网络示例

    Input输入有两个,一个为特征描述矩阵 H(n*d),另一个为相关系数矩阵 A(n*n),其中 n 为节点个数,即数据集标签的个数,d 为特征的维度,特征维度由根据采用的 CNN 结构决定。 

    相关系数矩阵是 GCN 网络中表征标签关系的一个矩阵,因此如何构建相关系数矩阵 A 就成了 GCN 模型中一个非常重要的问题。由于 Youtube8M 数据集有超过 600 万的 video-level 的视频标注数据,因此我们可以通过挖掘标签在数据集中的共现情况来初始化相关系数矩阵 A。 

    如下公式所示,为标签 i 在数据中出现的次数,为标签 i 和标签 j 两个标签一起出现的概率,两者相除便可以得到不同标签之间的条件概率

    考虑到标注数据中可能存在不准确的情况以及标签在训练和测试集中共现的次数可能会相差比较大,因此我们设置了一个阈值剔除相关性比较弱的噪声的影响。对于上面得到的矩阵 P,只有其值大于某特定值(论文中为 0.5)的时候才会考虑,否则矩阵中这两个标签的相关度会设置为 0:

    Hidden Layer 用来学习节点之间的相关信息并更新节点表示,每一个 Hidden Layer 都可以用一个非线性函数表示:

    Hidden Layer 可以有多层,堆叠多个 GCN 层来对节点之间交织的复杂关系进行建模。在本论文中 Hidden Layer 为两层,通过训练学习便可以得到优化后的表征标签相关性的矩阵 Output,并用于帮助视频标签分类。

    整体网络

    最终的完整网络结构如图四所示,我们使用 InceptionV3 来提取输入视频的特征;NeXtVLAD 网络是第二届 Youtube8M 比赛单模型冠军网络,该网络可以很好的视频的多维度特征进行聚合,并且在降低特征维度的同时还能很好的保证模型性能;在网络的下半部分,我们用一个双层的 GCN 网络来帮助进行最后的视频标签分类。

     图4. 视频多标签分类网络

    最终的对比实验中,加入 GCN 后的视频多标签分类网络 MAP (Mean-Average-Precision) 提高了接近一个百分点,GCN 网络的加入显著性显著的提高了视频多标签的分类能力;也证明了对于多标签分类任务,通过研究多标签之间的相关依赖关系提升网络分类能力是一个很好的方向。

    结论

    视频理解与分析是计算机视觉领域的一个热门问题,针对视频的特征提取以及特征聚合全世界的研究已经做了大量的工作。本文提出了从多标签相关性的视角来提升视频的多标签分类能力,并进行了有效的实验验证。通过对视频的图像特征、时序特征、标签相关性特征进行融合的分类网络可以很好的增强神经网络的视频理解能力。

    点击以下标题查看更多往期内容: 

    #投 稿 通 道#

     让你的论文被更多人看到 

    如何才能让更多的优质内容以更短路径到达读者群体,缩短读者寻找优质内容的成本呢?答案就是:你不认识的人。

    总有一些你不认识的人,知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁,促使不同背景、不同方向的学者和学术灵感相互碰撞,迸发出更多的可能性。 

    PaperWeekly 鼓励高校实验室或个人,在我们的平台上分享各类优质内容,可以是最新论文解读,也可以是学习心得技术干货。我们的目的只有一个,让知识真正流动起来。

    ???? 来稿标准:

    • 稿件确系个人原创作品,来稿需注明作者个人信息(姓名+学校/工作单位+学历/职位+研究方向) 

    • 如果文章并非首发,请在投稿时提醒并附上所有已发布链接 

    • PaperWeekly 默认每篇文章都是首发,均会添加“原创”标志

    ???? 投稿邮箱:

    • 投稿邮箱:hr@paperweekly.site 

    • 所有文章配图,请单独在附件中发送 

    • 请留下即时联系方式(微信或手机),以便我们在编辑发布时和作者沟通

    ????

    现在,在「知乎」也能找到我们了

    进入知乎首页搜索「PaperWeekly」

    点击「关注」订阅我们的专栏吧

    关于PaperWeekly

    PaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域,欢迎在公众号后台点击「交流群」,小助手将把你带入 PaperWeekly 的交流群里。

    ▽ 点击 | 阅读原文 | 下载论文

    展开全文
  • 论文提出了多标签信息特征选择框架MIFS,利用标签相关性来选择标签的共享特征。为了减少不好的标签信息在发现标签相关性方面的负面影响,将多标签信息分解为一个低维空间(首先对标签进行降维),然后利用减少...

    35f38d08-8012-eb11-8da9-e4434bdf6706.png

    Multi-Label Informed Feature Selection

    大多数现有的多标签特征选择算法:1)解决多个单标签特征选择问题,2)直接使用不完善的标签,无法找到由多个标签共享的特征。论文提出了多标签信息特征选择框架MIFS,利用标签的相关性来选择多个标签的共享特征。为了减少不好的标签信息在发现标签相关性方面的负面影响,将多标签信息分解为一个低维空间(首先对标签进行降维),然后利用减少的空间引导特征选择过程。

    一、相关知识

    1.1 多标签分类

    多分类任务指的是一条数据只有一个标签,但是标签有多种类别。机器学习中比较经典的iris鸢尾花数据集就是标准的多分类任务,一条数据喂给模型,模型需判断它是3个类别中的哪一个。

    多标签分类任务指的是一条数据可能有一个或者多个标签,举个例子:比如一个病人的体检报告,它可能被标记上,高血压,高血糖等多个标签。

    36f38d08-8012-eb11-8da9-e4434bdf6706.png

    多标签分类任务的两个特点:类别数量不确定,有些样本可能只有一个标签,有些样本可能存在多个标签;标签之间可能存在相互依赖关系,如一个人患有高血压,他有心血管疾病的概率也会变大,所以高血压这个label和心血管疾病的那些labels是存在一些依赖关系。

    Multi-Label和传统的分类问题的区别主要在于多Label下,输出空间呈现指数级增长。目前对于Multi-Label的这类特性,学界一般是集中在更好的分析Label之间的相关性来避免这种指数增长。主要的Strategy大致可以分为三类:

    First-Order Strategy:考虑label之间相互独立,就可以把Multi-label问题转换为普通的分类问题。如果一个Label有多类的话,那么就用传统的One vs All来解决。

    Second-Order Strategy:考虑Label之间的两两相关性,结果会导致计算复杂度有显著的增加。

    High-Order Strategy:考虑多Label之间的相关性,计算复杂度会更高。

    对于Multi-Label Learning算法的评定指标一般有五个,分别为:

    Hamming Loss(汉明损失):该指标衡量预测所得标签与样本实际标签之间的不一致程度,即样本的预测标签集与世纪标签集之间的差距。这个值越小越好。

    One-error(1-错误率):该指标表示样本预测的隶属度最高的标签不属于其实际标签集的可能性。这个值越小越好。

    Coverage(覆盖率):该指标表示在预测标签集的排序队列中,从隶属度最高的类别开始向下,平均需要跨越多少标签才能覆盖其实际标签集的所有标签。这个值越小越好。

    Ranking Loss(排序损失):该指标表明了样本预测标签集中,预测正确的标签的隶属度低于预测错误的标签的隶属度的可能性。这个值越小越好。

    Average Precision(平均准确度):该指标表示预测标签集的平均准确度。这个值越高越好。

    1.2 稀疏学习的特征选择

    稀疏学习也就是使得许多参数的最优值变成 0(l1 相比于 l2 为什么容易获得稀疏解?https://www.zhihu.com/question/37096933)。基于稀疏学习的特征选择方法由于良好的性能和可解释性受到越来越多关注。基于2,1范式正则化的方法具有处理多类问题的能力,可以保证特征系数在多个目标之间稀疏。但这些方法不能直接应用于多标签特征选择,因为它们没有在特征选择的过程中明确考虑标签的相关性。

    监督机器学习问题无非就是“minimize your error while regularizing your parameters”,也就是在规则化参数的同时最小化误差。最小化误差是为了让模型拟合训练数据,而规则化参数是防止模型过分拟合训练数据。因为参数太多,会导致模型复杂度上升,容易过拟合,训练误差会很小,但训练误差小并不是最终目标,而是希望模型的测试误差小,也就是能准确的预测新的样本。所以需要保证模型“简单”的基础上最小化训练误差,这样得到的参数才具有好的泛化性能(也就是测试误差也小),而模型“简单”就是通过规则函数来实现的。另外,规则项的使用还可以约束模型特性。可以将人对这个模型的先验知识融入到模型的学习当中,强行地让学习到的模型具有人想要的特性,例如稀疏、低秩、平滑等等。

    参数稀疏有什么好处

    1)特征选择(Feature Selection):

    稀疏规则化能实现特征的自动选择。一般来说,xi的大部分元素(也就是特征)都是和最终的输出yi没有关系或者不提供任何信息的,在最小化目标函数的时候考虑xi这些额外的特征,虽然可以获得更小的训练误差,但在预测新的样本时,这些没用的信息反而会被考虑,从而干扰了对正确yi的预测。稀疏规则化算子的引入就是为了完成特征自动选择的光荣使命,它会学习地去掉这些没有信息的特征,也就是把这些特征对应的权重置为0。

    2)可解释性(Interpretability):

    如患某种病的概率是y,收集到的数据x是1000维的,也就是需要寻找这1000种因素到底是怎么影响患上这种病的概率的。假设这是个回归模型:y=w1*x1+w2*x2+…+w1000*x1000+b(当然了,为了让y限定在[0,1]的范围,一般还得加个Logistic函数)。通过学习,如果最后学习到的w*就只有很少的非零元素,例如只有5个非零的wi,那么这些对应的特征在患病分析上面提供的信息是巨大的、决策性的。但如果1000个wi都非0,医生面对这1000种因素更加不好分析。

    二、背景介绍

    每个实例同时与多个标签相关联,如生物信息学中,一个基因可能与多种功能有关;信息检索中,每个文档可能涵盖多个主题;图像处理中,可以用不同的场景对图像进行注释。多标签数据通常是由具有很高维数的特征向量表示,多标签数据的高维性不仅显着增加了许多学习算法的存储需求和计算成本。最具区别性的信息通常仅由相关特征的子集来承载,通过消除对学习性能产生负面影响的噪音、以及多余和不相关的功能。

    但直接对多标签数据进行特征选择并不容易。不同于传统的单标签特征选择类别标签互斥的,多标签数据中的不同类别通常不是独立的而是内在相关的。还要寻找一种合理的方法利用标签相关性进行多标签特征选择。

    MIFS框架首先将标签信息映射到一个低维空间中,该空间可以捕获多个标签之间的相关性。然后使用低维空间代替原始标签信息进行特征选择,减轻标签信息不完善的负面影响,从而可以在多个标签之间找到相关特征。

    2.1 相关研究

    一种有效的策略是利用标签相关性来减少特征维数:MLLS提取多个标签之间共享的公共子空间;MDDM通过最大化原始特征描述与相关类标签之间的依赖关系,将原始数据投影到低维空间中;SFUS联合通过稀疏正则化选择特征,并发现原始特征的共享特征子空间。

    这些工作与我们提出的MIFS框架有所不同:1)大多数现有的多标签学习方法着重于将原始特征空间转换为新空间,而我们的方法直接执行特征选择,保留了原始数据的物理含义;2)为减少不完善标签信息的负面影响,首先将标签分解为低维空间,利用它进行稀疏正则化的特征选择。

    三、算法介绍

    在多标签学习中,每个样本都具有多个类别标签,并且这些标签可能相互关联。因此特征选择时,最好明确考虑标签间的相关性,就能找到强相关标签的共同特征、弱相关标签的不同特征。但直接从多个标签中提取标签相关性是有问题的,多标签数据通常包含数百甚至数千个人类注释标签。在艰苦的注释工作中不可避免地要做出一些不正确和不完整的标签。在存在倾斜标签的情况下,直接将多个标签应用于特征选择是不合适的。受潜在语义索引(LSI)的启发,论文提出将多标签输出空间分解为低维空间,并利用该低维空间来指导特征选择过程。

    37f38d08-8012-eb11-8da9-e4434bdf6706.png

    将原多标签Y分解为V和B两个低维矩阵。其中V表示多标签信息的潜在语义,即,将原始的k个标签聚类为c个不同的聚类,每个聚类都有特定的语义(重新定义新标签的语义)。B是系数矩阵,每一列显示了这些新语义变量中原标签的系数。

    由于低维潜在语义矩阵V标签之间的相关性大大降低,可以利用它通过回归模型和与潜在语义最相关的特征进行特征选择。

    39f38d08-8012-eb11-8da9-e4434bdf6706.png

    W是特征系数矩阵,W的每一行衡量第i个特征在近似潜在语义V中的权重。使用2,1-范数正则化以确保W行稀疏,对所有潜在的语义变量都实现了联合特征稀疏性。参数平衡了特征学习和标签分解的作用,参数控制模型的稀疏性。

    由于使用低维潜在语义V进行特征选择,因此需要确保输入空间X和简化后的低维语义V之间的局部几何结构是一致的(如果有两个实例在输入空间X中彼此靠近,那它们在潜在语义空间V中也应该彼此靠近)。需要使下式最小化:

    3bf38d08-8012-eb11-8da9-e4434bdf6706.png

    S是x间的相似度量矩阵,A是S的对角矩阵。整合数据的局部几何结构,用于多标签信息特征选择(MIFS)的最终目标函数可以表述为:

    3cf38d08-8012-eb11-8da9-e4434bdf6706.png

    参数用于测量如何在潜在语义空间中保留数据的局部几何结构。 从等式中可以看出,潜在语义V与3项内容相关:捕获标签相关性、保留局部几何结构、同时指导特征选择过程。特征系数矩阵W与2项相关:通过回归模型使X近似为V,通过2,1-范数正则化实现特征选择。

    四、实验设计

    数据集包括一个图像数据集和三个文本数据集。Scene数据集包含来自Corel库存图片库的400张图像和一些个人图像,每个图像都与六个语义场景(长凳、日落、红叶、领域、城市和山脉)的子集相关联。RCV1,即路透社语料库第1卷,包含了超过80000条新闻专线报道。每个文档均以TF-IDF格式表示、并已进行余弦标准化。从RCV1存储库中选择三个代表性的多标签文本数据集“主题”、“地区”和“行业”。 表1列出了这些数据集的详细信息。

    3ff38d08-8012-eb11-8da9-e4434bdf6706.png

    论文使用F-score、macro-average和micro-average来衡量多标签分类算法的性能。F-score用于评估二进制分类,被定义为精度和查全率的谐波均值:

    41f38d08-8012-eb11-8da9-e4434bdf6706.png

    其中TP表示真阳性的数量,FP表示假阳性的数量,FN表示假阴性的数量。micro-average可以视为所有k个标签的F度量的加权平均值:

    42f38d08-8012-eb11-8da9-e4434bdf6706.png

    macro-average是所有输出标签的F量度的算术平均值:

    44f38d08-8012-eb11-8da9-e4434bdf6706.png

    TPi、FPi和FNi分别表示第i类标签中真阳性,假阳性和假阴性的数量。值越高,分类性能越好。论文中使用到的几种多标签特征选择对比实验方法:

    1)F-score:Fisher Score,通过为相似类的实例分配相似的特征值以及为不同类实例分配不同的特征值来选择特征。选择具有最高判别力的特征。

    2)RFS:Robust特征选择,对损失函数和正则项均应用2,1范数正则化。对输入空间的异常值具有鲁棒性,且能够在所有实例中选择具有联合稀疏性的特征。

    3)CSFS:凸半监督多标签特征选择,是一种针对大规模多标签特征选择问题设计的凸算法。论文采用监督算法进行公平比较。

    4)SFUS:具有稀疏性的子特征选择,结合联合稀疏特征选择和多标签学习来发现共享特征子空间。

    4个数据集的特征分别是294、14171、7236、18894,特征选择的数量变化为特征总数的{2%,4%,...,20%}分别进行实验。

    4af38d08-8012-eb11-8da9-e4434bdf6706.png

    (f-score应该是0-1之间的数,因此纵坐标也应该有%。实际上除了a数据集上取得的结果较好,其他准确度非常的低。)

    1)随着所选特征数量的增加,分类性能首先趋于提高,然后保持稳定甚至下降;

    2)在四个数据集上,MIFS和其他两种多标签学习算法CSFS和SFUS比单标签特征选择算法F-score(事实上F-score很多时候也比其他方法要好)和RFS获得更好的macro-average和micro-average得分,表明执行特征选择时,将多标签信息显式合并到模型中是有益的。

    3)大多数情况下,MIFS优于其他两种多标签学习算法CSFS和SFUS。表明通过将标签信息分解为低维语义空间,仍可捕获标签相关性,并减轻倾斜标签对相关特征的负面影响。

    五、论文总结

    论文提出了一种新颖的多标签知情特征选择框架MIFS,所提出的方法具有两个吸引人的特性:1)利用了多标签的潜在语义来指导特征选择阶段,它减轻了嘈杂标签和不完整标签在查找相关特征方面的负面影响;2)利用输出空间中的标签相关性来查找在多个标签之间共享的特征,提出了一种有效的交替优化算法来解决MIFS的优化问题。

    5.1 个人体会

    现在的多标签处理方式一般有两种方法:1)将问题转化为多个单标签的子问题;2)直接使用倾斜标签flawed labels(没有找到相关说明,个人理解,在影响方面所占权重不同)。而文章最突出的贡献在于:提出首先将多标签的数据进行合并、降维,去除标签之间的相关性。这样在后面特征选择的时候能够综合考虑到除去相关性的特征,不会造成选择的重复特征或者不相关特征。

    实验将多标签问题分解为多个二分类问题,使用SVM作为分类算法,分别使用macro-average和micro-average作为评价指标。

    找到强相关标签的共同特征,以及弱相关标签的不同特征

    参考文献

    https://www.jianshu.com/p/76f9e4c0d0a2

    https://www.cnblogs.com/liaohuiqiang/p/9339996.html多标签学习综述(A review on multi-label learning algorithms)

    https://blog.csdn.net/xiaopihaierletian/article/details/52900557

    https://zhuanlan.zhihu.com/p/26421688

    https://blog.csdn.net/zkq_1986/article/details/79420008多标签分类multi-label classification总结

    https://cosx.org/2016/06/discussion-of-sparse-coding-in-deep-learning/浅谈深度学习中潜藏的稀疏表达

    https://www.jianshu.com/p/8025b6c9f6fa为什么要正则化

    https://blog.csdn.net/fjssharpsword/article/details/70145130特征选择和稀疏学习

    https://zhuanlan.zhihu.com/p/33943881《机器学习》笔记-特征选择与稀疏学习(11)

    展开全文
  • 针对视频多标签分类的问题,论文提出了将视频标签之间相关性特征加入到网络之中,结果证明该方法可以显著的提高视频多标签分类效果。 一、背景介绍 随着视频应用的不断普及,视频内容理解与分析成为计算机视觉...

     

    作者 | 王磊

    本文介绍了汽车之家团队在ICCV 2019一篇关于视频理解论文相关的工作。针对视频多标签分类的问题,论文提出了将视频多标签之间相关性特征加入到网络之中,结果证明该方法可以显著的提高视频多标签分类效果。

    一、背景介绍

    随着视频应用的不断普及,视频内容理解与分析成为计算机视觉领域的一个热门研究方向。2017年,Google开源了其大规模视频内容数据集Youtube8M,鼓励研究者通过该数据集利用深度学习技术进行视频理解的研究。

    最新的Youtube-8M数据集包括两部分,第一部分为video-level(视频层级)的标注,该部分总计包含610万个已标注的视频,3862个分类,平均每个视频标注了3个标签;第二部分为segment-level(视频片段标注),该部分挑选了1000个分类,对视频中随机抽取的5秒片段进行标注,该部分总共有23.7万个标注数据;值得注意的是,segment-level的数据标注仅标注了抽取的5秒视频片段是否属于某一特定标签,并没有标识该视频片段的所有标签。

     

    二、标签相关性

    近年来,视频理解成为计算机视觉领域的一个热点方向。相比较图像内容,视频内容更为复杂多样,因此对于视频内容而言,单个标签很难完整的表征视频的内容,对于视频内容理解分析大多为多标签的分类问题。

    在视频标签中,很多标签之间会有一定的相关性并成对出现;如图一所示(标签从Youtube8M数据集中选取),当宝马(BMW)、发动机(Engine)的标签出现时,汽车(Car)的标签大概率也会出现;但是当汽车的标签出现时,宝马标签出现的可能性则非常低。

    ICCV 2019 论文解读:用图神经网络改善视频的多标签分类

    图1.标签有向图示例

    通过对Youtube8M数据集的部分标签数据进行分析,可以得到一个图来表征各个标签之间的关系,如图二所示。图二中每个不同颜色的节点代表一个独立的标签类别,不同节点之间的连线代表着两个节点之间是否有相关性,节点之间连线上的数值则代表了不同的标签之间联系的紧密程度,数值越大,则联系越高;没有联系的节点之间则不会有线连接。

    通过对视频的多标签之间的相关性进行建模分析,并通过图神经网络将标签类别映射为对应类别分类器加入到最终的视频多标签分类网络之中,可以提升整体模型的学习分类能力。

     

    ICCV 2019 论文解读:用图神经网络改善视频的多标签分类

    图2.标签相关性Wighted-Graph表示

     

    三、图卷积神经网络

    如何有效获取目标标签之间的相关性?如何利用这些标签相关性提升网络的特征学习以及分类表现?这是视频多标签分类的两个重要问题。由于图的特点可以很好的表征各个标签之间的相互依赖性,因此我们选择基于图神经网络进行建模学习,并用于最终视频分类网络中。一个图神经网络的基本结构如图三所示:

    ICCV 2019 论文解读:用图神经网络改善视频的多标签分类图3.图神经网络基本结构

    Input输入有两个,一个为特征描述矩阵H(n*d),另一个为相关系数矩阵A(n*n),其中n为节点个数,即所有标签的个数,d为特征的维度,特征维度根据采用的CNN结构决定。

    相关系数矩阵是GCN网络中表征标签关系的一个矩阵,因此如何构建相关系数矩阵 A 就成了GCN 模型中一个非常重要的问题。由于Youtube8M数据集有超过600万的video-level的视频标注数据,因此我们可以通过挖掘标签在数据集中的共现情况来初始化相关系数矩阵A。 为标签i在数据中出现的次数,  为标签i和标签j两个标签一起出现的概率,两者相除便可以得到不同标签之间的条件概率矩阵P。

    ICCV 2019 论文解读:用图神经网络改善视频的多标签分类

     

    考虑到标注数据中可能存在不准确的情况以及标签在训练和测试集中共现的次数可能会相差比较大,因此我们设置了一个阈值剔除相关性比较弱的噪声的影响。对于上面得到的矩阵P,只有其值大于某特定值(论文中为0.5)的时候才会考虑,否则矩阵中这两个标签的相关度会设置为0,因此优化后的条件概率矩阵如下所示:

    ICCV 2019 论文解读:用图神经网络改善视频的多标签分类

    Hidden Layer用来学习节点之间的相关信息并更新节点表示,每一个Hidden Layer都可以用一个非线性函数表示:

    ICCV 2019 论文解读:用图神经网络改善视频的多标签分类

    Hidden Layer可以有多层,堆叠多个 GCN 层来对节点之间交织的复杂关系进行建模。在本论文中Hidden Layer为两层,通过训练学习便可以得到优化后的表征标签相关性的矩阵Output,并用于帮助视频标签分类。

     

    四、整体网络

    最终的完整网络结构如图四所示,我们使用InceptionV3来提取输入视频的特征;NeXtVLAD网络是第二届Youtube8M比赛单模型冠军网络,该网络可以很好的视频的多维度特征进行聚合,并且在降低特征维度的同时还能很好的保证模型性能;在网络的下半部分,我们用一个双层的GCN网络来帮助进行最后的视频标签分类。最终的对比实验中,加入GCN后的视频多标签分类网络MAP(Mean-Average-Precision)提高了接近一个百分点,GCN网络的加入显著性显著的提高了视频多标签的分类能力;也证明了对于多标签分类任务,通过研究多标签之间的相关依赖关系提升网络分类能力是一个很好的方向。

     

    ICCV 2019 论文解读:用图神经网络改善视频的多标签分类

    图四.整体网络结构

     

    五、结论

    视频理解与分析是计算机视觉领域的一个热门问题,针对视频的特征提取以及特征聚合全世界的研究已经做了大量的工作。本文提出了从多标签相关性的视角来提升视频的多标签分类能力并进行了有效的实验验证。通过对视频的图像特征、时序特征、标签相关性特征进行融合的分类网络可以很好的增强神经网络的视频理解能力。

    展开全文
  • 示例标记学习问题退化为传统监督学习问题求解,但是该算法在退化过程中没有考虑标记之间的相关信息,本文利用一种既考虑到全局相关性又考虑到局部相关性标记算法GLOCAL来对MIMLSVM进行改进,实验结果显示...
  • 多标签分类

    千次阅读 2019-06-29 18:24:55
    1、多标签分类 VS 单标签分类 在图像的分类和识别领域,传统的单标签分类旨在解决一个示例只属于一个类别的问题,不同的标签之间完全独立、互相之间没有关联。然而,在更加复杂的分类任务中,如文本分类、图像类别...
  • 多标签分类问题

    2017-03-21 21:18:31
    综上所述,多标签分类任务面临着标签阈值的选择问题、标签相关性问题、特征降维问题、非均衡数据问题以及模型的选择问题。
  • 针对多标签分类中存在标签相关性问题,提出一种获取标签相关信息的多标签分类新方法,记为LRI_MLC。该方法主要是通过引入一个概率模型来实现,即对建立的最优化子问题采用交替最大化法进行求解,并给出了求解推到...
  • 解决多标签分类问题(包括案例研究)

    千次阅读 2019-06-17 15:03:38
    多标签分类在数据科学中是一个比较令人头疼的问题。在这篇文章中,我将给你一个直观的解释,说明什么是多标签分类,以及如何解决这个问题。 1.多标签分类是什么? 让我们来看看下面的图片。 如果我问你这幅图中...
  • 深度学习---多标签分类问题

    万次阅读 多人点赞 2018-05-06 11:18:10
    由于本项目既有涉及multi-class(分类),也有涉及multi-label(标记分类)的部分,multi-class分类网上已经很相关的文章了。这里就说一说multi-label的搭建网络的部分。之后如果有时间的时候,再说一说...
  • 多标签分类是自然语言处理中的一项重要但具有挑战性的任务。它比单标签分类更复杂,因为标签往往是相关的。现有方法倾向于忽略标签之间的相关性。 此外,文本的不同部分可以不同地用于预测不同的标签,现有模型不...
  • 1、为了编码标签相关性的局部影响,推导了一个LOC代码来增强每个实例的特征表示; 2、将全局判别拟合和局部相关灵敏度整合到一个统一的框架中,并提出了交替求解的优化方法。 The ML-LOC Approach 1、框架 对...
  • 一、多标签分类概述与总论 多标签分类,是一种有别于类分类的分类类型,举个例子: 假设有类["酸", "甜", "苦", "辣", "香"], 类分类就是 "这个水果点酸"(label="酸"),"这个菜看起来很香"(label="香"); ...
  • 减少标签空间维数的多标签分类 该程序包括五种线性标签空间转换方法。 所有方法中使用的基础学习器是带有固定正则化参数的正则线性回归。 请在demo.m中查看用法。 与随机丢弃的二进制相关性(BR),主要标签空间...
  • 目的: 训练一个分类器来将物品分到不同的类别中,比如一件衣服:可以安照服饰...首先讨论多标签分类数据集(以及如何快速构建自己的数据集)。 之后简要讨论SmallerVGGNet,我们将实现的Keras神经网络架构,并...
  • 补充:(1)、Guide To Multi-Class Multi-Label Classification With Neural Networks In Python(2)、多标签分类(multilabel classification )1、使用caffe训练一个多标签分类/回归模型2、keras解决...
  • 多标签分类的学习感悟

    千次阅读 2017-11-07 21:17:45
    关于多标签学习的一些自我理解
  • 文本分类之多标签分类

    千次阅读 2020-02-19 11:30:12
    多标签分类综述 意义 网络新闻往往含有丰富的语义,一篇文章既可以属于“经济”也可以属于“文化”。给网络新闻打标签可以更好地反应文章的真实意义,方便日后的分类和使用。 难点 类标数量不确定,有些样本...
  • 多标签分类算法的研究进展

    千次阅读 2020-12-09 14:40:36
        在机器学习方向的相关研究中,分类问题可以被分为二分类问题、分类问题及多标签分类问题。二分类问题即二元分类问题,其中某个样本只有“属于”或 “不属于”这一类两种情况;也可以称之为“0/1”分类,...
  • 餐巾纸XC是一个非常简单,快速的库,用于极端的类和多标签分类。 它允许仅用几行代码用最少的资源训练非常大的数据集的分类器。 现在,餐巾纸XC在Python和C ++中都实现了以下功能: 概率标签树(PLT)和在线...
  • 多标签分类基本上,有三种方法来解决一个多标签分类问题,即: 问题转换 改编算法 集成方法 4.1问题转换 在这个方法中,我们将尝试把标签问题转换为单标签问题。这种方法可以用三种不同的方式进行: ...
  • 多标签学习起源于文本分类问题中遇到的概念歧义的困难,每个文本可能同时属于个主题。再多标签学习中,训练集由样本同时与标签相关,我们的任务是通过分析已知标签集的训练样本来预测未观测样本的标签集。我将...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 21,769
精华内容 8,707
关键字:

多标签分类的相关性