精华内容
下载资源
问答
  • 自然语言处理(Natural Language Processing,NLP)是人工智能的一个重要分支,它研究能实现人与...其中短视频的应用场景下,内容标签技术是内容理解的一个重要手段。本文主要给大家介绍多模态短视频内容标签技术...

    自然语言处理(Natural Language Processing,NLP)是人工智能的一个重要分支,它研究能实现人与机器之间用自然语言进行有效通信的各种理论和方法,即让机器“懂”人类的语言。NLP 涉及的面非常广,包括语音识别 、内容理解、信息检索、信息抽取、问答系统、机器翻译、对话系统等。其中短视频的应用场景下,内容标签技术是内容理解的一个重要手段。本文主要给大家介绍多模态短视频内容标签技术及在爱奇艺的相关应用。

    全文共分为五个部分重点解读:

    一、什么是内容标签

    二、提取内容标签的方法

    三、多模态短视频内容标签的难点

    四、模型的迭代之路

    五、内容标签的主要应用场景

     

    一、什么是内容标签:

    提到标签,推荐系统里面使用比较广泛的是内容标签和类型标签,其中内容标签是对文本、图文或者短视频等内容的表征(表征,就是用一些关键词或者是短语来表达对应的内容是什么含义)。内容标签是根据内容来生成的标签,也就是说有什么样的内容它就会有什么样的标签,标签的集合是开放的。然而类型标签是一个分类体系,就是把不同的内容分到不同的体系下面,这个分类体系是预先定义好的,这就是内容标签和类型标签两者的区别。

    本质上内容标签和另一个我们经常使用的关键词抽取技术非常类似。但不同的是我们做内容标签的一个重要出发点是为了推荐系统来对各种内容生成标签。它更突出了推荐的应用场景,虽然内容标签的应用也不仅限于在推荐场景下,可以针对任何基于内容理解的场景内容,因为内容是一个广泛的含义,包括文本、图文、短视频等等。而关键词抽取,主要针对的是文本,它是从文本里面把跟该文本意义最相关的一些词语抽取出来,在文献检索、自动文摘、文本聚类/分类等方面有着重要的应用。

    内容标签有什么作用?举三个典型的应用场景,让大家对内容标签有一个比较直观的印象:

    第一,个性化推荐,通过对内容进行标签提取,结合用户的兴趣TAG,对用户进行精准的个性化推荐,是内容标签在个性化推荐上面的一个典型的应用。

    第二,搜索,通过内容的关键词或者内容标签,跟用户输入的关键词做精准匹配,返回更精确的搜索结果。

    第三,聚类&分类,使用内容标签作为文本特征,来提升聚类或分类的效果。

     

    二、提取内容标签的方法:

     

     

    提取内容标签的方法在这里我总结了两大类方法:

    第一类是抽取式,本质是从文本中抽取关键词或者短语;

    第二类是生成式,通过生成的方式,来生成关键词和短语。

    这是两条不同的技术路线。

    先看抽取式,抽取式主流的方法第一步是做侯选词的提取,第二步对侯选词做排序,然后把得分高的选出来作为关键词。又可以分为有监督和无监督的方法,当然也可以把监督和无监督相结合起来:

    其中有监督的方法:是先提取侯选词,提取的方法可以结合一些无监督的方法。比如说通过词频序列标注提取一些侯选的关键词。然后做一个分类或者排序,来选出得分高的候选词作为关键词。

    第二个是无监督的方法,无监督方法使用比较广泛的是基于词频的方法和基于图的方法。基于词频最常用的方法是TF-DF,它是最简单也是使用比较广泛的一种关键词提取方法;基于图的方法最常用的是TextRank方法,它是从PageRank算法发展而来,它的思想是以文本中的词为节点,以词的相邻关系为边构建词图,然后使用PageRank算法进行迭代来计算每个节点的rank值,选取rank值较高的词作为关键词。TextRank后续发展的模型有:ExpandRank、CiteTextRank、PositionRank等。

    抽取式另外一个思路是联合学习。因为两步走的方法有一个缺点,就是错误会积累。比如说侯选标签没有提取出来,或者提取错了,那么第二步排序怎么做都做不好。所以有一些研究者把这两个流程结合起来通过联合学习来做标签提取。它的好处是可以避免错误积累,当然学习的难度也会加大。

    但抽取式有一个缺点,就是只能抽取在文本中出现的关键词。但是很多的关键词它在文本中并没有出现,特别是具有归纳或者是概括特性的关键词。抽取式在这个时候就无能为力了。

    第二类的方法是最近研究方面比较热的生成式。生成式有两个思路,第一个思路是通过seq2seq技术框架来生成标签,就是把文本作为输入,把标签作为输出去做一个端到端的生成。因为不要求生成的签一定在原始文本中,所以说它可以比较好的解决没有在文本中出现的标签的问题。

    另外一种思路是使用强化学习来生成标签,比较有代表性的是ACL2019的一篇文章,它是为了解决内容标签召回的问题,目的是为了提高召回,在使用强化学习的时候,当召回低于Ground-Truth时,使用Recall作为Reward,召回高于Ground-Truth时,使用F1 score作为Reward,这样可以对召回和精度做一个平衡。训练框架使用的是基于self-critical的策略梯度方法。

     

    三、多模态短视频内容标签的难点

    接下来介绍一下在短视频场景下这种内容形式上的内容标签抽取方法。短视频目前已经成为了一种主流的媒介形态,如何提升短视频的分发效率,是各大短视频平台面临的重要课题。内容标签作为短视频内容理解的重要手段,在爱奇艺得到了广泛的应用。

    先看一下短视频内容标签有什么样的难点:

    第一,内容标签集合是一个开放集合,根据我们的统计它的数量有好几百万,所以不能使用分配的方法(如分类),来生成标签。

    第二,短视频内容标签的标准很难统一,我们曾经做过统计,两个人给同一批短视频标注内容标签,标注完全一致率只有22.1%。所以对于一个短视频哪些词可以作为内容标签,并没有统一的标准。

    第三,抽象标签占比较高,抽象标签学术上叫absence标签。就是这个标签它没有在标题中出现,经过统计在短视频中抽象标签占比高于40%。同时,标题因为长度也比较短,特别是短视频标题,很多情况下它并不是一个完全的句子,而是一些关键词的拼接,在信息比较少又不规范的情况下,语义理解起来也就更加困难。

    第四,融合多模态,包括封面图和视频内容,比如,在一个短视频的标题为“男子开车堵在女子家门口,女子不费吹灰之力,连人带车一块弄走”,看不出这个视频是什么含义,但这个视频内容描述的是关于明星张歆艺的相关的内容,所以这类内容需要结合多模态的信息才能准确抽取出准确的内容标签。

    四、模型的迭代之路

     

     

    (一)、文本模型:

    首先我们来看看文本模型,从词权重+阈值——CRF模型——注意力模型——Transformer模型,文本模型经过了一系列的算法迭代,具体如下:

    ·  词权重+阈值:这个是最初始的版本,词权重结合阙值来抽取标签。但是首先阈值很难划定,因不同的词在不同的句子中它的得分是不一样的,虽然它能把一些重要的词抽取出来,但是总体的精度和召回都比较低。同时,内容标签有时候可能是抽象标签,也可能是一个短语,或者是多个词,用这种方法是解决不了的。

    ·  CRF模型:CRF在序列标注任务中是一个经典的模型,但是它有个特点,第一它只能抽取标题中出现的词或短语,同时需要人工来设定特征模板,还有一个问题就是它主要使用当前词的周围词的特征,如果这个词的特征词距离比较远的话,效果就比较差。

    ·  注意力模型:也是抽取式的模型,通过人工定义一些抽象标签作为候选标签,然后使用注意力模型来进行排序,所以它可以抽取出一部分抽象标签。同时能比较好的使用全局的特征。

    ·  Transformer模型:典型的生成式的模型,它是有比较好的语义概括的归纳能力,在抽象标签的效果也不错。

     

     

     

    Transformer把抽取任务转化成生成任务,同时具有语义概括的能力,并且也可以对一些别名进行归一化。总体来说,它的效果要比抽取式好很多。

    文本模型因为仅仅使用文本内容,会造成信息的缺失。比如,从标题里面并不能任何有价值的信息,但是从封面图可以看出具体短视频内容。所以如果仅仅使用文本标题,模型效果会有很大的瓶颈,我们使用封面图来解决文本信息语义缺失的问题。

     

    (二)、文本+封面图模型:

     

     

    要想把封面图加入模型,首先面临的第一个问题就是怎么把封面图向量化, 其中会用到迁移学习,迁移学习目前在业界是应用比较广泛的一种技术,它使用大规模数据预训练好的模型在新的任务新的数据上进行Fine-Tuning,从而加快模型学习效率,使模型能较快的达到一个比较好的效果。我们的做法是使用ImageNet预训练好的模型,在我们的数据集上用这个模型去初始化一个图像分类的任务,分类的标签是图像对应标题的高频抽象标签。预训练模型我们比较了ResNet、Inceptionv3、Xception等模型,最终我们使用Xception来初始化我们的图像分类模型,然后抽取出倒数第2层2048维向量作为图像的表征。

     

     

     

    图象和模型融合的方式有三种:第一种方式是把图象向量作为一个token拼接到文本输入里面,一般的做法是拼接到文本向量的首尾。第二种融合的方式是设置图象向量作为Encoder隐藏层初始化向量,因为隐藏层的参数初始化有两种方式,第一种方式是初始化为0;,第二种是随机初始化,这儿使用图像向量作为隐藏层的初始化向量。第三种方式是将图像向量和Encoder输出向量融合,然后作为Decoder的初始向量。

    我们图像融合方式是这样:把封面图通过Xception之后生成的图象向量,同时在三个地方去做做融合:Encoder输入端的首尾、Encoder输出端的首尾以及作为Decoder的初始向量。

    增加封面图信息后,可以解决一部分因为标题导致的信息缺失的问题,模型效果也有了一个较大的提升。但是因为短视频标题是短文本,有时候是一些关键词的拼接,并且训练数据偏娱乐,那么对于一些通用领域的短视频标题,语义理解就比较困难,所以仅仅使用Transformer模型有时候并不能准确的生成内容标签。下面举一个例子,这个标题是:容易被男生吃定的8种类型的女生,现在通过Transformer模型只能提取出它内容标签是女生,但是其实它的内容标签应该是恋爱技巧,就是需要模型对标题做了一个语义的归纳和概括,生成更抽象的表达。

    针对这种问题,我们想到的一个解决方法就是在模型中加入Bert向量。Bert是使用大规模数据上训练出来的预训练模型,它的语义理解能力较强,目前在NLP多个领域的效果达到了SOTA的效果。

    那么如何将Bert向量融合到模型中?我们参考了融合封面图向量的方式,首先把标题文本经过Bert提取出标题的语义特征,也就是把标题文本字符串转化成了一个向量,一般是提取Bert的倒数第二层的向量作为文本表示向量,如果提取最后一次,因为离目标太近,可能在新的任务上有偏差。

    把文本向量提取出来之后,通过三种方式来加入到这个模型。第一种方式是跟封面图做拼接之后,加入到Encoder输入,第二种方式是加到Encoder输出,第三种方式是加到Decoder的初始化向量,通过这三种方式把Bert加入到模型中,文本的语义理解能力有了一些增强,很多需要高度概括的一些内容标签也可以生成出来。

     

    (三)、多模态融合方式

     

     

    文本加封面图模型还是会造成语义信息丢失的问题。比如说刚才举的例子,也就是说只有看了视频之后才能知道这个视频是什么内容。所以视频内容本身就有非常丰富的语义信息。怎么把这个视频的内容加入到模型,是我们接下来考虑的问题。

    首先我们抽取短视频的关键帧,什么叫关键帧?也即信息比较丰富的视频帧,因为有些帧没有什么信息的,所以加进来效果也不一定好。抽出来之后第二步把每一个关键帧,通过Xception转化成视频帧向量,分别把视频帧向量、封面图向量和文本向量,包括文本的Bert向量做一个多模态的融合,通过生成模型来生成标签,这是总体的一个框架。

     

     

     

    那么接下来的一个问题就是,不同模态怎么去融合,主要有三种方式:

    第一种方式是在数据级别或者是输入的层面做一个融合,这个方式早期的一种多模态融合方式,这种方式非常简单,很容易实现,缺点是不同模态的特征抽取方式不一样,直接拼接可能会破坏预训练模型的输入一致性。

    第二种方式是在最后做融合,即各个模态单独做特征提取和单独做决策,生成每个模态决策的结果,最后做融合。常见的融合方式是把不同模态的预测分数做平均、加权平均、取最大值等。

    第三种方式是在模型的不同层面对多模态进行融合,这也是现在比较常见的一种方法。

     

     

     

    这儿给大家介绍一下NIPS2019年的一篇文章,它是通过把视觉和语言的特征在模型层面作了一个深入的交互,来做一个融合,这是一种典型的HrbridFusion方法。

    在我们的模型中也是用了类似的多模态融合方式。在Encoder端使用Early Fusion对文本向量、文本Bert向量、封面图向量、视频帧向量做融合;使用Hrbrid Fusion的方式融合文本向量和视频帧向量。

    然后在Decoder端,使用Enhanced Scaled Dot-ProductionAttention的方式做对多模态内容做进一步融合。加入视频理解的信息之后,模型效果有了明显的提升,可以把视频里面的内容可以很好的提取出来。

     

    五、内容标签的应用:

    最后给大家介绍一下内容标签在爱奇艺的一些应用:

    1)个性化推荐,首先是理解用户,也就是用户打一些兴趣标签,兴趣标签是多个维度,其中内容标签是细粒度兴趣标签中最重要的一种标签;然后是理解内容,生成短视频的内容标签,根据内容标签做召回和排序。

    2)搜索,内容标签在搜索方面也是有较多的应用:

    首先是搜索相关性,特别是短视频的抽象标签对提升搜索相关性有较大帮助,因为短视频标签在文本标题中没有出现,所以通过Query并不能召回这些短视频。所以通过Query和抽象标签的匹配可以扩大短视频搜索的召回,从而提升搜索的相关性。

    第二是做Query扩展,通过Query和点击过的短视频的内容标签做一个影射,然后训练一个端到端的生成模型,来生成输入Query的扩展Query。

    第三是Term的紧密度,如果Query中的Term之间紧密度得分比较高,那么它们在一起出现的可能性就大,这个signal有助于提升搜索相关性的效果。判断紧密度的方法之一就是如果不同的Term出现在同一内容标签中,那么它们的紧密度就高。

    第四是在Query推荐,通过生成Query的内容标签,和用户的兴趣标签做匹配,用来做Query推荐中的召回和排序。

     

    同时在其他方面也有很多应用,这里举三个例子,第一个是长短关联,就是当你看到的短视频如果是长视频的一个片段,可以使用自动的方法把该短视频关联到对应长视频上面,这样既能通过短视频给长视频导流,也能满足用户观看需求,提升用户体验。这其中会用到内容标签技术,通过内容标签可以扩大长短关联的召回。

    第二个应用是IP的关联,就是当前这个短视频它对应的IP是什么,可能对应的是游戏,可能是对应的是商城的一个商品,可能对应的是一个文学等等,其中也会使用到内容标签中的实体标签进行关联。

    第三个是一个事件聚合,通过内容标签是可以扩大事件聚合的召回,来提升事件聚合的效果。

    短视频内容标签技术还有很多优化的空间,未来主要从提升标注的质量、融合更多的信息如音视频信息等等,能够进一步提升模型的精度以及在短视频上的效果。

    展开全文
  • 前言 随着短视频的兴起,每天有大量的短视频被生产并上传到各大...标签一般分为“类型标签”和“内容标签”两大类别,类型标签是对短视频内容进行层次分类,分类体系是预先定义好的;而内容标签是根据不同的短视频...

    前言

    随着短视频的兴起,每天有大量的短视频被生产并上传到各大视频平台,面对海量的短视频,如何提升这些短视频的智能分发效率是各大短视频平台面临的重要课题。

    视频的标签技术是内容理解的一种重要手段,已经在业界被广泛应用于推荐系统的各个环节:用户画像、召回、排序等。标签一般分为“类型标签”和“内容标签”两大类别,类型标签是对短视频内容进行层次分类,分类体系是预先定义好的;而内容标签是根据不同的短视频内容生成的不同的关键词或短语,用来表征短视频的内容,它是一个开放的集合。本文将详细介绍爱奇艺在短视频场景中内容标签技术。

     

    内容标签技术难点

    短视频一般由短视频文本标题、封面图、视频内容等元素组成,要想较准确的抽取出内容标签,需要综合利用这些多模态信息。如何将这些不同模态的信息融合起来应用于模型中并取得较好的结果是需要较多的探索;又因为内容标签是一个开放集合,如何判断哪些词语可以作为内容标签也是比较困难的。在实际人工标注过程中发现,两个人同时标注同一批数据,标注的完全一致率只有22.1%,以下是一些标注例子:

    最后,大量的内容标签并没有在文本标题中出现,我们称这种标签为“抽象标签”,如短视频标题:“母亲染病雪上加霜,女儿自强渴望工作”,其内容标签为:“励志”、“正能量”。根据我们的统计,有40%以上的标签为抽象标签。

     

    内容标签算法迭代之路

    爱奇艺的内容标签模型的演变经过了文本模型、融合封面图模型、融合BERT向量模型和进一步融合视频帧模型四个阶段之后,形成了最终的解决方案。下面分别对这四个阶段进行介绍:

    (一)

    文本模型

    文本模型仅仅使用短视频标题等文本信息生成标签。最初使用的是候选生成+排序算法框架,候选标签主要由以下部分组成:

    · 通过CRF模型提取的候选标签;

    · 通过联想得到的候选标签,联想规则由人工定义,主要包括:

    · 同义词、别名联想。如:kof->拳皇, 魔都->上海, 颖宝->赵丽颖;

    · 实体联想。如:康熙来了->蔡康永/小s, 露娜->王者荣耀, 章泽天->刘强东;

    · 上位概念的联想。如:alphago->围棋, 侧翻->车祸/事故, 戚风→甜品。

    · 没有在文中出现的高频标签,通常为准类型标签, 如”街头采访/观看反应/励志”等。

    排序模型使用基于注意力机制的语义相似度模型[1] [2] [3],通过注意力机制生成短视频标题的向量表示,然后和候选标签向量做语义相似度计算,再通过划定阈值选取合适的标签。模型架构如下:

     

     

    该模型结构简单,在对文章的建模上有比较好的效果。但在短视频标题上却有如下缺点:一是这一模型在抽象类的标签上的效果不是很好,通过人工定义的联想规则只能生成一小部分抽象标签;二是由于标题一般都比较短,注意力模型结构过于简单,无法进行准确的语义建模。

    “候选生成+排序”的结构本质上是一种抽取式的标签生成方式,即生成的标签主要是在标题中出现的词或短语。相比抽取式,通过端到端训练的生成模型具有比较好的语义抽象能力,其生成出来的标签不需要出现在原文。2017年Google提出Transformer模型,其强大的特征提取能力和并行化带来训练速度的提升,使其在多项文本生成任务中达到了SOTA的效果,其模型结构如图所示。

     

     

    我们最终使用基于Transformer的生成式+抽取式结合的方式来对文本标题进行建模,即先使用生成式来生成标签,如果没有结果则使用抽取式的结果。我们对抽取式模型做了如下改进:使用self-attention取代attention机制,增强文本表征能力;增加候选标签的上下文特征和文本的频道等特征,模型结构如下:

     

     

    文本模型通过分析视频的标题和描述等文本信息,生成内容标签。但是对于UGC,经常存在文本信息缺失,不充分等情况,比如:

    a)  标题为“分享视频”,则文本模型会生成空标签;

    b)  标题为“天地山青,道法无常,李白斗酒诗百篇”,会生成“唐诗”、“李白”这样的标签。但是从封面图看,该视频其实为王者荣耀游戏:

     

     

    为了弥补文本模型的缺点,我们引入了封面图来弥补标题文本的语义信息缺失的问题,所以需要对封面图进行表征,并加入到生成模型中。

     

    (二)

    融合封面图模型

    1、图像特征提取

    对于图像的表征,业界常见的做法是使用预训练的ImageNet在新的任务新的标注数据上进行Fine-Tune,然后抽取某几层或最后一层作为图像的表征。我们通过实验比较ResNet50、Inception V3、Xception等模型的效果,Xception在我们的数据上能达到最优的结果,模型结构如下:

     

     

    我们使用Xception对封面图进行特征提取,具体流程为:

    a)  选取高频抽象标签作为图像分类标签;

    b)  分类标签对应的封面图作为该图像的目标标签并构建图像分类模型;

    c)  使用ImageNet训练得到的参数作为模型的预训练参数,并使用该分类模型进行Fine-tuning;

    d)  提取中间层向量作为封面图向量的表达。

    2、图像特征融合

    通过实验发现,如下方式[4]将封面图向量融合到Transformer模型后效果更好:

    a)  图像特征添加到Encoder的输入;

    b)  图像特征添加到Encoder的输出;

    c)  图像特征添加到Decoder的初始输入。

    三种融合方式经过独立的Feed-Forward Neural Network分别映射到各个空间,模型的结构如下:

     

     

    (三)

    融合BERT向量模型

     

    由于多模态模型的文本部分主要采用站内的短视频标题进行训练,训练集偏向于影视剧/娱乐领域,因此这会导致模型对于通用领域的文本语义理解有所欠缺,比如当模型对标题为“容易被男生吃定的8种类型的女生” 的内容进行分析时, 模型根据站内的数据训练得出结果为“女生”,然而更合适的标签应该为“恋爱技巧”,因此我们希望预训练模型可以解决这种问题。为此我们引入了目前表现最好的预训练模型 BERT。BERT是基于Transformer的深度双向语言表征模型,基本结构如下图所示,其本质上是利用Transformer结构构造了一个多层双向的Encoder网络。

     

     

    针对不同的任务,BERT模型的输入可以是单句或者句对。对于每一个输入的Token,它的表征由其对应的词表征(Token Embedding)、段表征(Segment Embedding)和位置表征(Position Embedding)相加产生,如下图所示:

     

     

    BERT 是在海量通用文本语料上训练的语言模型,已被验证具有非常强的语义归纳能力。我们将BERT sentence embedding集成到现有的模型中,以期增强其对通用领域文本的理解能力, 融合方式为:

    a)  将文本经过BERT模型抽取语义特征(second-to-last层经过average pooling后的向量);

    b)  原始BERT特征经过非线性映射后,分别加入到模型的encoder输入、输出和decoder的初始输入中。

    模型结构如下:

     

     

    (四)

    融合视频帧模型

     

    目前为止,我们已经使用了视频的标题,描述等文本和封面图等信息来生成内容标签。但是对于一些剧情描述类的剧或者综艺等,这些信息还不够充分,比如:

    a)  标题为“此‘八卦’非彼‘八卦’,看完视频后觉得,脑子是个好东西!”, 通过分析文本和封面图等信息,会打上“八卦” 标签,而视频内容为“陈翔六点半”;

    b)  标题为“民警晒从警前后对比照,6年前是林志颖,6年后成郭德纲”,通过分析文本和封面图等信息,会打上“林志颖”、“郭德纲”标签,而合适的标签应该为“民警”。

     

     

    为了弥补文本和封面图信息的不足,我们在多模态模型中引入了视频帧等信息,引入后模型的总体结构为:

     

     

    1、特征提取

    a)  对每个视频抽取若干个关键帧(信息最丰富的视频帧);

    b)  对每个视频帧通过Xception模型提取特征,形成视频帧向量矩阵。

    2、特征融合

    Encoder端,将文本特征、文本BERT特征、封面图特征、视频帧特征concatenate,然后经过self-attention进行Early Fusion;将文本特征、视频特征,通过交叉query, key, value, 经过cross-attention进行 Deep Fusion[5],其结构如下图所示:

     

     

    Decoder端,使用EnhancedMulti-Head Self-Attention对 early fusion和deep fusion的编码特征以及视频帧特征进行融合[6],其结构如图所示:

     

     

     

    内容标签的应用

    短视频内容标签在爱奇艺得到了广泛的使用,典型的应用场景为:短视频的生产、个性化推荐及视频搜索方面,具体如下:

    在短视频生产方面,算法生成的高精度内容标签可以替换人工标注,从而节省人力成本,提高内容标签生产效率。目前有60%以上的内容标签的精度达到了90%以上,并且这部分精度高的内容标签已可以代替人工标注;另外,可以通过分析标签的消费情况来指导生产,从而优先生产高质量短视频内容,提升生产流程的利用率。

    在个性化推荐方面,内容标签是细粒度用户兴趣标签的最重要来源,通过内容标签也可以做基于内容理解的召回,召回的结果可解释性更强,也具有一定的泛化能力,在排序环节加入用户的兴趣标签和短视频标签的相似性特征可以进一步提升推荐的准确度。

    在搜索方面,通过计算内容标签中的抽象标签和query的相似度可以改善语义相关性的效果,通过用户行为构建的query到内容标签的映射可以用来做query的扩展,内容标签也可以用来进行长query的去词、query中心词识别、query中的term紧密度计算等工作。

     

    思考与展望

    短视频内容标签技术还有很多优化的空间,未来的优化工作主要从提升标注的质量、融合更多的信息、以及尝试最新的模型和不同的模型结构等方面展开,希望能够进一步提升模型的精度以及在最新短视频上的效果:

    1、融合短视频标题文本中的实体、实体关系等先验知识到模型中,提升模型泛化能力;

    2、融合更多的视频内容,如增加视频帧、OCR信息、视频人物等以及音频等信息到模型中进一步提升模型的效果。

     

    参考文献

    [1]Zhou, P., Shi, W., Tian, J., Qi, Z., Li, B.:Attention-based bidirectional long short-term memory networks for relationclassification. In ACL,2016

    [2]Zichao Yang, Diyi Yang, Chris Dyer, Xiaodong He, AlexSmola, and Eduard Hovy. Hierarchical attention networks for documentclassification. In NAACL-HLT, 2016.

    [3]Das, A., Yenala, H., Chinnakotla, M., Shrivastava, M.:Together we stand: Siamese networks for similar question retrieval. In ACL,2016

    [4]Iacer Calixto, Qun Liu, and NickCampbell. 2017b. Incorporating Global Visual Features into Attention-BasedNeural Machine Translation. In Proceedings of the 2017 Conference on EmpiricalMethods in Natural Language Processing.

    [5] JiasenLuDhruvBatra, Devi Parikh, StefanLee. ViLBERT: Pretraining Task-Agnostic VisiolinguisticRepresentations for Vision-and-Language Tasks.Neural Information ProcessingSystems (NeurIPS), 2019

    [6] Arslan HS, Fishel M, Anbarjafari G(2018) Doubly attentive transformer machine translation. Computing ResearchRepository arXiv:1807.11605

    展开全文
  • 即{dede:field.content/} 这个标签为栏目专用标签.下面的方法可实现内容页调用. 如果要在首页等页面显示,~typeid~可以替换为具体的栏目id.如果多个栏目共用一个内容页模板.可以用下面的通用写法.     {dede:...

    在织梦首页或内容详情页没法直接调用栏目内容.即{dede:field.content/} 这个标签为栏目专用标签.下面的方法可实现内容页调用.

    如果要在首页等页面显示,~typeid~可以替换为具体的栏目id.如果多个栏目共用一个内容页模板.可以用下面的通用写法.

     

     

    {dede:sql sql='Select content from dede_arctype where id=~typeid~'} 
    [field:content function='cn_substr(html2text(@me),800)'/] 
    {/dede:sql}

     

     

     

     

    展开全文
  • 本文实例讲述了dedecms任意页面调用栏目内容标签{dede:field.content/}的方法。分享给大家供大家参考。具体实现方法如下: {dede:field.content/} 这个标签系统只支持在栏目模板里调用,如果想要在任意页面调用这个...

    本文实例讲述了dedecms任意页面调用栏目内容标签{dede:field.content/}的方法。分享给大家供大家参考。具体实现方法如下:

    {dede:field.content/} 这个标签系统只支持在栏目模板里调用,如果想要在任意页面调用这个内容可以使用下面的方法.

    1、过滤掉所有的html代码,只显示文字,具体的ID自己更改.

    代码如下:{dede:sql sql='Select content fromdede_arctype where id=1'} 
    [field:content function='cn_substr(html2text(@me),800)'/]
     
    {/dede:sql}
    2
    、不滤掉html代码,后台怎么编辑,首页就怎么显示,图片也可加载.

    代码如下:{dede:sql sql='Select content fromdede_arctype where id=1'} 
    [field:content/]
     
    {/dede:sql}
    PS:
    意思是调用系统中的arctype这个表.

    因为每个人安装DEDE的时候,表名的前辍不全都是用默认dede_,用这个标签不管系统的前辍是什么,都可以识别,是织梦的内置函数

    希望本文所述对大家的dedecms建站有所帮助。

    转载来自:http://www.bitscn.com/school/dedecms/201412/429892.html

    展开全文
  • 请问下类似“今日头条”、“一点资讯”、“天天快报”这种机器分发的个性化推荐系统是如何建立标签体系的呢?是靠机器挖掘还是人工拟合呢? 如题。 求问。
  • 假设我们要获取下面html标签中的内容: <p>桥边姑娘</p><p>你的芬芳</p><p>我把你放心上</p><p>不想让你流浪</p> <p><span style="white-space: normal;...
  • 仿淘宝做的一个微信小商城的商品详情界面,点击顶部的宝贝、评论和详情标签时,页面滑动到相应的内容区域,同时滚动页面内容时,自动切换相应的导航标签。当然,这也适应于其他场景。 先来看一下wxml代码,其中一些...
  • 比如要提取一个div标签下的内容 但是内容中包含了图片地址,网页链接等子标签,怎么把 这些内容提取出来?
  • 有时候我们在用python进行爬取网页信息的时候,可能...内容为空的标签就不是我们想要的,那么我们怎么样进行删除内容为空的标签,好像并没有什么很好的资料进行说明 本文提供了一个删除内容为空的标签的函数 效果如下
  • 提取a标签内容,提取title的内容

    千次阅读 2019-09-27 17:00:41
    提取A标签内容 提取Title 内容
  • 匹配去掉img标签 <script> var str = '<p><code>uni-app</code> 完整支持 <code>Vue</code> 实例的生命周期,同时还新增页面生命周期</a>。</p> <img src=...
  • 通过jsoup的select这一获取标签 ...现在的问题是,我只想提取414.50这个价格而不要span标签及里面的内容。 我的解决方法时: //通过jsoup中select选择b标签,在获取html内容 String htmlContent = "¥414.
  • arclist标签的底层标签中不包含body。调用的Html格式如下: {dede:arclist typeid=’’ titlelen=’’ limit=’’ orderby=’’ addfields=‘body’ channelid=‘1’} [field:body/] {/dede:arclist} 重点就是==...
  • <div class="content"></div> // 添加内容 $('.content').append('要添加的内容') // 删除内容 $('.content').html('')
  • 自定义JSP标签实现信息显示的控制操作,详细介绍了标签的功能以及如何建立一个标签
  • &lt;a href="... target="_blank"&gt;Python的崛起,百万程序员...根据部分内容匹配到这个a标签的xpath语法:"//a[contains(text(),"Python的崛起")]",这样就可以匹配到了.
  • jquery 获取标签内的内容

    千次阅读 2018-10-11 09:19:50
    1.获取标签内的html 文件 $("#treeDemo").html() 2.获取标签内的文本内容 $("#treeDemo").text() 3.清空标签下的内容 $("#treeDemo").empty()
  • html页面清空标签里的内容

    千次阅读 2019-08-29 17:43:35
    由于页面展示东西太多,而且可能相似的内容太多,肉眼一眼分清有点小难度,所以为了更好的展示需要看到的内容,我们要清理标签中的内容 二、举例 <code id="show"></code> <a href="javascript:clear...
  • js 隐藏 标签内容

    千次阅读 2019-06-05 11:31:22
    我的业务场景是,在session中获取数据然后...就是将没有权限的标签隐藏 var rolebtns = "<%=session.getAttribute("rolebtns")%>"; var templet_add = RegExp(/templet_add/) if (!templet_add.test(rolebt...
  • 使用函数说明: document....修改div标签中嵌套的p标签的文字内容: HTML代码部分: &lt;input type="button" value="显示效果" id="btn"/&gt; &lt;div ...
  • 看了几本jquery的书之后,觉得对jQuery的dom操作部分应该是比较熟悉了,但是当正式用到的时候又忽然觉得什么也不知道,还得上网来搜,遇到的问题就是获取span标签下的第一个span标签中的内容。如 西安 (xian) ...
  • 富文本内容标签展示

    千次阅读 2018-12-25 10:00:20
    在利用富文本编辑的时候会同时生成标签,有时我们并不需要这些标签,如何转化呢? 后端java处转换,贴下两行代码: String text = ;//text为从数据库获取的包含标签的文本 content=text.replaceAll("&lt;[....
  • 获取html页面全部标签或者标签内容

    万次阅读 2012-10-30 14:54:48
    1.]+>:这个正则表达式可以匹配所有html标签,可以100%匹配(注意页面编码方式和读取的编码方式)。 2.>[^ 下面上程序: import java.io.BufferedReader; import java.io.InputStreamReader; import java.net....
  • ![图片说明](https://img-ask.csdn.net/upload/201904/26/1556278899_200380.png) 想爬取 paths标签下的路径 但是路径被设置为了标签 ...进行爬取爬取到的是整个paths标签下的内容 怎么才能只爬取标签
  • selenium获取标签内容

    万次阅读 2018-08-14 10:55:35
    dr = driver.find_element_by_id('tooltip') dr.get_attribute('data-original-title') #获取tooltip的内容 dr.text #获取该链接的text
  • python 根据标签名获取标签内容

    千次阅读 2018-12-20 16:15:37
    //div/book[1]/tittle[@lang="zh"] 选择div下第一个book标签的title标签并且内容是zh的title标签 //div/book/title //book/title //title 具有相同结果 只不过选取路径不一样 //book/title/@* 将title所有的属性值...
  • 在爬取网页的时候,用bs4库爬取网页上想要的一块标签,但是却不知道怎么提取里面的内容,或者不知道怎么得到标签里面的各种属性值,比如a标签的href属性的值,这里有几种方法: 使用get_text()或者是.text同时取出...
  • 通过jaxb读取xml中某个标签下的所有内容,包含子标签和值,xml格式固定,示例如下: ![图片说明](https://img-ask.csdn.net/upload/201510/09/1444384076_326505.png) 我想将“address”下的内容当做一个整体...
  • ![图片说明](https://img-ask.csdn.net/upload/201510/30/1446220454_247773.png)
  • 1、java代码,利用正则表达式,去掉span标签内容 String regEx = "<span\\s*[^>]*>(.*?)<\\/span>"; String hotSearchTopic = "郭麒麟 富二代的样子<span style=\"float:right;color:#999;\"&...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 1,283,293
精华内容 513,317
关键字:

内容标签