精华内容
下载资源
问答
  • 自然语言生成(NLG)技术利用人工智能和语言学的方法来自动地生成可理解的自然语言文本。NLG降低了人类和计算机之间沟通的难度,被广泛应用于机器新闻写作、聊天机器人等领域,已经成为人工智能的研究热点之一。
  • 自然语言生成是人工智能和计算语言学的分支,是生成可理解文本的计算机系统。从系统的健壮性、复用性和独立性出发,详细介绍了由内容规划、微观规划和表层生成三个基本模块构成的经典管道模型,并着重分析了内容确定...
  • 自然语言生成介绍

    2020-12-28 17:09:05
    每当我们听到“AI”一词时,...自然语言理解(NLU)和自然语言生成(NLG)是人工智能发展最快的应用之一,因为人们越来越需要理解和从语言中获得意义,其中含有大量含糊不清的结构。 根据Gartner的说法,“到2019年..

    每当我们听到“AI”一词时,我们的第一个想法通常是电影中的未来机器人,如终结者和黑客帝国。尽管我们距离可以自己思考的机器人还有几年的时间,但在过去几年中,机器学习和自然语言理解领域已经取得了重大进展。 个人助理(Siri / Alexa),聊天机器人和问答机器人a等应用程序真正彻底改变了我们与机器和开展日常生活的方式。自然语言理解(NLU)和自然语言生成(NLG)是人工智能发展最快的应用之一,因为人们越来越需要理解和从语言中获得意义,其中含有大量含糊不清的结构。 根据Gartner的说法,“到2019年,自然语言生成将成为90%的现代BI和分析平台的标准功能”。 在这篇文章中,我们将讨论NLG成立初期的简短历史,以及它在未来几年的发展方向。

    什么是自然语言生成

    语言生成的目标是通过预测句子中的下一个单词来传达信息。 可以通过使用语言模型来解决。语言模型是对词序列的概率分布。 语言模型可以在字符级别,短语级别,句子级别甚至段落级别构建。 例如,为了预测“我需要学习如何___”之后出现的下一个单词,模型为下一个可能的单词分配概率,这些单词可以是“写作”,“开车”等。神经网络的最新进展如RNN和LSTM允许处理长句,显着提高语言模型的准确性。

    马尔可夫链

    马尔可夫链是最早用于语言生成的算法之一。 它通过使用当前单词来预测句子中的下一个单词。 例如,如果模型仅使用以下句子进行训练:“我早上喝咖啡”和“我吃三明治加茶”。 有100%的可能性预测“咖啡”跟随“饮酒”,而“我”有50%的机会跟着“喝”,50%跟随“吃”。 马尔可夫链考虑每个独特单词之间的关系来计算下一个单词的概率。 它们在早期版本的智能手机键盘中使用,为句子中的下一个单词生成建议。

    在这里插入图片描述

    递归神经网络(RNN)

    神经网络是受人类大脑运作启发的模型,通过建模输入和输出之间的非线性关系提供另一种计算方法 - 它们用于语言建模被称为神经语言建模。

    RNN是一种可以利用输入的顺序性质的神经网络。 它通过前馈网络传递序列的每个项目,并将模型的输出作为序列中下一项的输入,允许存储前面步骤中的信息。 RNN拥有的“记忆”使它们非常适合语言生成,因为它们可以随时记住对话的背景。 RNN与马尔可夫链不同,因为它会查看先前看到的单词来进行预测。

    在这里插入图片描述

    用于语言生成的RNN

    在RNN的每次迭代中,模型在其存储器中存储遇到的先前单词并计算下一单词的概率。 例如,如果模型生成了文本“我们需要租用___”,那么它现在必须弄清楚句子中的下一个单词。 对于字典中的每个单词,模型根据它看到的前一个单词分配概率。 在我们的例子中,“house”或“car”这个词比“river”或“dinner”这样的词有更高的概率。 选择具有最高概率的单词并将其存储在存储器中,然后模型继续进行下一次迭代。

    在这里插入图片描述

    RNN受到梯度消失的限制。 随着序列的长度增加,RNN不能存储在句子中远处遇到的单词,并且仅基于最近的单词进行预测。 这限制了RNN用于产生听起来连贯的长句子的应用。

    LSTM

    在这里插入图片描述

    基于LSTM的神经网络是RNN的变体,旨在更准确地处理输入序列中的长程依赖性。 LSTM具有与RNN类似的链式结构; 然而,它们包括四层神经网络而不是RNN的单层网络。 LSTM由4个部分组成:单元,输入门,输出门和忘记门。 这些允许RNN通过调节单元的信息流来记住或忘记任意时间间隔的单词。

    考虑以下句子作为模型的输入:“我来自西班牙。我精通____。“为了正确预测下一个单词为”西班牙语“,该模型在前面的句子中侧重于”西班牙“一词,并使用单元格的记忆”记住“它。该信息在处理序列时由单元存储,然后在预测下一个字时使用。当遇到句号时,遗忘门意识到句子的上下文可能有变化,并且可以忽略当前的单元状态信息。这允许网络选择性地仅跟踪相关信息,同时还最小化消失的梯度问题,这允许模型在更长的时间段内记住信息。

    LSTM及其变体似乎是消除渐变以产生连贯句子的问题的答案。然而,由于仍存在从先前单元到当前单元的复杂顺序路径,因此可以节省多少信息存在限制。这将LSTM记忆的序列长度限制为几百个单词。另一个缺陷是LSTM由于高计算要求而非常难以训练。由于它们的顺序性,它们难以并行化,限制了它们利用诸如GPU和TPU之类的现代计算设备的能力。

    Transformer

    Transformer最初是在2017年Google论文“Attention is all you need”中引入的,它提出了一种称为“自注意力机制”的新方法。变形金刚目前正在各种NLP任务中使用,例如语言建模,机器翻译和文本生成。变换器由一堆编码器组成,用于处理任意长度的输入和另一堆解码器,以输出生成的句子。

    与LSTM相比,Transformer仅执行小的,恒定数量的步骤,同时应用自注意力机制,该机制直接模拟句子中所有单词之间的关系,而不管它们各自的位置如何。当模型处理输入序列中的每个单词时,自注意力允许模型查看输入序列的其他相关部分以更好地编码单词。它使用多个注意头,扩展了模型聚焦在不同位置的能力,无论它们在序列中的距离如何。

    最近,对普通Transformer架构进行了一些改进,显着提高了它们的速度和精度。在2018年,谷歌发布了一篇关于变形金刚双向编码器表示的论文(BERT),该论文为各种NLP任务提供了最先进的结果。同样,在2019年,OpenAI发布了一个基于变换器的语言模型,其中包含大约15亿个参数,只需几行输入文本即可生成长篇连贯的文章。

    用于语言生成的Transformer

    最近,Transformer也被用于语言生成。 用于语言生成的Transformer最着名的例子之一是OpenAI,他们的GPT-2语言模型。 该模型通过使用注意力集中于先前在模型中看到的与预测下一个单词相关的单词来学习预测句子中的下一个单词。

    使用变形金刚生成文本的基础与机器翻译所遵循的结构类似。如果我们采用一个例句“她的礼服有粉红色,白色和___点。”该模型将预测蓝色,通过使用自注意力分析列表中的前一个单词作为颜色(白色和粉红色)并理解期望的词也需要是一种颜色。自我关注允许模型选择性地关注每个单词的句子的不同部分,而不是仅仅记住循环块(在RNN和LSTM中)的一些特征,这些特征通常不会用于几个块。这有助于模型回忆起前一句的更多特征,并导致更准确和连贯的预测。与以前的模型不同,Transformer可以在上下文中使用所有单词的表示,而无需将所有信息压缩为单个固定长度表示。这种架构允许变换器在更长的句子中保留信息,而不会显着增加计算要求。它们在跨域的性能也优于以前的模型,无需特定领域的修改。

    语言生成的未来

    在这篇博客中,我们看到了语言生成的演变,从使用简单的马尔可夫链生成句子到使用自我注意模型生成更长距离的连贯文本。然而,我们正处于生成语言建模的曙光,而变形金刚只是向真正自主文本生成方向迈出的一步。还针对其他类型的内容(例如图像,视频和音频)开发了生成模型。这开启了将这些模型与生成文本模型集成的可能性,以开发具有音频/视觉界面的高级个人助理。

    然而,作为一个社会,我们需要谨慎对待生成模型的应用,因为它们为生成假新闻,虚假评论和在线冒充人们开辟了多种可能性。 OpenAI决定拒绝发布他们的GPT-2语言模型,因为它可能被误用,这证明了我们现在已经进入了一个语言模型足够引起关注的时代。

    生成模型有可能改变我们的生活;然而,它们是一把双刃剑。通过对这些模型进行适当的审查,无论是通过研究界还是政府法规,未来几年在这一领域肯定会取得更多进展。无论结果如何,都应该有激动人心的时刻!

    展开全文
  • 自然语言生成简述

    2020-03-30 15:50:58
    终于来到pipeline任务型对话系统的最后一个模块,也就是自然语言生成,这次就来简单看一下自然语言生成到底在做什么。 其实自然语言生成和自然语言理解几乎可以看成是一个逆过程,因为自然语言理解就是把人类的语言...

    终于来到pipeline任务型对话系统的最后一个模块,也就是自然语言生成,这次就来简单看一下自然语言生成到底在做什么。

    其实自然语言生成和自然语言理解几乎可以看成是一个逆过程,因为自然语言理解就是把人类的语言翻译成机器能理解的语言,而自然语言生成则是把机器内部处理的结果翻译成人类能理解的语言,所以这两个模块就像是人类和机器交流的翻译员。

    根据输入数据形式的不同,自然语言生成可分为数据到文本的生成和文本到文本的生成,数据可以是语义数据、图像数据等等不同的类型。而从实际应用来说,文本到文本就有机器翻译、摘要生成这些应用,数据到文本就有图像说明之类的应用。

    但是在这里,我们还是按照模型的类型,把NLG分为两类,一类是pipeline,一类是integrated,前者就是包含了多个模块,数据经过各个模块处理得到最终输出,而integrated则类似于end to end,不区分模块,直接用完整一个模型处理输入得到输出。

    首先来看看pipeline,主要分为六个步骤,第一步是内容确定,这一步的目的是确定在生成的文本中应该包含什么信息,应该不包含什么信息,以任务型对话系统为例,之前我们在NLU和DST中得到了state,然后在DPL处理了action的结果,就是模型最终需要输出的内容,比如一个订机票系统,查询机票得到了机票的信息,这些信息就是应该包含在输出语句的内容。

    第二步是文本结构,这是为了合理地组织文本的顺序,或者说合理地安排先展示哪些信息,再展示哪些信息。

    第三步是句子聚合,不是每一条信息都需要一句话去表示,所以这一步的作用就是对信息进行类聚,把可以合并的信息用一句话表示出来。

    通过前三步,已经确定出需要生成几句话,每句话带有什么信息,信息是以什么样的顺序进行表达的,而第四步就是语法化,引入一些具有连接作用的词汇,方便后面构成一个句子。

    第五步称为参考表达式生成,目的是选择内容领域相关的词汇进行修饰调整,但是来到这一步,每一个句子依然是一个词汇的集合,而并未构成真正的句子。

    所以第六步,也是最后一步的作用就是把之前的句子集合正式转化为一个完整的结构良好的句子。

    以上这个pipeline在挺多综述中都可以看到,接下来还有另一个pipeline,来自2002年的一篇论文的模型plan-based NLG,把NLG分为三个部分:sentence plan generator、sentence plan reranker和surface realizer,在sentence planning阶段生成sentence planning tree,每个node是对话的action,在surface realizer阶段把SPT转换为最终要生成的句子。

    除了pipeline,我觉得在现在的大环境下,NLG应该一般都是使用integrated方法,也就是最常见的seq2seq、transformer和bert,这些模型每个都值得用一篇文章细说。

    最后我还想谈一个问题,那就是如何从数据生成文本,因为我觉得数据生成文本这种情况在对话系统中更常见,比如之前提到pipeline任务型对话系统,经过DPL处理了action后,就可能得到一些数据,而不是单纯的文本,比如说一些航班信息"时间:三月十号,出发地:北京",像这样的数据信息如何用一句或者几句话表示,或许在对话系统中更加常见。

    针对上述的问题,从pipeline生成的角度来说,我觉得得到的信息对应了pipeline中的第一步,然后我们只要继续遵循其他步骤就能最终的结果,而对于integrated模型,我想到的是seq2seq,它的encode阶段会基于输入分析出一个语义向量state,然后在decode阶段会基于state生成句子,如果我们把要处理的数据输入到神经网络进行处理,转换成特征向量,就能看作是seq2seq的state,就可以指导生成最终的回复。

    当然上述的方案只是我个人的一些想法,但是也说明了其实实现的方法很多,到底应该如何把现在的模型结合到NLG中,也是一个很有趣的地方。

    在github写的自然语言处理入门教程,包含汇总的博客文章和相应的模型代码:NLPBeginner

    最近开始研究对话系统,还在探索当中,学习笔记也会在github上整理更新:HowToCreateHomunculus

    展开全文
  • 本文档是对旨在指定自然语言生成内容的迷你语言的建议。 这个存储库最终可能会被添加到实现中,这取决于项目是否进展,但在更新此消息之前,您应该假设此存储库中的其他任何内容都只是实验。 简单示例 这个例子展示...
  • 原文地址:《一文看懂自然语言生成 - NLG(6个实现步骤+3个典型应用)》 自然语言生成 - NLG 是 NLP 的重要组成部分,他的主要目的是降低人类和机器之间的沟通鸿沟,将非语言格式的数据转换成人类可以理解的语言...

    本文首发自 easyAI - 人工智能知识库

    原文地址:《一文看懂自然语言生成 - NLG(6个实现步骤+3个典型应用)
    一文看懂自然语言生成-NLG

    自然语言生成 - NLG 是 NLP 的重要组成部分,他的主要目的是降低人类和机器之间的沟通鸿沟,将非语言格式的数据转换成人类可以理解的语言格式。

    本文除了介绍 NLG 的基本概念,还会介绍 NLG 的3个 Level、6个步骤和3个典型的应用。

    什么是 NLG?

    NLG 是 NLP 的一部分

    NLP有2个核心任务:NLU和NLG

    NLP = NLU + NLG

    自然语言生成 - NLG 是 NLP 的重要组成部分。NLU 负责理解内容,NLG 负责生成内容。

    以智能音箱为例,当用户说“几点了?”,首先需要利用 NLU 技术判断用户意图,理解用户想要什么,然后利用 NLG 技术说出“现在是6点50分”。

    自然语言生成 - NLG 是什么?

    NLG - 将非语言格式的数据转换成人类可以理解的语言格式

    NLG 是为了跨越人类和机器之间的沟通鸿沟,将非语言格式的数据转换成人类可以理解的语言格式,如文章、报告等。

    自然语言生成 - NLG 有2种方式:

    1. text - to - text:文本到语言的生成
    2. data - to - text :数据到语言的生成

    将数据转化成语言的案例

    NLG 的3个 Level

    NLG 的3个 Level

    **简单的数据合并:**自然语言处理的简化形式,这将允许将数据转换为文本(通过类似Excel的函数)。为了关联,以邮件合并(MS Word mailmerge)为例,其中间隙填充了一些数据,这些数据是从另一个源(例如MS Excel中的表格)中检索的。

    简单的数据合并-邮件合并

    模板化的 NLG :这种形式的NLG使用模板驱动模式来显示输出。以足球比赛得分板为例。数据动态地保持更改,并由预定义的业务规则集(如if / else循环语句)生成。

    模板化的NLG

    高级 NLG :这种形式的自然语言生成就像人类一样。它理解意图,添加智能,考虑上下文,并将结果呈现在用户可以轻松阅读和理解的富有洞察力的叙述中。

    NLG 的6个步骤

    NLG 的6个步骤

    第一步:内容确定 - Content Determination

    作为第一步,NLG 系统需要决定哪些信息应该包含在正在构建的文本中,哪些不应该包含。通常数据中包含的信息比最终传达的信息要多。

    第二步:文本结构 - Text Structuring

    确定需要传达哪些信息后,NLG 系统需要合理的组织文本的顺序。例如在报道一场篮球比赛时,会优先表达「什么时间」「什么地点」「哪2支球队」,然后再表达「比赛的概况」,最后表达「比赛的结局」。

    第三步:句子聚合 - Sentence Aggregation

    不是每一条信息都需要一个独立的句子来表达,将多个信息合并到一个句子里表达可能会更加流畅,也更易于阅读。

    第四步:语法化 - Lexicalisation

    当每一句的内容确定下来后,就可以将这些信息组织成自然语言了。这个步骤会在各种信息之间加一些连接词,看起来更像是一个完整的句子。

    第五步:参考表达式生成 - Referring Expression Generation|REG

    这个步骤跟语法化很相似,都是选择一些单词和短语来构成一个完整的句子。不过他跟语法化的本质区别在于“REG需要识别出内容的领域,然后使用该领域(而不是其他领域)的词汇”。

    第六步:语言实现 - Linguistic Realisation

    最后,当所有相关的单词和短语都已经确定时,需要将它们组合起来形成一个结构良好的完整句子。

    NLG 的3种典型应用

    NLG 的不管如何应用,大部分都是下面的3种目的:

    1. 能够大规模的产生个性化内容
    2. 帮助人类洞察数据,让数据更容易理解
    3. 加速内容生产

    下面给大家列一些比较典型的应用:

    NLG的3种典型应用

    自动写新闻

    某些领域的新闻是有比较明显的规则的,比如体育新闻。目前很多新闻已经借助 NLG 来完成了。

    腾讯机器人日均写稿过千篇 你读的新闻可能是AI写的

    聊天机器人

    大家了解聊天机器人都是从 Siri 开始的,最近几年又出现了智能音箱的热潮。

    除了大家日常生活中很熟悉的领域,客服工作也正在被机器人替代,甚至一些电话客服也是机器人。

    跟你通话的客服是个机器人!

    HomePod内置了聊天机器人Siri

    BI 的解读和报告生成

    几乎各行各业都有自己的数据统计和分析工具。这些工具可以产生各式各样的图表,但是输出结论和观点还是需要依赖人。NLG 的一个很重要的应用就是解读这些数据,自动的输出结论和观点。(如下图所示)

    NLG自动生成数据解读的报告

    总结

    自然语言生成 - NLG 是 NLP 的重要组成部分,他的主要目的是降低人类和机器之间的沟通鸿沟,将非语言格式的数据转换成人类可以理解的语言格式。

    NLG 的3个level:

    1. 简单的数据合并
    2. 模块化的 NLG
    3. 高级 NLG

    NLG 的6个步骤:

    1. 内容确定 - Content Determination
    2. 文本结构 - Text Structuring
    3. 句子聚合 - Sentence Aggregation
    4. 语法化 - Lexicalisation
    5. 参考表达式生成 - Referring Expression Generation|REG
    6. 语言实现 - Linguistic Realisation

    NLG 应用的3个目的:

    1. 能够大规模的产生个性化内容
    2. 帮助人类洞察数据,让数据更容易理解
    3. 加速内容生产

    NLG 的3个典型应用

    1. 自动写新闻
    2. 聊天机器人
    3. BI 的解读和报告生成
    展开全文
  • 引言: 下面是作者整理的关于自然语言生成(NLG)相关的论文文章,能找到源码的作者也直接贴出来了,如果你对NLG感兴趣或者也在找一些相关的文章,希望能够帮助你~~ 如果你一篇篇的论文下载不方便,你也可以关注 ...

    来源: AINLPer 微信公众号(点击了解一下吧
    编辑: ShuYini
    校稿: ShuYini
    时间: 2020-02-27

    引言: 下面是作者整理的关于自然语言生成(NLG)相关的论文文章,能找到源码的作者也直接贴出来了,如果你对NLG感兴趣或者也在找一些相关的文章,希望能够帮助你~~

    如果你一篇篇的论文下载不方便,你也可以关注 AINLPer 回复:NLG001 进行打包下载。

    TILE: Reinforcement Learning Based Graph-to-Sequence Model for Natural Question Generation
    Author: Yu Chen, Lingfei Wu, Mohammed J. Zaki
    Paper:https://openreview.net/pdf?id=HygnDhEtvr
    Code: https://github.com/hugochan/RL-based-Graph2Seq-for-NQG
    论文简述: 本文提出了一种基于增强学习(RL)的QG图序列(Graph2Seq)模型。该模型由一个带有双向门控图神经网络编码器的Graph2Seq生成器和一个混合评估器组成,该混合评估器将交叉熵和RL损耗结合起来,以确保生成的文本在语法和语义上都是有效的。

    TILE: Data-dependent Gaussian Prior Objective for Language Generation
    Author: Zuchao Li, Rui Wang, Kehai Chen, Masso Utiyama, Eiichiro Sumita, Zhuosheng Zhang, Hai Zhao
    Paper:https://openreview.net/pdf?id=S1efxTVYDr
    Code:https://drive.google.com/file/d/1q8PqhF9eOLOHOcOCGVKXtA_OlP6qq2mn
    论文简述: 语言生成问题,最大似然估计(MLE)被普遍采用,但是MLE忽略了负多样性,所以本文通过引入一个额外的Kullback-Leibler散度项来增加MLE损失,这个散度项是通过比较依赖于数据的高斯先验和详细的训练预测得到的。

    TILE: code2seq: Generating Sequences from Structured Representations of Code
    Author: Uri Alon, Shaked Brody, Omer Levy, Eran Yahav.
    Paper:https://openreview.net/pdf?id=H1gKYo09tX
    Code: None
    论文简述: 本文提出了code2seq模型,一种利用编程语言的语法结构来更好地编码源代码的替代方法。模型将代码片段表示为其抽象语法树(AST)中的一组组合路径,并在解码时注意选择相关路径。

    TILE: Execution-Guided Neural Program Synthesis
    Author: Xinyun Chen, Chang Liu, Dawn Song.
    Paper:https://openreview.net/pdf?id=H1gfOiAqYm
    Code: None
    论文简述: 大多数现有的神经程序合成方法都采用编码器-解码器结构,但是现有方法的主要缺点是语义信息没有得到充分利用。为此本文提出了两种简单而有原则的技术来更好地利用语义信息,这两种技术是执行引导合成和合成器集成。这些技术足够通用,可以与任何现有的编码器-解码器风格的神经程序合成器相结合。

    TILE: Representation Degeneration Problem in Training Natural Language Generation Models
    Author: Jun Gao, Di He, Xu Tan, Tao Qin, Liwei Wang, Tieyan Liu.
    Paper:https://openreview.net/pdf?id=SkEYojRqtm
    Code: None
    论文简述: 研究了基于神经网络的自然语言生成任务模型训练中出现的表示退化问题,提出了一种新的正则化方法。语言建模和机器翻译的实验表明,该方法能有效地缓解表示退化问题,并获得比基线算法更好的性能。

    TILE: MaskGAN: Better Text Generation via Filling in the ___
    Author: William Fedus, Ian Goodfellow, Andrew M. Dai.
    Paper:https://openreview.net/pdf?id=ByOExmWAb
    Code: None
    论文简述: 介绍了一个有条件的GAN,它可以根据周围的环境条件来填充缺失的文本。我们从定性和定量两方面证明,与最大似然训练模型相比,这种方法可以生成更真实的文本样本。

    TILE: Leveraging Grammar and Reinforcement Learning for Neural Program Synthesis.
    Author: Rudy Bunel, Matthew Hausknecht, Jacob Devlin, Rishabh Singh, Pushmeet Kohli.
    Paper:https://openreview.net/pdf?id=H1Xw62kRZ
    Code: None
    论文简述: 程序合成的任务是自动生成符合规范的程序。本文呢在监督模型上执行强化学习,目标是显式地最大化生成语义正确的程序的可能性。然后我们引入了一个训练过程,它可以直接最大化生成满足规范的语法正确的程序的概率。

    TILE: Syntax-Directed Variational Autoencoder for Structured Data.
    Author: Hanjun Dai, Yingtao Tian, Bo Dai, Steven Skiena, Le Song.
    Paper:https://openreview.net/pdf?id=SyqShMZRb
    Code: None
    论文简述: 如何生成语法上和语义上都正确的数据在很大程度上是尚未解决的问题。在编译器理论的启发下,通过引入随机惰性属性,提出了一种新的语法导向变分自动编码器(SD-VAE)。该方法将离线的SDT检测转化为实时生成的指导,用于约束解码器。

    TILE: Emergent Translation in Multi-Agent Communication.
    Author: Jason Lee, Kyunghyun Cho, Jason Weston, Douwe Kiela.
    Paper:https://openreview.net/pdf?id=H1vEXaxA-
    Code: None
    论文简述: 本文提出的翻译模型通过将源语言和目标语言置于一个共享的视觉模式(visual modality)中来实现这一点,并且在单词级和句子级的翻译任务中都优于几个基线。

    TILE: Generating Wikipedia by Summarizing Long Sequences.
    Author: Peter J. Liu, Mohammad Saleh, Etienne Pot, Ben Goodrich, Ryan Sepassi, Lukasz Kaiser, Noam Shazeer.
    Paper:https://openreview.net/pdf?id=Hyg0vbWC-
    Code: None
    论文简述: 【文章生成】本文证明了生成英文维基百科文章可以看作是源文档的多文档摘要。本文使用提取摘要来粗略地识别突出信息,并使用神经抽象模型来生成文章。

    Attention

    更多自然语言处理相关知识,还请关注 AINLPer公众号,极品干货即刻送达。

    展开全文
  • 在阅读了GAN并想知道它们是否可以应用于自然语言处理之后,我开始了这个有趣的项目。 这项工作主要是学习经历,有助于使自己熟悉Tensorflow和一般的深度学习。 它没有产生实际的结果,尽管我出于某种原因广泛记录了...
  • 而这背后的一切其实就是人工智能技术的子集-自然语言处理,自然语言理解和自然语言生成以及他们的分析算法。 早些时候,企业需要一定的人力和持续监控半智能机器来理解和遵循预先编程的算法。但随着时间的推移以及...
  • 结合一个基于规则的日汉机器翻译系统,给出了自然语言生成规则的一种解释技术。该技术着眼于汉语生成规则语言的表达能力、自然性以及可扩充性,在实现中采用了基于元规则的方法,可以很方便地对规则语言进行扩充;另外,...
  • 从系统可移植性的角度对自然语言生成系统的任务域处理模块、语言学处理模块、文本生成模块进行研究,提出了具有一定可移植性的自然语言生成系统的设计方法,并通过实验验证了方法的可行性,最后给出了实验结果。
  • NLG方向可以算是NLP的一个分支,即自然语言生成,理解上data2text,image2text,doc2text都在这个范畴内。相对来说data2text是较为容易的一个任务,可以作为很多复杂NLG任务中处于最终一步的任务,因此它的重要性...
  • 其实,seq2seq最早被用于机器翻译,后来成功扩展到多种自然语言生成任务,如文本摘要和图像标题的生成。本文将介绍几种常见的seq2seq的模型原理,seq2seq的变形以及seq2seq用到的一些小trick。 我们使用x={x1,x2...
  • 自然语言理解(NLU,Natural Language Understanding): 使计算机理解自然语言(人类语言文字)等,重在理解。具体来说,就是理解语言、文本等,提取出有用的信息,用于下游的任务。它可以是使自然语言结构化,比如...
  • 一文纵览自然语言生成的发展.pdf
  • 文档结构化模式(pl。schemata)的开放源Java实现。 图式结构(顺序)一组事实(在这种情况下为RDF)。 他们决定在自然语言生成(NLG)系统中说些什么。 由McKeown(1985)引入。
  • 先了解自然语言处理(NLP)与自然语言生成(NLG) 语音助手越来越像人类了,与人类之间的交流不再是简单的你问我答,不少语音助手甚至能和人类进行深度交谈。在交流的背后,离不开自然语言处理(NLP)和自然语言生成...
  • 加速文本是一种自然语言生成工具,可用于定义数据描述,然后生成措辞和结构各异的这些描述的多个版本。 ••••••• 关于 加速文本可以处理各种数据: 业务指标描述 客户互动数据 产品属性 财务指标 通过“加速...
  • 如果要将BERT或者GPT用于序列到序列的自然语言生成任务,通常只有分开预训练编码器和解码器,因此编码器-注意力-解码器结构没有被联合训练,记忆力机制也不会被预训练,而解码器对编码器的注意力机制在这类任务中...
  • 自然语言生成多表SQL查询语句技术研究.pdf
  • 课件12_自然语言生成_注意力机制.pdf
  • 课件10_自然语言生成关键技术--报告.pdf
  • NLG自然语言生成(搜集的内容)[归纳].pdf
  • 本论坛是2018中国计算机大会(CNCC)的分论坛之一:自然语言生成,让机器掌握文字创作的本领。涉及自然语言生成目前成果总结、产业应用及前景展望。包括微软小冰、阿里小蜜、高考议论文自动生成、腾讯新闻推荐系统、...
  • Chatito是用于创建聊天机器人训练数据集的自然语言生成(NLG)工具和领域特定语言(DSL)。
  • awesome-nlg:精选的自然语言生成(NLG)资源列表
  • RNNLG是用于口语对话系统应用领域中自然语言生成(NLG)的开源基准工具包
  • 图像标注的任务让我们可以构建和训练一个为任何给定图像生成字幕的神经网络。在设计时使用了解码器的来完成文字的生成。当我们描述了每个解码器的工作原理时,我发现当它们被可视化时,更容易理解它们。 图像标注...
  • 在知网与万方上搜索的与自然语言生成和处理相关的文献

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 196,255
精华内容 78,502
关键字:

自然语言生成