精华内容
下载资源
问答
  • 哈姆雷特形象
    2019-08-25 17:41:12

    一、引言

    悲剧艺术是人类探索存在起源和经历痛苦生活的产物, 标志着人们试图确定自我存在和高尚价值.因此, 悲剧的审美价值往往是一种特殊形式的高贵美. 当人们的生存面临着压倒性的优势的公然否定时,他们仍然坚持斗争,直到丧失抗争力,以展示人类的崇高和尊严. 因此,悲剧是人类巨大力量和非凡性格的最佳表现.悲剧的力量正是人们心中对超越已知现象向往,着重表达个人的最高价值,从而达到精神的超越和升华.

    二、人文主义之美

    人文主义向往的是善良、爱情、道德等一切美好的东西.《哈姆雷特》是莎士比亚在文艺复兴时期的悲剧作品,充满了人文主义色彩.首先,剧中人文主义之美主要表现为剧中角色善良的性格.与叔父克劳狄斯的邪恶相反,哈姆雷特有一颗善良的心.剧中最纯洁、最善良的人物欧菲莉亚不能容忍任何世界上的污秽之事,这是人性中最美丽的一部分.另外,人文主义的审美价值还体现在哈姆雷特对人文主义者的态度上.

    在剧中, 哈姆雷特说:"人类是一件多么了不起的杰作! 多么高贵的理性! 多么伟大的力量! 多么优美的仪表!多么文雅的举动!在行为上多么像一个天使!在智慧上多么像一个天神!宇宙的精华!万物的灵长!"在他得知父亲死亡真相之前,他对人类世界抱有极大的热情和美好的期望.哈姆雷特的人文精神也体现在他对人和事的平等理念上.哈姆雷特对自己的仆人霍拉旭说:"先生, 朋友, 我情愿与你交换这个头衔. "从这句话可以看出,在哈姆雷特的灵魂深处,尊敬和谦卑之间没有区别,他认为每个人都是平等的.

    三、批判主义之美

    悲剧可以说是对社会罪恶最勇敢、最独特的揭露者和批判者. 同时它还能揭开了人类心灵的面纱,从观众角度去看待深藏在人们内心的兽性和邪恶.它揭示并严厉批判了这种潜在的、甚至连人类自己从未意识到的邪恶倾向.悲剧的另一审美价值—批判性在这里得到了很好的体现.

    悲剧不仅是在摧毁纯洁事物的过程中提升其审美价值,而且在惩恶扬善方面也发挥了巨大作用. 它也揭示邪恶力量的强大和其可恶嘴脸,以及它所带来的巨大灾难,这反过来又会对观众内心深处的欲望产生影响. 剧中,王后乔特鲁德觉得她的心被"撕成两半",并接受哈姆雷特王子的建议,“把坏的一半扔了,把好的那一半留下来过日子”. “向天忏悔罢, 反悔了昔日之过错, 以避来日之报应. 别再往杂草丛上浇粪, 继续地加深您罪恶之臭了”. 对观众来讲, 所谓"向天忏悔"是对理性良知和欲望的不理性行为,更要勇敢地面对它,阻止它变成恶魔. 这难道不是对善良行为的积极引导吗?

    鲁迅先生说:"悲剧是将人生有价值的东西毁灭给人看. " 悲剧反映了在历史进程中对美好的、有价值的东西破坏的要求. "我们的意志和命运往往背道而驰,我们的决心到最后会被推倒;事实的结果总难符预料. " 悲剧中意想不到的结果有其历史的必然性,并最终导致了大屠杀的悲剧. 其深刻的悲剧意义在于:在悲剧中,邪恶的力量越强大,越令人痛苦,越显示了其灭亡的必然性. 在《哈姆雷特》剧的末尾,另一个人文主义者登上黄铜宝座,它象征着邪恶力量的完全崩溃.

    四、冲突之美

    恩格斯在 1859 年 5 月 18 日写给费迪南·拉萨尔的信中说:“在我看来,悲剧构成了历史的必然要求和这个要求的实际上不可能实现之间的悲剧性的冲突. " 他提到的"历史的必然要求” 指在一定的历史条件下的合理发展要求, 这是符合历史发展的要求.

    所有赋有"历史的必然要求"或生活中真正美丽、有价值的东西都在社会发展的曲折过程中遭到破坏.这个"悲剧冲突"充分体现在《哈姆雷特》中.

    哈姆雷特形象之所以具有强烈的悲剧美,关键在于构成这一切的矛盾冲突,悲剧正是通过对冲突必然性的揭示,通过对有价值东西的毁灭,表达了对真善美的肯定. 哈姆雷特以自己的死亡为代价,在与旧的社会体系和旧势力的斗争中, 赢得了道义上的胜利,虽然是悲剧但却不悲观. 因此,人们可以从悲剧中感受到一个英雄形象的全新生活,并看到黑暗王国中透出的一缕阳光.

    在剧中,我们认识到,哈姆雷特拥有良好的理想和意愿,以"彻底改变世界"为己任,这与社会发展的要求相一致.然而克劳狄斯的黑暗势力仍然是主导力量,因此哈姆雷特的人文主义与邪恶的社会现实存在尖锐的冲突. 再加上哈姆雷特人物性格的软弱,他显得优柔寡断、多愁善感,善于思考而犹豫不决,这就决定了主人公哈姆雷特是一个思想上的巨人、行动上的矮子,与他的使命不相称. 新事物的软弱性和人文主义的无法实现与人物内部冲突和矛盾及外部环境形成了明显的冲突. 这两组冲突精确地反映了"历史的必然要求和这个要求的实际上不可能实现之间的悲剧性的冲突". 矛盾交错,冲突加剧,最终只给我们带来了一个悲惨的结局. 看来,悲剧人在冲突中揭示其内在美,这是构成悲剧主体的一个方面,即"人们生活的意义就是追求自由和独立". 而一个完整的悲剧的产生,光有这些还不够,还需要另一个重要的因素,那就是 “认识人类存在的局限性, 试图超越但最终失败”. 悲剧环境中的第二个因素明显是来源于外部环境,通常表现为悲剧人物遭受"严重伤害"或受邪恶力量的毁灭. 因此观众觉得很难找到这种局限性,但又不愿意失去它,这正增加我们对有价值东西的确定.

    五、英雄之美

    哈姆雷特有坚定的信念和责任. 得知父亲死后,他仍然决定承担报复和改变乾坤的任务.哈姆雷特很冷静、很理性,为了确认父亲的死因,他编排了一个戏剧节目,其内容是根据他父亲的死亡改编而来的. 在这一场景中, 哈姆雷特通过观察叔父克劳狄斯的表情,确认了他父亲死亡的真相.另外,哈姆雷特也是一个充满激情的青年.他爱欧菲莉亚,但仇恨克劳狄斯.

    哈姆雷特大胆否定世界的无限的混乱,在重整乾坤中思考生命的存在以及希望的存在, 直到最后的毁灭,这让我们感到了痛苦中的喜悦.

    从悲剧人物的行为来看,他们的行为在很大程度上导致了自己的毁灭. 在第三幕,哈姆雷特有一段独白:"To be, or not to be. that is the question: Whether’tis nobler in the mind to suffer The slings and arrows ofoutrageous fortune. Or to take arms against a sea oftroubles, And by opposing end them."这段独白反映了意想不到的发展意识特征, 这不是受到实用性局限,但超越生命的本体论思想. 从独白中可以看到,哈姆雷特对他叔叔杀害了同胞兄弟成功登上王位并不感到焦虑. 他完全超越了这种动荡的影响,能面对生活的难解之谜. 莎士比亚通过非凡的语言描写人物心理,升华了哈姆雷特的灵魂. 哈姆雷特的死是命中注定的、不可避免的,就像每一个悲剧人物一样,个性的弱点必然带来一种结局—死亡.而这种死却是崇高而壮美的,给人以悲壮的体验.

    六、语言之美

    莎士比亚对哈姆雷特人物形象的成功塑造离不开其丰富的语言.他使用双关、隐喻、反语以及其他高超的语言技巧,显示语言的微妙的独特美. 剧中插入了和谐的节奏,像绕口令一样,这使得戏剧美不胜收,展示出了莎士比亚在语言使用上完美的艺术风格.当哈姆雷特父亲的鬼魂出现时, 两名警卫被吓坏了. 霍拉旭认为它是"扰乱我们心灵之眼的一点微尘".正是尘埃扰乱了我们心灵的眼睛. "心灵之眼"颇受着名诗人例如威廉华兹华斯好评,成为不朽的名言.

    第三幕中的独白成为生命与死亡的首要选择:

    To be or not be-that is the question:Whether 'tis nobler in the mind to sufferThe slings and arrows of outrageous fortune,Or to take arms against a sea of troubles. …

    这四行都各有一个额外的音节,目的是为了说明哈姆雷特绝望的精神状态和他犹豫的心情.诗的节奏与人物内心缓慢的思维相一致. 特别是在第一行,前半行中的重复音和长音加上后半句的逗号和两个破折号给读者一种徘徊、沮丧、拖延的感觉.莎士比亚在第二行至第四行的语法结构上做了巨大变化,采用了诗歌的独特风格,打乱了原有的语序和词序. 在阅读时,读者会有一种缓慢流动而又迟钝的感觉,这恰恰揭示了哈姆雷特对生命深刻而痛苦的思考.

    七、结束语

    《哈姆雷特》 已经成为莎士比亚悲剧作品中的最高成就之一,是世界上最经典的作品之一. 这与其审美价值是分不开的,这是人类的悲剧和社会悲剧. 在人们经历痛苦、悲伤、眼泪之后,悲剧的审美价值已经成为欣赏喜剧的重要方面.因为,在欣赏悲剧时,读者需要从中细细品味其隐藏的审美价值.

    参考文献

    [1] 王坚,杨勇坚.论莎士比亚《哈姆雷特 》中的人文主义思想[J].思想统战,2011(S2).

    [2] 骆桂峰.论马克思恩格斯的悲剧冲突观[J].桂林航天工业高等专科学校学报,2001(4).

    [3] 刘献丽.感悟莎士比亚笔下的哈姆雷特及其悲剧美[J].商丘职业技术学院学报,2007(4).

    [4] 关晓燕,索明茹.《哈姆雷特》中的人文主义[J].长春师范学院学报(人文社会科学版),2005(24).

    [5] 黄音频.论《哈姆莱特》语言的四美[J].外国文学,2010(3).​​​​​​​​

    更多相关内容
  • 哈姆雷特人物形象性格分析02.doc
  • 哈姆雷特 简介 人物形象分析PPT课件.pptx
  • 1信息技术基础.doc

    2022-06-24 08:11:40
    价值相对性:如一千个读者,一千个"哈姆雷特"。 5. 时效性:如旧的交通地图可能会让人走错路。 6. 真伪性:如苏斌"减灶退敌"、诸葛亮"空城计"吓退司马懿等。 2. 信息技术包括计算机技术、通信技术、传感技术、微...
  • 1信息技术基础.pdf

    2022-06-24 08:12:26
    (4) 价值相对性:如一千个读者,一千个"哈姆雷特"。 (5) 时效性:如旧的交通地图可能会让人走错路。 (6) 真伪性:如苏斌"减灶退敌"、诸葛亮"空城计"吓退司马懿 等。 2. 信息技术包括计算机技术、通信技术、...
  • 哈姆雷特是莎士比亚最著名的部悲剧它突出地反映了作者的人文主义思想莎士比亚说过他的作品就是给自然照一面镜子给德行看一看自己的面目给荒唐看一看自己的姿态给时代和社会看一看自己的形象和印记哈姆雷特正是一个
  • 这种主观性反映在很多方面,以作者与读者间的理解差异为例,常说“一千个读者就有一千个哈姆雷特”莎士比亚在写这个剧本时,他心目中恐怕有一个确切的哈姆雷特形象以及他希望表达的思想;但读者在阅读时,则不可...

    点击上方,选择星标,每天给你送干货!


    来源:探臻科技评论

    导读

    自然语言处理(NLP)作为语言信息处理技术的一个研究方向,一直是人工智能领域的核心课题之一。日常生活中,我们有时会遇见一些有歧义或者令人费解的语句例子,这些例子让人直觉计算机理解人类语言太难了。本文从自然语言理解的本质、关键,以及自然语言的特点和理解难点四方面,对“NLP到底难在哪里”给出了通俗易懂的介绍。

    本文总字数6214,阅读约21分钟

    作者简介

    刘知远,清华大学计算机系副教授,研究方向为自然语言处理、知识图谱与语义计算、社会计算与计算社会科学。

    一、自然语言理解本质是结构预测

    要搞清楚自然语言理解难在哪儿,先看自然语言理解任务的本质是什么。作为人工智能关注的三大信息类型(语音、视觉、语言)之一,自然语言文本是典型的无结构数据,由语言符号(如汉字)序列构成。要实现对自然语言的表意的理解,需要建立对该无结构文本背后的语义结构的预测。因此,自然语言理解的众多任务,包括并不限于中文分词、词性标注、命名实体识别、共指消解、句法分析、语义角色标注等,都是在对文本序列背后特定语义结构进行预测。例如,中文分词就是在原本没有空格分隔的句子中增加空格或其他标识,将句子中每个词的边界标记出来,相当于添加了某些结构化语义信息到这个文本序列上。

    图1 NLP典型任务:词性标注、命名实体识别、共指消解、句法分析 [1]

    面向不同NLP任务,人们制定不同的待预测的语义结构空间:文本分类是最简单的情形,即预定义的类别体系,最常见的如情感分类是positive、neutral、negative三类;中文分词是词边界的标记;词性标注是句子中每个词的词性标签(如名词、动词、形容词、副词、连词、介词等);命名实体识别是标记哪些词(或多词)是实体名及其实体类型(如人名、地名、机构名等);共指消解是标记哪些词在做指代以及指代的是前面出现的哪个概念或实体;句法分析则是将句子背后的句法树结构或依存结构预测出来。

    二、自然语言理解的关键是语义表示

    不过,以上NLP任务都只是在不断“逼近”对文本的理解,是对文本语义的局部表示。要实现对文本的完整理解,需要建立更完备的语义结构表示空间,这种更完备的语义表示经常成为上述NLP任务进行结构预测的依据。

    在统计学习时代,一般采用符号表示(Symbol-based Representation)方案,即每个词都看做互相独立的符号。例如,词袋模型(Bag-of-Words,BOW)是最常用的文本表示方案,忽略文本中词的出现顺序信息,广泛用于文本分类、信息检索等任务。N-Gram也是基于符号表示的语言模型,与BOW模型相比,将句子中词的出现顺序考虑了进来,曾在机器翻译、文本生成、信息检索等任务中广泛使用。

    到深度学习时代,一般采用分布式表示(Distributed Representation或Embeddings)方案,每个语言单元(包括但不限于字、词、短语、句子、文档)都用一个低维稠密向量来表示它们的语义信息。分布式表示是深度学习和神经网络的关键技术。分布式表示方案是受到了人脑神经机制的启发,基本思想是[2]

    Each entity is represented by a pattern of activity distributed over many computing elements , and each computing element is involved in representing many different entities.

    很大程度上,这种表示方案与索绪尔对语言符号的任意性和结构主义的观点不谋而合。从计算角度来看,NLP很多应用任务就是在判定两个语言单元间的语义相似度,如信息检索是在短语(查询词)和文档之间,文档摘要是在句子和文档之间,分布式表示也为在不同语言单元之间计算语义相似度提供了统一的语义表示基础。

    由于忽略了对词语内部语义或词序信息的考量,基于符号表示的词袋模型或N-Gram失之粗略,也受到数据稀疏问题的影响;基于分布式表示的深度学习虽然极大提升NLP性能,却更多只能作为NLP内部表示,可解释性不够。实际上,也有很多学者提出Semantic Parsing任务,探索各类对文本语义更完整的表示和建模方案,仍未得到令人满意的结果。

    总之,自然语言理解任务的本质是结构预测,关键则是对语言单元的语义表示能力。那么,自然语言理解为什么难呢,这需要我们先看一下,自然语言都有哪些特点。

    三、自然语言有哪些特点

    自然语言是人类在认识世界和改造世界的过程中产生的,归根到底是自然界的产物,因此被称为自然语言。自然语言本身受到人脑语言能力的支配,伴随着人类社会而演化,作为人类使用的最庞杂的符号系统,有很多特点。

    3.1 创新性

    作为人类信息交流的工具,自然语言需要具有强大的创新活力,随时引入对最新概念、表述和意义的表达能力。这方面最常见的就是新词以及旧词新意的出现。例如,有个笑话就是母女二人对“潮”和“晒”产生的不同理解,女儿本意是让母亲帮忙在太阳下晒发潮的被子;而母亲却理解为在朋友圈“晒”女儿的被子让大家看是不是很“潮”。可见,这位母亲大人本人还是很“潮”的,熟练掌握了两个词的最新意思。

    图2 对“潮”和“晒”的不同理解

    人类语言的创新活力伴随着互联网发展和在线交流的日益密切而更加明显。北京大学邵燕君等学者主编的《破壁书》应该是近年这方面的集大成之作,有兴趣的读者可以读下。我理解,这个书名“破壁书”,也算化用《三体》“破壁人”的一个新词。

    图3 解码二次元新词的《破壁书》

    新词和旧词新意等都扩展了人类语言的表意空间,也扩展了自然语言理解进行结构预测的语义空间。而这种扩展,带有较强的随意性,缺少严格的描述信息或足够的数据支持,从而为自然语言理解带来挑战。

    3.2 递归性

    以语言学巨擘乔姆斯基为代表的学者认为,递归性(recursion)是人类语言的最重要的特性[4],这也是乔姆斯基提出转换生成文法的内在动机。虽然,递归性是否为人脑先天具备的语言能力有很多争论,至少从汉语英语两大语言来看,语言表现出的递归性特点不言而喻。

     

    这种递归性,为语言带来精准而强大的表述信息和思想的能力,随便翻翻那些著名的哲学著作,充满着带有复杂递归结构的长句。不过,这种精确表达能力是以理解更加费力为代价的,而且递归性也为一句话带来更多的语义理解的可能性,例如“咬死猎人的狗”,到底是咬死了猎人,还是咬死了狗,至少有两种可能的理解。

     

    也可以看到,一旦句子包含了多层嵌套,对人而言理解起来就变得十分困难,很少有人会用这么复杂的结构说话。例如,下图关于吉尼斯世界纪录的语言套娃现象,读起来就非常费力。所以,在自然语言理解实践中,单纯由于递归性造成的困难并不是那么大。

    图4 递归性带来的语言套娃现象:吉尼斯世界纪录

    3.3 多义性

    自然语言是一个信息传递系统,需要兼顾信号发出者(说话人、作者)和信号接收者(听话人、读者)的效率。如果人类大脑中每个事物都要对应一个独一无二的字词符号,无疑会大幅提高人们的学习、记忆和使用语言的成本。因此,语言中存在大量同音字和一词多义的现象,即一个字或词往往兼顾多个词义,当然,也对应地需要人们根据话语或文本的语境进行消歧处理,才能正确理解其语义。这种多义性,也成为各类语言幽默的主要来源。

    自然语言有不同粒度的语言单元,如字、词、短语、句子、语篇,乃至文档互联形成的万维网。多义性普遍存在于各粒度的语言单元上。例如,上面例子中的“潮”和“晒”两字就有两种意思,“小号”则是典型的一词多义,短语层面如“metal fan”也至少有两个意思。

    图5 “Metal Fan”的不同理解

    句子层面的多义性也不少见,如“能穿多少穿多少”,在夏天和冬天各有截然相反的意思。类似形式的语言笑话还不少:

    单身的原因有两个,一是谁都看不上,二是谁都看不上

    女孩给男朋友打电话:如果你到了,我还没到,你就等着吧;如果我到了,你还没到,你就等着吧

    单身的原因:原来是喜欢一个人,现在是喜欢一个人

    图6 字面意思的“我想开了”

    自然语言作为人们日常交流的主要方式,相信每个人都有在交流中出现误会闹出笑话甚至冲突的经历,很多时候就是由于歧义造成双方理解产生误差导致的。

     3.4 主观性

    即使语言的多义性得到了正确消歧,语言的字面意思得到了准确理解,同样的话语或文本,仍然会导致人们产生不同的理解,引发不同的思绪。这是因为,每个人都是在认识世界和与外界交互的具体过程中习得语言的,所以人们对语言的理解不可避免受到个人经历和认知水平的影响,带有强烈的主观性

    这种主观性反映在很多方面,以作者与读者间的理解差异为例,常说“一千个读者就有一千个哈姆雷特”莎士比亚在写这个剧本时,他心目中恐怕有一个确切的哈姆雷特形象以及他希望表达的思想;但读者在阅读时,则不可避免会受到自身经历和认知的影响,而产生不同的理解。这有如一个正态分布,也许作者要传递的信息就在均值附近,而读者的理解则会各有偏差。这也是为什么,同样一部世界名著,有的人就会引起共鸣,有的人觉得索然无味。

    中文世界也常说,言有尽而意无穷,特别是在诗歌中,往往寥寥数字,作者也许本意有限,而不同读者会产生不同层次的解读。这也是为什么。再如下面融合多种元素的诗歌:无人机系荔枝来,字面意思正如图所画,而读者如果了解杜牧原诗以及广东人容易将ZHI、SHI发音为JI、XI的特点,则更能会心一笑。

    图7 “无人机系荔枝来”

    在人们日常对话交流中,这种主观性比比皆是。例如,同样是说“今天好冷啊”,字面意思没有任何难解之处,但如果是女朋友刚进屋说的,那就得赶紧打开空调;如果是宿舍同学说的,恐怕就要嘲笑他为啥穿这么少了。所以,恋爱关系、外交辞令、商务谈判等领域都是需要清醒洞悉对方“言外之意”的危险地区呀。

    3.5 社会性

    人类是社会动物,社会性既是人类的特性,也深刻反映在人类语言中。语言并非固定不变,而是经历了漫长演化。人类的集体生产和生活,对信息交流和记录产生的需求,不断改造着人类语言。全世界的人类早期聚居于不同大洲和地区,互相隔绝,各自的社会形态和生活特点,深刻地影响了不同语言的产生和演化,产生了现在形态各异的人类语言,例如英语等是典型的拼音语言,而汉语则是音义兼顾语言的代表。现代语言学也是从研究总结不同语言体系的特点而发展起来的。作为语言学的分支,演化语言学就在研究人类语言在发音、字形、词法、句法等多个方面的演化过程,而社会语言学则重在研究社会形态与人类语言之间的互相影响的规律。

    语言系统受到社会发展的塑造。随着互联网和移动设备的广泛应用,人类之间的交流和联系,比以往任何一个时代都更加紧密,这也反映在人类语言的高速演化,新词和旧词新意层出不穷。不同学科的高速发展,也为语言注入大量专业术语。使用不同语言的人们紧密联系,也为语言引入大量音译等形式的外来词。

    语言使用也深刻反映社会形态。人们在不同的社交场合会切换不同的语言风格,如在做公开报告时和在朋友聚会时,语言风格明显不同,庄谐相异。在社交场合,人们也会将有些让人恐惧厌恶或者不雅晦气的概念作为禁忌或避讳词语,进而使用委婉曲折的说法,例如大便改叫出恭或解手,死亡改叫做古归西或见马克思等,中外皆同。

    社会语言学还有一个有趣的话题,是探究语言使用与社会地位之间的关系,曾提出语言协调理论(Language coordination),即不同社会地位的人在相互交流时,地位低的人会从语言风格上适应地位高的人,而地位高的人则不会主动调整自己的语言风格适应别人,这个理论在2012年得到了定量验证 [6]

    最近的定量研究也表明,大规模文本中含有人类社会存在的刻板印象、政治偏见等问题,侧面反映了人类社会对语言的影响 [7]。美国著名认知语言学家莱考夫甚至认为,不同党派的政治家甚至会通过语言使用来影响政治议题的设置 [8]

    四、自然语言理解难在哪

    正是由于其创造性、递归性、多义性、主观性和社会性等特点,既让人类语言具备强大的表达力和生命力,同时呈现出非常复杂而难以捉摸的图景。单从让计算机理解人类语言的角度来考虑,问题难点也许可以归结为如下几个方面。

    4.1 结构语义表示空间构建

    很多学者通过世界、心智和语言的三角形来表述语言的地位,这在索绪尔提出的能指和所指的概念中已初见端倪,哲学中的认识论和语言哲学也是探讨这三者的关系。自然语言理解还没有能力考虑哲学关心的这些问题,不过也能看出,语言作为人类认识世界的产物和工具,必然不是对客观世界的简单映射,而带有人类主观认识的色彩,也受到人脑机能的影响和约束。

    图8 各种语义三角

    让计算机理解人类语言,需要建构结构化的语义表示空间,只有这个空间的语义表示能力能够与人类心智相媲美,才有可能将人类通过语言要表达的意义进行完美表示和解读。同时,这个语义表示空间还要接受客观世界的校正,消除人类认知中存在的偏见和缺陷,让人工智能更好地服务人类社会。

    现在的语义表示方案中,符号表示过于粗略,无法考虑语言符号背后反映的丰富语义信息;而分布式表示虽然具有更强大的表示能力和自由度,但目前只能通过特定任务下的数据学习,只能建立满足特定需求的语义表示,一方面缺少可解释性,鲁棒性差,另一方面通用性和迁移性不足。这些与人脑展现的语义表示能力相比,还有千里之遥。

    未来,需要探索更强大的结构化语义表示空间。例如,是否可以将分布式表示与符号表示相结合,既保留分布式表示的泛化能力,又兼顾模块化和层次化符号表示带来的抽象能力。也许这是下一轮自然语言理解取得革命进展的突破口之一。

    我们课题组正在致力于构建和利用各类型知识图谱的研究,也算是在这个方向上的努力。通过构建常识知识、语言知识、世界知识、认知知识、领域知识等各类型知识图谱,希望建立起更强大的结构化语义表示空间。

    图9 不同类型知识是理解人类语言的钥匙

    4.2 多模态复杂语境的理解

    人类并非孤立地使用语言,语言使用需要考虑其复杂的语境。以语言的多义性为例,存在多义的语言单元,总需要其外部的复杂语境信息进行消歧:字的多义性至少需要所组成的词来消歧;词的歧义性至少需要所在的句子来消歧;句子的意思至少要放在语篇或对话语境中,甚至需要复杂的世界知识来帮助理解。

    图10 语言单元的多义性需要其外部复杂语境信息进行消歧

    这种语境往往是开放的,也是多模态的,如上下文句子的文本信号、对话者的语气等语音信号、所处环境的视觉信号、甚至其他无法名状的各类信息。实际上,很多歧义产生的笑话,在实际语境下并不会让人产生错误理解。例如下图“三餐二楼欢迎新老师生前来就餐”虽然从句意上有“欢迎 新老师 生前 来 就餐”这种理解的可能性,但在这个场景下其实不可能是这个意思。

    图11 “三餐二楼欢迎新老师生前来就餐”

    再如“无线电法国别研究”,虽然从句意上有“无线电 法国 别研究”这种理解的可能性,但作为一本专著的书名,只可能是“无线电法 国别 研究”这种理解。

    图12 《无线电法国别研究》

    只是对于计算机而言,如何有效理解语言所处的开放复杂语境,从而实现对语言语义的准确理解,仍是挑战性难题。这既与尚未建立有效的结构语义表示空间有关,也与计算机还不能像人那样进行跨模态的高效学习和理解有关。如何有效识别语言理解所需的语境信息,并建立跨模态多通道的建模,依然任重道远。

    小结

    这里总结了我对自然语言理解到底难在哪儿的看法。自然语言理解作为人工智能的核心问题,正引起越来越多研究者的兴趣,在各类任务上努力探索,自然语言处理最重要的国际学术年会ACL 2020共有3000多篇投稿,受关注程度可见一斑。

    自然语言理解大致有不同的层次,我总结研究路径可以大致为:字斟句酌,实现句级消歧和精准理解;瞻前顾后,初步实现文本内的复杂语境建模,建立篇章或对话理解;博学多识,引入更多外部知识,实现跨模态更复杂语境的理解;善解人意,考虑语言的社会性和主观性因素,实现更有“人性”的自然语言理解;冥思苦想,将语言作为思想工具,实现从语言理解到语言使用的跨越,实现创作和规划的能力。

    语言是人类文明的象征,是人类智能的集中体现,因此得到非常多学科从不同角度的思考和关注,如语言学中对句法、语义等问题建立的理论,心理语言学对人类语言习得的探讨,语言哲学对语言与世界关系的探讨,认知语言学对隐喻和范畴等问题的探讨,神经语言学对人脑的语言功能的研究,汉语言学界对于汉语流水句、“王冕七岁上死了父亲”等语言现象的研究,等等。这些,都对人类语言不同侧面的特点进行了卓有成效的考察。

    自然语言理解的目标是让计算机掌握人类语言能力,需要充分了解和融合这些对人类语言的已有探索成果,以逼近人类语言的本质,才能更好地设计结构化语义表示空间,实现多模态复杂语境的理解,像人那样智能地理解和使用语言。希望有朝一日,计算机也能读懂#NLP太难了#、#自然语言理解太难了#两个话题标签下的那些话。

    五、结语

    让计算机拥有智能地理解、使用人类语言的能力,是自然语言理解的目标。为了实现这一步目标,需在人工智能技术中融合对人类语言的已有探索成果,从而更接近自然语言的本质。有朝一日,人工智能对自然语言能够有充分恰当的理解时,相信这项技术能够很大程度上方便我们的生活。

    参考文献

    [1] Julia Hirschberg and Christopher D. Manning. Advances in Natural Language Processing. Science, 2015.

    [2] Hinton, Geoffrey E., James L. McClelland, and David E. Rumelhart. Distributed Representations. Pittsburgh, PA: Carnegie-Mellon University, 1984.

    [3] 索绪尔[瑞士]. 普通语言学教程. 北京: 商务印书馆, 1980.

    [4] Marc D. Hauser, Noam Chomsky, and W. Tecumseh Fitch. The Faculty of Language: What Is It, Who Has It, and How Did It Evolve?. Science, 2002: 1569-1579.

    [5] James W. Pennebaker. The Secret Life of Pronouns: What Our Words Say About Us. NY: Bloomsbury, 2011.

    [6] Cristian Danescu-Niculescu-Mizil, Lillian Lee, Bo Pang, Jon Kleinberg. Echoes of power: Language effects and power differences in social interaction. WWW, 2012.

    [7] Aylin Caliskan, Joanna J. Bryson, and Arvind Narayanan. Semantics Derived Automatically from Language Corpora Contain Human-like Biases. Science, 2017.

    [8] 乔治.莱考夫[美]. 别想那只大象. 浙江人民出版社, 2013.

    说个正事哈

    由于微信平台算法改版,公号内容将不再以时间排序展示,如果大家想第一时间看到我们的推送,强烈建议星标我们和给我们多点点【在看】。星标具体步骤为:

    (1)点击页面最上方深度学习自然语言处理”,进入公众号主页。

    (2)点击右上角的小点点,在弹出页面点击“设为星标”,就可以啦。

    感谢支持,比心

    投稿或交流学习,备注:昵称-学校(公司)-方向,进入DL&NLP交流群。

    方向有很多:机器学习、深度学习,python,情感分析、意见挖掘、句法分析、机器翻译、人机对话、知识图谱、语音识别等。

    记得备注呦

    推荐两个专辑给大家:

    专辑 | 李宏毅人类语言处理2020笔记

    专辑 | NLP论文解读

    专辑 | 情感分析

    
    整理不易,还望给个在看!
    
    展开全文
  • 这种主观性反映在很多方面,以作者与读者间的理解差异为例,常说”一千个读者就有一千个哈姆雷特“,莎士比亚在写这个剧本时,他心目中恐怕有一个确切的哈姆雷特形象以及他希望表达的思想;但读者在阅读时,则不可...

    转载来源:https://zhuanlan.zhihu.com/p/96801863
    作者:刘知远

    alt
    在微博和知乎上关注自然语言处理(NLP)技术的朋友,应该都对#NLP太难了#、#自然语言理解太难了#两个话题标签不陌生,其下汇集了各种不仅难煞计算机、甚至让人也发懵的费解句子或歧义引起的笑话。然而,这些例子只是让人直觉计算机理解人类语言太难了,NLP到底难在哪里,还缺少通俗易懂的介绍。最近刚做完会议投稿,这里花些时间总结下我对这个问题的认识,期望对那些感兴趣NLP的同学有些帮助。欢迎批评意见和建议,未来争取不断更新。
    alt

    自然语言理解本质是结构预测

    要搞清楚自然语言理解难在哪儿,先看自然语言理解任务的本质是什么。作为人工智能关注的三大信息类型(语音、视觉、语言)之一,自然语言文本是典型的无结构数据,由语言符号(如汉字)序列构成。要实现对自然语言的表意的理解,需要建立对该无结构文本背后的语义结构的预测。因此,自然语言理解的众多任务,包括并不限于中文分词、词性标注、命名实体识别、共指消解、句法分析、语义角色标注等,都是在对文本序列背后特定语义结构进行预测。例如,中文分词就是在原本没有空格分隔的句子中增加空格或其他标识,将句子中每个词的边界标记出来,相当于添加了某些结构化语义信息到这个文本序列上。
    NLP典型任务:词性标注、命名实体识别、共指消解、句法分析 [1]
    alt
    面向不同NLP任务,人们制定不同的待预测的语义结构空间:文本分类是最简单的情形,即预定义的类别体系,最常见的如情感分类是postive、neutral、negative三类;中文分词是词边界的标记;词性标注是句子中每个词的词性标签(如名词、动词、形容词、副词、连词、介词等);命名实体识别是标记哪些词(或多词)是实体名及其实体类型(如人名、地名、机构名等);共指消解是标记哪些词在做指代以及指代的是前面出现的哪个概念或实体;句法分析则是将句子背后的句法树结构或依存结构预测出来。

    自然语言理解的关键是语义表示

    不过,以上NLP任务都只是在不断“逼近”对文本的理解,是对文本语义的局部表示。要实现对文本的完整理解,需要建立更完备的语义结构表示空间,这种更完备的语义表示经常成为上述NLP任务进行结构预测的依据。

    在统计学习时代,一般采用符号表示(Symbol-based Representation)方案,即每个词都看做互相独立的符号。例如,词袋模型(Bag-of-Words,BOW)是最常用的文本表示方案,忽略文本中词的出现顺序信息,广泛用于文本分类、信息检索等任务。N-Gram也是基于符号表示的语言模型,与BOW模型相比,将句子中词的出现顺序考虑了进来,曾在机器翻译、文本生成、信息检索等任务中广泛使用。

    到深度学习时代,一般采用分布式表示(Distributed Representation或Embeddings)方案,每个语言单元(包括但不限于字、词、短语、句子、文档)都用一个低维稠密向量来表示它们的语义信息。分布式表示是深度学习和神经网络的关键技术。分布式表示方案是受到了人脑神经机制的启发,基本思想是[2]:

    Each entity is represented by a pattern of activity distributed over many computing elements , and each computing element is involved in representing many different entities.

    很大程度上,这种表示方案与索绪尔对语言符号的任意性和结构主义的观点不谋而合。从计算角度来看,NLP很多应用任务就是在判定两个语言单元间的语义相似度,如信息检索是在短语(查询词)和文档之间,文档摘要是在句子和文档之间,分布式表示也为在不同语言单元之间计算语义相似度提供了统一的语义表示基础。

    由于忽略了对词语内部语义或词序信息的考量,基于符号表示的词袋模型或N-Gram失之粗略,也受到数据稀疏问题的影响;基于分布式表示的深度学习虽然极大提升NLP性能,却更多只能作为NLP内部表示,可解释性不够。实际上,也有很多学者提出Semantic Parsing任务,探索各类对文本语义更完整的表示和建模方案,仍未得到令人满意的结果。

    总之,自然语言理解任务的本质是结构预测,关键则是对语言单元的语义表示能力。那么,自然语言理解为什么难呢,这需要我们先看一下,自然语言都有哪些特点。

    自然语言有哪些特点

    自然语言是人类在认识世界和改造世界的过程中产生的,归根到底是自然界的产物,因此被称为自然语言。自然语言本身受到人脑语言能力的支配,伴随着人类社会而演化,作为人类使用的最庞杂的符号系统,有很多特点。

    创新性

    作为人类信息交流的工具,自然语言需要具有强大的创新活力,随时引入对最新概念、表述和意义的表达能力。这方面最常见的就是新词以及旧词新意的出现。例如,有个笑话就是母女二人对“潮”和“晒”产生的不同理解,女儿本意是让母亲帮忙在太阳下晒发潮的被子;而母亲却理解为在朋友圈“晒”女儿的被子让大家看是不是很“潮”。可见,这位母亲大人本人还是很“潮”的,熟练掌握了两个词的的最新意思。
    alt
    人类语言的创新活力伴随着互联网发展和在线交流的日益密切而更加明显。北京大学邵燕君等学者主编的《破壁书》应该是近年这方面的集大成之作,有兴趣的读者可以读下。我理解,这个书名“破壁书”,也算化用《三体》“破壁人”的一个新词。
    alt
    新词和旧词新意等都扩展了人类语言的表意空间,也扩展了自然语言理解进行结构预测的语义空间。而这种扩展,带有较强的随意性,缺少严格的描述信息或足够的数据支持,从而为自然语言理解带来挑战。

    递归性

    以语言学巨擘乔姆斯基为代表的学者认为,递归性(recursion)是人类语言的最重要的特性[4],这也是乔姆斯基提出转换生成文法的内在动机。虽然,递归性是否为人脑先天具备的语言能力有很多争论,至少从汉语英语两大语言来看,语言表现出的递归性特点不言而喻。

    例如最近中美之间出现的这则有意思的表述,就集中反映了语言递归性:S1=”美国干涉中国内政“是一个拥有完整主谓宾结构的句子,被作为另外一个句子S2=”中国 抗议 x的法案“中”法案“的定语x;而S2又被作为了S3=”美国 抗议 y 是在干涉内政“中”抗议“的宾语y。
    递归性带来的语言套娃现象-1: 抗议
    alt
    递归性带来的语言套娃现象-2:吉尼斯世界纪录
    alt
    正是这种递归性,为语言带来精准而强大的表述信息和思想的能力,随便翻翻那些著名的哲学著作,充满着带有复杂递归结构的长句。不过,这种精确表达能力是以理解更加费力为代价的,而且递归性也为一句话带来更多的语义理解的可能性,例如”咬死猎人的狗“,到底是咬死了猎人,还是咬死了狗,至少有两种可能的理解。

    也可以看到,一旦句子包含了多层嵌套,对人而言理解起来就变得十分困难,很少有人会用这么复杂的结构说话。例如,政府部门层层转发通知导致的”通知的通知的通知“的标题,读起来就非常费力。所以,在自然语言理解实践中,单纯由于递归性造成的困难并不是那么大。
    红头文件的语言套娃现象
    alt

    多义性

    自然语言是一个信息传递系统,需要兼顾信号发出者(说话人、作者)和信号接收者(听话人、读者)的效率。如果人类大脑中每个事物都要对应一个独一无二的字词符号,无疑会大幅提高人们的学习、记忆和使用语言的成本。因此,语言中存在大量同音字和一词多义的现象,即一个字或词往往兼顾多个词义,当然,也对应地需要人们根据话语或文本的语境进行消歧处理,才能正确理解其语义。这种多义性,也成为各类语言幽默的主要来源。

    自然语言有不同粒度的语言单元,如字、词、短语、句子、语篇,乃至文档互联形成的万维网。多义性普遍存在于各粒度的语言单元上。例如,上面例子中的”潮“和”晒“两字就有两种意思,”小号“则是典型的一词多义,短语层面如”metal fan“也至少有两个意思。
    alt
    句子层面的多义性也不少见,如”能穿多少穿多少“,在夏天和冬天各有截然相反的意思。类似形式的语言笑话还不少:

    单身的原因有两个,一是谁都看不上,二是谁都看不上*。
    女孩给男朋友打电话:如果你到了,我还没到,你就等着吧;如果我到了,你还没到,你就等着吧
    单身的原因:原来是
    喜欢一个人**,现在是喜欢一个人

    字面意思的”我想开了“
    alt
    自然语言作为人们日常交流的主要方式,相信每个人都有在交流中出现误会闹出笑话甚至冲突的经历,很多时候就是由于歧义造成双方理解产生误差导致的。
    ”你好不好意思啊“还是”你好,不好意思啊“
    alt

    主观性

    即使语言的多义性得到了正确消歧,语言的字面意思得到了准确理解,同样的话语或文本,仍然会导致人们产生不同的理解,引发不同的思绪。这是因为,每个人都是在认识世界和与外界交互的具体过程中习得语言的,所以人们对语言的理解不可避免受到个人经历和认知水平的影响,带有强烈的主观性。

    这种主观性反映在很多方面,以作者与读者间的理解差异为例,常说”一千个读者就有一千个哈姆雷特“,莎士比亚在写这个剧本时,他心目中恐怕有一个确切的哈姆雷特形象以及他希望表达的思想;但读者在阅读时,则不可避免会受到自身经历和认知的影响,而产生不同的理解。这有如一个正态分布,也许作者要传递的信息就在均值附近,而读者的理解则会各有偏差。这也是为什么,同样一部世界名著,有的人就会引起共鸣,有的人觉得索然无味。

    中文世界也常说,言有尽而意无穷,特别是在诗歌中,往往寥寥数字,作者也许本意有限,而不同读者会产生不同层次的解读。这也是为什么。再如下面融合多种元素的诗歌:无人机系荔枝来,字面意思正如图所画,而读者如果了解杜牧原诗以及广东人容易将ZHI、SHI发音为JI、XI的特点,则更能会心一笑。
    alt
    在人们日常对话交流中,这种主观性比比皆是。例如,同样是说”今天好冷啊”,字面意思没有任何难解之处,但如果是女朋友刚进屋说的,那就得赶紧打开空调;如果是宿舍同学说的,恐怕就要嘲笑他为啥穿这么少了。所以,恋爱关系、外交辞令、商务谈判都是需要清醒洞悉对方“言外之意”的危险地区呀。
    alt
    心理语言学等领域的很多研究表明,人的心理状态(如性格等)会反映在语言表达的蛛丝马迹中。对此有兴趣可以阅读美国学者James Pennebaker的相关成果,他甚至构建了一个词典Linguistic Inquiry and Word Count(LIWC)尝试建立人们使用词语与心理状态的对应关系 [5]。
    alt

    社会性

    人类是社会动物,社会性既是人类的特性,也深刻反映在人类语言中。语言并非固定不变,而是经历了漫长演化。人类的集体生产和生活,对信息交流和记录产生的需求,不断改造着人类语言。全世界的人类早期聚居于不同大洲和地区,互相隔绝,各自的社会形态和生活特点,深刻地影响了不同语言的产生和演化,产生了现在形态各异的人类语言,例如英语等是典型的拼音语言,而汉语则是音义兼顾语言的代表。现代语言学也是从研究总结不同语言体系的特点而发展起来的。作为语言学的分支,演化语言学就在研究人类语言在发音、字形、词法、句法等多个方面的演化过程,而社会语言学则重在研究社会形态与人类语言之间的互相影响的规律。

    语言系统受到社会发展的塑造。随着互联网和移动设备的广泛应用,人类之间的交流和联系,比以往任何一个时代都更加紧密,这也反映在人类语言的高速演化,新词和旧词新意层出不穷。不同学科的高速发展,也为语言注入大量专业术语。使用不同语言的人们紧密联系,也为语言引入大量音译等形式的外来词。

    语言使用也深刻反映社会形态。人们在不同的社交场合会切换不同的语言风格,如在做公开报告时和在朋友聚会时,语言风格明显不同,庄谐相异。在社交场合,人们也会将有些让人恐惧厌恶或者不雅晦气的概念作为禁忌或避讳词语,进而使用委婉曲折的说法,例如大便改叫出恭或解手,死亡改叫作古归西或见马克思等,中外皆同。

    社会语言学还有一个有趣的话题,是探究语言使用与社会地位之间的关系,曾提出语言协调理论(Language coordination),即不同社会地位的人在相互交流时,地位低的人会从语言风格上适应地位高的人,而地位高的人则不会主动调整自己的语言风格适应别人,这个理论在2012年得到了定量验证 [6]。

    最近的定量研究也表明,大规模文本中含有人类社会存在的刻板印象、政治偏见等问题,侧面反映了人类社会对语言的影响 [7]。美国著名认知语言学家莱考夫甚至认为,不同党派的政治家甚至会通过语言使用来影响政治议题的设置 [8]。
    alt

    自然语言理解难在哪

    正是由于其创造性、递归性、多义性、主观性和社会性等特点,既让人类语言具备强大的表达力和生命力,同时呈现出非常复杂而难以捉摸的图景。单从让计算机理解人类语言的角度来考虑,问题难点也许可以归结为如下几个方面。

    结构语义表示空间构建

    很多学者通过世界、心智和语言的三角形来表述语言的地位,这在索绪尔提出的能指和所指的概念中已初见端倪,哲学中的认识论和语言哲学也是探讨这三者的关系。自然语言理解还没有能力考虑哲学关心的这些问题,不过也能看出,语言作为人类认识世界的产物和工具,必然不是对客观世界的简单映射,而带有人类主观认识的色彩,也受到人脑机能的影响和约束。
    各种语义三角
    alt
    让计算机理解人类语言,需要建构结构化的语义表示空间,只有这个空间的语义表示能力能够与人类心智相媲美,才有可能将人类通过语言要表达的意义进行完美表示和解读。同时,这个语义表示空间还要接受客观世界的校正,消除人类认知中存在的偏见和缺陷,让人工智能更好地服务人类社会。

    现在的语义表示方案中,符号表示过于粗略,无法考虑语言符号背后反映的丰富语义信息;而分布式表示虽然具有更强大的表示能力和自由度,但目前只能通过特定任务下的数据学习,只能建立满足特定需求的语义表示,一方面缺少可解释性,鲁棒性差,另一方面通用性和迁移性不足。这些与人脑展现的语义表示能力相比,还有千里之遥。

    未来,需要探索更强大的结构化语义表示空间。例如,是否可以将分布式表示与符号表示相结合,既保留分布式表示的泛化能力,又兼顾模块化和层次化符号表示带来的抽象能力。也许这是下一轮自然语言理解取得革命进展的突破口之一。

    我们课题组正在致力于构建和利用各类型知识图谱的研究,也算是在这个方向上的努力。通过构建常识知识、语言知识、世界知识、认知知识、领域知识等各类型知识图谱,希望建立起更强大的结构化语义表示空间。
    不同类型知识是理解人类语言的钥匙
    alt

    多模态复杂语境的理解

    人类并非孤立地使用语言,语言使用需要考虑其复杂的语境。以语言的多义性为例,存在多义的语言单元,总需要其外部的复杂语境信息进行消歧:字的多义性至少需要所组成的词来消歧;词的歧义性至少需要所在的句子来消歧;句子的意思至少要放在语篇或对话语境中,甚至需要复杂的世界知识来帮助理解。
    语言单元的多义性需要其外部复杂语境信息进行消歧
    alt
    这种语境往往是开放的,也是多模态的,如上下文句子的文本信号、对话者的语气等语音信号、所处环境的视觉信号、甚至其他无法名状的各类信息。实际上,很多歧义产生的笑话,在实际语境下并不会让人产生错误理解。例如下图”三餐二楼欢迎新老师生前来就餐“,虽然从句意上有”欢迎 新老师 生前 来 就餐“这种理解的可能性,但在这个场景下其实不可能是这个意思。
    alt
    再如”无线电法国别研究“,虽然从句意上有”无线电 法国 别研究“这种理解的可能性,但作为一本专著的书名,只可能是”无线电法 国别 研究“这种理解。
    alt
    只是对于计算机而言,如何有效理解语言所处的开放复杂语境,从而实现对语言语义的准确理解,仍是挑战性难题。这既与尚未建立有效的结构语义表示空间有关,也与计算机还不能像人那样进行跨模态的高效学习和理解有关。如何有效识别语言理解所需的语境信息,并建立跨模态多通道的建模,依然任重道远。

    小结

    这里总结了我对自然语言理解到底难在哪儿的看法。自然语言理解作为人工智能的核心问题,正引起越来越多研究者的兴趣,在各类任务上努力探索,自然语言处理最重要的国际学术年会ACL 2020共有3000多篇投稿,受关注程度可见一斑。

    自然语言理解大致有不同的层次,我总结研究路径可以大致为:字斟句酌,实现句级消歧和精准理解;瞻前顾后,初步实现文本内的复杂语境建模,建立篇章或对话理解;博学多识,引入更多外部知识,实现跨模态更复杂语境的理解;善解人意,考虑语言的社会性和主观性因素,实现更有”人性“的自然语言理解;冥思苦想,将语言作为思想工具,实现从语言理解到语言使用的跨越,实现创作和规划的能力。

    语言是人类文明的象征,是人类智能的集中体现,因此得到非常多学科从不同角度的思考和关注,如语言学中对句法、语义等问题建立的理论,心理语言学对人类语言习得的探讨,语言哲学对语言与世界关系的探讨,认知语言学对隐喻和范畴等问题的探讨,神经语言学对人脑的语言功能的研究,汉语言学界对于汉语流水句、”王冕七岁上死了父亲“等语言现象的研究,等等。这些,都对人类语言不同侧面的特点进行了卓有成效的考察。

    自然语言理解的目标是让计算机掌握人类语言能力,需要充分了解和融合这些对人类语言的已有探索成果,以逼近人类语言的本质,才能更好地设计结构化语义表示空间,实现多模态复杂语境的理解,像人那样智能地理解和使用语言。希望有朝一日,计算机也能读懂#NLP太难了#、#自然语言理解太难了#两个话题标签下的那些话。
    alt

    参考文献

    [1] Julia Hirschberg and Christopher D. Manning. Advances in Natural Language Processing. Science, 2015.

    [2] Hinton, Geoffrey E., James L. McClelland, and David E. Rumelhart. Distributed Representations. Pittsburgh, PA: Carnegie-Mellon University, 1984.

    [3] 索绪尔[瑞士]. 普通语言学教程. 北京: 商务印书馆, 1980.

    [4] Marc D. Hauser, Noam Chomsky, and W. Tecumseh Fitch. The Faculty of Language: What Is It, Who Has It, and How Did It Evolve?. Science, 2002: 1569-1579.

    [5] James W. Pennebaker. The Secret Life of Pronouns: What Our Words Say About Us. NY: Bloomsbury, 2011.

    [6] Cristian Danescu-Niculescu-Mizil, Lillian Lee, Bo Pang, Jon Kleinberg. Echoes of power: Language effects and power differences in social interaction. WWW, 2012.

    [7] Aylin Caliskan, Joanna J. Bryson, and Arvind Narayanan. Semantics Derived Automatically from Language Corpora Contain Human-like Biases. Science, 2017.

    [8] 乔治.莱考夫[美]. 别想那只大象. 浙江人民出版社, 2013.

    展开全文
  • 自然语言理解(NLU)难在哪儿?

    千次阅读 2020-02-24 16:26:29
    这种主观性反映在很多方面,以作者与读者间的理解差异为例,常说”一千个读者就有一千个哈姆雷特“,莎士比亚在写这个剧本时,他心目中恐怕有一个确切的哈姆雷特形象以及他希望表达的思想;但读者在阅读时,则不可...

    文章作者:刘知远 清华大学 副教授

    自然语言理解本质是结构预测

    要搞清楚自然语言理解难在哪儿,先看自然语言理解任务的本质是什么。作为人工智能关注的三大信息类型(语音、视觉、语言)之一,自然语言文本是典型的无结构数据,由语言符号(如汉字)序列构成。要实现对自然语言的表意的理解,需要建立对该无结构文本背后的语义结构的预测。因此,自然语言理解的众多任务,包括并不限于中文分词、词性标注、命名实体识别、共指消解、句法分析、语义角色标注等,都是在对文本序列背后特定语义结构进行预测。例如,中文分词就是在原本没有空格分隔的句子中增加空格或其他标识,将句子中每个词的边界标记出来,相当于添加了某些结构化语义信息到这个文本序列上。

    面向不同NLP任务,人们制定不同的待预测的语义结构空间:文本分类是最简单的情形,即预定义的类别体系,最常见的如情感分类是postive、neutral、negative三类;中文分词是词边界的标记;词性标注是句子中每个词的词性标签(如名词、动词、形容词、副词、连词、介词等);命名实体识别是标记哪些词(或多词)是实体名及其实体类型(如人名、地名、机构名等);共指消解是标记哪些词在做指代以及指代的是前面出现的哪个概念或实体;句法分析则是将句子背后的句法树结构或依存结构预测出来。

    自然语言理解的关键是语义表示

    不过,以上NLP任务都只是在不断“逼近”对文本的理解,是对文本语义的局部表示。要实现对文本的完整理解,需要建立更完备的语义结构表示空间,这种更完备的语义表示经常成为上述NLP任务进行结构预测的依据。

    在统计学习时代,一般采用符号表示(Symbol-based Representation)方案,即每个词都看做互相独立的符号。例如,词袋模型(Bag-of-Words,BOW)是最常用的文本表示方案,忽略文本中词的出现顺序信息,广泛用于文本分类、信息检索等任务。N-Gram也是基于符号表示的语言模型,与BOW模型相比,将句子中词的出现顺序考虑了进来,曾在机器翻译、文本生成、信息检索等任务中广泛使用。

    到深度学习时代,一般采用分布式表示(Distributed Representation或Embeddings)方案,每个语言单元(包括但不限于字、词、短语、句子、文档)都用一个低维稠密向量来表示它们的语义信息。分布式表示是深度学习和神经网络的关键技术。分布式表示方案是受到了人脑神经机制的启发,基本思想是[2]:

    Each entity is represented by a pattern of activity distributed over many computing elements , and each computing element is involved in representing many different entities.

    很大程度上,这种表示方案与索绪尔对语言符号的任意性和结构主义的观点不谋而合。从计算角度来看,NLP很多应用任务就是在判定两个语言单元间的语义相似度,如信息检索是在短语(查询词)和文档之间,文档摘要是在句子和文档之间,分布式表示也为在不同语言单元之间计算语义相似度提供了统一的语义表示基础。

    由于忽略了对词语内部语义或词序信息的考量,基于符号表示的词袋模型或N-Gram失之粗略,也受到数据稀疏问题的影响;基于分布式表示的深度学习虽然极大提升NLP性能,却更多只能作为NLP内部表示,可解释性不够。实际上,也有很多学者提出Semantic Parsing任务,探索各类对文本语义更完整的表示和建模方案,仍未得到令人满意的结果。

    总之,自然语言理解任务的本质是结构预测,关键则是对语言单元的语义表示能力。那么,自然语言理解为什么难呢,这需要我们先看一下,自然语言都有哪些特点。

    自然语言有哪些特点

    自然语言是人类在认识世界和改造世界的过程中产生的,归根到底是自然界的产物,因此被称为自然语言。自然语言本身受到人脑语言能力的支配,伴随着人类社会而演化,作为人类使用的最庞杂的符号系统,有很多特点。

    创新性

    作为人类信息交流的工具,自然语言需要具有强大的创新活力,随时引入对最新概念、表述和意义的表达能力。这方面最常见的就是新词以及旧词新意的出现。例如,有个笑话就是母女二人对“潮”和“晒”产生的不同理解,女儿本意是让母亲帮忙在太阳下晒发潮的被子;而母亲却理解为在朋友圈“晒”女儿的被子让大家看是不是很“潮”。可见,这位母亲大人本人还是很“潮”的,熟练掌握了两个词的的最新意思。

    人类语言的创新活力伴随着互联网发展和在线交流的日益密切而更加明显。北京大学邵燕君等学者主编的《破壁书》应该是近年这方面的集大成之作,有兴趣的读者可以读下。我理解,这个书名“破壁书”,也算化用《三体》“破壁人”的一个新词。

    新词和旧词新意等都扩展了人类语言的表意空间,也扩展了自然语言理解进行结构预测的语义空间。而这种扩展,带有较强的随意性,缺少严格的描述信息或足够的数据支持,从而为自然语言理解带来挑战。

    递归性

    以语言学巨擘乔姆斯基为代表的学者认为,递归性(recursion)是人类语言的最重要的特性[4],这也是乔姆斯基提出转换生成文法的内在动机。虽然,递归性是否为人脑先天具备的语言能力有很多争论,至少从汉语英语两大语言来看,语言表现出的递归性特点不言而喻。

    例如最近中美之间出现的这则有意思的表述,就集中反映了语言递归性:S1=”美国干涉中国内政“是一个拥有完整主谓宾结构的句子,被作为另外一个句子S2=”中国 抗议 x的法案“中”法案“的定语x;而S2又被作为了S3=”美国 抗议 y 是在干涉内政“中”抗议“的宾语y。

     

    正是这种递归性,为语言带来精准而强大的表述信息和思想的能力,随便翻翻那些著名的哲学著作,充满着带有复杂递归结构的长句。不过,这种精确表达能力是以理解更加费力为代价的,而且递归性也为一句话带来更多的语义理解的可能性,例如”咬死猎人的狗“,到底是咬死了猎人,还是咬死了狗,至少有两种可能的理解。

    也可以看到,一旦句子包含了多层嵌套,对人而言理解起来就变得十分困难,很少有人会用这么复杂的结构说话。例如,政府部门层层转发通知导致的”通知的通知的通知“的标题,读起来就非常费力。所以,在自然语言理解实践中,单纯由于递归性造成的困难并不是那么大。

     

    多义性

    自然语言是一个信息传递系统,需要兼顾信号发出者(说话人、作者)和信号接收者(听话人、读者)的效率。如果人类大脑中每个事物都要对应一个独一无二的字词符号,无疑会大幅提高人们的学习、记忆和使用语言的成本。因此,语言中存在大量同音字和一词多义的现象,即一个字或词往往兼顾多个词义,当然,也对应地需要人们根据话语或文本的语境进行消歧处理,才能正确理解其语义。这种多义性,也成为各类语言幽默的主要来源。

    自然语言有不同粒度的语言单元,如字、词、短语、句子、语篇,乃至文档互联形成的万维网。多义性普遍存在于各粒度的语言单元上。例如,上面例子中的”潮“和”晒“两字就有两种意思,”小号“则是典型的一词多义,短语层面如”metal fan“也至少有两个意思。

     

    句子层面的多义性也不少见,如”能穿多少穿多少“,在夏天和冬天各有截然相反的意思。类似形式的语言笑话还不少:

    单身的原因有两个,一是谁都看不上,二是谁都看不上。
    女孩给男朋友打电话:如果你到了,我还没到,你就等着吧;如果我到了,你还没到,你就等着吧。
    单身的原因:原来是喜欢一个人,现在是喜欢一个人。

     

    自然语言作为人们日常交流的主要方式,相信每个人都有在交流中出现误会闹出笑话甚至冲突的经历,很多时候就是由于歧义造成双方理解产生误差导致的。

    主观性

    即使语言的多义性得到了正确消歧,语言的字面意思得到了准确理解,同样的话语或文本,仍然会导致人们产生不同的理解,引发不同的思绪。这是因为,每个人都是在认识世界和与外界交互的具体过程中习得语言的,所以人们对语言的理解不可避免受到个人经历和认知水平的影响,带有强烈的主观性

    这种主观性反映在很多方面,以作者与读者间的理解差异为例,常说”一千个读者就有一千个哈姆雷特“,莎士比亚在写这个剧本时,他心目中恐怕有一个确切的哈姆雷特形象以及他希望表达的思想;但读者在阅读时,则不可避免会受到自身经历和认知的影响,而产生不同的理解。这有如一个正态分布,也许作者要传递的信息就在均值附近,而读者的理解则会各有偏差。这也是为什么,同样一部世界名著,有的人就会引起共鸣,有的人觉得索然无味。

    中文世界也常说,言有尽而意无穷,特别是在诗歌中,往往寥寥数字,作者也许本意有限,而不同读者会产生不同层次的解读。这也是为什么。再如下面融合多种元素的诗歌:无人机系荔枝来,字面意思正如图所画,而读者如果了解杜牧原诗以及广东人容易将ZHI、SHI发音为JI、XI的特点,则更能会心一笑。

    在人们日常对话交流中,这种主观性比比皆是。例如,同样是说”今天好冷啊”,字面意思没有任何难解之处,但如果是女朋友刚进屋说的,那就得赶紧打开空调;如果是宿舍同学说的,恐怕就要嘲笑他为啥穿这么少了。所以,恋爱关系、外交辞令、商务谈判都是需要清醒洞悉对方“言外之意”的危险地区呀。

    心理语言学等领域的很多研究表明,人的心理状态(如性格等)会反映在语言表达的蛛丝马迹中。对此有兴趣可以阅读美国学者James Pennebaker的相关成果,他甚至构建了一个词典Linguistic Inquiry and Word Count(LIWC)尝试建立人们使用词语与心理状态的对应关系 [5]。

    社会性

    人类是社会动物,社会性既是人类的特性,也深刻反映在人类语言中。语言并非固定不变,而是经历了漫长演化。人类的集体生产和生活,对信息交流和记录产生的需求,不断改造着人类语言。全世界的人类早期聚居于不同大洲和地区,互相隔绝,各自的社会形态和生活特点,深刻地影响了不同语言的产生和演化,产生了现在形态各异的人类语言,例如英语等是典型的拼音语言,而汉语则是音义兼顾语言的代表。现代语言学也是从研究总结不同语言体系的特点而发展起来的。作为语言学的分支,演化语言学就在研究人类语言在发音、字形、词法、句法等多个方面的演化过程,而社会语言学则重在研究社会形态与人类语言之间的互相影响的规律。

    语言系统受到社会发展的塑造。随着互联网和移动设备的广泛应用,人类之间的交流和联系,比以往任何一个时代都更加紧密,这也反映在人类语言的高速演化,新词和旧词新意层出不穷。不同学科的高速发展,也为语言注入大量专业术语。使用不同语言的人们紧密联系,也为语言引入大量音译等形式的外来词。

    语言使用也深刻反映社会形态。人们在不同的社交场合会切换不同的语言风格,如在做公开报告时和在朋友聚会时,语言风格明显不同,庄谐相异。在社交场合,人们也会将有些让人恐惧厌恶或者不雅晦气的概念作为禁忌或避讳词语,进而使用委婉曲折的说法,例如大便改叫出恭或解手,死亡改叫作古归西或见马克思等,中外皆同。

    社会语言学还有一个有趣的话题,是探究语言使用与社会地位之间的关系,曾提出语言协调理论(Language coordination),即不同社会地位的人在相互交流时,地位低的人会从语言风格上适应地位高的人,而地位高的人则不会主动调整自己的语言风格适应别人,这个理论在2012年得到了定量验证 [6]。

    最近的定量研究也表明,大规模文本中含有人类社会存在的刻板印象、政治偏见等问题,侧面反映了人类社会对语言的影响 [7]。美国著名认知语言学家莱考夫甚至认为,不同党派的政治家甚至会通过语言使用来影响政治议题的设置 [8]。

    自然语言理解难在哪

    正是由于其创造性、递归性、多义性、主观性和社会性等特点,既让人类语言具备强大的表达力和生命力,同时呈现出非常复杂而难以捉摸的图景。单从让计算机理解人类语言的角度来考虑,问题难点也许可以归结为如下几个方面。

    结构语义表示空间构建

    很多学者通过世界、心智和语言的三角形来表述语言的地位,这在索绪尔提出的能指和所指的概念中已初见端倪,哲学中的认识论和语言哲学也是探讨这三者的关系。自然语言理解还没有能力考虑哲学关心的这些问题,不过也能看出,语言作为人类认识世界的产物和工具,必然不是对客观世界的简单映射,而带有人类主观认识的色彩,也受到人脑机能的影响和约束。

    让计算机理解人类语言,需要建构结构化的语义表示空间,只有这个空间的语义表示能力能够与人类心智相媲美,才有可能将人类通过语言要表达的意义进行完美表示和解读。同时,这个语义表示空间还要接受客观世界的校正,消除人类认知中存在的偏见和缺陷,让人工智能更好地服务人类社会。

    现在的语义表示方案中,符号表示过于粗略,无法考虑语言符号背后反映的丰富语义信息;而分布式表示虽然具有更强大的表示能力和自由度,但目前只能通过特定任务下的数据学习,只能建立满足特定需求的语义表示,一方面缺少可解释性,鲁棒性差,另一方面通用性和迁移性不足。这些与人脑展现的语义表示能力相比,还有千里之遥。

    未来,需要探索更强大的结构化语义表示空间。例如,是否可以将分布式表示与符号表示相结合,既保留分布式表示的泛化能力,又兼顾模块化和层次化符号表示带来的抽象能力。也许这是下一轮自然语言理解取得革命进展的突破口之一。

    我们课题组正在致力于构建和利用各类型知识图谱的研究,也算是在这个方向上的努力。通过构建常识知识、语言知识、世界知识、认知知识、领域知识等各类型知识图谱,希望建立起更强大的结构化语义表示空间。

     

    多模态复杂语境的理解

    人类并非孤立地使用语言,语言使用需要考虑其复杂的语境。以语言的多义性为例,存在多义的语言单元,总需要其外部的复杂语境信息进行消歧:字的多义性至少需要所组成的词来消歧;词的歧义性至少需要所在的句子来消歧;句子的意思至少要放在语篇或对话语境中,甚至需要复杂的世界知识来帮助理解。

    这种语境往往是开放的,也是多模态的,如上下文句子的文本信号、对话者的语气等语音信号、所处环境的视觉信号、甚至其他无法名状的各类信息。实际上,很多歧义产生的笑话,在实际语境下并不会让人产生错误理解。例如下图”三餐二楼欢迎新老师生前来就餐“,虽然从句意上有”欢迎 新老师 生前 来 就餐“这种理解的可能性,但在这个场景下其实不可能是这个意思。

     

    再如”无线电法国别研究“,虽然从句意上有”无线电 法国 别研究“这种理解的可能性,但作为一本专著的书名,只可能是”无线电法 国别 研究“这种理解。

    只是对于计算机而言,如何有效理解语言所处的开放复杂语境,从而实现对语言语义的准确理解,仍是挑战性难题。这既与尚未建立有效的结构语义表示空间有关,也与计算机还不能像人那样进行跨模态的高效学习和理解有关。如何有效识别语言理解所需的语境信息,并建立跨模态多通道的建模,依然任重道远。

    小结

    这里总结了我对自然语言理解到底难在哪儿的看法。自然语言理解作为人工智能的核心问题,正引起越来越多研究者的兴趣,在各类任务上努力探索,自然语言处理最重要的国际学术年会ACL 2020共有3000多篇投稿,受关注程度可见一斑。

    自然语言理解大致有不同的层次,我总结研究路径可以大致为:字斟句酌,实现句级消歧和精准理解瞻前顾后,初步实现文本内的复杂语境建模,建立篇章或对话理解博学多识,引入更多外部知识,实现跨模态更复杂语境的理解善解人意,考虑语言的社会性和主观性因素,实现更有”人性“的自然语言理解冥思苦想,将语言作为思想工具,实现从语言理解到语言使用的跨越,实现创作和规划的能力

    语言是人类文明的象征,是人类智能的集中体现,因此得到非常多学科从不同角度的思考和关注,如语言学中对句法、语义等问题建立的理论,心理语言学对人类语言习得的探讨,语言哲学对语言与世界关系的探讨,认知语言学对隐喻和范畴等问题的探讨,神经语言学对人脑的语言功能的研究,汉语言学界对于汉语流水句、”王冕七岁上死了父亲“等语言现象的研究,等等。这些,都对人类语言不同侧面的特点进行了卓有成效的考察。

    自然语言理解的目标是让计算机掌握人类语言能力,需要充分了解和融合这些对人类语言的已有探索成果,以逼近人类语言的本质,才能更好地设计结构化语义表示空间,实现多模态复杂语境的理解,像人那样智能地理解和使用语言。希望有朝一日,计算机也能读懂#NLP太难了#、#自然语言理解太难了#两个话题标签下的那些话。

    展开全文
  • 这种主观性反映在很多方面,以作者与读者间的理解差异为例,常说”一千个读者就有一千个哈姆雷特“,莎士比亚在写这个剧本时,他心目中恐怕有一个确切的哈姆雷特形象以及他希望表达的思想;但读者在阅读时,则不可...
  • 然而,弗吉尼亚伍尔夫在谈到自己阅读哈姆雷特的体会时曾说, 她少年时就读哈姆雷特 ,后来又多次阅读,却是常读常新,人生的不同阶段对这部经典的 理解都有不同,心中的哈姆雷特形象也有变化。关于阅读,中国古人...
  • 时至今日,NLP怎么还这么难!

    千次阅读 2019-12-23 19:18:54
    这种主观性反映在很多方面,以作者与读者间的理解差异为例,常说”一千个读者就有一千个哈姆雷特“,莎士比亚在写这个剧本时,他心目中恐怕有一个确切的哈姆雷特形象以及他希望表达的思想;但读者在阅读时,则不可...
  • 这种主观性反映在很多方面,以作者与读者间的理解差异为例,常说”一千个读者就有一千个哈姆雷特“,莎士比亚在写这个剧本时,他心目中恐怕有一个确切的哈姆雷特形象以及他希望表达的思想;但读者在阅读时,则不可...
  • 哈洛尔德游记》中的同名主人公是( ) a贵族社会的叛逆者形象 b资产者形象 c革命者形象 d多余人形象 52、《基度山伯爵》的作者是( ) a小仲马 b大仲马 c夏多布里昂 d缪塞 53、对话体小说《拉摩的侄儿》的作者是( ...
  • 前言 特别指出:这次分享主要是希望起到抛砖引玉的作用,让大家更多的参与到云原生这个话题的...每个人对云原生的理解都可能不同,就如莎士比亚所说:一千个人眼中有一千个哈姆雷特。 我们来快速回顾...
  • 这幅漫画形象地表现了如何通过可视化的交流形式逐渐在多个角色之间达成共识的过程。正如前面所述,在团队交流中,每个人都可能成为“盲人摸象的演员”。怎么避免认知偏差?很简单,就是要用可视化的方式表现出来,...
  • 【企业数字化转型】中台战略

    千次阅读 2020-01-05 17:38:00
    “一千个读者就有一千个哈姆雷特”,业内提法很多。听听前阿里副总裁、业务平台负责人玄难说说中台是什么: “中台是一个基础的理念和架构,我们要把所有的基础服务用中台的思路建设,进行联通,共同支持上端的业务...
  • MongoDB极简教程

    2020-02-16 16:33:00
    )的图来更加形象生动的说明一下: 这很容易理解,但是问题在于: 我们为什么要引入新的概念呢? (也就是为什么我们要把“表”替换成“集合”,“行”替换成“文档”,“列”替换成“域”呢?)原因在于,其实在 ...
  • 你看,这件事对大家来说就是常说的,“一千个人眼中有一千个哈姆雷特”。 不过这也正常,毕竟像初级、中级、高级这种高度抽象的词汇,想要得到一个可描述的定义与人交流,必然需要夹杂着个人的主观因素。 但是很多...
  • 我们通过具体的形象来思考。 故事启示:任何概念性的、抽象的或者一般化的东西都必须在主人公身上具体有形的呈现。 名家经验:给追求进步不想做无谓耽搁的年轻作者的建议:不要写泛泛的人类,要写一个具体的人...
  • 这是传统非云原生应用的一个形象表示:在业务需求的代码实现之后,包裹厚厚的一层非业务需求的实现(当然以类库和框架的形式出现时代码量没这么夸张)。 \n \n 而云的出现,可以在提供各种资源之外,还提供各种能力...
  • 真真假假

    2018-12-23 23:59:51
    莎士比亚说,一千个人眼中有一千个哈姆雷特,对我来说,《大话》带给我的西游反响是丝毫不亚于《西游记》的,而与时俱进的过程中,不可否认,《西游记》是伴随我们这一代人成长的电视剧,老少皆宜,而至于真假,其实...
  • 如何运用 DDD 解决团队协作与沟通问题?

    千次阅读 多人点赞 2018-07-18 16:40:58
    原始的需求是“哈姆雷特”,每个人心中都有一个“哈姆雷特”,如果没有正确的沟通与交流方式,团队达成的所谓“需求一致”不过是一种假象罢了。 由于每个人获得的信息不同,知识背景不同,又因为角色不同导致设想...
  • 鹿晗一改往日可爱弟弟形象跳舞有力,王嘉尔真的超乎想象他原来跳舞这么棒,宋茜女士太爱你了,以后演一个舞者这才是适合你的,气场全开 这个节目还挺好玩的,挺精彩的。话说我一直以为宋茜是跳民族舞的,却不曾想还...
  • 顶端的部分,是目前由人工翻译来完成的,包括产品资料、营销文案、品牌形象、法务合同等。 底端的部分,是目前由机器翻译来完成的,大多数是由用户发起的公开网页浏览等。 中间的部分,比如实时支持和FAQ、...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 590
精华内容 236
关键字:

哈姆雷特形象