精华内容
下载资源
问答
  • 语义依存分析
    千次阅读
    2019-01-08 11:34:04

    语义依存

    语义依存分析 (Semantic Dependency Parsing, SDP),分析句子各个语言单位之间的语义关联,并将语义关联以依存结构呈现。 使用语义依存刻画句子语义,好处在于不需要去抽象词汇本身,而是通过词汇所承受的语义框架来描述该词汇,而论元的数目相对词汇来说数量总是少了很多的。语义依存分析目标是跨越句子表层句法结构的束缚,直接获取深层的语义信息。 例如以下三个句子,用不同的表达方式表达了同一个语义信息,即张三实施了一个吃的动作,吃的动作是对苹果实施的。

                                             

    语义依存分析不受句法结构的影响,将具有直接语义关联的语言单元直接连接依存弧并标记上相应的语义关系。这也是语义依存分析与句法依存分析的重要区别。

                                  

    如上例对比了句法依存和语义分析的结果,可以看到两者存在两个显著差别。第一,句法依存某种程度上更重视非实词(如介词)在句子结构分析中的作用,而语义依存更倾向在具有直接语义关联的实词之间建立直接依存弧,非实词作为辅助标记存在。 第二,两者依存弧上标记的语义关系完全不同,语义依存关系是由论元关系引申归纳而来,可以用于回答问题,如我在哪里喝汤,我在用什么喝汤,谁在喝汤,我在喝什么。但是句法依存却没有这个能力。

    语义依存与语义角色标注之间也存在关联,语义角色标注只关注句子主要谓词的论元及谓词与论元之间的关系,而语义依存不仅关注谓词与论元的关系,还关注谓词与谓词之间、论元与论元之间、论元内部的语义关系。语义依存对句子语义信息的刻画更加完整全面。

    语义依存关系分为三类,分别是主要语义角色,每一种语义角色对应存在一个嵌套关系和反关系;事件关系,描述两个事件间的关系;语义依附标记,标记说话者语气等依附性信息。

    关系类型TagDescriptionExample
    施事关系AgtAgent我送她一束花 (我 <-- 送)
    当事关系ExpExperiencer我跑得快 (跑 --> 我)
    感事关系AftAffection我思念家乡 (思念 --> 我)
    领事关系PossPossessor他有一本好读 (他 <-- 有)
    受事关系PatPatient他打了小明 (打 --> 小明)
    客事关系ContContent他听到鞭炮声 (听 --> 鞭炮声)
    成事关系ProdProduct他写了本小说 (写 --> 小说)
    源事关系OrigOrigin我军缴获敌人四辆坦克 (缴获 --> 坦克)
    涉事关系DatvDative他告诉我个秘密 ( 告诉 --> 我 )
    比较角色CompComitative他成绩比我好 (他 --> 我)
    属事角色BelgBelongings老赵有俩女儿 (老赵 <-- 有)
    类事角色ClasClassification他是中学生 (是 --> 中学生)
    依据角色AccdAccording本庭依法宣判 (依法 <-- 宣判)
    缘故角色ReasReason他在愁女儿婚事 (愁 --> 婚事)
    意图角色IntIntention为了金牌他拼命努力 (金牌 <-- 努力)
    结局角色ConsConsequence他跑了满头大汗 (跑 --> 满头大汗)
    方式角色MannManner球慢慢滚进空门 (慢慢 <-- 滚)
    工具角色ToolTool她用砂锅熬粥 (砂锅 <-- 熬粥)
    材料角色MaltMaterial她用小米熬粥 (小米 <-- 熬粥)
    时间角色TimeTime唐朝有个李白 (唐朝 <-- 有)
    空间角色LocLocation这房子朝南 (朝 --> 南)
    历程角色ProcProcess火车正在过长江大桥 (过 --> 大桥)
    趋向角色DirDirection部队奔向南方 (奔 --> 南)
    范围角色ScoScope产品应该比质量 (比 --> 质量)
    数量角色QuanQuantity一年有365天 (有 --> 天)
    数量数组QpQuantity-phrase三本书 (三 --> 本)
    频率角色FreqFrequency他每天看书 (每天 <-- 看)
    顺序角色SeqSequence他跑第一 (跑 --> 第一)
    描写角色Desc(Feat)Description他长得胖 (长 --> 胖)
    宿主角色HostHost住房面积 (住房 <-- 面积)
    名字修饰角色NmodName-modifier果戈里大街 (果戈里 <-- 大街)
    时间修饰角色TmodTime-modifier星期一上午 (星期一 <-- 上午)
    反角色r + main role 打篮球的小姑娘 (打篮球 <-- 姑娘)
    嵌套角色d + main role 爷爷看见孙子在跑 (看见 --> 跑)
    并列关系eCooevent Coordination我喜欢唱歌和跳舞 (唱歌 --> 跳舞)
    选择关系eSeltevent Selection您是喝茶还是喝咖啡 (茶 --> 咖啡)
    等同关系eEquevent Equivalent他们三个人一起走 (他们 --> 三个人)
    先行关系ePrecevent Precedent首先,先
    顺承关系eSuccevent Successor随后,然后
    递进关系eProgevent Progression况且,并且
    转折关系eAdvtevent adversative却,然而
    原因关系eCauevent Cause因为,既然
    结果关系eResuevent Result因此,以致
    推论关系eInfevent Inference才,则
    条件关系eCondevent Condition只要,除非
    假设关系eSuppevent Supposition如果,要是
    让步关系eConcevent Concession纵使,哪怕
    手段关系eMetdevent Method 
    目的关系ePurpevent Purpose为了,以便
    割舍关系eAbanevent Abandonment与其,也不
    选取关系ePrefevent Preference不如,宁愿
    总括关系eSumevent Summary总而言之
    分叙关系eRectevent Recount例如,比方说
    连词标记mConjRecount Marker和,或
    的字标记mAuxAuxiliary的,地,得
    介词标记mPrepPreposition把,被
    语气标记mToneTone吗,呢
    时间标记mTimeTime才,曾经
    范围标记mRangRange都,到处
    程度标记mDegrDegree很,稍微
    频率标记mFreqFrequency Marker再,常常
    趋向标记mDirDirection Marker上去,下来
    插入语标记mParsParenthesis Marker总的来说,众所周知
    否定标记mNegNegation Marker不,没,未
    情态标记mModModal Marker幸亏,会,能
    标点标记mPuncPunctuation Marker,。!
    重复标记mPeptRepetition Marker走啊走 (走 --> 走)
    多数标记mMajMajority Marker们,等
    实词虚化标记mVainVain Marker 
    离合标记mSepaSeperation Marker吃了个饭 (吃 --> 饭) 洗了个澡 (洗 --> 澡)
    根节点RootRoot全句核心节点

    语义依存分析参考官网:http://www.ltp-cloud.com/intro#sdp_how

    更多相关内容
  • 汉语语义依存分析

    2021-02-24 01:10:17
    语义依存分析建立在依存理论基础上,是一种深层的语义分析理论。同时融合了句子的依存结构和语义信息,更好地表达了句子的结构与隐含信息。在许多高层次的研究和应用上,语义依存分析都大有用武之地。语义依存分析主要...
  • 语义依存分析

    2022-04-11 11:55:22
    定义(ltp)语义依存分析 (Semantic Dependency Parsing, SDP),分析句子各个语言单位之间的语义关联,并将语义关联以依存结构呈现。使用语义依存刻画句子语义,好处在于不需要去抽象词汇本身,而是通过词汇所承受的...

    定义(ltp)

    语义依存分析 (Semantic Dependency Parsing, SDP),分析句子各个语言单位之间的语义关联,并将语义关联以依存结构呈现。
    使用语义依存刻画句子语义,好处在于不需要去抽象词汇本身,而是通过词汇所承受的语义框架来描述该词汇,而论元的数目相对词汇来说数量总是少了很多的。
    语义依存分析目标是跨越句子表层句法结构的束缚,直接获取深层的语义信息。
    例如以下三个句子,用不同的表达方式表达了同一个语义信息,即张三实施了一个吃的动作,吃的动作是对苹果实施的。

    语义依存分析不受句法结构的影响,将具有直接语义关联的语言单元直接连接依存弧并标记上相应的语义关系。这也是语义依存分析与句法依存分析的重要区别。

    如上例对比了句法依存和语义分析的结果,可以看到两者存在两个显著差别。
    第一,句法依存某种程度上更重视非实词(如介词)在句子结构分析中的作用,而语义依存更倾向在具有直接语义关联的实词之间建立直接依存弧,非实词作为辅助标记存在。
    第二,两者依存弧上标记的语义关系完全不同,语义依存关系是由论元关系引申归纳而来,可以用于回答问题,如我在哪里喝汤,我在用什么喝汤,谁在喝汤,我在喝什么。但是句法依存却没有这个能力。
    第三,句法依存为树结构,语义依存为图结构,即是说当前词的依存弧可以有多个。

    语义依存与语义角色标注之间也存在关联,语义角色标注只关注句子主要谓词的论元及谓词与论元之间的关系,而语义依存不仅关注谓词与论元的关系,还关注谓词与谓词之间、论元与论元之间、论元内部的语义关系。语义依存对句子语义信息的刻画更加完整全面。

    实现

    https://github.com/geasyheart/semantic-dependency-parser

    欢迎Star!

    1. 数据集

    目前貌似公开的只有SEMEVAL2016数据集,地址在:HIT-SCIR/SemEval-2016,代码仓库中的数据集是将text和news两类合并而来。

    额外插一句,对于一个算法项目来讲,不仅仅是算法部分,还要有数据,即使不能公开,也可以造一些例子,能够跑通算法,HanLP在这方面真的是无敌存在!

    2. 模型结构

    • 这里使用到的模型结构:
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    semantic_dependency_parser.py [line:34] INFO SemanticDependencyModel(
    (encoder): TransformerEmbedding(hfl/chinese-electra-180g-small-discriminator, n_layers=4, n_out=256, stride=256, pooling=mean, pad_index=0, dropout=0.33, requires_grad=True)
    (tag_embedding): Embedding(41, 64)
    (edge_mlp_d): MLP(n_in=320, n_out=600, dropout=0.33)
    (edge_mlp_h): MLP(n_in=320, n_out=600, dropout=0.33)
    (label_mlp_d): MLP(n_in=320, n_out=600, dropout=0.33)
    (label_mlp_h): MLP(n_in=320, n_out=600, dropout=0.33)
    (edge_attn): Biaffine(n_in=600, n_out=2, bias_x=True, bias_y=True)
    (label_attn): Biaffine(n_in=600, n_out=158, bias_x=True, bias_y=True)
    (criterion): CrossEntropyLoss()
    )
    • HanLP使用的模型结构:
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    BiaffineDependencyModel(
    (encoder): EncoderWithContextualLayer()
    (biaffine_decoder): BiaffineDecoder(
    (mlp_arc_h): MLP(n_in=256, n_out=500, dropout=0.33)
    (mlp_arc_d): MLP(n_in=256, n_out=500, dropout=0.33)
    (mlp_rel_h): MLP(n_in=256, n_out=100, dropout=0.33)
    (mlp_rel_d): MLP(n_in=256, n_out=100, dropout=0.33)
    (arc_attn): Biaffine(n_in=500, n_out=1, bias_x=True)
    (rel_attn): Biaffine(n_in=100, n_out=136, bias_x=True, bias_y=True)
    )
    )

    和dependency parser结构相同,但是loss计算和解码部分不同。

    区别点在于,举个例子:

    1
    2
    3
    4
    # pred_arcs.shape
    (32, 49, 49)
    # true_arcs.shape
    (32, 49)

    因为dependency parser有一个限制,即当前词只可能依存其他一个词,那么argmax(-1)即是在49那里获取最大的,表示和这49个词中最大的作为依存关系,使用交叉熵。

    而semantic dependency parser没有这个限制,当前词可能和多个词存在依存关系,那么他的pred_arcs和true_arcs的维度是一样的,都是(32, 49, 49),所以使用BCELoss。

    当然也可以用交叉熵,只需要将pred_arcs的维度转换成(32, 49, 49, 2)即可,也是我下面的做法。

    3. loss计算和解码

    这里计算loss时,采用的是交叉熵,也就是说s_edge.size(-1) == 2,表示当前词和句子所有词之间或者,然后argmax(-1)进行解码。

    HanLP计算loss时,对于arc(即edge)的shape为(batch_size, seq_length, seq_length),因为biaffine的输出维度为1,所以这里计算loss时使用BCELoss,表示当前词和句子所有词之间是否存在关系。

    另外一个两者的区别点在于计算rel时,HanLP采取的方式是各自计算各自的loss(即arc和rel),然后loss相加。
    这里计算rel loss时融合了arc的信息进来,好处就在于能够快速收敛和提升准确度吧。

    各模块技术指标

    https://www.ltp-cloud.com/intro#benchmark

    ltp关系类型

    关系类型TagDescriptionExample
    施事关系AgtAgent我送她一束花 (我 <-- 送)
    当事关系ExpExperiencer我跑得快 (跑 --> 我)
    感事关系AftAffection我思念家乡 (思念 --> 我)
    领事关系PossPossessor他有一本好读 (他 <-- 有)
    受事关系PatPatient他打了小明 (打 --> 小明)
    客事关系ContContent他听到鞭炮声 (听 --> 鞭炮声)
    成事关系ProdProduct他写了本小说 (写 --> 小说)
    源事关系OrigOrigin我军缴获敌人四辆坦克 (缴获 --> 坦克)
    涉事关系DatvDative他告诉我个秘密 ( 告诉 --> 我 )
    比较角色CompComitative他成绩比我好 (他 --> 我)
    属事角色BelgBelongings老赵有俩女儿 (老赵 <-- 有)
    类事角色ClasClassification他是中学生 (是 --> 中学生)
    依据角色AccdAccording本庭依法宣判 (依法 <-- 宣判)
    缘故角色ReasReason他在愁女儿婚事 (愁 --> 婚事)
    意图角色IntIntention为了金牌他拼命努力 (金牌 <-- 努力)
    结局角色ConsConsequence他跑了满头大汗 (跑 --> 满头大汗)
    方式角色MannManner球慢慢滚进空门 (慢慢 <-- 滚)
    工具角色ToolTool她用砂锅熬粥 (砂锅 <-- 熬粥)
    材料角色MaltMaterial她用小米熬粥 (小米 <-- 熬粥)
    时间角色TimeTime唐朝有个李白 (唐朝 <-- 有)
    空间角色LocLocation这房子朝南 (朝 --> 南)
    历程角色ProcProcess火车正在过长江大桥 (过 --> 大桥)
    趋向角色DirDirection部队奔向南方 (奔 --> 南)
    范围角色ScoScope产品应该比质量 (比 --> 质量)
    数量角色QuanQuantity一年有365天 (有 --> 天)
    数量数组QpQuantity-phrase三本书 (三 --> 本)
    频率角色FreqFrequency他每天看书 (每天 <-- 看)
    顺序角色SeqSequence他跑第一 (跑 --> 第一)
    描写角色Desc(Feat)Description他长得胖 (长 --> 胖)
    宿主角色HostHost住房面积 (住房 <-- 面积)
    名字修饰角色NmodName-modifier果戈里大街 (果戈里 <-- 大街)
    时间修饰角色TmodTime-modifier星期一上午 (星期一 <-- 上午)
    反角色r + main role打篮球的小姑娘 (打篮球 <-- 姑娘)
    嵌套角色d + main role爷爷看见孙子在跑 (看见 --> 跑)
    并列关系eCooevent Coordination我喜欢唱歌和跳舞 (唱歌 --> 跳舞)
    选择关系eSeltevent Selection您是喝茶还是喝咖啡 (茶 --> 咖啡)
    等同关系eEquevent Equivalent他们三个人一起走 (他们 --> 三个人)
    先行关系ePrecevent Precedent首先,先
    顺承关系eSuccevent Successor随后,然后
    递进关系eProgevent Progression况且,并且
    转折关系eAdvtevent adversative却,然而
    原因关系eCauevent Cause因为,既然
    结果关系eResuevent Result因此,以致
    推论关系eInfevent Inference才,则
    条件关系eCondevent Condition只要,除非
    假设关系eSuppevent Supposition如果,要是
    让步关系eConcevent Concession纵使,哪怕
    手段关系eMetdevent Method
    目的关系ePurpevent Purpose为了,以便
    割舍关系eAbanevent Abandonment与其,也不
    选取关系ePrefevent Preference不如,宁愿
    总括关系eSumevent Summary总而言之
    分叙关系eRectevent Recount例如,比方说
    连词标记mConjRecount Marker和,或
    的字标记mAuxAuxiliary 的,地,得
    介词标记mPrepPreposition 把,被
    语气标记mToneTone 吗,呢
    时间标记mTimeTime 才,曾经
    范围标记mRangRange 都,到处
    程度标记mDegrDegree 很,稍微
    频率标记mFreqFrequency Marker 再,常常
    趋向标记mDirDirection Marker 上去,下来
    插入语标记mParsParenthesis Marker总的来说,众所周知
    否定标记mNegNegation Marker不,没,未
    情态标记mModModal Marker幸亏,会,能
    标点标记mPuncPunctuation Marker,。!
    重复标记mPeptRepetition Marker走啊走 (走 --> 走)
    多数标记mMajMajority Marker们,等
    实词虚化标记mVainVain Marker
    离合标记mSepaSeperation Marker 吃了个饭 (吃 --> 饭) 洗了个澡 (洗 --> 澡)
    根节点RootRoot 全句核心节点
    展开全文
  • 一种基于语义依存分析的文档敏感性计算方法,卢刚,吴旭,敏感文本识别已经成为维护网络环境和谐发展的重要技术手段。本文提出一种基于语义依存关系的 文档敏感性计算方法 (SDC),该方法将��
  • 依存句法分析 依存语法:用词与词之间的依存关系来描述语言结构的框架。 依存语法理论认为,一切结构句法现象可以概括为关联、组合和转位。 “依存”就是指词与词之间支配与被支配的关系,这种关系不是对等的,而是...

    转:https://blog.csdn.net/u011806486/article/details/58034894

    依存句法分析

    依存语法:用词与词之间的依存关系来描述语言结构的框架。
    依存语法理论认为,一切结构句法现象可以概括为关联、组合和转位。
    “依存”就是指词与词之间支配与被支配的关系,这种关系不是对等的,而是有方向的。
    依存句法结构图的形式有三种:有向图、依存树、依存投射树。

    依存语法 (Dependency Parsing, DP) 通过分析语言单位内成分之间的依存关系揭示其句法结构。 直观来讲,依存句法分析识别句子中的“主谓宾”、“定状补”这些语法成分,并分析各成分之间的关系。
    例如,句子

    某院某人调研上海外高桥时提出,支持上海积极探索新机制。

    依存句法分析结果
    在这里插入图片描述

    从分析结果中我们可以看到,句子的核心谓词为“提出”,主语是“李”,提出的宾语是“支持上海…”,“调研…时”是“提出”的 (时间) 状语,“李”的修饰语是“国++总+”,“支持”的宾语是“探索 新机制”。

    有了上面的句法分析结果,我们就可以比较容易的看到,“提出者”是“李”,而不是“上海”或“外高桥”,即使它们都是名词,而且距离“提出”更近。

    依存句法分析标注关系 (共14种) 及含义如下:
    http://ltp.ai/docs/appendix.html
    在这里插入图片描述

    语义依存分析

    语义依存分析 (Semantic Dependency Parsing, SDP),分析句子各个语言单位之间的语义关联,并将语义关联以依存结构呈现。 使用语义依存刻画句子语义,好处在于不需要去抽象词汇本身,而是通过词汇所承受的语义框架来描述该词汇,而论元的数目相对词汇来说数量总是少了很多的。语义依存分析目标是跨越句子表层句法结构的束缚,直接获取深层的语义信息。 例如以下三个句子,用不同的表达方式表达了同一个语义信息,即张三实施了一个吃的动作,吃的动作是对苹果实施的。
    在这里插入图片描述
    语义依存分析不受句法结构的影响,将具有直接语义关联的语言单元直接连接依存弧并标记上相应的语义关系。这也是语义依存分析与句法依存分析的重要区别。

    再看一下三个句子的句法依存分析和语义依存分析的对比:
    在这里插入图片描述
    从上边的对比可以看出,虽然三个句子拥有不同的句子结构, 产生了不同的句法分析结果, 但是三个句子中语言单元之间的语义关系并没有发生变化, 从"吃"这个词来看, 它的主体, 客体…都没有发生变化.

    再看一个例子

    在这里插入图片描述
    如上例对比了句法依存和语义分析的结果,可以看到两者存在两个显著差别。第一,句法依存某种程度上更重视非实词(如介词)在句子结构分析中的作用,而语义依存更倾向在具有直接语义关联的实词之间建立直接依存弧,非实词作为辅助标记存在。 第二,两者依存弧上标记的语义关系完全不同,语义依存关系是由论元关系引申归纳而来,可以用于回答问题,如我在哪里喝汤,我在用什么喝汤,谁在喝汤,我在喝什么。但是句法依存却没有这个能力。

    语义依存与语义角色标注之间也存在关联,语义角色标注只关注句子主要谓词的论元及谓词与论元之间的关系,而语义依存不仅关注谓词与论元的关系,还关注谓词与谓词之间、论元与论元之间、论元内部的语义关系。语义依存对句子语义信息的刻画更加完整全面。

    语义依存关系分为三类,分别是主要语义角色,每一种语义角色对应存在一个嵌套关系和反关系;事件关系,描述两个事件间的关系;语义依附标记,标记说话者语气等依附性信息。
    在这里插入图片描述

    展开全文
  • 中文分词词性标注命名实体识别依存句法分析语义依存分析新词发现 的golang界面 在线轻量级RESTful API 仅数KB,适合敏捷开发,移动APP等场景。服务器算力有限,匿名用户重新替代 使用方式 安装 go get -u github....
  • 第四章:依存句法和语义依存分析

    千次阅读 2019-09-18 06:00:11
    4.1 依存句法分析 依存语法 (Dependency Parsing, DP) 通过分析语言单位内成分之间的依存关系揭示其句法结构。 直观来讲,依存句法分析识别句子中的“主谓宾”、“定状补”这些语法成分,并分析各成分之间的关系。 ...

    4.1 依存句法分析

    依存语法 (Dependency Parsing, DP) 通过分析语言单位内成分之间的依存关系揭示其句法结构。 直观来讲,依存句法分析识别句子中的“主谓宾”、“定状补”这些语法成分,并分析各成分之间的关系。

    第四章:依存句法和语义依存分析
    上面的例子,其分析结果为:

    • 从分析结果中我们可以看到,句子的核心谓词为“提出”,主语是“×××”,提出的宾语是“支持上海...”,“调研...时”是“提出”的(时间)状语,“×××”的修饰语是“×××总理”,“支持”的宾语是“探索新机制”。有了上面的句法分析结果,我们就可以比较容易的看到,“提出者”是“×××”,而丌是“上海”戒“外高桥”,即使它们都是名词,而且距离“提出”更近。

    依存句法分析标注关系 (共14种) 及含义如下:

    • 关系类型 Tag Description Example

    主谓关系 SBV subject-verb 我送她一束花 (我 <– 送)
    
    动宾关系 VOB 直接宾语,verb-object 我送她一束花 (送 –> 花)
    
    间宾关系 IOB 间接宾语,indirect-object 我送她一束花 (送 –> 她)
    
    前置宾语 FOB 前置宾语,fronting-object 他什么乢都读 (乢 <– 读)
    
    兼语 DBL double 他请我吃饭 (请 –> 我)
    
    定中关系 ATT attribute 红苹果 (红 <– 苹果)
    
    状中结构 ADV adverbial 非常美丽 (非常 <– 美丽)
    
    动补结构 CMP complement 做完了作业 (做 –> 完)
    
    并列关系 COO coordinate 大山和大海 (大山 –> 大海)
    
    介宾关系 POB preposition-object 在贸易区内 (在 –> 内)
    
    左附加关系 LAD left adjunct 大山和大海 (和 <– 大海)
    
    右附加关系 RAD right adjunct 孩子们 (孩子 –> 们)
    
    独立结构 IS independent structure 两个单句在结构上彼此独立
    
    核心关系 HED head 指整个句子的核心

    4.2 语义依存分析 (Semantic Dependency Parsing, SDP)

    语义依存分析:分析句子各个语言单位之间的语义关联,并将语义关联以依存结构呈现。使用语义依存刻画句子语义,好处在于丌需要去抽象词汇本身,而是通过词汇所承受的语义框架来描述该词汇,而论元的数目相对词汇来说数量总是少了很多的。语义依存分析目标是跨越句子表层句法结构的束缚,直接获取深层的语义信息。 例如以下三个句子,用不同的表达方式表达了同一个语义信息,即张三实施了一个吃的动作,吃的动作是对苹果实施的。

    • 语义依存分析不受句法结构的影响,将具有直接语义关联的语言单元直接连接依存弧并标记上相应的语义关系。这也是语义依存分析不句法依存分析的重要区别。

    • 语义依存关系分为三类,分别是主要语义角色,每一种语义角色对应存在一个嵌套关系和反关系;事件关系,描述两个事件间的关系;语义依附标记,标记说话者语气等依附性信息。

    第四章:依存句法和语义依存分析

    语义依存分析标注关系及含义如下:

    关系类型 Tag  Description  Example
    施事关系 Agt  Agent        我送她一束花 (我 <-- 送)
    当事关系 Exp  Experiencer  我跑得快 (跑 --> 我)
    感事关系 Aft  Affection    我思念家乡 (思念 --> 我)
    领事关系 Poss Possessor    他有一本好读 (他 <-- 有)
    受事关系 Pat  Patient      他打了××× (打 --> ×××)
    客事关系 Cont Content      他听到×××声 (听 --> ×××声)
    成事关系 Prod Product      他写了本小说 (写 --> 小说)
    源事关系 Orig Origin       我军缴获敌人四辆坦克 (缴获 --> 坦克)
    涉事关系 Datv Dative       他告诉我个秘密 ( 告诉 --> 我 )
    比较角色 Comp Comitative   他成绩比我好 (他 --> 我)
    属事角色 Belg Belongings   老赵有俩女儿 (老赵 <-- 有)
    类事角色 Clas Classification 他是中学生 (是 --> 中学生)
    依据角色 Accd According    本庭依法宣判 (依法 <-- 宣判)
    缘故角色 Reas Reason       他在愁女儿婚事 (愁 --> 婚事)
    
    。。。。。。

    4.3 自定义语法与CFG

    什么是语法解析?

    • 在自然语言学习过程中,每个人一定都学过语法,例如句子可以用主语、谓语、宾语来表示。在自然语言的处理过程中,有许多应用场景都需要考虑句子的语法,因此研究语法解析变得非常重要。

    • 语法解析有两个主要的问题,其一是句子语法在计算机中的表达与存储方法,以及语料数据集;其二是语法解析的算法。

    4.3.1 句子语法在计算机中的表达与存储方法

    • 对于第一个问题,我们可以用树状结构图来表示,如下图所示,S表示句子;NP、VP、PP是名词、动词、介词短语(短语级别);N、V、P分别是名词、动词、介词。

    第四章:依存句法和语义依存分析

    4.3.2 语法解析的算法

    上下文无关语法(Context-Free Grammer)

    • 为了生成句子的语法树,我们可以定义如下的一套上下文无关语法。
    • 1)N表示一组非叶子节点的标注,例如{S、NP、VP、N...}
    • 2)Σ表示一组叶子结点的标注,例如{boeing、is...}
    • 3)R表示一组觃则,每条规则可以表示为

    第四章:依存句法和语义依存分析

    • 4)S表示语法树开始的标注
    • 举例来说,语法的一个语法子集可以表示为下图所示。
    当给定一个句子时,我们便可以按照从左到右的顺序来解析语法。
    例如,句子the man sleeps就可以表示为(S (NP (DT the) (NN man)) (VP sleeps))。

    第四章:依存句法和语义依存分析

    概率分布的上下文无关语法(Probabilistic Context-Free Grammar)

    • 上下文无关的语法可以很容易的推导出一个句子的语法结构,但是缺点是推导出的结构可能存在二义性。
    
    • 由于语法的解析存在二义性,我们就需要找到一种方法从多种可能的语法树中找出最可能的一棵树。
    一种常见的方法既是PCFG (Probabilistic Context-Free Grammar)。
    如下图所示,除了常见的语法规则以外,我们还对每一条规则赋予了一个概率。
    对于每一棵生成的语法树,我们将其中所有规则的概率的乘积作为语法树的出现概率。

    第四章:依存句法和语义依存分析

    当我们获得多颗语法树时,我们可以分别计算每颗语法树的概率p(t),
    出现概率最大的那颗语法树就是我们希望得到的结果,即arg max p(t)。

    训练算法

    • 我们已经定义了语法解析的算法,而这个算法依赖于CFG中对于N、Σ、
    R、S的定义以及PCFG中的p(x)。上文中我们提到了Penn Treebank通
    过手工的方法已经提供了一个非常大的语料数据集,我们的任务就是从
    语料库中训练出PCFG所需要的参数。
    • 1)统计出语料库中所有的N与Σ;
    • 2)利用语料库中的所有规则作为R;
    • 3)针对每个规则A -> B,从语料库中估算p(x) = p(A -> B) / p(A);
    • 在CFG的定义的基础上,我们重新定义一种叫Chomsky的语法格式。
    这种格式要求每条规则只能是X -> Y1 Y2或者X -> Y的格式。实际上
    Chomsky语法格式保证生产的语法树总是二叉树的格式,同时任意一
    棵语法树总是能够转化成Chomsky语法格式。

    语法树预测算法

    • 假设我们已经有一个PCFG的模型,包含N、Σ、R、S、p(x)等参数,并
    且语法树总是Chomsky语法格式。当输入一个句子x1, x2, ... , xn时,
    我们要如何计算句子对应的语法树呢?
    
    • 第一种方法是暴力遍历的方法,每个单词x可能有m = len(N)种取值,
    句子长度是n,每种情况至少存在n个规则,所以在时间复杂度O(m n n)
    的情况下,我们可以判断出所有可能的语法树并计算出最佳的那个。
    
    • 第二种方法当然是动态规划,我们定义w[i, j, X]是第i个单词至第j个单
    词由标注X来表示的最大概率。直观来讲,例如xi, xi+1, ... , xj,当
    X=PP时,子树可能是多种解释方式,如(P NP)或者(PP PP),但是w[i,
    j, PP]代表的是继续往上一层递归时,我们只选择当前概率最大的组合
    方式。
    

    语法解析按照上述的算法过程便完成了。虽说PCFG也有一些缺点,例
    如:1)缺乏词法信息;2)连续短语(如名词、介词)的处理等。但总体来讲它给语法解析提供了一种非常有效的实现方法。

    展开全文
  • 语义依存分析 新词发现 关键词短语提取 自动摘要 文本分类聚类 拼音简繁转换 自然语言处理 HanLP: Han Language Processing | | | 面向生产环境的多语种自然语言处理工具包,基于 TensorFlow 2.0,目标是普及落地最...
  • 分词(粗分、细分2个标准,强制、合并、校正3种)、词性标注(PKU、863、CTB、UD四套词性规范)、命名实体识别(PKU、MSRA、OntoNotes三套规范)、依存句法分析(SD、UD规范)、成分句法分析、语义依存分析(SemEval...
  • 上面得到的仅是搜索结果,它只是一种索引,真正的内容需要进入到每一个链接才能拿到,下面我们尝试提取出每一个链接并继续抓取里面的内容,那么如何提取链接呢,我们来分析一下result.html这个抓取百度搜索结果文件 ...
  • MSRA,OntoNotes三套规范),依存句法分析(SD,UD规范),成分法分析,语义依存分析(SemEval16,DM,PAS,PSD四套规范),语义角色标注,词干提取,词法语法特征提取,抽象意义(AMR)。 量体裁衣,HanLP提供...
  • nlp中有很多基础的任务,如常用的中文自然语言处理工具LTP中支持了分词、词性、命名实体识别、 句法分析、语义角色标注、语义依存分析六种自然语言处理工具。其中,分词、词性、命名实体比较常见,这里不过多介绍。 ...
  • 该文采用英文语义角色标注的研究方法,实现了一个基于中文依存句法分析语义角色标注系统。该系统针对中文依存关系树,采用有效的剪枝算法和特征,使用最大熵分类器进行语义角色的识别和分类。系统使用了两种不同的...
  • 图中从上往下分别是依存句法分析、分词、词性标注、语义角色标注、语义依存分析的处理过程。 具体可直接参考哈工大LTP官网,也许会对你有更多启发: 语言技术平台( Language Technology Plantform | LTP ) ...
  • 如FAQ,任务型问答等,在这个过程中需要完成对所给问题进行解析,生成能够带入到知识图谱中进行查询的结构,因此,提出并编写了一个基于图的依存解析,并采用修改后Seq2Seq2模型实现的一个语义依存解析模型。...
  • 语义结构:依存分析

    2020-03-20 16:17:38
    语义结构:依存分析 每种语言都有其各自的结构,理解其句子结构可以帮助我们更好地理解语义。 句子结构通俗来说,就是所谓的主谓宾等结构,这种以主语+谓语+宾语来分析句子结构的方法称为短语结构文法(上下文无关...
  • 语义依存分析

    千次阅读 2018-09-10 20:40:10
    语义依存分析 (Semantic Dependency Parsing, SDP),分析句子各个语言单位之间的语义关联,并将语义关联以依存结构呈现。 使用语义依存刻画句子语义,好处在于不需要去抽象词汇本身,而是通过词汇所承受的语义框架来...
  • 重点研究了语义依存,不仅全面掌握词性标注特征,提出建议;而且着重发现医疗卫生文本数据独特的 词间关系,标注并保存,获得医疗卫生领域语义依存树库。同时,总结的特殊句法规则,为下一步实现自动化后处理提供...
  • 每天给你送来NLP技术干货!作者:刘焕勇来自:老刘说...当前,语义分析正在从浅层分析到深层分析转变,与此对应的语义分析技术也逐步发生变化,从最开始到句子成分分析,到依存句法分析,到语义角色标注再到依存语...
  • 依存句法分析语义依存是自然语言处理的重要任务。本资料介绍了依存句法和语义依存,并着重对比了依存句法、SRL和语义依存的不同,重点突出了语义依存的优点。
  • 清华哈工大语义依存-训练集开发集.rar,清华哈工大语义依存-训练集开发集,README.txt,哈工大,dev.conll,train.conll,清华,dev.conll,train.conll
  • 论文信息 论文全名 Aspect-Level Sentiment Analysis Via Convolution over Dependency Tree 发表会议:EMNLP2019 ...这篇论文的创新点是探索了将与神经网络相结合的语义依存关系树应用于表示学习的
  • 哈工大LTP的依存分析

    千次阅读 2021-03-21 11:13:35
    # LTP:语义依存分析(依存树)和语义依存分析(依存图)的区别 传统的基于转移的依存分析算法,其最终得到得是一个依存树,这对依存分析存在一定限制,因此,最近几年提出的基于转移的语义依存图的解析,对依存...
  • _.__0ROOT__ HanLP实现了最先进的biaffine[^biaffine] 模型,支持任意语种(需自行训练,或等待2.1发布预训练模型)的语义依存分析: >>> semantic_parser = hanlp.load(hanlp.pretrained.sdp.SEMEVAL16_NEWS_...
  • HanLP的依存分析

    千次阅读 2021-04-28 11:52:01
    # 安装 1. 创建虚拟环境(非必要操作 conda create -n hanlp python=3.7 2. 安装HanLP(当在线安装失败时,可选择离线安装 [hanlp库] pip install hanlp-2.1.0a36.tar.gz ...HanLP = hanlp.load(hanlp.pretrained...
  • 句法分析是自然语言处理中非常...语义依存更是对句子更深层次的分析,当然,有可用的工具我们就不重复造轮子,本节介绍如何利用国内领先的中文语言技术平台实现句法分析 请尊重原创,转载请注明来源网站www.sharedit
  • 依存句法分析代码.py

    2019-05-20 23:56:44
    自然语言理解,依存句法,句法分析,机器学习,人工智能
  • 基于转移的语义依存分析

    千次阅读 2018-10-18 16:29:21
    基于转移的语义依存分析 PS:用过论文成果到垂直领域,效果还不错! 论文作者:王宇轩,车万翔,郭江,刘挺 引言 本文介绍的工作来源于我实验室录用于AAAI2018的论文《A Neural Transition-Based ...
  • 语义依存分析是分析句子中的各语言单位的关联,并将语义关联以依存的结构进行展示;语义依存分析目标是跨越句子表层句法结构的束缚,直接获取深层的语义信息。浅层语义分析是依赖于句法分析的结果,而深层的语义...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 4,883
精华内容 1,953
关键字:

语义依存分析