需求：python实现中文依存句法分析

（最初尝试了NLTK库来实现，发现只能实现英文，不能应用中文场景）

方法一、斯坦福依存句法分析处理中文

斯坦福依存句法分析参考教程地址：https://blog.csdn.net/guolindonggld/article/details/72795022

安装stanfordcorenlp包之前： 
1：下载安装JDK 1.8及以上版本。 
2：下载Stanford CoreNLP文件，解压。 

3：处理中文还需要下载中文的模型jar文件，然后放到stanford-corenlp-full-2016-10-31根目录下即可（注意一定要下载这个文件哦，否则它默认是按英文来处理的）。

4.install  stanfordcorenlp

#encoding=utf-8

from stanfordcorenlp import StanfordCoreNLP

nlp = StanfordCoreNLP(r'./stanford-corenlp-full-2016-10-31/', lang='zh')    #英文使用 lang='en'

sentence = "清华大学位于北京。"
# sentence = "The book is very interesting."

# print nlp.word_tokenize(sentence)
# print nlp.pos_tag(sentence)
print nlp.parse(sentence)
print nlp.dependency_parse(sentence)

结果如下：

(ROOT
  (IP
    (NP (NR 清华) (NN 大学))
    (VP (VV 位于)
      (NP (NR 北京)))
    (PU 。)))
[(u'ROOT', 0, 3), (u'compound:nn', 2, 1), (u'nsubj', 3, 2), (u'dobj', 3, 4), (u'punct', 3, 5)]

依存句法分析

语法分析(syntactic parsing )是自然语言处理中一个重要的任务，其目标是分析句子的语法结构并将其表示为容易理解的结构(通常是树形结构)。同时，语法分析也是所有工具性NLP任务中较为高级、较为复杂的一种任务。 通过掌握语法分析的原理、实现和应用，我们将在NLP工程师之路上跨越一道分水岭。 本章将会介绍短语结构树和依存句法树两种语法形式，并且着重介绍依存句法分析的原理和实现。

12.1 短语结构树

语言其实具备自顶而下的层级关系，固定数量的语法结构能够生成无数句子。比如，仅仅利用下列两个语法规律，我们就能够生成所有名词短语。

• 名词短语可以由名词和名词短语组成。
• 名词短语还可以由名词和名词组成。

例如，“上海+浦东+机场+航站楼”，所以，汉语中大部分句子都可以通过这样的语法来生成。

在语言学中，这样的语法被称为上下文无关文法，它由如下组件构成:

• 终结符结合 Σ，比如汉语的一个词表。
• 非终结符集合 V，比如“名词短语”“动词短语”等短语结构组成的集合。V 中至少包含一个特殊的非终结符，即句子符或初始符，计作 S。
• 推到规则 R，即推到非终结符的一系列规则: V -> V U Σ。

基于上下文无关文法理论，我们可以从 S 出发，逐步推导非终结符。一个非终结符至少产生一个下级符号，如此一层一层地递推下去，我们就得到了一棵语法树。但在NLP中，我们称其为短语结构树。也就是说，计算机科学中的术语“上下文无关文法”在语言学中被称作“短语结构语法”。

1. 短语结构树

   短语结构语法描述了如何自顶而下的生成一个句子，反过来，句子也可以用短语结构语法来递归的分解。层级结构其实是一种树形结构，例如这句话“上海 浦东 开发 与 法制 建设 同步”，分解成如下图的短语结构树:

   

这样的树形结构称为短语结构树，相应的语法称为*短语结构语法**或上下文无关文法。至于树中的字母下面开始介绍。

1. 宾州树库和中文树库

   语言学家制定短语结构语法规范，将大量句子人工分解为树形结构，形成了一种语料库，称为树库( treebank )。常见的英文树库有宾州树库，相应地，中文领域有CTB。上图中叶子节点(词语)的上级节点为词性，词性是非终结符的一种，满足“词性生成词语”的推导规则。

   常见的标记如下:

   标记	释义
   IP-HLN	单句-标题
   NP-SBJ	名词短语-主语
   NP-PN	名词短语-代词
   NP	名词短语
   VP	动词短语

   但是由于短语结构语法比较复杂，相应句法分析器的准确率并不高，现在研究者绝大部分转向了另一种语法形式。

12.2 依存句法树

不同于短语结构树，依存句法树并不关注如何生成句子这种宏大的命题。依存句法树关注的是句子中词语之间的语法联系，并且将其约束为树形结构。

1. 依存句法理论

   依存语法理论认为词与词之间存在主从关系，这是一种二元不等价的关系。在句子中，如果一个词修饰另一个词，则称修饰词为从属词( dependent )，被修饰的词语称为支配词(head),两者之间的语法关系称为依存关系( dependency relation)。比如句子“大梦想”中形容词“大”与名词“梦想”之间的依存关系如图所示:

   

   图中的箭头方向由支配词指向从属词，这是可视化时的习惯。将一个句子中所有词语的依存关系以有向边的形式表示出来，就会得到一棵树，称为依存句法树( dependency parse tree)。比如句子“弱小的我也有大梦想”的依存句法树如图所示。

   

现代依存语法中，语言学家 Robinson 对依存句法树提了 4 个约束性的公理。

• 有且只有一个词语(ROOT，虚拟根节点，简称虚根)不依存于其他词语。

• 除此之外所有单词必须依存于其他单词。

• 每个单词不能依存于多个单词。

• 如果单词 A 依存于 B，那么位置处于 A 和 B 之间的单词 C 只能依存于 A、B 或 AB 之间的单词。

  这 4 条公理分别约束了依存句法树(图的特例)的根节点唯一性、 连通、无环和投射性( projective )。这些约束对语料库的标注以及依存句法分析器的设计奠定了基础。

1. 中文依存句法树库

   目前最有名的开源自由的依存树库当属UD ( Universal Dependencies)，它以“署名-非商业性使用-相同方式共享4.0”等类似协议免费向公众授权。UD是个跨语种的语法标注项目，一共有 200 多名贡献者为 70 多种语言标注了 100 多个树库。具体到中文，存在4个不同领域的树库。本章选取其中规模最大的 UD_ Chinese GSD 作为示例。该树库的语种为繁体中文，将其转换为简体中文后，供大家下载使用。

   http://file.hankcs.com/corpus/chs-gsd-ud.zip

   该树库的格式为 CoNLL-U，这是一种以制表符分隔的表格格式。CoNLL-U 文件有10列，每行都是一个单词， 空白行表示句子结束。单元中的下划线 _ 表示空白， 结合其中一句样例，解释如表所示。

   

词性标注集合依存关系标注集请参考 UD 的官方网站:

http://niversaldependencies.org/guidelines.html

另一份著名的语料库依然是 CTB，只不过需要额外利用一些工具将短语结构树转换为依存句法树。读者可以直接下载转换后的 CTB 依存句法树库，其格式是类似于 CoNLl-U 的 CoNLL。

1. 依存句法树的可视化

   工具如下:

   • 南京大学汤光超开发的 Dependency Viewer。导入 .conll 扩展名的树库文件即可。
   • brat 标注工具。

   可视化工具可以帮助我们理解句法树的结构，比较句子之间的不同。

12.3 依存句法分析

依存句法分析( dependency parsing )指的是分析句子的依存语法的一种中高级 NLP任务，其输人通常是词语和词性，输出则是一棵依存句法树。 本节介绍实现依存句法分析的两种宏观方法，以及依存句法分析的评价指标。

1. 基于图的依存句法分析

   正如树是图的特例一样，依存句法树其实是完全图的一个子图。如果为完全图中的每条边是否属于句法树的可能性打分，然后就可以利用 Prim 之类的算法找出最大生成树( MST )作为依存句法树了。这样将整棵树的分数分解( factorize )为每条边上的分数之和，然后在图上搜索最优解的方法统称为基于图的算法。

   在传统机器学习时代，基于图的依存句法分析器往往面临运行开销大的问题。这是由于传统机器学习所依赖的特征过于稀疏，训练算法需要在整个图上进行全局的结构化预测等。考虑到这些问题，另一种基于转移的路线在传统机器学习框架下显得更加实用。

2. 基于转移的依存句法分析

   我们以“人 吃 鱼”这个句子为例子，手动构建依存句法树。

   • 从“吃”连线到“人”建立依存关系，主谓关系。
   • 从“吃”连线到“鱼”建立依存关系，动宾关系。

   如此，我们将一棵依存句法树的构建过程表示为两个动作。如果机器学习模型能够根据句子的某些特征准确地预测这些动作，那么计算机就能够根据这些动作拼装出正确的依存句法树了。这种拼装动作称为转移( transition),而这类算法统称为基于转移的依存句法分析。

12.4 基于转移的依存句法分析

1. Arc-Eager 转移系统

   一个转移系统 S 由 4 个部件构成: S = (C,T,Cs,Ct)，其中:

   • C 是系统状态的集合
   • T 是所有可执行的转移动作的集合。
   • Cs 是一个初始化函数
   • Ct 为一系列终止状态，系统进入该状态后即可停机输出最终的动作序列。

   而系统状态又由 3 元祖构成: C = (σ,β,A) 其中:

   • σ 为一个存储单词的栈。
   • β 为存储单词的队列
   • A 为已确定的依存弧的集合。

   Arc-Eager 转移系统的转移动作集合详见下表:

   动作名称	条件	解释
   Shift	队列 β 非空	将队首单词 i 压栈
   LeftArc	栈顶单词 i 没有支配词	将栈顶单词 i 的支配词设为队首单词 j，即 i 作为 j 的子节点
   RightArc	队首单词 j 没有支配词	将队首单词 j 的支配词设为栈顶单词 i，即 j 作为 i 的子节点
   Reduce	栈顶单词 i 已有支配词	将栈顶单词 i 出栈

对于上面的“人 吃 鱼”案例，Arc-Eager 的执行步骤如下:

此时集合 A 中的依存弧为一颗依存句法树。

1. 训练原理

   对基于转移的依存句法分析器而言，它学习和预测的对象是一系列转移动作。然而依存句法树库是一棵树，并不是现成的转移动作序列。这时候就需要一个算法将语料库中的依存句法树转移为正确地转移动作序列。

   这里可以使用感知机进行训练得到转移动作序列

   训练句法分析器时，结构化感知机算法迭代式的优化线性模型，目标是使其将最高的分值赋予可抵达正确句法树的转移序列。

   训练分为以下几个步骤:

   • 读入一个训练样本，提取特征，创建 ArcEager 的初始状态 c。
   • 若 c 不是终止状态，反复进行转移序列，修正参数。
   • 算法终止，返回返回模型参数 w。

12.5 依存句法分析 API

1. 训练模型

   本节使用的语料库是 CTB8.0

   训练时间比较长，结果如下:

   人 人 N NN _ 2 nsubj _ _
   吃 吃 V VV _ 0 ROOT _ _
   鱼 鱼 N NN _ 2 dobj _ _
   UAS=83.3% LAS=81.0%
   

2. 标准化评测

   给定两棵树，一棵树为标准答案(来自测试集)，一棵树为预测结果，评测的目标是衡量这两棵树的差异。如果将树的节点编号，拆解为依存弧并分别存入两个集合 A ( 标准答案)和 B (预测结果)，则可以利用分类任务的 F1 评价指标。

   依存句法分析任务采用的评测指标为 UAS (unlabeled atachment score) 和 LAS (labeled attachment score )，分别对应忽略标签和包括标签的 F1 值。以 LAS 为例，具体计算方式如下:
   
   UAS 的计算也是同理，只不过将每条依存弧上的标签去掉后放人集合参与运算即可。相较于 LAS, UAS 仅仅衡量支配词的预测准确率，不衡量依存关系的准确率，一般分数更高。

   在上面的训练模型中已经做了评测

   UAS=83.3% LAS=81.0%
   

   这个分数说明，在测试集上有 83% 的支配词被准确预测，有 81% 的依存弧被准确预测。

12.6 案例: 基于依存句法分析的意见抽取

其实许多人都有一个疑问，依存句法分析究竟可以用来干什么。本节就来利用依存句法分析实现一个意见抽取的例子，提取下列商品评论中的属性和买家评价。

电池非常棒，机身不长，长的是待机，但是屏幕分辨率不高。

为了提取“电池”“机身”“待机”和“分辨率”所对应的意见，朴素的处理方式是在分司和词性标注之后编写正则表达式，提取名词后面的形容词。然而正则表达式无法处理“长的是待机”这样句式灵活的例子。

这时就可以对这句话进行依存句法分析，分析代码如下:

from pyhanlp import *

CoNLLSentence = JClass('com.hankcs.hanlp.corpus.dependency.CoNll.CoNLLSentence')
CoNLLWord = JClass('com.hankcs.hanlp.corpus.dependency.CoNll.CoNLLWord')
IDependencyParser = JClass('com.hankcs.hanlp.dependency.IDependencyParser')
KBeamArcEagerDependencyParser = JClass('com.hankcs.hanlp.dependency.perceptron.parser.KBeamArcEagerDependencyParser')
parser = KBeamArcEagerDependencyParser()
tree = parser.parse("电池非常棒，机身不长，长的是待机，但是屏幕分辨率不高。")
print(tree)

运行结果如下:

电池  电池  N NN  _ 3 nsubj _ _
非常  非常  A AD  _ 3 advmod  _ _
棒 棒 V VA  _ 0 ROOT  _ _
， ， P PU  _ 3 punct _ _
机身  机身  N NN  _ 7 nsubj _ _
不 不 A AD  _ 7 neg _ _
长 长 V VA  _ 3 conj  _ _
， ， P PU  _ 7 punct _ _
长 长 V VA  _ 11  top _ _
的 的 D DEC _ 9 cpm _ _
是 是 V VC  _ 7 conj  _ _
待机  待机  N NN  _ 11  attr  _ _
， ， P PU  _ 3 punct _ _
但是  但是  A AD  _ 18  advmod  _ _
屏幕  屏幕  N NN  _ 16  nn  _ _
分辨率 分辨率 N NN  _ 18  nsubj _ _
不 不 A AD  _ 18  neg _ _
高 高 V VA  _ 3 conj  _ _
。 。 P PU  _ 3 punct _ _

进行可视化后:

仔细观察，不难发现“电池”与“棒”、“机身”与“长”、“分辨率”与“高”之间的依存关系都是 nsubj (名词性主语)。

1. 利用这一规律， 不难写出第一版遍历算法， 也就是用个for 循环去遍历树中的每个节点。对于算法遍历树中的每一个词语， 如果其词性为名词且作为某个形容词的名词性主语，则认为该名词是属性，而形容词是意见。运行代码如下:

   def extactOpinion1(tree):
       for word in tree.iterator():
           if word.POSTAG == "NN" and word.DEPREL == "nsubj":
               print("%s = %s" % (word.LEMMA, word.HEAD.LEMMA))
   print("第一版")
   extactOpinion1(tree)
   

结果如下:

   第一版
   电池 = 棒
   机身 = 长
   分辨率 = 高

1. 虽然的确提取出了一些意见，然而后两个都是错误的。这一版算法存在的问题之一是没有考虑到“机身不长””“分辨率不高”等否定修饰关系。否定修饰关系在依存句法中的标记为 neg，于是我们只需检查形容词是否存在否定修饰的支配词即可。于是得出第二版算法:

   def extactOpinion2(tree):
       for word in tree.iterator():
           if word.POSTAG == "NN" and word.DEPREL == "nsubj":
               if tree.findChildren(word.HEAD, "neg").isEmpty():
                   print("%s = %s" % (word.LEMMA, word.HEAD.LEMMA))
               else:
                   print("%s = 不%s" % (word.LEMMA, word.HEAD.LEMMA))
   print("第二版")
   extactOpinion2(tree)
   

结果如下:

   第二版
   电池 = 棒
   机身 = 不长
   分辨率 = 不高

1. 接下来思考如何提取“待机”的意见，“待机”与“长”之间的公共父节点为“是”，于是我们得到第三版算法如下:

   def extactOpinion3(tree):
       for word in tree.iterator():
           if word.POSTAG == "NN":
             
              # 检测名词词语的依存弧是否是“属性关系”，
               # 如果是，则寻找支配词的子节点中的主题词
               # 以该主题词作为名词的意见。
               if word.DEPREL == "nsubj":  # ①属性
   
                   if tree.findChildren(word.HEAD, "neg").isEmpty():
                       print("%s = %s" % (word.LEMMA, word.HEAD.LEMMA))
                   else:
                       print("%s = 不%s" % (word.LEMMA, word.HEAD.LEMMA))
               elif word.DEPREL == "attr":
                   top = tree.findChildren(word.HEAD, "top")  # ②主题
   
                   if not top.isEmpty():
                       print("%s = %s" % (word.LEMMA, top.get(0).LEMMA))
   print("第三版")
   extactOpinion3(tree)
   

   结果如下:

   第三版
   电池 = 棒
   机身 = 不长
   待机 = 长
   分辨率 = 不高
   

至此，4 个属性被完整正确地提取出来了，读者可以尝试搜集更多的句子，通过分析句法结构总结更多的提取规则。

1. 基本概念

依存句法分析（Dependency Parsing，DP）通过分析语言单位内成分之间的依存关系，揭示其句法结构。直观来讲，就是分析句子中的“主谓宾”、“定状补”这些语法成分，并分析各成分的关系。对句法结构进行分析，一方面是语言理解的自身需求，句法分析是语言理解的基础，另外一方面，句法分析也为其他自然语言处理任务提供支持。比如：句法驱动的统计机器翻译需要对源语言或目标语言进行句法分析。

1.1 谓词

依存句法认为“谓词”中的动词是一个句子的核心，其他成分与动词直接或者间接的产生联系。

1.2 依存理论

依存理论中，“依存”指的是词与词之间处于支配与被支配的关系，这种关系具有方向性。处于支配地位的词称之为支配者（head），处于被支配地位的成分称之为从属者（dependency）。

依存语法存在一个基本假设，句法分析核心是词与词的依存关系，一个依存关系连接两个词：head和dependency。依存关系可以细分为不同类型，表示具体的两个词的依存关系。

1.3 依存关系

2. 基本方法

• 基于转移的方法

  基于转移的方法通过shift-reduce两个基本动作，将序列转为树结构。首先用一个 buffer 来存储所有未处理的输入句子，并用一个栈来存储当前的分析状态。动作可以分为：

  1. shift，即将 buffer 中的一个词移到栈中；
  2. $left\_arc(x)$，即栈顶两个词 a,b 为 a<-b 的依赖关系，关系种类为 x；
  3. $right\_arc(x)$，即栈顶两个词 a,b 为 a->b 的依赖关系，关系种类为 x。后两种动作为 reduce 动作。

  目前，基于转移的方法最好模型是stack lstm。 通过三个 LSTM 来分别建模栈状态、待输入序列和动作序列。 其中因为栈需要入栈和出栈，因此作者提出了一个 Stack LSTM 来建模栈状态。

论文地址： https://arxiv.org/pdf/1505.08075.pdf

• 基于图的方法

  目前的依存句法分析中，最流行的方法是基于图的方法经典的方法是 Biaffine 模型。直接用神经网络来预测每两个词之间存在依存关系的概率，这样我们就得到一个全连接图，图上每个边代表了节点 a 指向节点 b 的概率。然后使用MST等方法来来将图转换为一棵树。

  Biaffine 模型其实和我们目前全连接自注意力模型非常类似。Biaffine 模型十分简单，并且容易理解，并且在很多数据集上都取得了目前最好的结果。

论文地址：https://arxiv.org/pdf/1611.01734.pdf

• 联合模型(深度学习)

  1. 词性标注&句法分析

     联合词性标注和句法分析的模型有很多，可以是基于转移的方法，也可以是基于图的方法，这里介绍一个简单思路。首先利用lstm来预测词性，然后联合词性信息和词信息一起用另外一个lstm来建模，并用Biaffine模型来做句法分析。

论文地址： https://arxiv.org/pdf/1807.03955.pdf

2. 中文分词&句法分析

   中文的句法分析是基于词级别的，所以在句法分析之前，会做分词。为了避免流水线模式的错误积累，很容易想到的就是分词和词法分析联合建模。

   这里主要介绍一下邱希鹏教授实验室提出的模型：joint CWS。

其中两个关键点：

• biaffine parsing
• ‘app’ 作为特殊的依赖关系

其实方法很简单，只需要将词内部的字之间加上一个特殊的依赖关系“app”，然后将词级别的依存关系转换为字级别的依存关系。并且用 biaffine 模型来进行同时预测。

论文地址：https://arxiv.org/pdf/1904.04697.pdf

3. 常用工具

https://www.jianshu.com/p/867bd48cd9ad

3.1 LTP

1. 安装

   pip install pyltp
   

2. 下载数据包

   ltp_data_v3.4.0： 链接: https://pan.baidu.com/s/1aDrb95ylZHoTPKJY6K1Slw 密码: ehe2

3. 测试代码

   from pyltp import Parser, Postagger, Segmentor
   
   text = 'HanLP是一系列模型与算法组成的自然语言处理工具包，目标是普及自然语言处理在生产环境中的应用。'
   
   # 分词
   segmentor = Segmentor()
   segmentor.load("/home/sunshine/datasets/other/ltp_data_v3.4.0/cws.model")
   tokens = segmentor.segment(text)
   
   # 词性
   postagger = Postagger()
   postagger.load('/home/sunshine/datasets/other/ltp_data_v3.4.0/pos.model')
   postags = postagger.postag(tokens)
   
   # 依存句法分析
   parser = Parser()
   parser.load('/home/sunshine/datasets/other/ltp_data_v3.4.0/parser.model')
   arcs = parser.parse(tokens, postags)
   
   i = 1
   result = zip(tokens, postags, arcs)
   for item in result:
       print(i, item[0], item[1], item[2].head, item[2].relation)
       i += 1
   

   1 HanLP ws 2 SBV
   2 是 v 0 HED
   3 一 m 4 ATT
   4 系列 q 5 ATT
   5 模型 n 8 SBV
   6 与 c 7 LAD
   7 算法 n 5 COO
   8 组成 v 12 ATT
   9 的 u 8 RAD
   10 自然 n 11 ATT
   11 语言 n 12 SBV
   12 处理 v 2 VOB
   13 工具包 n 12 VOB
   14 ， wp 2 WP
   15 目标 n 16 SBV
   16 是 v 2 COO
   17 普及 v 16 VOB
   18 自然 n 19 ATT
   19 语言 n 20 ATT
   20 处理 v 17 VOB
   21 在 p 26 ATT
   22 生产 v 23 ATT
   23 环境 n 24 ATT
   24 中 nd 21 POB
   25 的 u 21 RAD
   26 应用 v 20 VOB
   27 。 wp 2 WP
   

3.2 stanfordNLP

3.2.1 StanordCoreNLP

Github地址：https://github.com/Lynten/stanford-corenlp

官网：https://stanfordnlp.github.io/CoreNLP/

1. 安装

   pip install stanfordcorenlp
   

2. 安装java环境（略）

3. 下载数据包

   链接: https://pan.baidu.com/s/1kD3gaxVwvxZGaEN3EDedvA 提取码: m72n

   数据包下载之后，解压stanford-corenlp-full-2018-02-27.zip，将stanford-chinese-corenlp-2018-02-27-models.jar拷贝至stanford-corenlp-full-2018-02-27.zip解压目录。

4. 测试代码

   from stanfordcorenlp import StanfordCoreNLP
   text = 'HanLP是一系列模型与算法组成的自然语言处理工具包，目标是普及自然语言处理在生产环境中的应用。'
   nlp = StanfordCoreNLP("/home/sunshine/datasets/other/standfordCoreNLP/stanford-corenlp-full-2018-02-27", lang='zh')
   tokens = nlp.word_tokenize(text)
   postags = nlp.pos_tag(text)
   result = nlp.dependency_parse(text)
   i = 1
   for item in zip(tokens, postags, result):
       print(i, item[0], item[1][1], item[2][1], item[2][2])
       i += 1
   

   1 HanLP NR 0 12
   2 是 VC 12 1
   3 一 CD 12 2
   4 系列 M 11 3
   5 模型 NN 3 4
   6 与 CC 7 5
   7 算法 NN 7 6
   8 组成 VV 8 7
   9 的 DEC 11 8
   10 自然 NN 8 9
   11 语言 NN 11 10
   12 处理 VV 12 11
   13 工具包 NN 12 13
   14 ， PU 12 14
   15 目标 NN 17 15
   16 是 VC 17 16
   17 普及 VV 12 17
   18 自然 NN 19 18
   19 语言 NN 17 19
   20 处理 VV 17 20
   21 在 P 23 21
   22 生产 NN 23 22
   23 环境 NN 26 23
   24 中 LC 23 24
   25 的 DEG 23 25
   26 应用 NN 20 26
   27 。 PU 12 27
   

5. 依存句法解释

   > > ROOT：要处理文本的语句
   > > IP：简单从句
   > > NP：名词短语
   > > VP：动词短语
   > > PU：断句符，通常是句号、问号、感叹号等标点符号
   > > LCP：方位词短语
   > > PP：介词短语
   > > CP：由‘的’构成的表示修饰性关系的短语
   > > DNP：由‘的’构成的表示所属关系的短语
   > > ADVP：副词短语
   > > ADJP：形容词短语
   > > DP：限定词短语
   > > QP：量词短语
   > > NN：常用名词
   > > NR：固有名词
   > > NT：时间名词
   > > PN：代词
   > > VV：动词
   > > VC：是
   > > CC：表示连词
   > > VE：有
   > > VA：表语形容词
   > > AS：内容标记（如：了）
   > > VRD：动补复合词
   > > CD: 表示基数词
   > > DT: determiner 表示限定词
   > > EX: existential there 存在句
   > > FW: foreign word 外来词
   > > IN: preposition or conjunction, subordinating 介词或从属连词
   > > JJ: adjective or numeral, ordinal 形容词或序数词
   > > JJR: adjective, comparative 形容词比较级
   > > JJS: adjective, superlative 形容词最高级
   > > LS: list item marker 列表标识
   > > MD: modal auxiliary 情态助动词
   > > PDT: pre-determiner 前位限定词
   > > POS: genitive marker 所有格标记
   > > PRP: pronoun, personal 人称代词
   > > RB: adverb 副词
   > > RBR: adverb, comparative 副词比较级
   > > RBS: adverb, superlative 副词最高级
   > > RP: particle 小品词
   > > SYM: symbol 符号
   > > TO:”to” as preposition or infinitive marker 作为介词或不定式标记
   > > WDT: WH-determiner WH限定词
   > > WP: WH-pronoun WH代词
   > > WP$: WH-pronoun, possessive WH所有格代词
   > > WRB:Wh-adverb WH副词
   > > 
   > > 关系表示
   > > abbrev: abbreviation modifier，缩写
   > > acomp: adjectival complement，形容词的补充；
   > > advcl : adverbial clause modifier，状语从句修饰词
   > > advmod: adverbial modifier状语
   > > agent: agent，代理，一般有by的时候会出现这个
   > > amod: adjectival modifier形容词
   > > appos: appositional modifier,同位词
   > > attr: attributive，属性
   > > aux: auxiliary，非主要动词和助词，如BE,HAVE SHOULD/COULD等到
   > > auxpass: passive auxiliary 被动词
   > > cc: coordination，并列关系，一般取第一个词
   > > ccomp: clausal complement从句补充
   > > complm: complementizer，引导从句的词好重聚中的主要动词
   > > conj : conjunct，连接两个并列的词。
   > > cop: copula。系动词（如be,seem,appear等），（命题主词与谓词间的）连系
   > > csubj : clausal subject，从主关系
   > > csubjpass: clausal passive subject 主从被动关系
   > > dep: dependent依赖关系
   > > det: determiner决定词，如冠词等
   > > dobj : direct object直接宾语
   > > expl: expletive，主要是抓取there
   > > infmod: infinitival modifier，动词不定式
   > > iobj : indirect object，非直接宾语，也就是所以的间接宾语；
   > > mark: marker，主要出现在有“that” or “whether”“because”, “when”,
   > > mwe: multi-word expression，多个词的表示
   > > neg: negation modifier否定词
   > > nn: noun compound modifier名词组合形式
   > > npadvmod: noun phrase as adverbial modifier名词作状语
   > > nsubj : nominal subject，名词主语
   > > nsubjpass: passive nominal subject，被动的名词主语
   > > num: numeric modifier，数值修饰
   > > number: element of compound number，组合数字
   > > parataxis: parataxis: parataxis，并列关系
   > > partmod: participial modifier动词形式的修饰
   > > pcomp: prepositional complement，介词补充
   > > pobj : object of a preposition，介词的宾语
   > > poss: possession modifier，所有形式，所有格，所属
   > > possessive: possessive modifier，这个表示所有者和那个’S的关系
   > > preconj : preconjunct，常常是出现在 “either”, “both”, “neither”的情况下
   > > predet: predeterminer，前缀决定，常常是表示所有
   > > prep: prepositional modifier
   > > prepc: prepositional clausal modifier
   > > prt: phrasal verb particle，动词短语
   > > punct: punctuation，这个很少见，但是保留下来了，结果当中不会出现这个
   > > purpcl : purpose clause modifier，目的从句
   > > quantmod: quantifier phrase modifier，数量短语
   > > rcmod: relative clause modifier相关关系
   > > ref : referent，指示物，指代
   > > rel : relative
   > > root: root，最重要的词，从它开始，根节点
   > > tmod: temporal modifier
   > > xcomp: open clausal complement
   > > xsubj : controlling subject 掌控者
   > > 中心语为谓词
   > > subj — 主语
   > > nsubj — 名词性主语（nominal subject） （同步，建设）
   > > top — 主题（topic） （是，建筑）
   > > npsubj — 被动型主语（nominal passive subject），专指由“被”引导的被动句中的主语，一般是谓词语义上的受事 （称作，镍）
   > > csubj — 从句主语（clausal subject），中文不存在
   > > xsubj — x主语，一般是一个主语下面含多个从句 （完善，有些）
   > > 中心语为谓词或介词
   > > obj — 宾语
   > > dobj — 直接宾语 （颁布，文件）
   > > iobj — 间接宾语（indirect object），基本不存在
   > > range — 间接宾语为数量词，又称为与格 （成交，元）
   > > pobj — 介词宾语 （根据，要求）
   > > lobj — 时间介词 （来，近年）
   > > 中心语为谓词
   > > comp — 补语
   > > ccomp — 从句补语，一般由两个动词构成，中心语引导后一个动词所在的从句(IP) （出现，纳入）
   > > xcomp — x从句补语（xclausal complement），不存在
   > > acomp — 形容词补语（adjectival complement）
   > > tcomp — 时间补语（temporal complement） （遇到，以前）
   > > lccomp — 位置补语（localizer complement） （占，以上）
   > > — 结果补语（resultative complement）
   > > 中心语为名词
   > > mod — 修饰语（modifier）
   > > pass — 被动修饰（passive）
   > > tmod — 时间修饰（temporal modifier）
   > > rcmod — 关系从句修饰（relative clause modifier） （问题，遇到）
   > > numod — 数量修饰（numeric modifier） （规定，若干）
   > > ornmod — 序数修饰（numeric modifier）
   > > clf — 类别修饰（classifier modifier） （文件，件）
   > > nmod — 复合名词修饰（noun compound modifier） （浦东，上海）
   > > amod — 形容词修饰（adjetive modifier） （情况，新）
   > > advmod — 副词修饰（adverbial modifier） （做到，基本）
   > > vmod — 动词修饰（verb modifier，participle modifier）
   > > prnmod — 插入词修饰（parenthetical modifier）
   > > neg — 不定修饰（negative modifier） (遇到，不)
   > > det — 限定词修饰（determiner modifier） （活动，这些）
   > > possm — 所属标记（possessive marker），NP
   > > poss — 所属修饰（possessive modifier），NP
   > > dvpm — DVP标记（dvp marker），DVP （简单，的）
   > > dvpmod — DVP修饰（dvp modifier），DVP （采取，简单）
   > > assm — 关联标记（associative marker），DNP （开发，的）
   > > assmod — 关联修饰（associative modifier），NP|QP （教训，特区）
   > > prep — 介词修饰（prepositional modifier） NP|VP|IP（采取，对）
   > > clmod — 从句修饰（clause modifier） （因为，开始）
   > > plmod — 介词性地点修饰（prepositional localizer modifier） （在，上）
   > > asp — 时态标词（aspect marker） （做到，了）
   > > partmod– 分词修饰（participial modifier） 不存在
   > > etc — 等关系（etc） （办法，等）
   > > 中心语为实词
   > > conj — 联合(conjunct)
   > > cop — 系动(copula) 双指助动词？？？？
   > > cc — 连接(coordination)，指中心词与连词 （开发，与）
   > > 其它
   > > attr — 属性关系 （是，工程）
   > > cordmod– 并列联合动词（coordinated verb compound） （颁布，实行）
   > > mmod — 情态动词（modal verb） （得到，能）
   > > ba — 把字关系
   > > tclaus — 时间从句 （以后，积累）
   > > — semantic dependent
   > > cpm — 补语化成分（complementizer），一般指“的”引导的CP （振兴，的）
   > > ```
   > ```
   

3.2.2 stanza

github: https://github.com/stanfordnlp/stanza

stanza同样是stanford发布的版本。

1. 安装

   pip install stanza
   

2. 下载模型

   import stanza
   stanza.download('zh') 
   

   我这里提供一份中文的模型包供大家下载。

   链接: https://pan.baidu.com/s/1hb9ATqpOGC9sHBHZ2hNdeg 提取码: fqdm

3. 测试代码

   import stanza
   nlp = stanza.Pipeline('zh') # This sets up a default neural pipeline in English
   doc = nlp("HanLP是一系列模型与算法组成的自然语言处理工具包，目标是普及自然语言处理在生产环境中的应用。")
   doc.sentences[0].print_dependencies()
   

   ('HanLP', '14', 'nsubj')
   ('是', '14', 'cop')
   ('一', '4', 'nummod')
   ('系列', '5', 'clf')
   ('模型', '8', 'nsubj')
   ('与', '7', 'cc')
   ('算法', '5', 'conj')
   ('组成', '14', 'acl:relcl')
   ('的', '8', 'mark:relcl')
   ('自然', '12', 'nmod')
   ('语言', '12', 'compound')
   ('处', '13', 'nmod')
   ('理工', '14', 'nsubj')
   ('具包', '0', 'root')
   ('，', '14', 'punct')
   ('目标', '17', 'nsubj')
   ('是', '14', 'parataxis')
   ('普及', '17', 'xcomp')
   ('自然', '20', 'nmod')
   ('语言', '21', 'nsubj')
   ('处理', '18', 'ccomp')
   ('在', '27', 'det')
   ('生产', '24', 'nmod')
   ('环境', '22', 'nmod')
   ('中', '24', 'acl')
   ('的', '22', 'case:dec')
   ('应用', '18', 'obj')
   ('。', '14', 'punct')
   

3.3 HaNLP

官网：http://hanlp.linrunsoft.com/

在线演示：http://hanlp.com/

3.3.1 pyhanlp(hanlp1.x)

Github地址：https://github.com/hankcs/pyhanlp

1. 安装

   pip install pyhanlp
   

2. 下载数据包

   data：链接: https://pan.baidu.com/s/169Fgb6vhfsx10O2xEomY1Q 提取码: r4zv

   将下载的数据包解压至%python_lib%/site-packages/pyhanlp/static文件夹。我这里提供的是1.7.5版本，同样支持1.7.7版本的pyhanlp。

   默认会自动下载相关的jar包。

3. 测试代码

   from pyhanlp import HanLP
       print(HanLP.parseDependency("HanLP是一系列模型与算法组成的自然语言处理工具包，目标是普及自然语言处理在生产环境中的应用"))
   

   1	HanLP	HanLP	ws	nx	_	2	主谓关系	_	_
   2	是	是	v	v	_	0	核心关系	_	_
   3	一系列	一系列	n	n	_	4	定中关系	_	_
   4	模型	模型	n	n	_	7	主谓关系	_	_
   5	与	与	p	p	_	7	状中结构	_	_
   6	算法	算法	n	n	_	5	介宾关系	_	_
   7	组成	组成	v	v	_	10	定中关系	_	_
   8	的	的	u	u	_	7	右附加关系	_	_
   9	自然语言处理	自然语言处理	nz	nz	_	10	定中关系	_	_
   10	工具包	工具包	n	n	_	2	动宾关系	_	_
   11	，	，	wp	w	_	2	标点符号	_	_
   12	目标	目标	n	n	_	13	主谓关系	_	_
   13	是	是	v	v	_	2	并列关系	_	_
   14	普及	普及	v	v	_	13	动宾关系	_	_
   15	自然语言处理	自然语言处理	nz	nz	_	19	主谓关系	_	_
   16	在	在	p	p	_	19	状中结构	_	_
   17	生产环境	生产环境	n	n	_	16	介宾关系	_	_
   18	中的	中的	v	v	_	19	状中结构	_	_
   19	应用	应用	v	vn	_	14	动宾关系	_	_
   

3.3.2 hanlp2.0

1. 安装

   pip install hanlp
   

   hanlp2.0是基于tensorflow2.1训练的网络模型，线上提供了很多训练好的预训练模型，问题在于基本上不可能自动下载成功，需要手动下载模型并存放到相应的位置。

2. 查看已经提供的模型

   import hanlp
   for k,v in hanlp.pretrained.ALL.items():
       print(k, v)
   

3. 测试代码

   tokenizer = hanlp.load('CTB6_CONVSEG')
   tagger = hanlp.load('CTB5_POS_RNN')
   syntactic_parser = hanlp.load('CTB7_BIAFFINE_DEP_ZH')
   
   pipeline = hanlp.pipeline() \
   .append(hanlp.utils.rules.split_sentence, output_key='sentences') \
   .append(tokenizer, output_key='tokens') \
   .append(tagger, output_key='part_of_speech_tags') \
   .append(syntactic_parser, input_key=('tokens', 'part_of_speech_tags'), output_key='syntactic_dependencies',
           conll=False)
   
   text = 'HanLP是一系列模型与算法组成的自然语言处理工具包，目标是普及自然语言处理在生产环境中的应用'
   
   doc = pipeline(text)
   tokens = doc.tokens[0]
   pos = doc.part_of_speech_tags[0]
   dependencies = doc.syntactic_dependencies[0]
   
   for i in range(len(tokens)):
       print(i, tokens[i], pos[i], dependencies[i][0], dependencies[i][1])
   

   0 HanLP NN 2 top
   1 是 VC 0 root
   2 一系列 NN 6 nn
   3 模型 NN 6 conj
   4 与 CC 6 cc
   5 算法 NN 7 nsubj
   6 组成 VV 10 rcmod
   7 的 DEC 7 cpm
   8 自然 NN 10 nn
   9 语言 NN 11 nsubj
   10 处理 VV 2 ccomp
   11 工具包 PU 11 punct
   12 ， PU 2 punct
   13 目标 NN 15 top
   14 是 VC 2 conj
   15 普及 VV 15 ccomp
   16 自然 NN 18 nn
   17 语言 NN 16 dobj
   18 处理 VV 16 conj
   19 在 P 25 assmod
   20 生产 NN 22 nn
   21 环境 NN 23 lobj
   22 中 LC 20 plmod
   23 的 DEG 20 assm
   24 应用 NN 19 dobj
   

4. 数据集

• Penn Treebank

  Penn Treebank是一个项目的名称，项目目的是对语料进行标注，标注内容包括词性标注以及句法分析。

• SemEval-2016 Task 9

  中文语义依存图数据：http://ir.hit.edu.cn/2461.html

  下载地址：https://github.com/HIT-SCIR/SemEval-2016

• evsam05

  链接: https://pan.baidu.com/s/1cFQBNcd-HnuTPUlGT7h9wg 提取码: tjdx

• CoNLL任务

  • http://universaldependencies.org/conll18/
  • http://ufal.mff.cuni.cz/conll2009-st/
  • https://www.clips.uantwerpen.be/conll2008/
  • https://www.clips.uantwerpen.be/conll2007/

5. 可视化工具

1. conllu.js

   https://github.com/spyysalo/conllu.js

2. DependencyViewer.exe

   http://nlp.nju.edu.cn/tanggc/tools/DependencyViewer.html

参考：

https://mp.weixin.qq.com/s/AP4TCnRfIccqAxDu4FlBew