精华内容
下载资源
问答
  •    与短语结构语法比较起来,依存语法没有词组这个层次,每一个结点都与句子中的单词相对应,它能...因此,如果我们在短语结构分析之后得到了短语结构树,可以自动地把这样的短语结构树转换为依存树。 例如,
    

     

    与短语结构语法比较起来,依存语法没有词组这个层次,每一个结点都与句子中的单词相对应,它能直接处理句子中词与词之间的关系,而结点数目大大减少了,便于直接标注词性,具有简明清晰的长处。特别在语料库文本的自动标注中,使用起来比短语结构语法方便。

    一般而言,短语结构语法是与依存语法等价的。因此,如果我们在短语结构分析之后得到了短语结构树,可以自动地把这样的短语结构树转换为依存树。

    例如,“铁路工人学习英语语法”这个句子,如果用短语结构语法分析之后得到如下的短语结构树:

     

    依存语法:从短语结构树转换为依存树

                                                 短语结构树

     

    我们可以把它转换为依存树:

     

                      依存语法:从短语结构树转换为依存树

      

     

                                                              依存树

     

        显而易见,依存树的结构比短语结构树简洁得多,层次和结点数都减少了。因此,依存语法受到了自然语言处理研究者的欢迎。

        如果在短语结构树中,确定了结点之间的依存关系,把处于支配地位的词叫做主词,处于依存地位的词叫做从词,那么,就可以把短语结构树转化为依存树,转换的步骤是:

        从叶子结点开始,首先把表示具体单词的结点归结到表示词类的结点上;       

        然后,自底向上把主词归结到父结点上;

        最后再把全句的中心主词归结到根结点上。

        通过这样的步骤,便可以得到与短语结构树等价的依存树。

        例如,在上面的短语结构树中,首先把“铁路”归结到支配它的结点N上,把“工人”归结到支配它的结点N上,把“学习”归结到支配它的结点V上,把“英语”归结到支配它的结点N上,把“语法”归结到支配它的结点N上。然后,把NP“铁路工人”中的主词“工人”归结到其父结点NP上,把“学习”归结到其父结点VP上,把NP“英语语法”中的主词“语法”归结到其父结点NP上,最后,再把全句的中心主词“学习”从结点VP归结到根结点S上,就得到了上面那个与短语结构树完全等价的依存树。

           由此可见,依存语法与短语结构语法具有等价性。通过有穷的步骤,我们不难实现短语结构语法和依存语法之间的相互转化。


    http://www.hankcs.com/nlp/to-achieve-a-simple-generative-dependency-parsing.html

     

    展开全文
  • 【依存树】短语结构树转化依存树

    千次阅读 2018-04-16 15:33:02
    参考:https://www.jianshu.com/p/073f162cbb28--------------------------------------------------------应用的领域:短语缩句、提取文本主要内容...--------------发展:短语分词——词性标注——短语句法——...

    参考:https://www.jianshu.com/p/073f162cbb28

    --------------------------------------------------------

    应用的领域:

    短语缩句、提取文本主要内容、文本分类、情感分析、意见抽取

    -----------------------------------------------

    发展:

    短语分词——词性标注——短语句法树——依存树

    三种工具:

    Penn2malt | Stanford Parser | LTH

    ---------------------------

    测试第二个网站:http://nlp.stanford.edu:8080/parser/index.jsp


    -----------------------------------------

    参考:http://blog.sina.com.cn/s/blog_72d083c70102drof.html

    -----------------------------------------

    找寻一下可视化的网站

    展开全文
  • 基于CYK+PCFG的短语结构句法分析

    千次阅读 多人点赞 2018-11-25 23:08:05
    1 概述 ...句法分析根据形式语法的不同可以分为基于短语结构语法的句法分析和基于依存关系语法的依存句法分析。本篇文章将介绍使用CKY(一种自底向上的动态规划算法)+PCFG(概率上下文无关文法)的基...

    1 概述

    句法分析是自然语言处理中的关键技术之一。其基本任务是确定句子的句法结构(syntatic structure)或句子中词汇之间的依存关系。形式语法理论的目的是试图用精确的数学模型(形式语言)来刻划自然语言。句法分析根据形式语法的不同可以分为基于短语结构语法的句法分析和基于依存关系语法的依存句法分析。本篇文章将介绍使用CYK(一种自底向上的动态规划算法)+PCFG(概率上下文无关文法)的基于短语结构语法的句法分析。

    2 理论描述

    2.1 CFG(上下文无关文法)

    形式语法G = < V N V_N VN, V T V_T VT,R,S>

    • V N V_N VN 非终端语符集(辅助词汇的有限集合) ,如{S, NP, VP, ART, N, V}
    • V T V_T VT 终端语符集(基本词汇的有限集合) ,如{the, a, boy ,sees , cat, dirty}
    • R 一组由有限个重写规则组成的规则集,如{ VP→V NP, ART → the|a, …}
    • S 表示起始符

    句子:由语法 G 0 G_0 G0从起始符S可派生出来的终端语符列构成由 G 0 G_0 G0生成的句子。

    语言:所有由语法 G 0 G_0 G0从起始符S可派生出来的终端语符列构成 G 0 G_0 G0生成的语言。

    2.2 PCFG(概率上下文无关文法)

    PGFG在GFG的基础上引入了P,加上了每个规则的概率。

    PCFG中定义一棵句法树的概率为所有用到的规则概率的乘积 ,一般来说,概率值大的更可能是正确的句法树 。

    我们可以利用句子S的所有可能的句法分析树来统计句子的概率:

    P ( S ) = ∑ t = 1 T P ( S , T ) P(S)=\sum_{t=1}^{T}P(S,T) P(S)=t=1TP(S,T)

    2.3 CNF(Chomsky Normal Form)

    如果一个上下文无关文法的每个产生式的形式为:

    A → BC或A → a,

    即规则的右部或者是两个非终结符或者是一个终结符,则它是具有Chomsky范式的CFG。

    任何CFG都可以转变成一个弱等价的 Chomsky范式语法。

    2.4 CYK算法

    给定一个句子s = w 1 w_1 w1, w 2 w_2 w2, …, w n w_n wn, 和一个上下文无关文法PCFG,G=(T, N, S, R, P);

    定义一个跨越单词 i到j的概率最大的语法成分π:

    π ( i , j , X ) π (i , j , X) π(i,j,X) (i , j ∈ 1…n , X ∈N),

    目标是找到一个属于 π [1 , n , S]的所有树中概率最大的那棵。

    CYK算法用于PCFG下的句法分析:

    • 基本定义:for all i=1,…,n, X ∈N

      π ( i , i , X ) = q ( X → w i ) π(i , i , X) = q(X→wi) π(i,i,X)=q(Xwi) (if X → wi 没有出现在语法中,则定义q(X → wi )=0)

    • 递归定义:for all i=1,…,n, j=(i+1),…,n, X ∈N

      π ( i , j , X ) = m a x ( q ( X → Y Z ) × π ( i , k , Y ) × π ( k + 1 , j , Z ) ) π(i, j, X ) = max (q(X→YZ)×π(i, k, Y)×π(k +1, j, Z)) π(i,j,X)=max(q(XYZ)×π(i,k,Y)×π(k+1,j,Z)) (i≤k≤j−1)

    3 详例描述

    给定以下PCFG,实现句子“fish people fish tanks”最可能的统计句法树。
    在这里插入图片描述

    第一步:构造4*4矩阵。

    根据CYK算法,每格Cell[i, j]包含了跨越单词i+1, j+1的所有语法成分(实际计算中下标是从0开始的)。

    以Cell[1, 3]为例,Cell[1, 3]格中的成分分别为:(1,1)和(2,3)组成,(1,2)和(3,3)组成,包含了people fish tanks所有语法成分。

    在这里插入图片描述

    第二步:处理叶子节点中的单词。

    在这里插入图片描述

    第三步:根据叶子节点中单词的词性递归地找一元匹配规则。

    [ 0 ] [ 0 ] [0][0] [0][0]中NP → N 0.14为例,0.14 = 0.7(规则集中NP→N) * 0.2( [ 0 ] [ 0 ] [0][0] [0][0]中的N→fish)。

    在这里插入图片描述

    第四步:处理非叶子节点。

    根据PCYK算法π(i, j, X ) =max (q(X→YZ) × π(i, k, Y) × π(k+1, j, Z) )。

    例如 s c o r e [ 0 ] [ 1 ] = s c o r e [ 0 ] [ 0 ] × s c o r e [ 0 + 1 ] [ 1 ] score[0][1]=score[0][0]×score[0+1][1] score[0][1]=score[0][0]×score[0+1][1],我们可以从规则集中找所有能够满足 [ 0 ] [ 0 ] [0][0] [0][0] [ 1 ] [ 1 ] [1][1] [1][1]的规则(NP → NP NP/ VP → V NP/ S → NP VP),并再递归地找满足 [ 0 ] [ 1 ] [0][1] [0][1]的规则(S → VP)。

    因为此时S→有两条规则,我们比较其大小,仅保留其对大概率的一条规则即可。

    概率计算方法以 [ 0 ] [ 1 ] [0][1] [0][1]中的S → NP VP 0.00126为例,0.0126 = 0.9(规则集中的S → NP VP)* 0.14( [ 0 ] [ 0 ] [0][0] [0][0]中的NP → N 0.14) * 0.01( [ 1 ] [ 1 ] [1][1] [1][1]中的NP → N 0.14)。

    [ 1 ] [ 2 ] [1][2] [1][2] [ 2 ] [ 3 ] [2][3] [2][3]同理。

    在这里插入图片描述

    第五步:处理再上一层非叶子节点。

    根据PCYK算法 s c o r e [ 0 ] [ 2 ] = q ( X → Y Z ) × m a x ( s c o r e [ 0 ] [ 0 ] × s c o r e [ 0 + 1 ] [ 2 ] , s c o r e [ 0 ] [ 1 ] × s c o r e [ 1 + 1 ] [ 2 ] ) score[0][2] = q(X→YZ)×max(score[0][0]×score[0+1][2], score[0][1]×score[1+1][2]) score[0][2]=q(XYZ)×max(score[0][0]×score[0+1][2],score[0][1]×score[1+1][2])

    我们知道,无论是 [ 0 ] [ 0 ] [0][0] [0][0]+ [ 1 ] [ 2 ] [1][2] [1][2]还是 [ 0 ] [ 1 ] [0][1] [0][1]+ [ 2 ] [ 2 ] [2][2] [2][2]都覆盖了前三个单词的路径,因此我们分别从 [ 0 ] [ 0 ] [0][0] [0][0] [ 1 ] [ 2 ] [1][2] [1][2] [ 0 ] [ 1 ] [0][1] [0][1] [ 2 ] [ 2 ] [2][2] [2][2]找对应的匹配规则。再对结果找到对应 [ 0 ] [ 2 ] [0][2] [0][2]的一元规则。

    当同一个非终端语符有多条规则时,我们仅保留其最大项。

    [ 1 ] [ 3 ] [1][3] [1][3]同理。

    在这里插入图片描述

    第六步:处理根节点。

    根据PCYK算法我们分别从 [ 0 ] [ 0 ] [0][0] [0][0]+ [ 1 ] [ 3 ] [1][3] [1][3] [ 0 ] [ 1 ] [0][1] [0][1]+ [ 2 ] [ 3 ] [2][3] [2][3] [ 0 ] [ 2 ] [0][2] [0][2]+ [ 3 ] [ 3 ] [3][3] [3][3]找对应的匹配规则,再对结果找对应 [ 0 ] [ 3 ] [0][3] [0][3]的一元规则,这样便可覆盖率所有单词。

    当同一个非终端语符有多条规则时,我们仅保留其最大项。

    在这里插入图片描述

    第七步:回溯。

    从根节点的开始标志S出发,按照之前保留的路径找出概率最大句法树。

    在这里插入图片描述

    最后,PCFG生成的概率最大句法树结果如图:

    在这里插入图片描述

    4 总结

    普通的回溯法(backtracking)在最坏的情况下需要指数时间才能解决这样的问题,而CYK算法只需要多项式时间就够了。CYK算法采用了动态规划的思想:

    • 有 ( n ( n + 1 ) 2 \frac{n(n+1)}{2} 2n(n+1)) = O( n 2 n_2 n2) 格子
    • 有 O( n n n) 个可能的分裂点
    • 总的时间复杂度为 O( n 3 n_3 n3)

    上述例子给出的PCFG并不是严格意义上的乔姆斯基范式,如果是CNF的话可以不用对本身格子里的语法再进行一元规则匹配,所以在实际应用中应先对CFG进行一次转换,采用乔姆斯基范式来进行CYK算法。

    展开全文
  • 短语结构规则语法 您是否曾经需要生成一些重复的俏皮话或足够有趣的短语,并厌倦了一遍又一遍的单调乏味? 想要生成用于向某人发送垃圾邮件的独特消息(请不要这样做)或构建看起来是另一种语言的单词,但实际上只是...
  • 如题,现在需要使用Stanford Parser句法分析工具所以求问。给定一个语句,在使用其生成短语结构树后,要取出在同一短语内的词(这些词,或者说叶节点它们的上一层或者上某层会有交集)这是如何办到的?
  • 最复杂的可能是短语结构树,额外再标注一些诸如指代、语义等标签。 这张图很形象,词袋中装不下所有单词,散落一地。虽然词袋模型很简陋,但它依然是一个很难击败的基线模型。它简单高效,通过一些聪明的技巧可以...

    语言光谱模型

    对于语义相似性等这类目标来说,最好的方法还是词袋

    最简陋最常用的是词袋模型,或“词向量袋模型”。最复杂的可能是短语结构树,额外再标注一些诸如指代、语义等标签。

    这张图很形象,词袋中装不下所有单词,散落一地。虽然词袋模型很简陋,但它依然是一个很难击败的基线模型。它简单高效,通过一些聪明的技巧可以在一些任务中胜过深度神经网络。

    语言的语义解释--并不只是词向量

    词向量只是词语级别的向量,对于下列两句话,加粗部分其实意思是一致的:

     就算一个人没见过snowboarder这个单词,他也能明白这与下面这个短语是同一个意思。人们可以用更大颗粒度的文本来表达自己的意思,而不仅仅是词袋中的某个单词。我们希望有这样的一个模型来做到这点、

    语义合成性

    这个问题触及的第一个层面就是语义的合成性,你可以组合小的单元来表示更复杂的语义。

     这不仅关乎语言,还关乎人类的其他认知活动。对于图像而言,也有类似的组成性:

     将小部件组成大模块并理解大模块的大体思想 Tree Recursive NN 是最好的模型 而Recursive 递归的概念是什么?

    语言能力:

    以前有种主流观点认为,人类生来就具备处理语言的大脑模块,使得人类区别于其他动物,成为万物灵长。但乔姆斯基最近的工作认为,人类大脑中没有这种结构,只是因为人类学会了递归而已。有了递归的思想,人类就能利用有限的器官处理无限长度的语言序列。

     语言是递归的吗?

    在认知科学上虽然有些争议,因为一般一个句子是有长度限制的,人们几乎从不说300个词以上的句子。但是递归是描述语言的最佳方式,比如 [The man from [the company that you spoke with about [the project] yesterday]] 这里面一个名词短语套一个名词短语,一级级下去。从实用的角度讲

    1、通过递归地描述句子(句法树),可以有效地消歧:

    2、便于指代相消等任务。

    3、便于利用语法树结构(基于短语的机器翻译)

    建立在词向量空间的模型

    不论句子多复杂,我们总是希望能在同一个向量空间中表示词语和短语的语义。为什么一定要这么做?回想这节课开头snowboarder的例子就明白了,有时候一个单词与一个短语表达的是同一个意思。

     如何将短语映射到词向量空间中

    使用语义合成的原则 在数学、语义学和语言哲学中,复合性原理是指,一个复杂表达式的意义是由其各组成部分的意义以及用以结合它们的规则来决定的。https://dict.eudic.net/dicts/en/Principle_of_compositionality.html

    通过同时学习句法树和复合性向量表示,就可以得到短语的向量表示了。

    短语结构分析

    如果我们能用短语结构树表示一个句子:

     将每个rule视作一个算子,即可得到每个短语乃至句子的向量表示:

    Recursive vs recurrent NN

    recurrent更像是受限的tree 结构

     

    • 两者都是递归神经网络,只不过前者在空间上递归,后者在时间上递归。中文有时会把后者翻译为“循环神经网络”,但这明显混淆了等级,令人误解。
    • 它们各有各的优缺点,Recursive neural net需要分析器来得到句法树,而Recurrent neural net只能捕捉“前缀”“上文”无法捕捉更小的单位。
    • 但人们还是更倾向于用后者,LSTM之类。因为训练Recursive neural net之前,你需要句法树;句法树是一个离散的决策结果,无法连续地影响损失函数,也就无法简单地利用反向传播训练Recursive neural net。另外,复杂的结构也导致Recursive neural net不易在GPU上优化。

    RNN与CNN之间的关系

    RNN只会为满足语法的短语计算向量,而CNN为每个可能的短语计算向量。从语言学和认知科学的角度来讲,CNN并不合理。甚至recurrent neural network也比tree model和CNN更合理。

    两者的关系可以这样想象,RNN将CNN捕捉的不是短语的部分删除了:

     得到:这里的RNN指的是 递归Recursive

     Recursive NN 用于结构化预测

    同时得到结构树和向量表示的一种任务。输入两个候选子节点,输出两个结果1.两个子节点合并后的新节点语义表示向量,2.新节点成立的分数来判断该组合结构是否合理。

     最简单的Recursive NN

    利用单层的神经网络作为组合函数,向量内积作为打分函数,马上就可以得到一个最简单的RNN:

    使用Recursive NN分析句子

    计算任意两个单词合并的得分(虽然下图是相邻两个,但我觉得那只是绘图方便;就算是我第一次写的玩具级别的依存句法分析器,也是任意两个单词之间计算):

     然后贪心地选择得分最大的一对合并:

     重复这一过程

     直到得到根节点:

     最大间隔

    使用贪心算法,每次都选择总分得分最高的tree

     不再仅仅根据整个句子的总分挑选,而是要求每个预测分值离错误类别要尽量远。

     然后也不要贪心搜索,而是柱搜索。

    两两组合词语进行贪心搜索,获取最优的解法。导致时间复杂度变得更大,工作量变大不是我们想要的。所以我们可以使用反向传播算法对参数进行更新。

    由于前向传播时每个节点的信号来自所有子节点,所以梯度也来自所有子节点。并且前向传播时父节点的信号是利用子节点信号的拼接计算的,所以梯度需要针对子节点的信号计算:

     这个问题其实在TensorFlow那一课已经讲过了,图计算:前向传播信号流入某节点,反向传播误差就得从某节点分流到所有源节点。树只是图的一个特例:

     讨论 简单的Recursive NN的缺点

    单层神经网络接受两个单词词向量的拼接,乘上权值矩阵W,非线性激活。矩阵运算中W可视作两个矩阵的拼接,c_1和c_2其实没有发生互动。

     

    另外,模型中只有一个合成函数,使用同一个权值矩阵WW处理NP、VP、PP……这明显是不合理的。

    版本2:Syntactically-United Recursive NN

    利用子节点的句法分类(词性NN、VV、PP)不同而使用不同的权值矩阵进行合成。

     然后句子的结构也是通过PCFG中的CKY算法动态规划地得到。这样速度很快,不需要遍历每两个节点的组合,进行矩阵和向量的乘积计算。这种“文法”被称为Compostional Vector Grammars。

     句法分析的相关工作

    CVG的产生离不开PCFG的拓展,当时人们提出Lexicalized PCFG,即用短语的head表示短语本身。但这是个离散的表示,丢失了其他词语的语义,CVG自然而然地想到了用连续的向量表示来代替它。

     效果:裸的CKY-PCFG可以拿到72%的F1,但裸的RNN已经可以拿到85%的F1了,在加上Syntactically-United,立马超越所有人工特征工程。

    句法分析并不是最终目的,最终目的是通过句法分析得到的句法树合成句子的意思的表示。

    直观效果:将每种短语的合成函数的权值矩阵可视化,会发现模型成功地捕捉到究竟哪个子节点语义信息更丰富。

    其中主对角线的黄线来自单位矩阵初始化。上图名词-连词短语中,语义主要来自前半部分。而所有格-名词短语中,语义主要来自后半部分。

    还有很多类似的例子:

     而得到的句子表示也的确把相似的句子放到了邻近的向量空间中:

    版本2依然没有解决两个子节点的混合问题,它们依然乘上的是矩阵的不同部分,互不相干。

    版本3 Compositionality Through Recursive Matrix-Vector Spaces

    有理论认为语言是由两种不同的符号组成,一种符号就是普通的符号,另一种符号类似操作符,可以改变普通符号的意思。比如very good和not good中,good是普通符号,被前面的操作符修改了意思。

    版本3形式化了这种思想,将操作符抽象为矩阵,将符号抽象为向量。我们不知道哪些词语是操作符,哪些是符号,所以为每个节点同时赋予向量和矩阵,在合成运算的时候混合两者的矩阵和向量,期待模型自己去区分并混合语义:

    这样得到的短语p依然是一个向量,但是已经充分混合两个子节点的语义表示。

    而对两个子节点的矩阵表示,也拼接起来乘上另一个矩阵得到一个新的矩阵,作为短语的操作符的矩阵表示:

     

    事实上,矩阵是个庞大的参数集合,这是该模型的短板。

    效果

    虽然朴素RNN可以捕捉大多数短语语义,但它容易被最后一个单词影响。而MV-RNN的确做得更好。下图是两种模型预测的短语情感(越大越正面)及其概率分布:

     语义关系分类

    可以将MV-RNN用于学习较大的语义上下文所描述的语义关系,比如总体-局部、消息-主题之类:

     只需得到包含两个目标单词的最小短语表示进行分类即可。

    效果:

    朴素RNN依然挺好,加上MV和一点点额外语言学特征就超越了使用大量特征工程的SVM。

     其他应用:

    解析图像各部分的语义成分(类似句法分析):

     图像分割与多分类(类似中文分词与词性标注):

     甚至用于粒子物理:

    展开全文
  • 使用填表法的话,就必然要考虑它是一棵,每一个中间格仅仅是由两个格组成的,而这两个格恰好能覆盖所有子节点这样。 而且你看这个表,两个格的确定也是非常好确定的,正好是互补的那种: 这里有一个问题,那么形...
  • 1. 从词袋模型 VS 树结构模型 2. 从词向量到短语向量 3. RNN(递归神经网络)分析句子实例 4. CNN VS RNN(递归神经网络) 5. Recursive Neural Network(递归神经网络) VS (循环神经网络) Recurrent Neural ...
  • 语法: 在语法中表示所有分支结点对应子树,短语即子树叶子对应的符号。注: 子树包括语法本身,及句型本身也可以称为短语。 直接短语 定义: 若 S ⇒* αβδ,且文法中包含产生式 A → β,则称 β 是句型 ...
  • 短语分类
  • 介词短语

    2019-12-12 20:26:26
    介词短语,就是一个介宾结构:介词后面加个名词,就是一个介词短语,比如:in the tree, on earth, for us 等等;当然后面也可以是动名词或者代词,比如:into being, on it 等。 大家要区分介词短语短语介词,...
  • NLP中的树结构

    千次阅读 2017-08-26 14:07:24
    NLP中的树结构树结构的分类
  • 短语,简单短语,句柄的区别

    千次阅读 2020-04-20 20:35:12
    层次结构如下 短语 { 简单短语 {句柄} } } 子树:由该的某个节点,连同向下生长出的部分组成 子树与短语的联系:若句型中某些符号按照从左到右的顺序组成某棵子树的末端节点,那么有这些末端节点组成的字符串,...
  • cs224n 第十四讲,这篇博客记录了这节课最重要的一部分内容,也就是结合句法和词向量生成句子表示的方法。 文章目录前言语言模型光谱语言的语义解释--并不只是词向量递归思想语言的递归性递归的优点句子向量表示...
  • 该语料库已在 [3] 中进行了分析,其中每个句子都被解析为其树结构,并且每个节点都被分配了一个范围为 1 - 5 的细粒度情感标签,其中数字分别代表非常消极、消极、中性、积极和非常积极. 在本文中,我们在 ath000 ...
  • 基于短语结构树的层次短语模型是在双语对齐短语的基础之上结合英语短语结构树抽取翻译规则,并利用启发式策略获得翻译规则的扩展句法标记。采用翻译规则的统计机器翻译系统在不同数据集上具有稳定的翻译结果,在训练...
  • 由于我的编译原理课程不讲人话,在阅读《数据结构》和CSDN相关博文之后,总结编译原理语法分析中的三个词的定义: 1.短语,所有子树的末端节点行成的字符串。...但是上面短语里所说的子树是否包含这棵本身?
  • 提出了一种基于短语句法的树型结构来表示情感评价单元模式,并使用近似卷积核的方法来计算这种结构的相似度;在此基础上,采用基于相似度计算的模式匹配方法进行情感评价单元抽取。在中文商品评论上进行实验,该...
  • 数据结构思维 第六章 的遍历

    万次阅读 2017-09-04 15:12:54
    第六章 的遍历 原文:Chapter 6 Tree traversal 译者:飞龙 协议:CC BY-NC-SA 4.0 自豪地采用谷歌翻译 本章将介绍一个 Web 搜索引擎,我们将在本书其余部分开发它。我描述了搜索引擎的元素,并介绍了第...
  • G[E]为:E->E+T|E-TT->T*F|T/F|FF->(E)|I ,句型 E+T*F的短语___,___直接短语___,句柄___。 ...解答:如果给出短语等名词的形式化的定义...如果你有数据结构二叉树基础的话这很简单就构造出来了。构造出语法后,
  • DR 目前的 LSTM 仅能对序列信息进行建模,但是自然语言中通常由词组成短语形成了句法依存的语义。为了学习到树结构的语义信息,论文中提出了两种 Tree-LSTM 模型:Child-Sum Tree-LSTMs 和 N-ary Tree LSTMs。实验...
  • NLP

    2020-09-19 16:18:50
    短语结构树(constituent tree)与依存树(dependency tree)是NLP中的两种典型的树结构 短语结构树用来表达句子的句法结构,其只有叶子结点与输入句子中的词语相关联,其他中间结点都是标记短语成分。 依存树用来...
  • 由于最近在做一些无监督的关键词短语(实体)抽取工作,其实最大的背景还是没有标注好的实体识别训练数据;所以想到采用无监督的关键短语抽取算法折中去抽取一些实体,于是调研了一波关键短语抽取算法和工具。目前无...
  • 背景条件:使用的数据库为SQL SERVER 2008, 数据库通过pid字段来标识该条记录的父节点记录,我需要查询出该节点及其递归下面的所有子节点,经查询使用with as 可以达到递归查询的功能,WITH AS短语,也叫做子查询...
  • 详解依存句法分析

    千次阅读 多人点赞 2020-07-11 20:41:58
    本章将会介绍短语结构树和依存句法树两种语法形式,并且着重介绍依存句法分析的原理和实现。 12.1 短语结构树 语言其实具备自顶而下的层级关系,固定数量的语法结构能够生成无数句子。比如,仅仅利用下
  • mwe-aware-dependency-源码

    2021-04-30 15:12:50
    我们在Ontonotes的短语结构树中找到了MWE,并将其建立为单个子树。 我们利用了[1]提供的MWE的信息(句子位置和词性)。 还提供了通过此步骤制作的短语结构树。 我们将上述子树替换为具有其叶子节点作为子节点的...
  • 二、短语结构树 短语结构语法是分析句子如何产生的方法。由于语言满足复合性原理,通过分解句子为短语、分解短语为单词,下游应用将会得到更多更深层次的结构化信息。复合性定理是指,一个复杂表达式的意义是由其...
  • B*索引结构和内部管理

    千次阅读 2012-08-17 12:15:02
    摘要:本文对B索引的结构、内部管理等方面做了一个全面的介绍。同时深入探讨了一些与B索引有关的广为流传的说法,比如删除记录对索引的影响,定期重建索引能解决许多性能问题等。   1.B索引的相关概念  ...
  • 在NLP中深度学习模型何时需要结构? 前段时间阅读了Jiwei Li等人[1]在EMNLP2015上发表的论文《When Are Tree Structures Necessary for Deep Learning of Representations?》,该文主要对比了基于结构的...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 9,857
精华内容 3,942
关键字:

短语结构树