精华内容
下载资源
问答
  • trans系列模型

    2021-06-08 10:51:16
    1.canonical model(典范模型) canonical这个词来源于canon。 没错,就是和洗脑神曲卡农同源。canon本身也是拉丁语单词,意思是律法,带有一定的宗教意味。所以canonical,形象地来说可以解释为是 天选的。 如果一...

    1…trans系列模型
    模型比较
    必看(以下模型描述均摘自此篇文章)

    2.transE Translating Embeddings for Modeling Multi-relational Data

    link
    transE假设关系是向量而不是距离
    TransE的直观含义,就是TransE基于实体和关系的分布式向量表示,将每个三元组实例(head,relation,tail)中的关系relation看做从实体head到实体tail的翻译。
    在这里插入图片描述

    直观上,我们要前面的项(原三元组)变小(positive),后面的项(打碎的三元组)变大(negative)。就跟喂小狗一样,它做对了,就给骨头吃;做错了,就打两下。前面的项是对的(来自于训练集),后面的项是错的(我们随机生成的)。不同时打碎主体和客体,随机挑选一个打碎,另一个保持不变,这样才能够有对照性。

    transE也是如此(SVM是这样),我们尽可能将对的和错的分开。

    3.transH translating on hyperplanes(超平面)

    对知识库中的实体关系建模,特别是一对多,多对一,多对多的关系。设计更好的建立负类的办法用于训练。( TransE 对复杂关系建模不好,假定我们存在多个关系三元组,其中关系和尾实体都是固定不变的,而头实体对应多个,这就是N-1的关系,那么根据 TransE 的思想(上图a)建模,多个头实体将会得到非常相近的向量表示,可能近乎为统一含义,这对于不同业务下的不同场景是不合理的。)

    transH 的动机就是解决这种复杂关系,那么它具体是怎么解决的呢?

    在这里插入图片描述
    TransH 的核心思想是对于关系每一个 r,有一个超平面 Wr 和一个关系向 dr表示,而不是和实体在同一个嵌入空间。具体来说,在每个三元组中,将头实体 h 和尾实体 t 都映射到这个超平面上得到向量h⊥和t⊥,训练使 h⊥+dr ≈ t⊥。目的是为了能够使得同一个实体在不同关系中有不同的意义,因为不同的关系有不同的法平面。

    回到我们上面的N-1的复杂关系问题,对于三元组(h, r, t)和(h1, r, t),根据 TransE 的思想, h1 = h。而 对于TransH 来说,只需要满足 h 和 h1 在关系 r 的超平面上的投影相同就行啦,这样就可以区分出 h 和 h1,两个的向量表示是不同的。

    TransH 的头尾实体映射的向量计算以及损失函数。
    在这里插入图片描述
    4.transR R 代表的是 Relation Space
    TransE 和TransR 虽然多取得了很大的进步,但是他们实体和关系都是映射在同一语义空间中,然而实体包含多种属性,不同的关系对应不同的实体属性,因此,在实体空间中,有些实体是相似的,因而彼此接近,但某些特定实体属性却有相当大的不同,因而在相关的关系空间中彼此相距甚远,TransR 的提出缘起于此。

    所谓 TransR 是指将实体和关系映射到不同的语义空间,并且关系不再是单一的,而是多个关系空间,头尾实体的翻译也是在相应的关系空间中完成。这个 R 代表的是 Relation Space

    在这里插入图片描述
    对于每一个三元组(h, r, t),将头尾实体表示在实体空间,将关系表示在关系空间,并且,对于每一个关系 r,存在一个映射矩阵Mr,通过这个矩阵将 h, t 映射到关系 r 所在空间,得到 hr 和 tr,使 hr + r = tr。在这种关系的作用下,具有这种关系的头/尾实体彼此接近(彩色的圆圈),不具有此关系(彩色的三角形)的实体彼此远离。
    在这里插入图片描述
    6.TransD D 代表的是 dynamic mapping matrix
    TransD 方法的提出是在 TransR 的基础之上,虽然 TransR 相对于前两种方法有显著的效果,但是也存在明显的缺点,如下:

    (1) 在同一关系 r 下, 头尾实体共用相同的投影矩阵,然而,一个关系的头尾实体存在很大的差异,例如(美国,总统,奥巴马),美国是一个实体,代表国家,奥巴马是一个实体,代表的是人物。

    (2) TransR 仅仅让给投影矩阵与关系有关是不合理的,因为投影矩阵是头尾实体与关系的交互过程,应该与实体和关系都相关。

    (3) TransR 模型的参数急剧增加,计算的时间复杂度大大提高。
    在这里插入图片描述
    TransD 的模型思想,给定一个三元组(h, r, t),TransD 将头尾实体分别投影到关系空间得到投影矩阵 Mrh 和 Mrt ,这样得到的投影矩阵便与实体和关系都有关系。获取投影矩阵之后,和 TransR 一样,计算头尾实体的投影向量。
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    6.TransA TransA: An Adaptive Approach for Knowledge Graph Embedding 。
    TransA模型认为前述的模型都存在以下两个问题,(1) 损失函数中的距离度量太过简单,不具备灵活性(2)由于损失函数过于简单,实体和关系向量的每一维都等同对待,但是不同维度的重要度不一样,有些维度效果好,有些维度可能是噪音。

    实点表示正确匹配,空心点表示错误匹配,箭头表示某种关系(HasPart),我们来看一个例子,在图(a)中采用欧式距离得到的结果中有一个三元组(Sleeping,HasPart, Appliance),但是它是错误的,正确的三元组是(Sleeping,HasPart, Dreaming)。TransA 为了不等同对待向量的每一维,对向量维度加权,赋予不同的权重,在图(b)中对 xy 轴进行了拆解,对 y 轴加权,对 x轴降权,这样x轴就有一个较小的loss,会向正确的三元组方向学习。
    在这里插入图片描述
    7.TransG TransG : A Generative Mixture Model for Knowledge Graph Embedding。
    TransD 模型的提出是为了解决关系的多种语义问题,和上面的 TransR 解决的问题类似,一种关系可能存在多种语义表达。

    TransG认为既然一种关系存在多种语义表达,那么将每种语义采用高斯分布来刻画。具体的公式定义如下,Mr代表的是潜在语义关系数量
    在这里插入图片描述
    在这里插入图片描述
    8.TranSparse Knowledge Graph Completion with Adaptive Sparse Transfer Matrix。

    实体库中实体和关系的 异质性(heterogeneous) 和 不平衡性(unbalanced) 是知识表示学习的两个难题。
    异质性(heterogeneous):关系链接实体的数量不一致,有的很多,有的很少。
    不平衡性(unbalanced):某些关系头尾实体的种类和数量可能差别巨大。

    TranSparse 模型是在 TransR 的模型基础之上,采用稀疏矩阵代替了 TransR 中的稠密矩阵,因为采用稀疏矩阵 Mr,所以命名为 TranSparse,针对异质性问题提出TranSparse(share),针对不平衡性提出 TranSparse(separate)

    TranSparse(share):对于每一个关系,有翻译向量 r 和稀疏矩阵 Mr,稀疏矩阵的稀疏度由关系链接的实体对数量决定,稀疏度 θr 的定义如下,其中 Nr 表示关系链接的实体对的数量,Nr* 表示最大实体对的数量(关系链接最多的实体对),θmin 为稀疏度超参数,取值在 [0, 1] 之间,根据下面的公式(2)可以得到头尾实体的投影矩阵。
    在这里插入图片描述
    在这里插入图片描述
    TranSparse(separate):对于每一个关系,设置两个投影矩阵,分别为头实体 Mrh 和尾实体 Mrt,两者的稀疏度 θrl 和上面的有所改动,具体如下,其中 Nrl 表示关系 r 在位置 l 处链接的实体的数量,Nr*l 表示 Nrl 中最大的数,θmin 为稀疏度超参数,取值在 [0, 1] 之间,根据下面的公式(4)可以得到头尾实体的投影矩阵。
    在这里插入图片描述
    以上两个方法的损失函数均为如下定义:
    在这里插入图片描述
    9.8.KG2E Learning to Represent Knowledge Graphs with Gaussian Embedding。

    以前的方法都是将实体和关系嵌入到点向量空间中,这些模型总是以同样的方式看待所有的实体和关系,而作者认为实体库中的实体和关系本身就就存在不确定性,以前的方法模型忽略了这一不确定性。

    KG2E,与以往不同的是不再采用点空间,而是基于密度,采用高斯分布表示实体和关系,其中均值表示其所处的中心位置,而协方差可以恰当的表示其不确定度

    KG2E使用 h-t 表示头尾实体之间的关系,实体可以用一个概率分布表示,如下:
    在这里插入图片描述
    关系 r 也同样是一个高斯分布:
    在这里插入图片描述
    KG2E考虑了两种计算概率相似度的方法:KL-距离(KL-divergence)和期望概率(expected likelihood)。
    KL距离是一种不对称相似度,得分函数定义如下:
    在这里插入图片描述
    期望概率是一种对称相似度,得分函数如下:
    在这里插入图片描述

    展开全文
  • trans系列模型看了好久,但苦恼了好几天,不知道怎么用自己的数据训练模型。今天仔细看fb15k和几个其他的公开数据,终于完成了!多琢磨几个公共数据的共性就可以了.一定要多看几个公共数据集! ...

    看trans系列模型看了好久,但苦恼了好几天,不知道怎么用自己的数据训练模型。今天仔细看fb15k和几个其他的公开数据,终于完成了!多琢磨几个公共数据的共性就可以了.一定要多看几个公共数据集!

    展开全文
  • 文章转载:【知识图谱】——8种Trans模型 基于翻译模型(Trans系列)的知识表示学习 TransE解释
    展开全文
  • 基于翻译模型Trans系列)的知识表示学习

    万次阅读 多人点赞 2018-03-19 16:38:01
    翻译模型(Trans) 解决问题:知识表示与推理 将实体向量表示(Embedding)在低维稠密向量空间中...目前基于翻译模型Trans系列)的知识表示学习的研究情况 TransE, NIPS2013, Translating embeddings for mode...

    翻译模型(Trans)

    解决问题:知识表示与推理
    将实体向量表示(Embedding)在低维稠密向量空间中,然后进行计算和推理。

    主要应用:triplet classification, link prediction


    目前基于翻译模型(Trans系列)的知识表示学习的研究情况

    • TransE, NIPS2013, Translating embeddings for modeling multi-relational data
    • TransH, AAAI2014, Knowledge graph embedding by translating on hyperplanes
    • TransR, AAAI2015, Learning Entity and Relation Embeddings for Knowledge Graph Completion
    • TransD, ACL2015, Knowledge graph embedding via dynamic mapping matrix
    • TransA, arXiv2015, An adaptive approach for knowledge graph embedding
    • TranSparse, AAAI2016, Knowledge graph completion with adaptive sparse transfer matrix
    • TransG, arXiv2015, A Generative Mixture Model for Knowledge Graph Embedding
    • KG2E, CIKM2015, Learning to represent knowledge graphs with gaussian embedding

    TransE: 多元关系数据嵌入(Translation embeddings for modeling multi-relation data)

    问题:如何建立简单且易拓展的模型把知识库中的实体和关系映射到低维向量空间中,从而计算出隐含的关系?
    方案:将实体与关系嵌入到同一低维向量空间。

    这篇文章提出了一种将实体与关系嵌入到低维向量空间中的简单模型,弥补了传统方法训练复杂、不易拓展的缺点,对实体和关系的建模十分简单明了,可解释性也很强。尽管现在还不清楚是否所有的关系种类都可以被这种方法建模,但目前这种方法相对于其他方法表现不错。在后续的研究中,TransE更是作为知识库vector化的基础,衍生出来了很多变体。

    TransE模型简图

    受word2vec启发,利用了词向量的平移不变现象。将每个三元组实例 (head,relation,tail) 中的关系 relation 看做从实体 head 到实体 tail 的翻译,通过不断调整h、r和t (head、relation 和 tail 的向量),使 (h + r) 尽可能与 t 相等,即 h + r ≈ t。数学上表示就是通过约束d(h+l,t)=||(h+r)t||220来对实体和关系建模,将它们映射到相同的向量空间中。
    其损失函数表示如下:

    L=(h,l,t)S(h,l,t)S(h,l,t)[γ+d(h+l,t)d(h+l,t)]+

    其中,[x]+表示x的正数部分,γ表示margin,Sh,l,t={(h,l,t|hE)}{(h,l,t|tE)}


    TransH: 将知识嵌入到超平面(Knowledge graph embedding by translating on hyperplanes)

    问题:对知识库中的实体关系建模,特别是一对多,多对一,多对多的关系。设计更好的建立负类的办法用于训练。
    方案:将实体和关系嵌入到同一的向量空间,但实体在不同关系中有不同的表示。

    TransH与TransE对比

    在数学表示上面就可以很简单的看出TransH与TransE的区别:TransE中三元组(h,r,t)需要满足d(h+r,t)=||(h+r)t||220,而TransH中三元组(h,r,t)则需要满足d(h+r,t)=||(hwrThwr)+dr(twrTtwr)||220,其中wr,drRk表示关系。


    TransR: 实体和关系分开嵌入(Learning Entity and Relation Embeddings for Knowledge Graph Completion)

    问题:一个实体是多种属性的综合体,不同关系关注实体的不同属性。直觉上一些相似的实体在实体空间中应该彼此靠近,但是同样地,在一些特定的不同的方面在对应的关系空间中应该彼此远离。
    方案:将实体和关系嵌入到不同的空间中,在对应的关系空间中实现翻译。

    TransR模型图

    TransR在TranE的基础上的改进,在数学上的描述看起来会更加直观:对于每一类关系,不光有一个向量r来描述它自身,还有一个映射矩阵Mr来描述这个关系所处的关系空间,即对于一个三元组(h,r,t),需要满足d(h,r,t)=||hr+rtr||22=||hMr+rtMr||220


    TransD: 通过动态映射矩阵嵌入(Knowledge graph embedding via dynamic mapping matrix)

    问题:TransR过于复杂,在TransR的基础上减少参数。。。
    方案:实体和关系映射到不同的空间中,用两个向量表示实体或关系,一个(h,r,t)表征实体或关系,另一个(hp,rp,tp)用来构造动态映射矩阵。

    TransD模型图

    TransD在TransR的基础上,将关系的映射矩阵简化为两个向量的积,图中Mrh=rphp+ImnMrt=rptp+Imn表示实体h与实体r映射到关系空间的矩阵,那么对于三元组(h,r,t),需要满足d(h,r,t)=||Mrhh+rMrtt||220


    TransA: 自适应的度量函数(An adaptive approach for knowledge graph embedding)

    问题:如何解决了translation-based 知识表示方法存在的过于简化损失度量,没有足够能力去度量/表示知识库中实体/关系的多样性和复杂性的问题。
    方案:更换度量函数,区别对待向量表示中的各个维度,增加模型表示能力。

    TransA模型图

    光看这张图可能会意义不明,其实模型在TransE的基础上的改进也非常小,简单地说就是给实体/关系的每一个维度都加上了一个权重,增加模型的表示能力。
    TransE模型的一般形式为:d(h+l,t)=||(h+r)t||22 =(h+rt)T(h+rt)
    TransA对于每一类关系,给实体/向量空间加上了一个权重矩阵Wr,然后可以对权重向量做矩阵分解Wr=LrTDrLr,最后TransA的数学形式为:d(h+l,t)=(h+rt)TWr(h+rt)=(Lr|h+rt|)TDr(Lr|h+rt|))


    TranSpare: 自适应稀疏转换矩阵(Knowledge graph completion with adaptive sparse transfer matrix)

    问题: heterogeneous(异质性:有的实体关系十分复杂,连接许多不同的实体,而有些关系又非常简单)和unbalanced(不均衡性:很多关系连接的head和tail数目很不对等)。
    关键:针对不同难度的实体间关系,使用不同稀疏程度的矩阵(不同数量的参数)来进行表征,从而防止对复杂关系欠拟合或者对简单关系过拟合;对头尾两种实体采用不同的投影矩阵,解决头尾实体数目不对等的问题。

    针对异质性(heterogeneous)

    在TransR的基础上,使用可变的稀疏矩阵代替TransR的稠密矩阵:关系连接的实体数量越多,关系越复杂,矩阵约稠密;关系链接的实体数量越少,关系越简单,矩阵约稀疏。
    使用参数θr描述关系r的复杂程度,使用一个稀疏矩阵Mr(θr)和一个关系向量r表示一类关系,其中θr=1(1θmin)Nr/Nrr表示连接实体数量最多的关系,Nr为其连接的实体的数量,θmin为设置的超参,表示关系r的稀疏程度。
    以此为基础,对于一个关系三元组(h,r,t),需要满足的约束为d(h,r,t)=||hp+rtp||22=||Mr(θr)h+rMr(θr)t||220

    针对不平衡性(unbalanced)

    与上述方法类似,不同点在于对于每个关系三元组(h,r,t),头尾实体的映射矩阵为两个不同的稀疏矩阵,其稀疏程度与该关系的头尾实体的数目有关,即头/尾涉及到的实体越多,矩阵约稠密;反之涉及到的实体越少,矩阵越稀疏。
    使用参数θrhθrt分别描述头尾实体映射矩阵的稠密程度,则θrl=1(1θmin)Nrl/Nrl,其中Nrl表示关系r在位置l(即头或者尾)上关联的实体数量,Nrl则表示关系r在位置l(即头或者尾)上关联的实体数量最多的关系的数量,对应的设置超参θmin表示其稀疏程度。
    对于一个关系三元组(h,r,t),TransSparse需要满足的约束为d(h,r,t)=||hp+rtp||22=||Mrh(θrh)h+rMrt(θrt)t||220


    TransG: 高斯混合模型(A Generative Mixture Model for Knowledge Graph Embedding)

    问题:解决多关系语义的问题,同一种关系在语义上是不同的,eg, (Atlantics, HasPart, NewYorkBay)与(Table, HasPart, Leg)。
    方案:利用贝叶斯非参数高斯混合模型对一个关系生成多个翻译部分,根据三元组的特定语义得到当中的最佳部分。

    TransG模型图

    考虑到一种关系存在的多语义问题,相当于对关系进行了细化,就是找到关系的隐形含义,最终从细化的结果中选出一个最佳的关系语义。


    KG2E: 高斯分步表示实体和关系(Learning to represent knowledge graphs with gaussian embedding)

    关键:使用Gaussian Distribution 来表示实体和关系,提出了用Gaussian Distribution的协方差来表示实体和关系的不确定度的新思想,提升了已有模型在link prediction和triplet classification问题上的准确率。

    KG2E模型图

    ps. 最后两种方法设计到使用高斯混合分步表示实体,后面有时间了再更新。

    展开全文
  • 本文介绍了TransE,TransH,TransR,TransD,RotatE知识表示嵌入模型的基本概念和评价函数。 TransE 论文标题:Translating Embeddings for Modeling Multi-relational Data (2013) TransE将relation看作head到tail...
  • 知识表示模型汇总分析--Trans系列

    千次阅读 2018-10-28 16:10:24
    TransE之前,有Structed Embedding, Semantic Matching Energy等模型,在TransE之后,人们在此基础上进行改进,依次提出了TransH, TransR, TransD等模型。接线来介绍基于TransE的改进模型。 作者:孙天祥 链接...
  • Trans系列文章解读

    千次阅读 2018-03-25 16:31:09
    本系列,笔者转载搜狐(机器之心博主)的文章,如有侵权,联系笔者立即删除-----------------------------分割线-------------------------------------本期PaperWeekly的主题是基于翻译模型(Trans系列)的知识表示...
  • 知识表示--trans系列

    2019-07-12 11:47:26
    知识图谱(知识表示)--Trans系列基础知识TransE(Translating Embeddings for Modeling Multi-relational Data(2013))TransH(Knowledge Graph Embedding by Translating on Hyperplanes(2014))TransR...
  • TransE模型:知识图谱的经典表示学习方法

    万次阅读 多人点赞 2018-10-24 20:39:02
    简单来说,就是将三元组表示成向量的这个过程就称为表示学习,而我们今天介绍的就是【Trans系列】中的一个经典方法【TransE模型】。 知识表示的几个代表模型:翻译模型、距离模型、单层神经网络模型、能量模型、...
  • 关于知识图谱的trans系列一:transE 论文链接 https://www.utc.fr/~bordesan/dokuwiki/_media/en/transe_nips13.pdf 参考链接 https://zhuanlan.zhihu.com/p/32993044 abstract: Hence, we propose TransE, a method...
  • 来自:AI自然语言处理与知识图谱知识表示学习Trans系列梳理导语:本文将简短梳理知识表示学习Trans系列方法,包含TransE、TransH、TransR、TransD、TransA...
  • TransE系列源码

    2017-12-29 11:03:36
    TransE的直观含义,就是TransE基于实体和关系的分布式向量表示,将每个三元组实例(head,relation,tail)中的关系relation看做从实体head到实体tail的翻译(其实我一直很纳闷为什么叫做translating,其实就是向量...
  • 鉴于知识图谱的研究越来越多,所以在组会主讲上介绍了知识图谱表示学习的Trans系列方法,以下仅是本人对于此类方法的理解,请批评指正。Trans系列方法的源码均为公开代码,可以自行在GitHub中搜索。 背景介绍 谷歌...
  • TransE算法(Translating Embedding) 一、引言        网络上已经存在了大量知识库(KBs),比如OpenCyc,WordNet,Freebase,...
  • Trans 系列中 Mean rank、Hit@10个人理解

    万次阅读 多人点赞 2018-08-15 15:47:58
    最近接触了一些Trans系列的论文,其中的两个评测指标 Mean rank、Hit@10看了半天没弄清楚,网上查了查也查不到解释,估计是大腿们没想到还有人在这块遇到障碍吧。 下面是自己的一些理解: 1.先说Mean rank ...
  • 本期PaperWeekly的主题是基于翻译模型(Trans系列)的知识表示学习,主要用来解决知识表示和推理的问题。表示学习旨在将研究对象的语义信息表示为稠密低维实值向量,知识表示学习主要是面向知识图谱中的实体和关系...
  • 关于知识图谱的trans系列三:transR

    千次阅读 2019-06-27 14:59:57
    论文题目:Learning Entity and Relation ...文中用(h-t)的差值作为聚类的参数,h和t的值通过transE模型计算得出,聚类之后,对每一类学习一个rc向量和Mr向量,代表关系中的一个子模式,所以score function为
  • 关于知识图谱的trans系列二:transH

    千次阅读 2019-06-22 21:49:47
    文中提出应该将关系进行映射,因为考虑到transE只能表示一对一的关系,对于一对多,多对一,多对多关系并没有考虑进去,比如(h1,r1,t1)是数据集中的一个positive样本,(t1,r1,h1)也是数据集中的positive样本,那么...
  • 在 TransE 之后, 人们陆续提出了在其基础上加以改进的新Trans系列模型以及ConvE、ConvKB 和添加卷积的新模型 优势:生成知识表达时能够充分利用知识图谱已有的结构化信息 缺点:建模方法着眼于实体间的直接关联...
  • 1. 知识图谱嵌入 ...2.1 知识表示的一些背景知识 通常,我们使用三元组(head, relation, tail)来表示知识。在这里,头和尾是实体。...受Wrod2Vec模型的启发,我们想用分布表示来表示实体和关系。 1.1.1 下游任务的应用
  • Knowledge Graph表示学习--TransE系列

    万次阅读 2018-01-01 10:21:21
    模型虽然效果比现有的模型好,但是模型参数较多,相比TransE、TransH模型而言,没有那么简洁高效。 TransD —— TransD可以说是TransR/CTransR的简化版本,它用两个向量来动态重构mapping矩阵。给定一个triplet...
  • 作者:Xu LIANG编译:ronghuaiyang来自:AI公园导读一文打尽图嵌入Translate模型,各种模型的动机,优缺点分析。本文对知识图谱嵌入/知识表示的转换模型进行了简要的...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 4,461
精华内容 1,784
关键字:

trans系列模型