精华内容
下载资源
问答
  • transE by Python Train transE.py and test test.py. If shut down during training, also can run reTrans.py to continue. Finally, also can use pca.py to dimensionality reduction, and plot in .png THANKS...
  • transE论文阅读

    千次阅读 2018-09-30 19:05:48
  • TransE论文剩余部分

    2019-10-04 01:47:52
    4.3链接预測 表3:链接预測结果。不同方法的性能。 整体结果 表3显示了全部数据集全部方法的比較。与预期结果一致,经过过滤设置的结果具有较低的平均...我们的方法TransE在全部度量上面通常非常大程度上优于全部...

    4.3链接预測

    表3:链接预測结果。不同方法的性能。


    整体结果 3显示了全部数据集全部方法的比較。

    与预期结果一致,经过过滤设置的结果具有较低的平均排名和较高的hits@10,相信在链接预測方面对各种方法有一个清晰地性能评估。然而,rawfiltered的趋势是一样的。

    我们的方法TransE在全部度量上面通常非常大程度上优于全部进行比較的方法。而且取得了一些绝对好的性能比如WN89%hits@10(超过40k的实体)和在FB1M上的34%hits@10(超过1M的实体)。TransE和这些第二好的方法之间的不同之处是非常重要的。

    我们相信TransE良好的性能是由于对数据恰当的建模,但也是由于模型相对简单。

    这意味着它可以用随机梯度有效的优化。

    3节我们已经说明SE比我们的模型更具表达性。然而,它的复杂性可能使它学习起来十分困难,导致性能非常差。

    FB15k上,在训练集的一个有50k的元组的子集上SE取得了165的平均排名和35.5%hits@10TransE则分别取得了12742.7%。这表明其实TransE欠拟合的程度更小,这可能能解释它比較好的性能。SME(双线性)和LFM有相同的训练问题:我们从来都没有成功的把它们训练的足够好来开发出它们全部的功能。

    通过我们的评价设置--基于实体排名,LFM较差的结果也可以解释。由于LFM最初是为了预測关系提出来的。在FB15k上。RESCAL可以取得十分好的hits@10,可是平均排名方面比較差,尤其在WN上,即使我们用非常大的隐藏维度(2000 on Wordnet)。

    翻译的影响是巨大的。当比較TransE和非结构的方法(也就是缺少翻译的TransE)。非结构化的平均排名相对较好,可是hits@10非常差。

    非结构化的方法简单的把全部出现的实体聚类,不依赖所涉及的关系,因此仅仅靠猜想来推断实体相关。在FB1M上,TransE和非结构化方法的平均排名差点儿一样。可是TransE的预測排在前10位的数目是非结构化方法的10倍之多。

    表4:关系聚类的具体结果。我们比較了在FB15k上以过滤数据为评价比較TransE和參考方法的hits@10


    具体结果 表4展示了在FB15k上根据关系的几种类别的分类结果,并依此对几种方法进行预測。我们根据头和尾的基数參数把关系分为4类:1-11-多。多-1,多-多。假设一个头部至多相应一个尾部,那么它们的关系是1-1。假设一个头部相应多个尾部。那么它们的关系是1-多。假设非常多头部相应同一个尾部,那么它们的关系是多-1。假设多个头部相应多个尾部,那么它们是多-多关系。

    通过以下的处理我们把关系分成这四类,给定一个序对(lt)(相同地。序对(hl),对每一个关系l。计算头部h(相同地。尾部t)出如今FB15k数据集上的平均数。假设这个平均数小于1.5就被标记为1-多等等。比如。每一个尾部平均有1.2个实体而且每一个头部平均有3.2个尾部的关系被分类为1-多。我们得到在FB15k上有26.2%1-1关系,22.7%1-多关系,28.3%的多-1关系和22.8%的多-多关系。

    4中的具体结果考虑了一个更精确的评估而且了解了这些方法的行为。首先,它出现了期望的结果。它可以非常easy的预測实体一方仅仅有一个相应关系的元组的实体(也就是预測在关系1-多下预測头部,在多-1关系下预測尾部),也就是有多个实体指向它的时候。

    这些是有非常好指向的例子。SME(双线性)被证明在处理这种例子时时非常精确的,由于这些例子是它们训练最多的例子。

    非结构化的方法在1-1关系上显示了良好的性能:这表明这种关系的參数必须共享相同的隐藏类型。而非结构化的方法在嵌入空间上通过聚类把实体连接在一起可以发现这种隐藏类型。

    可是这种策略在其他关系类型上是失败的。在嵌入空间添加翻译,通过其后的关系从一个实体聚类到还有一个实体聚类。对这些指向性非常好的例子这一点是非常惊人的。

    5TransEFB15k測试集上的例子预測。粗体是測试元组正确的尾部,斜体是训练集上其他正确的尾部。


    举例说明 5给出了TransEFB15k測试集上的例子链接预測的结果。

    这举例说明了我们模型的能力。给定一个头部和一个标签。排在最高位的尾部被描写叙述出来。

    这些例子来自FB15k的測试集。即使排在最高位的不总是最好的答案,但这个预測也反映了一般的常识。

    4.4用几个例子学习预測新关系

    FB15k。通过检查这些方法在学习新关系时的速度有多快来測试他们在泛化新的事实方面有多好。为了那个目的。我们随机选择40个关系而且切割成两个数据集:一个数据集(命名为FB15k-40rel)包括全部40个元组。还有一个数据集(FB15k-rest)包括剩余的数据。

    我们确保它们包括全部的实体。FB15k-rest被切割成一个包括353,788个元组的训练集和一个包括53,266个元组的验证集。

    FB15-rel分成40,000元组的训练集和45,159的測试集。

    利用这些数据集,我们分析例如以下实验:(1)利用FB15k-rest的训练集和验证集训练和选择最好的模型,(2)随后在FB15k-40rel的训练集上训练而且仅仅学习和新的40个关系相关的參数。(3)在FB15k-40rel的測试集(仅仅包括(1)期间没有见过的关系)上进行连接预測评估。在(2)阶段,对每一个关系我们用0,10,1001000个例子反复这个过程。


    图1:用几个例子学习心关系。比較试验数据是FB15k数据集,使用平均排名(左)和hits@10(右)作为评价标准。很多其他细节參见下文。

    1展示了非结构化方法,SESME(线性)。SME(双线性)和TransE的结果。

    但不提供已知关系时,非结构化方法取得的性能最好,由于它并不使用这些信息去预測。

    可是,当提供关系的例子时这种性能并没有得到提升。

    TransE是学习最快的方法:仅仅有一个新关系的10个样子时。它的hits@10仍然有18%,而且随着提供例子的添加这个数据单调递增。

    我们相信TransE模型的简单性使它可以有较好的泛化能力。而不必改动不论什么已经训练好的嵌入。

    5总结和展望

    我们提出了一种新的学习知识库嵌入的方法。主要是最小化模型的參数,主要表示层次关系。通过与两个不同且规模非常大的知识库上和其他方法比較。我们的模型效果非常好,借此我们把它应用到了大规模知识库数据块上。虽然还不清晰用我们的方法是否可以充分地对全部的关系类型建模,可是通过关系分类评价与其他方法相比在全部的设置条件下它似乎有非常好的性能。

    后面会进一步分析这个模型,而且把它应用到很多其他的任务中。特别是应用到如文献[8]提到的学习词表示。结合知识库和文本[2]是还有一个重要的方向,我们的方法对此可能是实用的。

    因此,近期我们把TransE插入到一个框架中从文本[16]中进行关系抽取。


    转载于:https://www.cnblogs.com/zhchoutai/p/8343709.html

    展开全文
  • (2020)TransE论文笔记

    千次阅读 热门讨论 2019-12-27 22:00:44
    http://nathanliuyolo.com/2017/12/09/TransE论文知识总结/ 代码推荐: https://github.com/wuxiyu/transE 有pytorch版也有tensorflow版:https://github.com/thunlp/OpenKE

    在这里插入图片描述

    文章目录:

    Abstract

    1. Introduction

    2. Translation-based model

    3. Algorithm 伪代码

    4. Experiments

    5. Conclusion and future work


    Abstract

    • 第一句就说明:本文针对的问题 在低纬向量空间中,多关系数据的实体和关系的Embedding问题,换句话说就是将实体和关系用低纬向量表示。于是有了TransE,别看它训练容易,处理大型数据也不在话下,又确保了实验效果出色,作者还在FB15k和WN18上进行了link prediction,真的是“可盐可甜“了。

    Introduction

    在这里插入图片描述

    • 论文主要面向多关系数据(wordnet,freebase)
      在这里插入图片描述
    • 提到很多年前的模型,比如基于向量分解model矩阵分解model;然后还有最近的模型,比如贝叶斯聚类model基于能量的模型model这些模型表面上是提高了模型的表示能力,实际上一个能打的都没有都是以提高模型复杂度和加重计算效率为代价的,还容易出现过拟合和拟合不足。既然这样作者提到,还不如用简单的线性model,效果也挺好!所以作者最后提到合适的模型要在准确性和扩展性之间做trade-off。--------TransE model 呼之欲出
      在这里插入图片描述
    • 这句话个人理解:TransE整体是Translation distance model(在许多综述中都是这么说的),这里提到它的实体的embedding是基于能量模型的。
      在这里插入图片描述
    • 提出了重要的思想:如果三元组(h, l, t)成立,则头实体embedding和关系embedding相加约等于尾实体的embedding。
      • 即: h+l ≈ t

    Translation-based model

    在这里插入图片描述

    • 公式

      1. loss functionL=(h,,t)S(h,,t)S(h,,t)[γ+d(h+,t)d(h+,t)]+\mathcal{L}=\sum_{(h, \ell, t) \in S\left(h^{\prime}, \ell, t^{\prime}\right) \in S_{(h, \ell, t)}^{\prime}}\left[\gamma+d(\boldsymbol{h}+\ell, \boldsymbol{t})-d\left(\boldsymbol{h}^{\prime}+\ell, \boldsymbol{t}^{\prime}\right)\right]_{+}
      2. 正确三元组的距离:d(h,l,t)=h+lt1/22d(h, l, t)=\|\mathbf{h}+\mathbf{l}-\mathbf{t}\|_{1/2}^{2}
      3. 错误三元组的距离:同理
    • 错误三元组生成:将正确三元组的头或者尾替换成其他的(每次只能选择头或者尾进行替换,不同时替换),得到错误的三元组。

      • S(h,,t)S_{(h, \ell, t)}^{\prime} : 错误三元组
      • (h,,t)\left(h^{\prime}, \ell, t\right):替换了头的三元组
      • (h,,t)\left(h, \ell, t^{\prime}\right):替换了尾的三元组

    Algorithm 伪代码

    在这里插入图片描述

    algorithm步骤
    input: 设置初始的三元组集S,正负样本之间的距离γ\gamma,embedding纬度k
    1.对每个关系赋值,并做归一化处理
    2.同理,对每个实体赋值,并作归一化处理
    3.设置从整个S集合抽取子集的次数,分批进行处理,每一批为SbatchS_{b a t c h}
    4.初始化所有三元组,一开始TbatchT_{b a t c h}是空的
    5.对每批SbatchS_{b a t c h}做迭代,每个(h,,t)(h, \ell, t),根据前面提到,替换头(h,,t)\left(h^{\prime}, \ell, t\right)或者替换尾(h,,t)\left(h, \ell, t^{\prime}\right) ,得到错误三元组,将正确的和错误的三元组{((h,,t),(h,,t))}\left\{\left((h, \ell, t),\left(h^{\prime}, \ell, t^{\prime}\right)\right)\right\} 加到一开始空的TbatchT_{b a t c h}中。
    第5步,需要注意:实际代码在替换头尾时,需要先做一个deep copy,不然替换了错误三元组,正确三元组就没了。
    6.利用SGD更新损失函数(这步也有很多学习的地方)

    Experiments

    指标说明
    FB15K 14951个entity,1345个relation,592213个三元组
    WN18 40943个entity,18个relation,151442个三元组
    FB1M 25000个relation,1千7百万个三元组
    raw 在替换错误三元组中,会出现替换完对的情况。 raw是不处理这种情况下的结果
    filt filt就是去掉替换完后仍然正确的三元组
    hit@10 每个给定的(h,l,t),对原来(h,l,t)和替换后(h’,l,t’)求得分,再从小到大排序,排在前10的比例
    • 论文实验结果:
      在这里插入图片描述
    • 用openke框架跑FB15k的实验结果(k=50,epoch=1000,学习率0.01)
      在这里插入图片描述

    Conclusion and future work

    • TransE的不足:在处理复杂关系(1-N,N-1,N-N)时,性能显著下降,比较适合处理1-1 的关系。

      为了满足复杂的关系,才有了后面的好多好多Trans**…


    • 需要论文、数据或者代码(自己下不下来),可以留言邮箱,我会发的哈

    参考学习:

    展开全文
  • TransE论文:多元关系数据嵌入

    千次阅读 2016-04-12 08:02:37
    因此,我们提出了TransE,一个将关系作为低维空间实体嵌入的翻译的方法。尽管它很简单,但是这种假设被证明是强大的,因为大量的实验表明在两个知识库连接预测方面,TransE明显优于目前最新的方法。除此之外,它能够...

    摘要:

            考虑多元关系数据得实体和关系在低维向量空间的嵌入问题。我们的目标是提出一个权威的模型,该模型比较容易训练,包含一组简化了的参数,并且能够扩展到非常大的数据库。因此,我们提出了TransE一个将关系作为低维空间实体嵌入的翻译的方法。尽管它很简单,但是这种假设被证明是强大的,因为大量的实验表明在两个知识库连接预测方面,TransE明显优于目前最新的方法。除此之外,它能够成功地训练一个有1M的实体,25k的关系和超过17M的训练样例的大规模数据集。

    1简介

            多元关系数据适用于有向图,图的结点和边与元组(head,label,tail)对应(表示为(h,l,t)),每个元组意为在实体headtail之间存在一个名为label的关系。多元关系数据模型在很多领域扮演着很重要的角色。例如社交网络,实体是成员,边是朋友/社会关系连接,又如推荐系统中的实体是用户和产品,关系为买,评级,检索或搜索一个商品,再或者知识库,如FreebaseGoogle知识图谱或GeneOntology,这些知识库中的每个实体代表世界中的一个抽象概念或者具体的实体,关系式谓词,代表他们两个之间的事实。我们的工作重点是对知识库的多元关系数据建模,提出一个高效地工具通过自动增加事实,而不需要额外的知识来完成它们。

    多元关系数据建模 一般而言,建模过程归结为抽取实体间局部或者总体的连接模式,通过这些模式概括观测的一个特定的实体和其它所有的实体之间的关系来预测。一个局部的单个关系的概念可能是一个纯粹的结构,比如在社交网络中,我的朋友的朋友是我的朋友,但也可以依赖于实体,例如,一些喜欢看Star Wars IV的人也喜欢Star Wars V,但是他们可能喜欢Titanic也可能不喜欢。相比之下,经过一些数据的描述性分析后可以形成单关系数据专门的但是简单地模型假设。关系数据的难点在于局部概念在同一时间可能涉及关系和实体的不同类型,以致对多关系数据建模时要求更一般的方法,这种方法能在考虑所有多样的关系同时选择合适模型。

            文献[6]指出,随着基于用户/项目聚类或矩阵分解的协同过滤技术在表示单关系数据的实体连接模型之间极大地相似之处的成功,为了处理多关系数据,大多数的方法都是基于从潜在的特征进行关系学习的框架下进行设计的;也就是说,通过实体和关系的潜在表示来学习和操作。在多关系领域,这些方法的扩展形式例如随机块模型[7][10][11]的非参贝叶斯扩展和基于张量分解[5]或者集体矩阵分解[13][11][12]的模型,在低维空间实体嵌入学习方面,这些最近的方法很多都致力于增加模型的表达性和一般性,不管是贝叶斯聚类框架还是能量模型。这些方法的表达性虽然有较大的提高,但是也大幅增加了模型的复杂性,以致模型假设很难解释,且计算成本更高。除此之外,这样的方法可能受限于过拟合,因为对如此复杂的模型进行适当的正则化是很难的,或者受限于欠拟合,因为非凸优化问题有很多的局部极小值,这些是需要解决和训练的。事实上,文献[2]指出了一个简单的模型(线性代替双线性)在一个具有相对较多数量的不同关系的几个多元关系数据集上取得了与大多数表达性好的模型同样好的性能。这说明,即使在复杂和异质的多元关系领域,简单但是恰当的模型假设能够在精度和扩展性之间实现较好的折中。

    关系在嵌入空间上的翻译 本文,我们介绍TransE,一个基于能量的模型,用于低维实体嵌入学习。在TransE中,关系表示为嵌入空间上的翻译:如果有(h, l,t),那么尾实体t的嵌入应该与头实体的嵌入h加上一些依赖于关系l的向量接近。我们的方法依赖于一组简化了的参数集学习每个实体和关系一个低维向量。

            我们提出的基于翻译的参数化模型的主要动机是层次关系在知识库中是极常见的,而翻译是为了解释它们的一个自然变换。考虑树的自然表示(比如,二叉树),兄弟结点互相挨着,并且这些节点在x轴上以一定的高度排列,父亲-孩子关系与在y轴上的一个翻译对应。因为一个空的翻译向量与两个实体之间的关系等价是对应的,所以,这个模型同样能够表示兄弟关系。因此,我们选择使用每个关系的参数预算(一个低维向量)来表示在知识库中我们所考虑的关键关系。我们的第二个动机来源于文献[8],作者从自由文本中学习词嵌入,并且不同实体之间有11的关系,例如国家和城市之间的省会关系,表示为嵌入空间上的翻译。这说明可能存在这样一个嵌入空间,不同类型实体之间存在11关系,且被表示为翻译。我们的模型的目的是加强嵌入空间中的这样的结构。

            第4节的实验证明这是一个新模型,尽管它很简单且主要是为层次结构模型的问题建模,但是它在大多数的各种各样的关系下被证明是是很有效的,并且在realworld知识库中的连接预测方面,明显优于目前最新的方法。除此之外,较少的参数使得它能够成功训练从包含1M实体和25k的关系并且超过17M的训练样例分割的Freebase大规模数据集。

            在第2节我们描述我们的模型并且在第3节讨论它和相关方法的联系。第4节我们详述基于WordnetFreebase相关的大量实验,并拿TransE和文献中的很多方法做比较。在第5节里,阐述结论并指出未来的研究方向。

    展开全文
  • TransE论文第4节:实验

    千次阅读 2016-04-15 07:10:37
    TransE的实验数据是从Wordnet和Freebase中抽取的(它们的统计分布已经在表2中给出),并以各种各样的标准和扩展到相对较大的数据集上与文献中几个已经证明是现在最好的几个方法比较。 4.1数据集 Wordnet 这个知识库...
  • TransE论文第2节:翻译模型

    千次阅读 2016-04-13 06:56:01
    给定一个由三元组(h, l, t)组成的训练集S,其中h,t属于E,关系属于L,我们的模型学习实体和关系的向量嵌入。嵌入的取值属于(k是模型的一个参数),用相同的大写字母表示。
  • TransE论文第3节:相关工作

    千次阅读 2016-04-14 11:50:09
  • 论文解读】TransE

    千次阅读 2019-07-05 23:45:27
    本文主要介绍TransE和数据集Wordnet、Freebase等。 表示学习:主要面向知识图谱中实体和关系进行表示学习,一般使用建模方法将实体和向量表示在低维稠密向量空间中,然后计算并推理,主要的应用任务有三元组提取...
  • TransE

    2019-07-17 20:15:59
    一、TransE提出了一种将实体与关系嵌入到低维向量空间中的简单模型 二、具体算法
  • transE阅读笔记-Translating Embeddings for Modeling Multi-relational Data前言算法介绍算法训练参考 前言 对知识图谱写过一个小小的综述笔记-----知识图谱综述笔记 下周组会要讲论文了,先对知识图谱中的trans...
  • 关于知识图谱的trans系列一:transE 论文链接 https://www.utc.fr/~bordesan/dokuwiki/_media/en/transe_nips13.pdf 参考链接 https://zhuanlan.zhihu.com/p/32993044 abstract: Hence, we propose TransE, a method...
  • 知识表示学习的基本思想就是把知识图谱中的三元组(h,r,t...TransE是Trans系列论文最早提出的。 主要思想是Relationships as translations in the embedding space,尾部实体t的嵌入向量应该接近头实体h的嵌入向量加...
  • 重新实现TransE模式原始论文是 测试结果 数据集:WN18 原始实体点击数10:0.651 原始实体mean_rank:284 过滤器实体点击数@ 10:0.728 过滤器实体mean_rank:278 FB15K 原始实体点击数@ 10:0.332 原始实体mean_...
  • transE

    千次阅读 2018-10-31 17:18:45
    刚才我们简单介绍了TransE很有意思的性能,但是TransE也有自身的缺陷,这里我们简单总结TransE面临的若干挑战,以及在这些方面的最新研究进展。 首先,很多情况下TransE关于h + r=t的假设其实本身并不符合实际。为...
  • 论文解读:(TransE)Translating Embeddings for Modeling Multi-relational Data   表示学习是深度学习的基石,正式表示学习才能让深度学习可以自由的挖掘更深层次的特征。自word embedding(词嵌入表示)的提出...
  • TransE 《Translating Embeddings for Modeling Multi-relational Data》 任务 在低维向量空间中,将多种关系的图谱中的实体和关系在一个低维空间中进行表示,获得每个实体的表征结果。 提出一种易于训练的规范...
  • TransE算法解析

    2020-12-04 21:17:54
    transE(Translating Embedding)详解+简单python实现 概念 transE算法是一个非常经典的知识表示学习,用分布式表示(distributed representation)来描述知识库中的三元组。 原理 transE算法利用了word2vec的平移不变...
  • TransE: Translating Embeddings for Modeling Multi-relational Data 1. introduction 本文研究的是将知识图谱中实体和关系嵌入(embedding)至低维向量空间的问题, 提出了名为TransE的实体与关系表示方法,该方法将...
  • TransE算法介绍

    2021-05-12 22:55:36
    TransE 算法是一种用于表示图结构中节点及关系的嵌入表示的算法,可以广泛应用于后续各类基于图谱的任务,如基于知识图谱的推荐算法CFKG利用transE对图谱中的entity及relation进行embedding用于后续的推荐任务。...
  • TransE算法详解

    万次阅读 多人点赞 2018-12-25 20:31:31
    TransE 算法详解 @(机器学习)[知识图谱|知识表示|TransE] 文章目录TransE 算法详解算法背景知识图谱是什么知识表示是什么基本思想算法描述梯度参考文献 算法背景 知识图谱是什么 一条知识图谱可以表示为一个三元组...
  • 本文记载有关阅读《Translating Embeddings for Modeling Multi-relational Data》TransE论文的阅读笔记,如果有做相关工作的同学可以邮件和我沟通联系zhaoliang19960421@outlook.com 背景 知识图谱通常是用一个三元...
  • 简单了解TransE

    2020-10-07 19:17:41
    接触TransE算法也有半年多了,从一开始的一脸懵逼到现在满脸懵逼,也算是有点收获。。。 于是,,,献丑了~ 关于算法的具体实现,网上有很多,也不过多赘述,推荐几篇比较好的(不保证是原创,因为同款文章太多...
  • TransE算法的整理

    2019-12-10 21:24:52
    TransE 1 TransE的作用 TransE 作用就是把三元组翻译成embedding词向量的方法 三元组,也就是(头实体,关系,尾实体)的形式,头实体和尾实体统称为实体。为了简化起见,我们用(h,r,t)来表示三元组。其中 h表示头...
  • TransE算法(Translating Embedding)

    万次阅读 多人点赞 2016-03-27 14:42:17
    介绍TransE算法(Translating Embedding)
  • 我们的目标是提出一个易于训练的规范模型,它将包含一组较少的参数,并且可以扩展到非常大的数据库,因此,我们提出了TransE,该方法可以将对关系的建模在低维度的实体表征空间上视为一种翻译操作。尽管它很简单,但...
  • TransE如何进行向量更新?

    千次阅读 多人点赞 2019-04-27 11:09:30
    关于TransE,博客上各种博文漫天飞,对于原理我就不做重复性劳动,只多说一句,TransE是知识表示算法翻译算法系列中的最基础算法,此处还有TransH、TransD等等;个人觉得翻译算法的叫法是不太合适的,translating,...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 3,753
精华内容 1,501
关键字:

transe论文