精华内容
下载资源
问答
  • 网络表示学习

    千次阅读 2018-06-20 17:02:31
    Network Representation Learning, 网络表示学习. 类似于word2vec, 目标是用低维、稠密、实值的向量表示网络中的节点, 方便下游计算. 基本思想 仍旧类比于word2vec. 使用DFS/BFS的搜索思想对图进行遍历, 得到...

    简述

    Network Representation Learning, 网络表示学习.
    类似于word2vec, 目标是用低维、稠密、实值的向量表示网络中的节点, 方便下游计算.

    基本思想

    仍旧类比于word2vec.
    使用DFS/BFS的搜索思想对图进行遍历, 得到一系列 sequence, 类比于语料库中的word sequence, 也就是doc或sentence.

    deepWalk 论文(2014)

    论文见[2], 对应 slides 见[3]. 第一作者个人网站见[4]. 数据集见[5].

    问题定义

    对社交网络中的成员进行一个或多个类别的分类.

    node2vec 论文(2016)

    论文见 [7].

    参考

    1. standFord的工具,node2vec
    2. 论文, DeepWalk: Online Learning of Social Representations
    3. deepwalk-slides.pdf
    4. 论文作者blog,Bryan Perozzi
    5. 我的另一篇blog, 网络表示学习,常用数据集
    6. github, deep-walk
    7. 论文, node2vec: Scalable Feature Learning for Networks
    展开全文
  • 网络表示学习总结

    万次阅读 2017-07-03 10:47:27
    最近看了paperweekly的两次关于网络表示学习的直播,涂存超博士与杨成博士讲解了网络表示学习的相关知识。本文将网络表示学习中的一些基本知识,结合自己的一些粗浅的理解,整理记录下来。

    我的GitHub博客:咖啡成瘾患者


    最近看了paperweekly的两次关于网络表示学习的直播,涂存超博士与杨成博士讲解了网络表示学习的相关知识。本文将网络表示学习中的一些基本知识,结合自己的一些粗浅的理解,整理记录下来。

    网络的邻接矩阵表示

    用邻接矩阵是最直观的对网络数据的表示方法。在一个N个节点网络中,一个节点可以用N维向量来表示。

    对一个N个节点的网络,用N*N的矩阵来表示一个网络,两个节点之间有边,则在对应的位置标记1(或者边的权值)。

    下图所示为一个简单无向图的邻接矩阵表示,其中矩阵是沿对角对称的。

    若图为一个无向图,邻接矩阵不一定沿对角对称。

    邻接矩阵表示一个图,可以将矩阵的每一行,看做一个节点对应的向量,这种表示方法与文本表示中词的One-Hot表示方法。这种表示方法能够完整地表示图数据,准确地表示网络中的链接关系,但是弊端也很明显,对于一个N个节点的网络,表达这个网络需要N*N的矩阵,并且矩阵过于稀疏,不利于存储大规模网络。

    网络的分布式表示

    分布式表示(Distributed Representation)最早是由Hinton在1986年提出的一种词向量的表示方法,其核心思想是将词向量映射到一个K维的向量空间中,这样每个词可以用K维向量来表示。大名鼎鼎的Word2vec就是一种对词的分布式表示方案。

    同理,将这个概念应用于网络数据中,即网络的分布式表示,网络中的每个节点对应文本中的每个单词,其表示过程就是将每个节点映射到一个K维的向量空间(通常情况下,K远小于网络中节点个数),用K维向量来表示每个节点。事实上,我们可以将这个过程理解为对网络结点的向量表示进行降维的过程,对于一个N个节点的网络,邻接矩阵表示法用N维向量来表示一个节点。但通过这样的降维过程,仅使用K维向量就可以表示一个节点,并且节点向量还能包含一定的“语义”信息,例如连接紧密的结点向量的距离也很相近。这样就将一个高纬向量表示为低维稠密的实值向量。

    通常情况下,我们通过对每个节点的向量进行一定的限定,从而给定一个优化方向进行优化,得到一个最优化的结果,即为节点的表示向量。优化目标的设计,往往希望能够尽可能多的将网络信息通过向量表示出来,并使得到的向量具有一定的计算能力。在这个目标的前提下,在优化的过程中,往往会将网络的结构、节点的信息、边的信息等“嵌入”到节点向量中,因此,我们也常常将网络的表示学习过程叫做网络嵌入(Network Embedding)。通过设计特定的优化目标,我们可以将节点的不同信息嵌入到向量中,将节点映射到不同的低维向量空间。

    下图所示的是Deepwalk1论文中所展示的节点向量,左图为原始网络,右图为将其映射到二维向量空间后的散点图,我们可以从图中看到,原始图中联系紧密的结点在映射到二维向量空间后距离较近,相同颜色的结点在原始图中联系紧密,在二维向量空间中分布较为密集。

    网络表示学习的经典工作

    Deepwalk

    Deepwalk2是2014年发表在KDD上的一篇论文,这篇文章受到了word2vec3的启发,文章的思路就是对网络应用了word2vec的SkipGram模型。SkipGram模型原本是针对文本的,或者说是针对有序序列的,所以文章先应用随机游走得到一系列的网络中有序的节点序列,这些节点序列类似于文本中的句子,将这些“句子”跑SkipGram模型,从而得到“句子”每个“单词”的向量表示。过程如下图所示:

    Deepwalk的随机游走过程事实上是对网络进行采样的过程,将网络中的节点通过随机游走的方式表示出来,两个节点联系越紧密,在一个随机游走过程中共现的可能性越大,反之若两个节点根本不连通,则一个随机游走过程是不可能将两个节点共现。因此deepwalk能很好的将网络的连接情况进行表达,且实验证明在网络规模较大时具有很高的效率。

    LINE

    LINE4是2015年提出的一中网络表示学习方法,该方法提出了一阶相似度与二阶邻近度的概念,基于这两个邻近度,提出了优化函数,得到的最优化结果即为每个节点的向量表示。

    该方法的优化过程可以理解为基于两个假设:

    1. 直接相连的节点表示尽可能相近(一阶邻近度),如图中6,7。文中两个节点的联合概率表示其一阶邻近度:

      p1(vi,vj)=11+exp(u⃗ Tiu⃗ j)

    2. 两个节点公共的邻居节点越多,两个节点的表示越相近(二阶邻近度),如图中5,6。文中用两个节点的条件概率表示其二阶邻近度:

      p1(vj|vi)=exp(u⃗ Tju⃗ i)|V|k=1exp(u⃗ Tku⃗ i)

    node2vec

    node2vec5是2016年提出的一种方法,该方法在deepwalk的基础上进行了优化。deepwalk中的随机游走过程,实际是就是一种简单的深搜过程,每次随机随出一个与当前节点直接相连的节点作为后继节点,这种方法虽然能够保证采样到网络中的全局信息,但是对于该节点为中心的局部信息往往不能很好的进行采样。node2vec改进了这个随机游走的过程,它将广度优先搜索与深度优先搜索相结合。

    node2vec的随机游走是一个参数控制的随机游走,不同于deepwalk的随机游走,当前节点到后继节点的概率并不是完全相等的。例如下图所示的情况,v为随机游走的当前节点,它的前驱节点为t,那么下一步需要判断v相连的下一个节点,以便进行进一步的游走,这时与其相连的节点的类型有三种:一种是t,v的前驱节点;第二种是x1,不仅与v相连,还与其前驱节点相连;第三种是x2x3,不是v的前驱同时也不与其前驱相连。

    如果节点向第一种节点游走,则返回前驱节点;向第二种节点游走,则为广搜的过程;向第三种节点游走则为深搜的过程。为了控制广搜与深搜,因此设计了参数pq,通过这两个参数计算出偏移a,则真正的游走概率为原始概率的基础上乘上a得到。通过调整这两个参数,可以控制广搜和深搜的程度。所以deepwalk中的随机游走过程,就是一个p=1q=1的node2vec。

    网络表示学习的相关论文

    涂存超博士在github上整理了一些相关论文,我就直接拿来主义了,链到涂存超博士的github上。

    Must-read papers on network representation learning (NRL)/network embedding (NE)


    1. Perozzi B, Al-Rfou R, Skiena S. Deepwalk: Online learning of social representations[C]//Proceedings of the 20th ACM SIGKDD international conference on Knowledge discovery and data mining. ACM, 2014: 701-710.
    2. Perozzi B, Al-Rfou R, Skiena S. Deepwalk: Online learning of social representations[C]//Proceedings of the 20th ACM SIGKDD international conference on Knowledge discovery and data mining. ACM, 2014: 701-710.
    3. Mikolov T, Sutskever I, Chen K, et al. Distributed representations of words and phrases and their compositionality[C]//Advances in neural information processing systems. 2013: 3111-3119.
    4. Tang J, Qu M, Wang M, et al. Line: Large-scale information network embedding[C]//Proceedings of the 24th International Conference on World Wide Web. International World Wide Web Conferences Steering Committee, 2015: 1067-1077.
    5. Grover A, Leskovec J. node2vec: Scalable feature learning for networks[C]//Proceedings of the 22nd ACM SIGKDD international conference on Knowledge discovery and data mining. ACM, 2016: 855-864.
    展开全文
  • 网络表示学习简单总结(一)

    千次阅读 2019-03-06 17:39:50
    1. 网络表示学习的定义 简单来说,网络表示学习就是通过相关算法将网络中的节点用一个低维稠密的向量空间表示(其中向量空间的维度远远小于节点的总个数),并且能够保持原有网络的相关结构和特征,然后再输入到...

    1. 网络表示学习的定义

           简单来说,网络表示学习就是通过相关算法将网络中的节点用一个低维稠密的向量空间表示(其中向量空间的维度远远小于节点的总个数),并且能够保持原有网络的相关结构和特征,然后再输入到深度学习的相关算法去完成节点分类,链路预测以及网络可视化等任务。

    2. 网络表示学习算法的研究

    2.1 基于网络结构的网络表示学习

    2.1.2 利用矩阵特征向量计算:早期的算法研究就是谱聚类算法通过计算关系矩阵的前k个特征向量或奇异向量来得到k维的节点表示。这里说的关系矩阵一般就是网络的邻接矩阵或Laplace矩阵。这种基于谱聚类方法的时间复杂度较高。另一方面,谱聚类方法需要将关系矩阵整体存在于内存中,空间复杂度也较高。
    2.2.2 基于简单神经网络的算法:1)DeepWalk:是将word2vec的概念进行了推广,该概念假设两个具有相似上下文的单词具有相似的含义,从而学习单词的嵌入。对于DeepWalk则采用截断随机游走依次遍历网络中的每个节点,从而获得关于每个节点的若干个节点序列,然后用Skip-gram和Hierarchical Softmax模型对随机游走序列中每个局部窗口内的节点对进行概率建模,最大化随机游走序列的似然概率,并最终使用随机梯度下降学习参数。这样的方法可以不用网络节点邻接矩阵进行建模,也能获取每个节点的结构信息。2)LINE:基于广度优先算法,提出两个相似性的概念,1阶相似性表示网络的局部特征(观察到的节点连接刻画1阶相似性),2阶相似性表示网络的全局特征(用不直接相连的节点的共同邻居刻画两个节点之间的2阶相似性),在训练时采用了词向量的负采样的方法降低时间复杂度。该算法有效适用于大规模的有向带权图。
    2.1.3 基于矩阵分解的方法:1)GraRep算法考虑了一种特别的关系矩阵. GraRep 通过SVD分解对该关系矩阵进行降维从而得到k步网络表示.形式化地,假设首先对邻接矩阵A进行归一化处理,使得矩阵A中每行的加和等于1.则GraRep算法在计算k步网络表示时分解了矩阵Ak,该关系矩阵中的每个单元对应着两个节点间通过k步的随机游走抵达的概率.更进一步,GraRep尝试了不同的k值, 并将不同k值对应的k步网络表示拼接起来,组成维度更高,表达能力也更强的节点表示.但 GraRep 的主要缺点在于其在计算关系矩阵Ak的时候计算效率很低。
    2.1.4 基于深层神经网络的方法:1)SDNE算法:使用深层神经网络对节点表示间的非线性进行建模,一是由Laplace矩阵监督的建模第一级相似度模块,另一个是由无监督的深层自编码器对第二级相似度关系进行建模。采用深层自编码器的中间层作为节点的向量表示。

    展开全文
  • 网络表示学习笔记

    千次阅读 2018-04-12 19:57:09
    网络表示学习(Representation Learning on Network),一般说的就是向量化(Embedding)技术,简单来说,就是将网络中的结构(节点、边或者子图),通过一系列过程,变成一个多维向量,通过这样一层转化,能够将...

    网络表示学习(Representation Learning on Network),一般说的就是向量化(Embedding)技术,简单来说,就是将网络中的结构(节点、边或者子图),通过一系列过程,变成一个多维向量,通过这样一层转化,能够将复杂的网络信息变成结构化的多维特征,从而利用机器学习方法实现更方便的算法应用。

    Embedding Nodes

    在这些方法中,受研究和应用关注最多的就是节点向量化(Node Embedding),即对于一个图 G=(V,E)G=(V,E),学习一种映射:

    f:viziRdf:vi→zi∈Rd

    其中 zizi 是一个输出的多维向量,并且满足 d|V|d≪|V|。用于评估这个学习效果的标准,就是看向量化后重新复原网络结构的能力。

    在[1]中,作者提到节点向量化有3大挑战:

    1. 学习属性的选择:不同的向量化表示方法,都是对网络信息的一种摘要。有时我们会倾向于保存网络中节点的近邻关系,有时倾向学习节点在网络中的角色(比如中心节点)。不同的应用对“学习属性”的选择有不同的要求,故而引发了各类算法的爆发。

    2. 规模化:现实应用中有很多网络包含了大量的节点和边,高效的向量化方法,能够在短时间内处理超大规模的网络,才比较有实际应用的可能性。

    3. 向量维度:如何确定合适的向量表示维度,是一个很难的问题,并且也是和具体场景相关的。事实上,越高的维度可能带来越好的效果,但是会极大降低应用性能。平衡性能和效果,在不同的应用中需要因地制宜。

    1. Encoder-decoder View

    论文[2] 通过调研今年业界比较流行的向量化方法,提出了一套通用的流程和模型框架。

    大部分向量化算法,是属于非监督学习,没有针对特定的图计算任务(比如链路预测或者聚类)进行优化,而是针对图信息的保存情况进行优化学习,其评价标准,就是看其向量化后的数据对原始网络的恢复能力。整个学习过程被抽象为下图所示的框架图,它包括两个过程:

    • Encoder:负责把每个节点映射到一个低维向量中

    • Decoder:负责从向量化的信息中重新构建网络结构和节点属性

    image.png

    对于上述框架,它包含4个概念:

    1. 节点关系函数 sG:V×VR+sG:V×V→R+ 衡量两个节点之间的距离

    2. Encode 函数 ENC:VRdENC:V→Rd 将节点映射到 d 维向量

    3. Decode 函数 DEC:Rd×RdR+DEC:Rd×Rd→R+ 将向量化信息重新恢复成节点关系

    4. 损失函数 ll 用于度量模型刻画能力,比如 DEC(zi,zj)DEC(zi,zj) 与 sG(vi,vj)sG(vi,vj)的偏差情况。

    对于 Encoder-decoder 框架下现有的 state-of-art 模型,[2]的作者提出了几个弱点:

    1. 向量化后的节点之间没有参数共享,完全是一种记忆化的模型存储和查询方式(Look-up),这对存储和计算都构成了不小的挑战。由于节点之间没有参数共享,也就大大损失了泛化能力。

    2. 目前大部分向量化方法,仅利用网络结构信息,并没有利用网络节点本身的属性(比如文本、图像和统计特征),使得结果向量对网络信息的存储很有限。

    3. 大部分模型是对静态网络结构的直推学习,并没有考虑网络时间演化过程中新节点的生成和旧节点的湮灭,而网络的动态特性对理解其性质也至关重要。这个弱点甚至会影响向量化在动态网络上的效果。比如在互联网场景中,每天都有新的结构产生和消除,今天生成的向量化表示,两天后的可用性是否会大打折扣?这是一个值得深思的问题。

    2. Encoding Methods

    本模块主要介绍3种常见的网络表示学习类别。

    2.1 Factorization based

    矩阵分解是传统的节点向量化方法,其思想就是对网络的邻接矩阵进行降维,给每个节点生成一个低维表示。

    Laplacian Eigenmaps

    Laplacian Eigenmaps 的目标是将相似性高的两个节点,映射到低维空间后依然保持距离相近,其损失函数定义为:

    L(Z)=12(zizj)2Wij=ZTLZL(Z)=12(zi−zj)2Wij=ZTLZ

    其中 LL 是图 G 的 Laplacian 矩阵,L=DAL=D−A,其中 DD 是度矩阵,AA 是邻接矩阵。

    GF

    根据[1]的调研,GF(Graph Factorization) 是第一个在 O(|E|) 的时间复杂度上完成向量化的算法。其损失函数定义为:

    L(Z,λ)=12(i,j)E(Wij<Zi,Zj>)2+λ2iZi2L(Z,λ)=12∑(i,j)∈E(Wij−<Zi,Zj>)2+λ2∑iZi2

    其中 λλ 是正则化参数。跟上面的 Laplacian Eigenmaps 相比,GF 算法是将两个向量重构后的边权作为衡量方法,两个向量可能有多种重构方式,比如直接点乘,或者求余弦相似度等等。

    HOPE

    HOPE(High-Order Proximity preserved Embedding) 模型相比 GF,通过引入 ||SZsZTt||2F||S−ZsZtT||F2 考虑了高阶相似性,论文作者尝试了 Kate Index, Root Page Rank, Common Neighbors, Adamic-Adar Score 等相似性指标,然后把相似性矩阵分解为 S=M1gMlS=Mg−1Ml,因为M1gMg−1 和 MlMl 都是稀疏的,所以利用 SVD 能有较高的运行效率。

    2.2 Random Walk based

    随机游走利用了网络结构采样,在处理大规模网络问题上,常常有很好的性能表现,同时可以很好地刻画网络局部信息。大部分情况下,我们对节点的观察并不需要考虑离它太远的节点,利用局部信息已经能够区别节点间的差异。

    DeepWalk&node2vec

    DeepWalk 是最早提出的基于 Word2vec 的节点向量化模型。其主要思路,就是利用构造节点在网络上的随机游走路径,来模仿文本生成的过程,提供一个节点序列,再套用 Word2Vec 对每个节点进行向量化表示。因为知道了节点 V 的前 k 个节点和后 k 个节点,就能很好地将网络邻居结构存入向量中。其目标就是最大化 logPr(vik,,vi1,vi+1,,vi+k|Zi)logPr(vi−k,…,vi−1,vi+1,…,vi+k|Zi)

    image.png

    Node2vec 是对 DeepWalk 的一种更广义的抽象,它引入了 biased-random walks,用来刻画每次随机游走是偏深度探索(DFS)还是广度探索(BFS),分别侧重社区结构和节点重要性的信息。由于 node2vec 有 p 和 q 两个超参数,所以它是一个比较灵活的模型框架。后面也会讲到,它在节点分类问题中有着不俗的表现。

    LINE

    LINE(Large-scale Information Network Embeddings) 直观上看其实并没有用随机游走。但是[2]将其归类到随机游走的范畴,原因是它和 DeepWalk 的框架类似地应用了概率损失函数。即通过最小化节点 i,ji,j 相连的经验概率 p^(i,j)p^(i,j) 与向量化后两个节点相似性 p(vi,vj)p(vi,vj) 的距离,并且同时考虑了一阶和二阶相似度(优化两个损失函数),这和随机游走的底层动机是相似的。在实际计算过程中,作者引入了一系列预处理和优化方法(比如负采样),来加快学习性能。

    image.png

    2.3 Deep Learning based

    SDNE

    SDNE(Structural Deep Network Embeddings) 将节点的相似性向量 sisi 直接作为模型的输入,通过 Auto-encoder 对这个向量进行降维压缩,得到其向量化后的结果 zizi。其损失函数定义为:

    L=viVDEC(zi)si22L=∑vi∈V‖DEC(zi)−si‖22

    其中 sisi 是一个 |V|V‖ 维的输入向量,而 zizi 的维数必然远小于前者。其实它的建模思路和前面提到的矩阵分解是一致的,只是在降维时用的不是矩阵分解,而是 Auto-encoder。

    image.png

    另一个模型 DNGR(Deep Neural Graph Representations) 与 SDNE 区别主要在于相似性向量的定义不同,DNGR 将两个节点由随机游走得到的「共同路径」作为衡量其相似性的指标,而 SDNE 直接用一阶关系作为相似性的输入。

    这种方法遇到一个较大的问题是,其输入向量维度被限制为|V||V| ,一方面对网络规模有一定限制,另一方面对新节点的接受程度不好(新节点加入后可能需要重新训练整个网络)。

    GCN

    前面说的几种模型,大都是利用网络结构对节点进行向量编码。另外有一类方法,强调的更多是将节点本身及其邻居节点的属性(比如文本信息)或特征(比如统计信息)编码进向量中,这类方法可以统称为 Neighborhood Aggregation Algorithms,它们引入了更多特征信息,并且在邻居节点间共享了一些特征或参数。

    image.png

    GCN(Graph Convolutional Networks) 就是其中的一类。上图是 GraphSAGE 算法 [3]的流程步骤。相比 SDNE 类的算法,GCN 的输入向量不必限制在 |V||V| 维,所以输入数据可以大大减小维数。因为 GCN 在网络结构的基础上,又引入了节点信息,所以在节点分类、链路预测等任务上,比只考虑网络结构的模型有更好的表现,当然这也取决于数据的丰富程度。

    3. Evaluation

    文章[2]在人工生成网络、社交网络、论文合作网络和蛋白质网络上对几种常见的向量化方法进行了网络重构、节点可视化、链路预测、节点分类的评测,大部分模型实验的输出结果是128维的向量。网络信息如下:

    image.png

    A. Graph Reconstruction

    image.png

    网络重构,是从向量化的节点出发,重新连边构建网络。我们发现 保存了高阶节点关系的模型往往能够更好地重构网络 ,这也符合直观认识。SDNE 几乎在所有数据集上击败了其他模型。

    B. Visualization

    网络节点可视化,一般是将节点编码成二维或三维的向量,在坐标轴上标注出来。常常会以事实分类区别颜色标记在图像上,用来区分不同向量化方法的好坏。

    下图是模型对 SBM 生成网络处理,输出编码至 128 维向量后,再利用 t-SNE 进行压缩得到的二维图像。

    image.png

    当 node2vec 模型设置 BFS 倾向大一些时,可以得到界限很清晰的聚类结果。但是 LE(Laplacian Eigenmaps) 和 GF(Graph Factorization) 模型的效果就比较差强人意了,尤其是 GF 基本不能看。

    下图是模型对 Karate 跆拳道俱乐部网络进行二维向量化编码的结果。

    image.png

    从网络结构和节点性质来看,SDNE 和 node2vec 保留了原始网络较多信息。尤其是 SDNE 把节点0单独放到了很远的位置,因为它是社区间的 bridge 节点。而 HOPE 对 0、32、33 的社区中心节点属性刻画的比较好,并且明显地划分出两个社区。GF 的表现依然比较差,除了把度大的节点放在了中心,叶子节点放在了周围,并没有很好的区别社区距离。

    C. Link Prediction

    在链路预测评估中,各个算法的表现并不是很稳定。这也和模型的设计并不是为特定任务而定制有关。

    image.png

    从 Top k 预测准确性来看,node2vec 模型在 BlogCatelog 数据中表现最好,其他数据集就比较一般(在 PPI 的 Top 表现也不错)。HOPE 模型在 k 比较大时,效果一般在中上位置,比较稳定。

    D. Node Classification

    作者在 SBM、PPI 和 BlogCatelog 网络上做了节点分类的实验。如下图:

    image.png

    从数据效果来看,node2vec 模型几乎在所有数据集中,都远胜其他模型。原因可能是 node2vec 模型同时刻画了节点的社区结构和网络角色,说明在节点分类中 Random Walk 方法有比较不错的表现。

    综上 node2vec 和  SDNE 在除了链路预测问题中,几乎表现都很亮眼。值得重点挖掘!

    Reference

    [1] Goyal, Palash, and Emilio Ferrara. “Graph Embedding Techniques, Applications, and Performance: A Survey.” arXiv preprint arXiv:1705.02801 (2017).

    [2] William L. Hamilton, Rex Ying and Jure Leskovec. “Representation Learning on Graphs: Methods and Applications” arXiv preprint arXiv:1709.05584 (2017).

    [3] Hamilton, William L., Rex Ying, and Jure Leskovec. “Inductive Representation Learning on Large Graphs.” arXiv preprint arXiv:1706.02216 (2017).



    转载本文请联系原作者获取授权,同时请注明本文来自范深科学网博客。
    链接地址:http://blog.sciencenet.cn/blog-588923-1078213.html 
    展开全文
  • 网络表示学习相关资料

    千次阅读 2017-07-08 22:59:33
    网络表示学习(network representation learning,NRL),也被称为图嵌入方法(graph embedding method,GEM)是这两年兴起的工作,目前很热,许多直接研究网络表示学习的工作和同时优化网络表示+下游任务的工作正在...
  • 网络表示学习(NRL)方向--论文整理

    千次阅读 2018-11-30 09:14:34
    网络表示学习方法(Network Representation Learning/Network Embedding),也称为网络嵌入。简单理解就是一种数据预处理技术,就类似于通信中对原始信号做傅里叶变换或拉普拉斯变换,之后就可以通过频域分析的方法...
  • 网络表示学习(Graph Embedding)简述

    万次阅读 2018-09-08 17:43:22
     网络表示学习又称图嵌入(Graph Embedding),主要目的是将一个网络中的节点基于网络的特点映射成一个低维度向量,这样可以定量的衡量节点之间的相似度,更加方便的应用。 3、Deepwalk  该网络表示学习方法主要...
  • 文献阅读总结:网络表示学习

    千次阅读 2020-02-06 13:52:21
    本文是对网络表示学习(Network/Graph Representation/Embedding Learning)领域已读文献的归纳总结,长期更新。
  • Embedding Nodes Encoder-decoder View Encoding Methods 1 Factorization based 2 Random Walk based ...网络表示学习(Representation Learning on Network),一般说的就是向量化(Embedding)技术,简单来说,就是
  • 目录社交网络表示学习任务异构图的网络表示论文1:在异构的社交网络中学习节点的潜在表示[^10]论文2:应用于社交网络的异构图形的分类学习[^11]reference 社交网络表示学习任务 在日常生活中,会遇到许多的社交...
  • 1.传统:基于图的表示(又称为基于符号的表示) 如左图G =(V,E),用不同的符号命名不同的节点,用二维数组(邻接矩阵)的存储结构表示两节点间是否存在连边,存在为1,否则为0。 缺点:长尾分布下大部分...
  • GCN:网络表示学习NRL与图神经网络GNN的简介、应用、经典案例之详细攻略 目录 网络表示学习NRL与图神经网络GNN的简介 1、网络表示学习与图神经网络的重要进展 1.1、1986年的Distributed Representation 1.2...
  • 本文是对中国计算机学会通讯(CCF)在2018年3月的网络表示学习专题的简单总结,原文章已上传至个人资源,如有侵权即刻删除。
  • 网络表示学习】GraphSAGE

    万次阅读 2019-05-25 21:34:56
    目前大多数图嵌入方法在训练过程中需要图中所有节点参与,属于直推学习(transductive),无法直接泛化到之前未见的节点。本文提出一种适用于大规模网络的归纳式(inductive)模型-GraphSAGE,能够为新增节点快速...
  • 网络表示学习(DeepWalk,LINE,node2vec,SDNE)

    万次阅读 多人点赞 2017-07-24 12:49:01
    1.传统:基于图的表示(又称为基于符号的表示) 如左图 G =(V,E),用不同的符号命名不同的节点,用二维数组(邻接矩阵)的存储结构表示两节点...2. 网络表示学习(Network Representation Learning,NRL),也称
  • 网络表示学习】GAT

    千次阅读 2019-05-25 21:35:52
    todo
  • 网络表示学习论文阅读之SDNE

    千次阅读 2018-04-08 18:10:27
    Structural Deep Network Embedding 作者:Daixin Wang, Peng Cui, Wenwu Zhu 刊物:KDD ’16, August 13-17, 2016, San Francisco, CA, USA ...几乎所有现有的网络表示方法采用的都是浅层模型。然...
  • Semi-Supervised Classification with Graph Convolutional Networks——提出图卷积网络(图的半监督学习) 论文链接 Variational Graph Auto-Encoders——Thomas Kipf的另一篇论文,图自动编码器 论文链接...
  • 网络表示学习 常用数据集

    千次阅读 2018-06-21 14:53:56
    Zachary’s karate club 一个大学空手道俱乐部的社交关系图, 很多论文中都喜欢用它做例子. 这个图比较简单, 有34个节点, 78条边. youtube 2 数据集介绍见[2]....node有两种, personpersonperson 与 groupgroupgroup...
  • 很多数据呈现为网络形式,如社交网络、生物网络、互联网、论文引用网络等。  维度灾难: 在单元立方体中,子立方体中的均匀数据。维度p=10的时候,需要在每一个坐标轴上覆盖80%才能捕获10%的数据。...
  • 近日,Cunchao Tu 和 Yuan Yao 两位研究者在 GitHub 上总结发表了一份关于网络表示学习(NRL: network representation learning)和网络嵌入研究领域(NE: network embedding)必读论文清单。这份清单共包含 5 篇...
  • 学习两种embedding,一种是对于节点的嵌入,一种是对于元路径(meta path)的嵌入 (ps 作者在文中说如果要强调路径的有向性,强调路径开始节点和终止节点的不同,那么可以扩展到三种embedding,对于路径起始节点...
  • 本文是一篇来自 DeepWalk 团队的综述文章,对于近几年网络表示学习(Network Representation Learning/Network Embedding)进行了一个阶段性的总结 ,并对于未来的发展方向进行了研究。 如果你对本文工作感兴趣,...
  • 表示学习

    千次阅读 2018-05-15 17:40:44
    表示学习——回顾与展望摘要——机器学习算法的成功通常取决于数据表示,并且我们假设这是因为不同的表示可能会或多或少地隐藏和隐藏数据背后变化的不同解释因素。尽管可以使用特定的领域知识来帮助设计表示,但也...
  • 文章目录深入浅出图神经网络|GNN原理解析☄学习笔记(四)表示学习表示学习表示学习的意义离散表示与分布式表示端到端学习基于重构损失的方法——自编码器自编码器正则自编码器变分自编码器基于对比损失的方法——...
  • 表示学习(特征学习)

    千次阅读 2020-03-01 16:28:42
    文章目录表示学习特征工程与表示学习深度学习的表示学习注:深度学习不等于多层神经网络什么时候用「手工提取」什么时候用「表示学习」?关于特征表示学习的算法参考资料 表示学习 表示学习的基本思路,是找到对于...
  • 表示学习介绍

    2020-09-29 11:13:34
    表示学习即做各种特征工程 评估表示学习的方法:有以下几点 A.平滑性,损失函数最好是平滑函数可求导优化 B.多特征表示: 可以把输出层分成若干类,每一类表示一个特征,这样通过只改变其中的部分...
  • 稀疏表示学习

    万次阅读 2017-04-25 21:22:42
    1.提出问题:什么是稀疏表示 假设我们用一个M*N的矩阵表示数据集X,每一行代表一个样本,每一列代表样本的一个属性,一般而言,该矩阵是稠密的,即大多数元素不为0。 稀疏表示的含义是,寻找一个系数矩阵A(K*N...
  • 知识表示学习研究进展

    万次阅读 2017-01-23 00:46:46
    Paper: 刘知远 2016 知识表示学习研究进展 计算机研究与发展 1. 表示学习旨在将研究对象的语义信息表示为稠密低维表示向量;而知识表示学习则面向知识库中的实体和关系进行表示学习;该技术可以在低维空间中高效...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 627,562
精华内容 251,024
关键字:

网络表示学习