精华内容
下载资源
问答
  • 异构图神经网络

    万次阅读 2020-05-03 13:55:27
    1. 摘要     异构图表示学习的目的是为每个节点寻求一个有意义的...尽管在同构图嵌入、属性图嵌入以及图神经网络等方面做了大量的工作,但很少有人能够有效地联合考虑异构结构(图)信息以及各节点的异构内容信息...

    1. 摘要

        异构图表示学习的目的是为每个节点寻求一个有意义的向量表示,以方便后续应用,如链路预测、个性化推荐、节点分类等。然而,这个任务实现起来很困难。因为不仅需要将异构结构组成的多种类型的节点和边的信息整合,还需要考虑与每个节点相关联的异构属性、异构内容。尽管在同构图嵌入、属性图嵌入以及图神经网络等方面做了大量的工作,但很少有人能够有效地联合考虑异构结构(图)信息以及各节点的异构内容信息。本文提出了一种异构图神经网络模型HetGNN来解决这个问题。

    在这里插入图片描述

    2. 介绍

    异构图面临的挑战:

        (C1)异构图中的许多节点可能不会连接到所有类型的邻居。此外,相邻节点的数量因节点而异。如何对与异构图中每个节点的嵌入生成紧密相关的异构邻居进行采样

        (C2)在异构图中的一个节点可以携带非结构化的异构内容,此外,与不同类型的节点关联的内容也可能不同。如何设计节点内容编码器来解决HetG中不同节点的内容异构性

        (C3)不同类型的邻居对异构图中节点嵌入的贡献不同。如何通过考虑不同节点类型的影响来聚合异构邻居的特征信息

    异构图的表示学习:给定一个节点内容集C的C-HetG G = (V, E、OV、RE)。任务是设计一个带有参数Θ的模型FΘ去学习d维的嵌入,该嵌入能够编码异构结构关系和异构的非结构化的内容。节点嵌入可用于各种图数据挖掘任务,如链接预测、推荐、多标签分类、节点聚类等。

    HetGNND:

        HetGNN由四部分组成:(1)采样异构邻居;(2)编码节点异构内容;(3)聚集异构邻居;(4)制定目标,设计模型培训流程。图2说明了HetGNN的框架。

    在这里插入图片描述

    图二:HetGNND结构

    3.方法

    3.1 采样异构邻居(C1)

        大多数图神经网络(GNNs)的关键思想是聚合来自节点的直接(一阶)邻居的特征信息。然而,直接将这些方法应用于异构图可能会引起以下几个问题:

    1. 不能直接从不同类型的邻居中获取特征信息。
    2. 特征信息被不同的邻居削弱。
    3. 不适合聚合具有不同内容特性的异构邻居。

        针对这些问题,设计了一种基于重启随机游走的异构邻居采样策略:

        步骤1:采样固定长度RWR。从节点v∈V开始随机漫步。该步以迭代的方式移动到当前节点的邻居,或者以概率p返回到起始节点。RWR一直运行,直到成功收集到固定数量的节点,记作RWR(v)。其中RWR(v)中不同类型节点的数量受到限制,以确保v中所有节点类型都被采样。

        步骤2:将不同类型的邻居分组。对于每个节点类型t,根据频率从RWR(v)中选择顶部的kt节点,作为节点v的t型相关邻居集合。

        该策略能够避免上述问题,因为:(1)RWR为每个节点收集所有类型的邻居;(2)固定每个节点的采样邻居大小,选择访问频率最高的邻居;(3)将相同类型的邻居(具有相同的内容特性)进行分组,以便部署基于类型的聚合。

    由于文章在服务器上,全文内容详见:http://bbit.vip/service/main.php?version=1&type=article&id=12

    展开全文
  • 文章《A Comprehensive Survey on Graph Neural Networks》[1]提供了一个全面的图神经网络(GNNs) 概述,并且将最新的图神经网络分为四类,即递归图神经网络(RecGNNs)、卷积图神经网络(ConvGNNs)、图自动编码器(GAEs)...
    摘要:本文我们将主要介绍各种典型的图神经网络的网络架构和训练方法。

    本文我们将主要介绍各种典型的图神经网络的网络架构和训练方法。文章《A Comprehensive Survey on Graph Neural Networks》[1]提供了一个全面的图神经网络(GNNs) 概述,并且将最新的图神经网络分为四类,即递归图神经网络(RecGNNs)、卷积图神经网络(ConvGNNs)、图自动编码器(GAEs)和时空图神经网络(STGNNs)。在图神经网的实际应用中,卷积图神经网络的使用最为广泛,因此,本文将重点介绍ConvGNNs一类网络模型,如上图GNN Roadmap所示。

    1. 欧式空间卷积

    在讲卷积图神经网络(非欧空间做卷积)之前,我们先来回顾下卷积神经网络(欧式空间做卷积)的过程。有一张如下图所示的6*6的image,我们在做卷积的时候,通常会使用一个固定大小的卷积核,比如3*3,然后根据设置的步长滑动整张6*6的image,在每一次滑动之处与原图相应位置做内积。如下图为卷积核滑动两次之后的结果。

    但是对于非欧空间的图结构,我们无法找到一个固定大小的卷积核去滑动整个图区域,如下图所示。

    这时我们就要针对图的特殊结构,借助欧式空间的卷积方法和图结构特征,提出两种卷积图神经网络的卷积方案:

    方案一:

    参考CNN的思想,对每个节点的邻居进行某种方式的加权求和,即Spatial-based convolution。

    方案二:

    参考传统的信号处理的方法,对原始信号进行处理,引入滤波器来定义图卷积,图卷积运算被解释为从图信号中去除噪声,即Spectral-based convolution。

     

    本篇我们将主要介绍基于空间的卷积图神经网络方法和对应的典型的网络架构。

    2. Spatial-based Convolution

    在讲基于空间的卷积图神经网络方法之前,我们先引入两个术语:

    lAggregate:

    lReadout:

    把所有节点的状态特征集合起来代表整个图的状态特征(下右图)。即采用某种sum或者average的方式将所有nodes的feature抽象成一个hidden state,并以此代表整张图的feature。

    2.1图神经网络(Neural Network for Graphs,NN4G)[2]

    NN4G在图神经网络领域算是比较早(2009)的提出的卷积图神经网络模型,其通过直接将节点的邻域信息相加来进行图卷积,表达式如下:

    而readout层则通过对每一层的所有节点信息的取平均,即下图中所有紫色节点 ,从而获得每一层图的representation,并对每一层的信息通过求和平均的方式进行整个图的representation更新,即:

    对于NN4G,其具体的计算过程可以用下面这幅图概括。NN4G也是卷积图神经网络的代表性结构,后续的卷积图神经网络都是或多或少的在NN4G的基础上做一些简单的修改(Aggregate)而获得。所以理解NN4G的运算流程对于理解基于空间的卷积图神经网络至关重要。

    2.2扩散卷积神经网络(Diffusion Convolutional Neural Network, DCNN)[3]

    2.3混合模型(Mixture Model Networks, MoNET)[4]

    通过上述模型,我们可以发现,当计算某个节点在某一层的hidden state的时候,对于该节点的所有邻居上述算法都是一视同仁。但是实际情况可能是任何两个节点之间的关系是有区别的。比如在一副社交关系图谱中,某个个体和其所连接的所有个体亲密关系通常不会相同。这就需要一种新的aggregate方式来解决。

    MoNET同样是定义了一种新的Aggregate的方式,在Aggregate阶段不是简单的对邻居节点feature的平均求和,而是通过加权的方式,权重的计算则是通过衡量节点之间的度的距离方式,即:

    当然这里只是提出了一种权重的计算方式,实际实现中可以选择不同的权重实现方式。其中

    表示节x 的度,图中的w则是特征变换(比如NN),经过NN对节点feature进行编码,最后对某一节点的邻居节点特征加权求和。

    2.4图采样聚合模型(Graph Sample and aggregate, GraphSAGE)[5]

    GraphSAGE主要是通过对邻居节点采样的方法对节点信息进行更新,即图中的Step 1,然后再对这些采样的节点信息进行某种方式的聚合,主要有Mean\Pooling\LSTM三种aggregate的方法,即图中的Step 2,Step 3则是利用聚合信息进行当前节点label或者邻居节点的预测,预测的方式有两种,一种是无监督学习方式。无监督学习基于图的损失函数希望临近的顶点具有相似的向量表示(公式的前半部分),同时让分离的顶点的表示尽可能区分(公式的后半部分),损失函数如下:

    2.5图注意神经网络(Graph Attention Networks, GAT)[6]

    注意力机制已经在传统神经网络CNN和RNN中有了成功的实践,并且使用attention后模型的性能在特定任务上都有不少的提升。GAT是将attention机制实现在卷积图神经网络之中。这里的attention就是一种用来计算节点与邻居之间权重的方式,最后通过加权求和的方式更新节点的feature,节点间权重的计算公式如下:

    下图就是GAT模型的图卷积层的更新过程,其中 e(energy)就是attention的权重。

    3. 总结

    本篇博文主要介绍了Spatial-based Convolution(基于空间的卷积图神经网络),以NN4G为基础,分别介绍了DCNN,MONET,GrapgSAGE,GAT等卷积图神经网络结构以及其实现的方式。对于想要在图神经网络进行实践的同学,可以先学习一些开源的图神经网络框架。目前完成度较好的图神经网络框架主要是基于PyTorch和MXNet的DGL (Deep Graph Library)和PyG (PyTorch Geometric)。

    参考文献

    [1] ] Wu Z , Pan S , Chen F , et al. A Comprehensive Survey on Graph Neural Networks[J]. IEEE Transactions on Neural Networks and Learning Systems, 2019.

    [2] A. Micheli, "Neural Network for Graphs: A Contextual Constructive Approach," in IEEE Transactions on Neural Networks, vol. 20, no. 3, pp. 498-511, March 2009, doi: 10.1109/TNN.2008.2010350.

    [3] https://arxiv.org/abs/1511.02136

    [4] https://arxiv.org/pdf/1611.08402.pdf

    [5] https://arxiv.org/pdf/1706.02216.pdf

    [6] https://arxiv.org/pdf/1710.10903.pdf

    [7]https://mp.weixin.qq.com/s?__biz=MzkwNDE5MDY5Mg==&mid=2247486844&idx=1&sn=6ae21b181c208aa67bcd597572e0d840&chksm=c08b82f7f7fc0be178ac3b11d9df15280d74149c5246a7de641e927d13190afe7ce1f9d603e9&scene=21#wechat_redirect

    [8]. http://speech.ee.ntu.edu.tw/~tlkagk/courses/ML2020/GNN.pdf

     

    本文分享自华为云社区《深入浅出图神经网络应用场景》,原文作者:就挺突然。

     

    点击关注,第一时间了解华为云新鲜技术~

    展开全文
  • 图神经网络综述

    万次阅读 2019-06-14 17:09:03
    图神经网络概述第三弹:来自IEEE Fellow的GNN综述 原文地址https://www.jiqizhixin.com/articles/2019-01-07-8 图神经网络(GNN)热度持续上升,之前我们曾介绍了清华两篇综述论文,参见:深度学习时代的图...

    图神经网络概述第三弹:来自IEEE Fellow的GNN综述

     

    原文地址 https://www.jiqizhixin.com/articles/2019-01-07-8

     

     

    图神经网络(GNN)热度持续上升,之前我们曾介绍了清华两篇综述论文,参见:深度学习时代的图模型,清华发文综述图网络,和清华大学图神经网络综述:模型与应用。最近,IEEE Fellow、Senior Member 和 Member Zonghan Wu 等人又贡献了一篇图神经网络综述文章。这篇文章介绍了 GNN 的背景知识、发展历史、分类与框架、应用等,详细介绍了各种模型与方法,包括公式、模型图示、算法等,希望对大家有所帮助。

    引言

    深度网络的最新进展推进了模式识别和数据挖掘领域的研究。目标检测、机器翻译、语音识别等许多机器学习任务曾高度依赖手工特征工程来提取信息特征集合,但多种端到端深度学习方式(即卷积神经网络、长短期记忆网络和自编码器)改变了这种状况。深度学习在多个领域的成功主要归功于计算资源的快速发展(如 GPU)、大量训练数据的收集,还有深度学习从欧几里得数据(如图像、文本和视频)中提取潜在表征的有效性。例如 CNN 可以利用平移不变性、局部连通性和图像数据语意合成性,从而提取出与整个数据集共享的局部有意义的特征,用于各种图像分析任务。

    尽管深度学习已经在欧几里得数据中取得了很大的成功,但从非欧几里得域生成的数据已经取得更广泛的应用,它们需要有效分析。例如,在电子商务领域,一个基于图的学习系统能够利用用户和产品之间的交互以实现高度精准的推荐。在化学领域,分子被建模为图,新药研发需要测定其生物活性。在论文引用网络中,论文之间通过引用关系互相连接,需要将它们分成不同的类别。

    图数据的复杂性对现有机器学习算法提出了重大挑战,因为图数据是不规则的。每张图大小不同、节点无序,一张图中的每个节点都有不同数目的邻近节点,使得一些在图像中容易计算的重要运算(如卷积)不能再直接应用于图。此外,现有机器学习算法的核心假设是实例彼此独立。然而,图数据中的每个实例都与周围的其它实例相关,含有一些复杂的连接信息,用于捕获数据之间的依赖关系,包括引用、朋友关系和相互作用。

    最近,越来越多的研究开始将深度学习方法应用到图数据领域。受到深度学习领域进展的驱动,研究人员在设计图神经网络的架构时借鉴了卷积网络、循环网络和深度自编码器的思想。为了应对图数据的复杂性,重要运算的泛化和定义在过去几年中迅速发展。例如,图 1 展示了受标准 2D 卷积启发得到的图卷积。本文旨在对这些方法进行全面概述,受众包括想要进入这一快速发展领域的研究人员和想要对比图神经网络算法的专家。

    图 1:2D 卷积 vs. 图卷积

    图神经网络简史

    图神经网络的概念首先由 Gori 等人(2005)[16] 提出,并由 Scarselli 等人(2009)[17] 进一步阐明。这些早期的研究以迭代的方式通过循环神经架构传播邻近信息来学习目标节点的表示,直到达到稳定的固定点。该过程所需计算量庞大,而近来也有许多研究致力于解决这个难题。在本文中,图神经网络代表的是所有用于图数据的深度学习方法。

    受到卷积网络在计算机视觉领域所获巨大成功的激励,近来出现了很多为图数据重新定义卷积概念的方法。这些方法属于图卷积网络(GCN)的范畴。Bruna 等人(2013)提出了关于图卷积网络的第一项重要研究,他们基于谱图论(spectral graph theory)开发了一种图卷积的变体。自此,基于谱的图卷积网络不断改进、拓展、进阶。由于谱方法通常同时处理整个图,并且难以并行或扩展到大图上,基于空间的图卷积网络开始快速发展。这些方法通过聚集近邻节点的信息,直接在图结构上执行卷积。结合采样策略,计算可以在一个批量的节点而不是整个图中执行,这种做法有望提高效率。

    除了图卷积网络,近几年还开发出了很多替代的图神经网络。这些方法包括图注意力网络(GAT)、图自编码器、图生成网络以及图时空网络。关于这些方法的分类细节详见第三章。

    图神经网络相关研究。Bronstein 等人用符号几何深度学习概述了非欧几里得领域的深度学习方法,包括图和流形。虽然这是对图卷积网络的第一次回顾,但这一项研究遗漏了几个基于空间的重要方法,包括 [15], [19], [24], [26], [27], [28],这些方法更新了最新的基准。此外,这项调查没有囊括很多新开发的架构,这些架构的重要性不亚于图卷积网络。

    对于另一项研究,Battaglia 等人 [29] 将图网络定位为从关系数据中学习的构建块,并在统一的框架下回顾了部分图神经网络。然而,他们整体的框架是高度抽象的,失去了每种方法在原论文中的见解。Lee 等人 [30] 对图注意力模型(一种图神经网络)进行了部分调查。最近,Zhang 等人 [31] 提出了一项关于图深度学习的最新调查,却忽略了对图生成网络和图时空网络的研究。总之,现有的研究没有一个对图神经网络进行全面的回顾,只覆盖了部分图卷积神经网络且检查的研究有限,因此遗漏了图神经网络替代方法的最新进展,如图生成网络和图时空网络。

    图神经网络 vs. 网络嵌入。对图神经网络的研究与图嵌入或网络嵌入紧密相关,这也是数据挖掘和机器学习社区日益关注的一个话题 [32] [33] [34] [35], [36], [37]。网络嵌入旨在通过保留网络拓扑架构和节点内容信息,将网络顶点表示到低维向量空间中,以使任何后续的图分析任务(如分类、聚类和推荐)都可以通过使用简单的现成学习机算法(如用于分类的支持向量机)轻松执行。许多网络嵌入算法都是无监督算法,它们大致可分为三组 [32],即矩阵分解 [38], [39]、随机游走 [40] 和深度学习方法。用于网络嵌入的深度学习方法同时还属于图神经网络,包括基于图自编码器的算法(如 DNGR [41] 和 SDNE [42])和具有无监督训练的图卷积神经网络(如 GraphSage [24])。图 2 描述了本文中网络嵌入和图神经网络的区别。

    图 2:网络嵌入 vs 图神经网络。

    本文作出的贡献如下

    • 新的分类体系:考虑到深度学习在图数据上的研究与日俱增,我们提出了图神经网络(GNN)的新分类体系。在这种分类体系下,GNN 被分成了 5 个类别:图卷积网络、图注意力网络、图自编码器、图生成网络和图时空网络。我们确定了图神经网络和网络嵌入之间的区别,并在不同的图神经网络架构之间建立了联系。

    • 全面的概述:这个综述提供了在图数据上的现代深度学习技术的全面概述。对每一种类型的图神经网络,我们提供了表征算法的细节描述,并做了必要的对比和对应算法的总结。

    • 丰富的资源:这篇综述提供了图神经网络的丰富资源,其中包括当前最佳算法、基准数据集、开源代码和实践应用。这篇综述可以作为理解、使用和开发不同实际应用的深度学习方法的实践指南。

    • 未来方向:这篇综述还强调了已有算法的当前限制,指出了这个快速发展领域未来的可能方向。

    论文:A Comprehensive Survey on Graph Neural Networks

    论文链接:https://arxiv.org/pdf/1901.00596v1.pdf

    摘要:近年来,从图像分类到视频处理再到语音识别和自然语言处理,深度学习已经变革了多项机器学习任务。这些任务中的数据通常表示在欧几里得空间中。然而,越来越多的应用使用非欧几里得域生成的数据,并将它们表示为具有复杂关系和相互依赖关系的图。虽然图数据的复杂性对现有机器学习算法提出了重大挑战,但最近许多研究开始将深度学习方法扩展到图数据。

    本文综述了数据挖掘和机器学习领域中的图神经网络(GNN),并按照新的方法对图神经网络的最新进展进行了分类。在关注图卷积网络的同时,他们还回顾了最近开发的其他架构,例如图注意力网络、图自编码器,图生成网络以及图时空网络等。我们还进一步讨论了图神经网络在多个领域的应用并总结了不同学习任务现有算法的开源代码及基准。最后,我们提出了这一快速发展领域的研究方向。

    2. 定义

    在这一节,我们提供基础图概念的定义。为了方便查询,我们在表 1 总结了常用的符号。

    表 1:常用符号。

    3. 分类与框架

    这一部分内容给出了图神经网络的分类方法。我们考虑到了所有能与神经架构组合成图神经网络的可微图模型,把图神经网络最终分类为:图卷积网络、图注意力网络、图自编码器、图生成网络和图时空网络。这些网络中,图卷积网络在捕捉架构依存关系上扮演着核心角色。如下图 3 所示,属于其他类别的方法部分使用图卷积网络作为基础。表 2 总结了每个类别的代表性方法。

    图 3:图神经网络分类

    表 2:图神经网络代表性论文

    下图 4 展示了图卷积网络节点表征学习的过程。

    图 4:有多层 GCN 层的图卷积网络变体。通过从邻域聚合特征信息,一个 GCN 层把每个节点的隐藏表征进行压缩。在特征聚合之后,非线性置换被应用到生成的输出上。通过多层堆叠,每个节点的最终隐藏表征从后续邻域获得信息。

    下图 5 展示了多个建立在 GCN 上的图神经网络模型。

    图 5:建立在 GCN 上的不同图神经网络模型。

    下图展示了图卷积网络和图注意力网络在聚合邻近节点信息方面的区别。

    3.2 框架

    表 3:图卷积网络的总结。Node-level 输出与节点回归和分类任务相关,Edge-level 输出与边分类和链接预测任务相关,Graph-level 输出与图分类任务相关。

    端到端训练框架。图卷积网络可以以(半)监督或纯无监督的方式在端到端学习框架中训练,依赖于学习任务和可用的标签信息。

    • 节点级分类的半监督学习。给定部分节点被标记的单个网络,图卷积网络可以学习到一个鲁棒的模型,高效识别未标记节点的类别标签 [14]。为此,可以通过堆叠一系列的图卷积层和 softmax 层来建立端到端框架进行多类别分类。

    • 图级分类的监督学习。给定一个图数据集,图级分类旨在预测整个图的类别标签 [55], [56], [74], [75]。这一任务的端到端学习可以利用一个结合了图卷积层和池化步骤的框架实现 [55], [56]。

    • 图嵌入的无监督学习。如果图中无可用类别标签,我们可以在一个端到端框架中以完全无监督的方式学习图嵌入。这些算法通过两种方式利用边级(edge-level)信息。一种简单的方法是采用自编码器框架,其中编码器使用图卷积层将图嵌进潜在表征中,然后使用解码器重构图结构 [59], [61]。另一种方法是利用负采样方法,采样一部分节点对作为负对(negative pair),而图中已有的节点作为正对(positive pair)。然后在卷积层之后应用 logistic 回归层,以用于端到端学习 [24]。

    4. 图卷积网络

    这一章概览图卷积网络(GCN),这是很多复杂图神经网络模型的基础。GCN 方法分为两类,分别基于谱和空间。基于谱的方法通过从图信号处理的角度引入滤波器来定义图卷积,其中图卷积运算被解释为从图信号中去除噪声 [76]。基于空间的方法将图卷积表征为聚合来自近邻的特征信息。虽然 GCN 在节点级别上运行,但是图池化模块可以与 GCN 层交替,将图粗粒化为高级子结构。如图 5a 所示,这种架构设计可用于提取图级表征、执行图分类任务。下文会分别介绍、基于空间的 GCN 和图池化模块。

    基于谱的 GCN 部分介绍了其背景、方法等,这些方法包括 Spectral CNN、Chebyshev Spectral CNN (ChebNet)、First order of ChebNet (1stChebNet) 和 Adaptive Graph Convolution Network (AGCN)。

    基于空间的 GCN 分为两类:Recurrent-based Spatial GCN 和 Composition Based Spatial GCN。前者包括图神经网络(Graph Neural Networks,GNN)、门控图神经网络(Gated Graph Neural Networks,GGNN)和 Stochastic Steady-state Embedding (SSE)。后者涉及了:Message Passing Neural Networks (MPNN)、GraphSage。此外,这部分还介绍了这两大类之外的空间 GCN 变体,包括 Diffusion Convolution Neural Networks (DCNN)、PATCHY-SAN、Large-scale Graph Convolution Networks (LGCN)、Mixture Model Network (MoNet)。

    SSE 算法。

    这一章还从效率、通用性和灵活性方面,对比了基于谱的 GCN 和基于空间的 GCN,认为基于空间的 GCN 更具优势,也因此吸引了更多研究兴趣。

    5 图卷积网络之外的模型

    这部分概述了图卷积网络之外的其他图神经网络,包括图注意力神经网络、图自编码器、图生成模型和图时空网络。下表总结了每个类别下的主要方法。

    表 4:图卷积网络之外的其他图神经网络概览。该表根据网络的输入、输出、目标任务和是否基于 GCN 总结了每种网络下的多种方法。输入列代表每种方法适合分布式图 (A)、有向图 (D) 还是时空图 (S)。

    5.1 图注意力网络

    注意力机制几乎成为序列任务中的标配。它的价值在于能够聚焦于对象最重要的部分。该机制被证明在多项任务中有用,如机器翻译和自然语言理解。由于注意力机制的模型容量越来越大,图神经网络在聚合信息、集成多个模型的输出、生成重要性导向的随机游走时,可以从注意力机制中获益良多。

    这部分介绍了图注意力网络的多种方法,包括图注意力网络(Graph Attention Network,GAT)、门控注意力网络(Gated Attention Network,GAAN)、图注意力模型(Graph Attention Model,GAM)、注意力游走(Attention Walks)。

    注意力机制对图神经网络的贡献有三部分,即在聚合特征信息时向不同近邻分配注意力权重、根据注意力权重集成多个模型,以及使用注意力权重引导随机游走。尽管我们把 GAT 和 GAAN 分类为图注意力网络的两种方法,但是它们都可以作为基于空间的卷积网络。二者的优势是它们可以适应性地学习近邻的重要性权重(如图 6 所示)。但是,由于我们必须计算每对近邻之间的注意力权重,因此计算成本和内存消耗会快速增长。

    5.2 图自编码器

    图自编码器是一类网络嵌入方法,旨在通过神经网络架构将网络顶点表征到低维向量空间。典型的解决方案是使用多层感知机作为编码器来获取节点嵌入,解码器重建节点的近邻统计,如正逐点互信息(positive pointwise mutual information,PPMI)或一阶、二阶接近度(proximities)[42]。最近,研究人员尝试在设计图自编码器时用 GCN 作为编码器、结合 GCN 和 GAN,或者结合 LSTM 和 GAN。

    这部分介绍了基于 GCN 的自编码器和其他变体。基于 GCN 的自编码器部分介绍了:图自编码器(Graph Auto-encoder,GAE)、对抗正则化图自编码器(Adversarially Regularized Graph Autoencoder,ARGA)。其他变体包括:具备对抗正则化自编码器的网络表征(Network Representations with Adversarially Regularized Autoencoders,NetRA)、用于图表征的深度神经网络(Deep Neural Networks for Graph Representations,DNGR)、结构化深度网络嵌入(Structural Deep Network Embedding,SDNE)、深度递归网络嵌入(Deep Recursive Network Embedding,DRNE)。

    DNGR 和 SDNE 仅基于拓扑结构学习节点嵌入,而 GAE、ARGA、NetRA 和 DRNE 需要基于拓扑信息和节点内容特征学习节点嵌入。图自编码器的一个挑战是邻接矩阵的稀疏性,会导致解码器正条目(positive entry)的数量远远少于负条目。为了解决这个问题,DNGR 重建了一个较稠密的矩阵——PPMI 矩阵,SDNE 对邻接矩阵的零条目进行惩罚,GAE 重新调整邻接矩阵中项的权重,NetRA 将图线性化为序列。

    5.3 图生成网络

    图生成网络的目标是基于一组可观察图来生成图。其中的很多方法都是领域特定的。例如,在分子图生成方面,一些研究将分子图的表征建模为字符串 SMILES [94], [95], [96], [97]。在自然语言处理中,生成语义图或知识图通常需要一个给定的句子 [98], [99]。最近,研究人员又提出了多个通用方法。一些研究将生成过程看成节点或边的形成 [64], [65],而另一些则使用生成对抗训练 [66], [67]。该领域的方法要么使用 GCN 作为构造块,要么使用不同的架构。

    这部分介绍了基于 GCN 的图生成网络和其他图生成网络。前者包括:分子生成对抗网络(Molecular Generative Adversarial Networks,MolGAN)和深度图生成模型(Deep Generative Models of Graphs,DGMG);后者涉及 GraphRNN(通过两级循环神经网络使用深度图生成模型)和 NetGAN(结合 LSTM 和 Wasserstein GAN 从基于随机游走的方法中生成图)。

     图 9:MolGAN 框架图示。

    5.4 图时空网络

    图时空网络同时捕捉时空图的时间和空间依赖。时空图具备全局图结构,每个节点的输入随着时间而改变。例如在交通网络中,使用每个传感器作为节点来连续记录某条道路的交通流动速度,其中交通网络的边由传感器对之间的距离决定。图时空网络的目标是预测未来节点值或标签,或预测时空图标签。近期研究探索了仅使用 GCN、结合 GCN 和 RNN 或 CNN,以及专用于图结构的循环架构。

    这部分介绍了基于 GCN 的图时空网络和其他图时空网络。前者包括:Diffusion Convolutional Recurrent Neural Network (DCRNN)、CNN-GCN、时空 GCN(Spatial Temporal GCN,ST-GCN)。其他方法有 Structural-RNN,一种循环结构化框架。

    DCRNN 的优势是能够处理长期依赖,因为它具备循环网络架构。尽管 CNN-GCN 比 DCRNN 简单一些,但 CNN-GCN 能够更高效地处理时空图,这要归功于 1D CNN 的快速实现。时空 GCN 将时间流作为图的边,这导致邻接矩阵的大小呈平方增长。一方面,它增加了图卷积层的计算成本。另一方面,要捕捉长期依赖,图卷积层必须多次堆叠。StructuralRNN 在同一个语义组内共享相同的 RNN,从而改善了模型效率,但是 StructuralRNN 需要人类先验知识来分割语义组。

    6 应用

    图神经网络应用广泛。下面将首先介绍在文献中频繁使用的基准数据集。接着将报告各种方法在四种常用数据集上的基准性能,并列出可用的图神经网络开源实现。最后,我们将介绍图神经网络在各个领域的实际应用案例。

    6.1 数据集

    表 5:常用数据集总结。

    6.2 基准和开源实现

    表 6:各种方法在四种最常用数据集上的基准性能。以上列出的方法都使用相同的训练、验证和测试数据集进行评估。

    表 7:开源实现概览。

    6.3 实际应用案例

    本文按领域介绍了 GNN 的应用,包括计算机视觉、推荐系统、交通、化学等。

    7 未来方向

    加深网络。深度学习的成功在于深度神经架构。例如在图像分类中,模型 ResNet 具有 152 层。但在图网络中,实证研究表明,随着网络层数增加,模型性能急剧下降 [147]。根据论文 [147],这是由于图卷积的影响,因为它本质上推动相邻节点的表示更加接近彼此,所以理论上,通过无限次卷积,所有节点的表示将收敛到一个点。这导致了一个问题:加深网络是否仍然是学习图结构数据的好策略?

    感受野。节点的感受野是指一组节点,包括中心节点和其近邻节点。节点的近邻(节点)数量遵循幂律分布。有些节点可能只有一个近邻,而有些节点却有数千个近邻。尽管采用了采样策略 [24], [26], [27],但如何选择节点的代表性感受野仍然有待探索。

    可扩展性。大部分图神经网络并不能很好地扩展到大型图上。主要原因是当堆叠一个图卷积的多层时,节点的最终状态涉及其大量近邻节点的隐藏状态,导致反向传播变得非常复杂。虽然有些方法试图通过快速采样和子图训练来提升模型效率 [24], [27],但它们仍无法扩展到大型图的深度架构上。

    动态性和异质性。大多数当前的图神经网络都处理静态同质图。一方面,假设图架构是固定的。另一方面,假设图的节点和边来自同一个来源。然而,这两个假设在很多情况下是不现实的。在社交网络中,一个新人可能会随时加入,而之前就存在的人也可能退出该社交网络。在推荐系统中,产品可能具有不同的类型,而其输出形式也可能不同,也许是文本,也许是图像。因此,应当开发新方法来处理动态和异质图结构。

    展开全文
  • 什么是图神经网络

    万次阅读 2020-08-05 10:25:32
    2019年可以说是图神经网络元年。01 什么是图神经网络?1. 图和属性图要了解图神经网络,首先要了解图。图是由节点和边组成的,如下图所示。一般图中的节点表示实体对象(比如一个用户、一件商品、一辆车、一张银行卡...

    2019年可以说是图神经网络元年。

    01 什么是图神经网络?

    1. 图和属性图

    要了解图神经网络,首先要了解图。图是由节点和边组成的,如下图所示。一般图中的节点表示实体对象(比如一个用户、一件商品、一辆车、一张银行卡等都可以作为节点),边代表事件或者实体之间的特殊关系(比如用户和商品之间的购买关系)。

    一文带你全面了解图神经网络

    在数学中,我们一般使用邻接矩阵来表示图,如上图右边所示。邻接矩阵中的值为 1 表示节点之间有边,即有连接关系。所以邻接矩阵其实很好的将图的这种结构信息表达出来了。

    还要介绍一个概念是属性图。就是说,图中的节点和边都带有属性(这是一种信息)。如下图所示:

    一文带你全面了解图神经网络

    这个图里的用户节点有姓名、性别,话题节点具体的话题类别,公司节点有名称,注册时间等属性信息。边也可以有属性信息,比如开始工作时间是边“工作于”的一种属性。所以,属性图就是节点和边带有自己的属性信息,同时每个节点又有自己的拓扑结构信息。这是工业界最常用的一种图表示方法,因为我们需要更丰富的信息。

    前几年神经网络很火,相信大家对神经网络都有一定的了解。图神经网络就是将图数据和神经网络进行结合,在图数据上面进行端对端的计算。

    2. 图神经网络的计算机制

    单层的神经网络计算过程:

    一文带你全面了解图神经网络

    相比较于神经网络最基本的网络结构全连接层(MLP),特征矩阵乘以权重矩阵,图神经网络多了一个邻接矩阵。计算形式很简单,三个矩阵相乘再加上一个非线性变换。

    一文带你全面了解图神经网络

    一文带你全面了解图神经网络

    图神经网络的计算过程总结起来就是聚合邻居。如下面的动图所示,每个节点都在接收邻居的信息。为了更加全面的刻画每个节点,除了节点自身的属性信息,还需要更加全面的结构信息。所以要聚合邻居,邻居的邻居.....

    一文带你全面了解图神经网络

    图神经网络是直接在图上进行计算,整个计算的过程,沿着图的结构进行,这样处理的好处是能够很好的保留图的结构信息。而能够对结构信息进行学习,正是图神经网络的能力所在,下面我们就来看看图神经网络为什么强大?

    02 图神经网络的强大能力

    现实生活中的大量的业务数据都可以用图来表示。万事万物皆有联系,节点+关系这样一种表示足以包罗万象。

    比如人类的社交网络,个体作为节点,人与人之间的各种关系作为边;电商业务中,用户和商品也可以构建成图网络;而物联网、电网、生物分子这些是天然的节点+关系结构;甚至,可以将实物物体抽象成 3D 点云,以图数据的形式来表示。图数据可以说是一种最契合业务的数据表达形式。

    一文带你全面了解图神经网络

    图神经网络的强大能力我认为可以归纳为三点:

    • 对图数据进行端对端学习
    • 擅长推理
    • 可解释性强

    1. 端对端学习

    近几年,深度学习带来了人脸识别、语音助手以及机器翻译的成功应用。这三类场景的背后分别代表了三类数据:图像、语音和文本。

    深度学习在这三类场景中取得突破的关键是它背后的端对端学习机制。端对端代表着高效,能够有效减少中间环节信息的不对称,一旦在终端发现问题,整个系统每一个环节都可以进行联动调节。

    既然端对端学习在图像、语音以及文本数据上的学习是如此有效,那么将该学习机制推广到具有更广泛业务场景的图数据就是自然而然的想法了。

    这里我们引用 DeepMind 论文中的一段话,来说明其重要性:

    我们认为,如果 AI 要实现人类一样的能力,必须将组合泛化(combinatorial generalization)作为重中之重,而结构化的表示和计算是实现这一目标的关键。正如生物学里先天因素和后天因素是共同发挥作用的,我们认为“人工构造”(hand-engineering)和“端到端”学习也不是只能从中选择其一,我们主张结合两者的优点,从它们的互补优势中受益。

    2. 擅长推理

    业界认为大规模图神经网络是认知智能计算强有力的推理方法。图神经网络将深度神经网络从处理传统非结构化数据(如图像、语音和文本序列)推广到更高层次的结构化数据(如图结构)。

    大规模的图数据可以表达丰富和蕴含逻辑关系的人类常识和专家规则,图节点定义了可理解的符号化知识,不规则图拓扑结构表达了图节点之间的依赖、从属、逻辑规则等推理关系。

    以保险和金融风险评估为例,一个完备的 AI 系统不仅需要基于个人的履历、行为习惯、健康程度等进行分析处理,还需要通过其亲友、同事、同学之间的来往数据和相互评价进一步进行信用评估和推断。基于图结构的学习系统能够利用用户之间、用户与产品之间的交互,做出非常准确的因果和关联推理。

    ——达摩院2020十大科技趋势白皮书

    3. 可解释性强

    图具有很强的语义可视化能力,这种优势被所有的 GNN 模型所共享。比如在异常交易账户识别的场景中,GNN 在将某个账户判断为异常账户之后,可以将该账户的局部子图可视化出来,如下图所示:

    一文带你全面了解图神经网络

    我们可以直观地从子图结构中发现一些异常模式,比如同一设备上有多个账户登录,或者同一账户在多个设备上有行为。还可以从特征的维度,比如该账户与其他有关联的账户行为模式非常相似(包括活跃时间集中,或者呈现周期性等),从而对模型的判断进行解释。

    论文 “GNNExplainer: Generating Explanations for Graph Neural Networks” 提供了一种自动从子图中提取重要子图结构和节点特征的方法,可以为 GNN 的判断结果提供重要依据。

    03 图神经网络的应用

    图数据无处不在,图神经网络的应用场景自然非常多样。笔者在这里选择一部分应用场景为大家做简要的介绍,更多的还是期待我们共同发现和探索。

    一文带你全面了解图神经网络

    1. 计算机视觉

    在计算机视觉的应用有根据提供的语义生成图像,如下图所示(引用)。输入是一张语义图,GNN通过对“man behind boy on patio”和“man right of man throwing firsbee”两个语义的理解,生成了输出的图像。

    一文带你全面了解图神经网络

    ▲图片来源:https://arxiv.org/pdf/1804.01622.pdf

    再说说视觉推理人类对视觉信息的处理过程往往参杂着推理。比如下图的场景中,左上角第4个窗户虽然有部分遮挡,我们仍可以通过其他三扇窗户推断出它是窗户;再看右下角的校车,虽然车身不完整,但我们可以通过这个车身颜色推断出其是校车。

    一文带你全面了解图神经网络

    ▲图片来源:https://arxiv.org/pdf/1803.11189.pdf

    人类可以从空间或者语义的维度进行推理,而图可以很好的刻画空间和语义信息,让计算机可以学着像人类一样,利用这些信息进行推理。

    一文带你全面了解图神经网络

    ▲图片来源:https://arxiv.org/abs/1803.11189

    当然还有动作识别视觉问答等应用,这里我们就不一一列举了,感兴趣的同学推荐大家阅读文章:

    图像生成

    https://arxiv.org/pdf/1804.01622.pdf

    视觉推理

    https://arxiv.org/pdf/1803.11189.pdf

    2. 自然语言处理

    GNNs 在自然语言处理中的应用也很多,包括多跳阅读、实体识别、关系抽取以及文本分类等。多跳阅读是指给机器有很多语料,让机器进行多链条推理的开放式阅读理解,然后回答一个比较复杂的问题。在2019年,自然语言处理相关的顶会论文使用 GNN 作为推理模块已经是标配了。

    多跳阅读:

    https://arxiv.org/pdf/1905.06933.pdf

    关系抽取和文本分类应用也十分多,这里推荐大家阅读:

    https://mp.weixin.qq.com/s/i2pgW4_NLCB1Bs3qRWRYoA

    3. 生物医疗

    我们在高中都接触过生物化学,知道化合物是由原子和化学键构成的,它们天然就是一种图数据的形式,所以图神经网络在生物医疗领域应用特别广泛。包括新药物的发现、化合物筛选、蛋白质相互作用点检测、以及疾病预测。

    据笔者所知,目前国外包括耶鲁、哈佛,国内像北大清华都有很多实验室研究图神经网络在医学方面的应用,而且我相信这会是图神经网络最有价值的应用方向之一。

    除了上述的方向,还有像在自动驾驶和 VR 领域会使用的 3D 点云;与近两年同样很火的知识图谱相结合;智慧城市中的交通流量预测;芯片设计中的电路特性预测;甚至还可以利用图神经网络编写代码。

    目前在真正在工业场景中付诸应用,并取得了显著成效的场景主要有两个,一是推荐,二是风控。

    4. 工业应用之推荐

    推荐是机器学习在互联网中的重要应用。互联网业务中,推荐的场景特别说,比如内容推荐、电商推荐、广告推荐等等。这里,我们介绍三种图神经网络赋能推荐的方法。

    (1)可解释性推荐

    可解释性推荐,就是不仅要预测推荐的商品,还要给出推荐的理由。推荐中有一个概念叫元路径。在电影推荐的场景里,如下图所示。我们用 U 表示用户,用 M 表示电影,那么 UUM 是一条元路径。它表示一位用户关注了另一位用户,那么我们可以将用户看过的电影,推荐给关注他的人。

    当然,还有比如 UMUM 表示与你看过相同电影的人还在看什么电影这条路径;UMTM 表示与你看过同一类型电影的路径.....元路径有很多,不同元路径对于不同的业务语义。在这个场景中,图神经网络模型有两个任务,一个是推荐影片给用户,二是给出哪条元路径的权重更高。而这正式 GNN 可解释性的体现。

    一文带你全面了解图神经网络

    ▲论文链接:http://www.shichuan.org/doc/47.pdf

    (2)基于社交网络的推荐

    利用用户之间的关注关系,我们也可以实现推荐。用户的购买行为首先会受到其在线社交圈中朋友的影响。如果用户 A 的朋友是体育迷,经常发布关于体育赛事、体育明星等信息,用户 A 很可能也会去了解相关体育主题的资讯。

    其次,社交网络对用户兴趣的影响并非是固定或恒定的,而是根据用户处境(Context)动态变化的。举例来说,用户在听音乐时更会受到平时爱好音乐的朋友影响,在购买电子产品时更会受到电子发烧友的朋友影响。目前有许多的电商平台,包括像京东、蘑菇街、小红书等都在尝试做基于社交的推荐。

    一文带你全面了解图神经网络

    ▲论文链接:http://www.cs.toronto.edu/~lcharlin/papers/fp4571-songA.pdf

    (3)基于知识图谱的推荐

    要推荐的商品、内容或者产品,依据既有的属性或者业务经验,可以得到他们之间很多的关联信息,这些关联信息即是我们通常说的知识图谱。知识图谱可以非常自然地融合进已有的用户-商品网络构成一张更大、且包含更加丰富信息的图。

    一文带你全面了解图神经网络

    ▲论文链接:https://arxiv.org/pdf/1803.03467.pdf

    其实不管是社交网络推荐,还是知识图谱,都是拿额外的信息补充到图网络中。既能有聚合关系网络中复杂的结构信息,又能囊括丰富的属性信息,这就是图神经网络强大的地方。

    国外图片社交媒体 Pinterest 发表了利用图神经网络做推荐的模型 PinSage 。大家应该也都比较熟悉了,这里就不再赘述了。

    5. 工业应用之风控

    我们公司利用图来做风控还是有一些时间了。我们的业务场景中每天都会有很多网络请求,一个请求过来,需要实时的判断这是真实用户还是机器流量。一个简单的模型,使用的数据包括设备ID、IP、用户以及他们的行为数据,构图如下:

    一文带你全面了解图神经网络

    我们全网一天有将近十亿次网络请求,全部日志构成一张图,包括 1.6 亿节点、12亿边。相较于之前的深度学习方法,AUC 指标提升1.2倍,上线测试该模型的稳定性指标最优,提升 1.5 倍。

    去年 12 月我们做了一个项目,总共是 2800 万的网站业务(包括 IP、UA、域名、访问时间等等)以及第三方的威胁情报库数据。该场景下的任务是预测网络请求是否为恶意请求。比如说黑产可能通过 POST 端注入一些恶意代码,操作数据库。

    我们的解决方案很简单,只使用了 4 个字段。某个请求在某个IP哪个域名注入了某种脚本,以及 POST 特征码。前三个字段(请求事件ID,IP,域名)构成了一个图,是模型的输入。最后一个 POST 特征码是网络需要预测的或者说在预测时候的监督信号。

    我们模型结果的输出首先是攻击语言的识别,2800 万的流量里面有 70% 的是异常流量,分别来自于六个不同的攻击语言,并且识别出相应的作案手段。然后也发现第三方威胁 IP 库,实际上是有大量的误封的。攻击目标的识别,输出了对应被攻击的域名列表 2000 条。仅仅用了4个字段,就完成了异常流量、攻击目的以及攻击语言的识别。

    一文带你全面了解图神经网络

    在很多互联网营销场景里存在着大量薅羊毛的恶意账户。识别恶意账户就是对图中的用户节点进行分类。薅羊毛用户有一个非常本质的特点,就是他们的行为模式非常相似。由于他们的资源不是无限的,会共用一些设备账号,包括手机号等。所以他们的数据有非常多的关联。

    另一个特点是在短时间内活跃,薅羊毛用户往往是在做活动的时间段行为非常活跃,而在其他的业务场景里面,活跃度很低,具有短时高频的特点。所以,要识别这样的恶意账户,我们主要用了两份信息,第一个是资源的关联信息,另一个就是时间上的行为信息, 他们和正常用户在时间上的行为模式是不太一样的。

    GNN 可以端对端的去学习这两类信息。这个场景阿里也发了一篇论文去讲,恶意账户的识别,最后相比较其他的方法,比如像图分区去挖掘这种团伙,包括像 GBDT 这种浅层的机器学习模型,效果是比较突出的。

    论文链接:

    http://shichuan.org/hin/topic/Others/2018.CIKM%202018%20Heterogeneous%20Graph%20Neural%20Networks%20for%20Malicious%20Account%20Detection.pdf

    图数据包罗万象,图神经网络的应用场景将会非常丰富。从 2020 年 AAAI 和 ICLR 的情况来看,图神经网络在学术界已经掀起了一阵新的潮流。当然,工业界也会迎来更多的投入和关注,毕竟图数据是最贴合业务的数据。

    这里要向大家推荐一本关于图神经网络的书《深入浅出图神经网络》。这是我以及我的公司极验图数据团队结合自己在图神经网络领域的研究和实践经验撰写的一本入门书籍,从原理、算法、实现、应用 4 个维度为大家详细全面的讲解了图神经网络。希望能够对大家学习和利用图神经网络技术有所帮助。

    展开全文
  • 图神经网络(GNN)的简介

    万次阅读 多人点赞 2019-10-09 17:21:06
    近年来,图神经网络(GNN)在社交网络、知识图、推荐系统甚至生命科学等各个领域得到了越来越广泛的应用。GNN在对图节点之间依赖关系进行建模的强大功能,使得与图分析相关的研究领域取得了突破。本文介绍了图神经网络...
  • 图神经网络,这到底是个什么?

    千次阅读 2021-03-01 14:27:54
    摘要:图神经网络是一种基于图结构的深度学习方法。 1、什么是图神经网络 图神经网络(Graph Neu做ral Networks, GNNs)是一种基于图结构的深度学习方法,从其定义中可以看出图神经网络主要由两部分组成,即“图”...
  • 图神经网络(GNN)TensorFlow实现

    千次阅读 2020-05-07 14:38:09
    图神经网络的研究与图嵌入或网络嵌入密切相关,图嵌入或网络嵌入是数据挖掘和机器学习界日益关注的另一个课题。图嵌入旨在通过保留图的网络拓扑结构和节点内容信息,将图中顶点表示为低维向量,以便使用简单的机器...
  • 图神经网络(Graph Neural Networks)概述

    万次阅读 多人点赞 2019-06-04 20:22:07
    一篇关于图神经网络的综述文章,着重介绍了图卷积神经网络(GCN),回顾了近些年的几个主要的图神经网络的的体系:图注意力网络、图自编码机、图生成网络、图时空网络。 1、介绍 传统的机器学习所用到的数据是欧氏...
  • GNN图神经网络综述

    万次阅读 多人点赞 2019-03-13 09:21:57
    什么是GNN GNN是Graph Neural Network的简称,是用于学习包含...图神经网络处理的数据就是图,而图是一种非欧几里得数据。GNN的目标是学习到每个节点的邻居的状态嵌入,这个状态嵌入是向量且可以用来产生输出,例如...
  • 图神经网络模型 The Graph Neural Network Model

    万次阅读 多人点赞 2019-01-12 15:24:32
    本文提出了一种新型的神经网络模型,称为图神经网络(GNN)模型,对现有的神经网络模型进行了拓展,适用于处理可以表示为图的数据。GNN模型通过一个函数τ(G,n)∈Rm\tau(G,n) \in \mathbb{R}^mτ(G,n)∈Rm将图GGG和...
  • 图神经网络笔记(一)

    千次阅读 多人点赞 2019-03-07 20:00:10
    图神经网络(GNN)是一类基于深度学习的处理图域信息的方法。由于其较好的性能和可解释性,GNN 最近已成为一种广泛应用的图分析方法。 为什么有图卷积神经网络 本质上说,世界上所有的数据都是拓扑结构,也就是...
  • 图神经网络GNN 原理 详解 (一)

    千次阅读 2020-03-30 18:06:31
    图神经网络(GNN) 一.背景 图神经网络的概念首先由 Gori 等人(2005)[16] 提出,并由 Scarselli 等人(2009)[17] 进一步阐明。这些早期的研究以迭代的方式通过循环神经架构传播邻近信息来学习目标节点的表示,...
  • 掌握图神经网络GNN基本,看这篇文章就够了

    万次阅读 多人点赞 2019-02-16 11:11:56
    【新智元导读】图神经网络(GNN)在各个领域越来越受欢迎,本文介绍了图神经网络的基本知识,以及两种更高级的算法:DeepWalk和GraphSage。 最近,图神经网络 (GNN) 在各个领域越来越受到欢迎,包括社交网络、知识...
  • 图神经网络相关综述论文推荐

    千次阅读 2019-02-18 21:23:13
    图神经网络相关综述论文推荐 1.1 Relational inductive biases, deep learning, and graph networks 1.2 论文链接 论文链接 视频链接 2.1 Graph Neural Networks: A Review of Methods and Applications 2.2 论文...
  • 图神经网络GAT tensorflow代码分析

    千次阅读 2019-09-03 12:04:13
    图神经网络GAT tensorflow代码分析代码结构超参数设置数据导入合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居...
  • A Comprehensive Survey on Graph Neural Networks论文回顾图神经网络(GNN)在文本挖掘和机器学习领域的发展,将GNN划分为递归图神经网络、卷积图神经网络、图自编码和时空图神经网络四类。此外还讨论图神经网络跨...
  • 在本综述中,我们对现有的图神经网络模型进行了详细的回顾,对应用进行了系统的分类,并提出了四个有待进一步研究的问题。 1. Introduction  图是一种数据结构,它为一组对象(节点)及其关系(边)建模。...
  • 胶囊图神经网络(CapsGNN)

    千次阅读 2019-03-26 15:25:32
    胶囊图神经网络(CapsGNN)解析: 通过将Hinton提出的胶囊神经网络与图神经网络进行结合,可以利用胶囊网络中动态路由机制更好的对图神经网络中提取的节点特征进行融合,能更好的进行图节点向量化表示,以达到后面...
  • 4.循环图神经网络(GRN) 5.卷积图神经网络 A.基于频谱的ConvGNNs B.基于空间的CGNN C.图池化模型 D.理论方面的讨论 6.图自动编码器 A.网络嵌入 B.图生成 7.时空图神经网络 8.应用 A.数据集 B.基准和...
  • 图神经网络 The Graph neural network model

    万次阅读 2018-07-15 19:28:51
    转载自https://www.cnblogs.com/shenliao/p/8960782.html1 图神经网络...第一篇就介绍图神经网络想法的开端 之后的图神经网络模型 都是基于此慢慢改进。2 能处理的领域针对常见的旅行者问题 社交网络 分子结构 ...
  •   最近在学习图神经网络相关知识,一起来拆书:《深入浅出图神经网络:GNN原理解析》,这本书从原理、算法、实现、应用四个维度详细讲解了图神经网络。接下来打算结合书本内容和相关知识做个专题记录分享,今天先跟...
  • 【2020 图神经网络综述】A Comprehensive Survey on Graph Neural Networks 文章转载于好我的朋友:大家可以关注他的博客: Memory逆光 博客地址:...
  • 图神经网络资源大集合~快来打包带走

    千次阅读 多人点赞 2020-10-17 22:14:21
    2020年最新图神经网络相关的论文 & 书籍 & 代码& 视频课程等学习资源集合书 & 综述1.《Deep Learning on Graphs》这本书是...
  • 最近研究网络中的组合优化问题时,发现已经有研究人员将图神经网络用于求解此类问题,诸如寻找网络中的最大点独立集、最小点覆盖集、最大团等等,并找到了相关的源码,先马在这里,以后再抽时间介绍一下。...
  • 图神经网络中的过平滑问题

    千次阅读 2021-06-07 10:18:03
    图神经网络图解指南 图神经网络或简称 GNN 是用于图数据的深度学习 (DL) 模型。 这些年来它们变得很热。 这种趋势在 DL 领域并不新鲜:每年我们都会看到一个新模型的脱颖而出,它要么在基准测试中显示最先进的结果,...
  • 本文主要介绍了2021年最新的图神经网络综述,是入坑的最佳材料。图神经网络已经成为深度学习领域最炙手可热的方向之一了,也是各大互联网公司非常欢迎的方向。A Survey o...
  • 图神经网络三剑客:GCN、GAT与GraphSAGE 2020-2-27 17:28|发布者:炼数成金_小数|查看:47856|评论: 0|原作者: 桑运鑫|来自: PaperWeekly 摘要: 2019 年号称图神经网络元年,在各个领域关于图神经网络的研究爆发式...
  • PyTorch实现简单的图神经网络

    万次阅读 多人点赞 2019-01-14 14:09:20
    基于PyTorch框架实现卷积神经网络 项目源代码参考本人Github. 依赖库 DGL 0.1.3 PyTorch 0.4.1 networkX 2.2 利用DGL构建 # -*- coding: utf-8 -*- """ @Date: 2019/1/11 @Author: dreamhome...
  • 图神经网络(GNN)如今在社会科学,知识图,化学,物理学,神经科学等的各种应用中得到广泛使用,因此,文献中的论文数量激增。 ​ 但是,在缺乏标准和被广泛采用的基准的情况下,衡量新模型的有效性和

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 304,959
精华内容 121,983
关键字:

图神经网络