精华内容
下载资源
问答
  • 图神经网络

    千次阅读 2019-03-28 16:19:42
    目前,大多数图神经网络模型都有一个通用的架构。我将它们称为图卷积神经网络(GCNs),这些模型是可卷积的,因为滤波器参数在图中所有位置或者一个局部位置上( Duvenaud et al., NIPS 2015)都可以共享。 对于...

    目前,大多数图神经网络模型都有一个通用的架构。我将它们称为图卷积神经网络(GCNs),这些模型是可卷积的,因为滤波器参数在图中所有位置或者一个局部位置上( Duvenaud et al., NIPS 2015)都可以共享。

    对于这些模型,它们的目标是要学习图G=(V,E)上的信号或特征的一个映射。它们的输入包括:

    • 每一个节点i的特征描述xi,可以写成一个N*D的特征矩阵(N表示节点数,D表示输入的特征数)
    • 矩阵形式的图结构的特征描述,通常是以邻接矩阵的形式(或者其他的形式)

    模型会产生一个节点级别的输出Z(一个N*F的特征矩阵,其中F表示每一个节点的输出特征数)。图级别的输出可以通过引入一些池化操作来建模(Duvenaud等, NIPS 2015)。

    每一个神经网络层可以写成这样一个非线性函数:

    这里 , (Z也可以作为图级别的输出),L是层数,这个模型主要在于f()怎样选择以及参数化。

    GCN第二部分:简单例子

    作为示例,考虑下边这样一个简单的单层前向传播的形式:

    这里,W是l层神经网络的参数矩阵,( ) 是非线性激活函数比如ReLU。这个模型尽管简单但是却非常有效(我们马上就会介绍)。

    但是首先,让我们来看一下这个简单模型的两个限制:首先,和A相乘意味着对于每个节点,我们都整合了它的邻居节点的特征向量,但是却不包括这个节点本身(万一图中有自环存在)。我们可以通过在图中强行加入自环来解决这个问题,也就是给矩阵A加上一个单位阵。

    第二个限制是A通常是非归一化的,因此和A相乘会完全改变特征向量的尺度(可以通过看A的特征值来理解)。归一化使A的各行和为1,比如,这里D是节点度的对角矩阵,这样就解决了这个问题。那么与相乘也就是对邻居节点的特征取平均。实际上,当我们使用对称归一化时,比如(这将不再仅仅是相邻节点的平均值),动力学会更加的有趣。

    结合这两种技巧,我们基本上得到了[Kipf & Welling (ICLR 2017)]文章中的传播规则:

    这里,是单位阵,是矩阵的节点度对角矩阵。

    GCN第三部分:空手道俱乐部网络的嵌入

    空手道俱乐部图,颜色表示通过基于模块化的聚类获得的社团

    现在让我们来看一下,上边简单的GCN模型是怎样在一些知名的数据集上表现得如何,比如Zachary的空手道俱乐部网络数据(见上图)。

    我们使用一个三层GCN,随机初始化权重。在训练权重之前,我们将图的邻接矩阵和X=I(即单位阵,因为我们没有任何的节点特征)输入模型。这个3层的GCN在前向过程中做了三次传播并且有效的对每个节点的3阶邻居进行了卷积(所有的节点可达3阶)。值得注意的是,这个模型生成的这些节点的嵌入和图的社区结构非常类似(见下图)。还记得我们完全随机初始化的权重并且现在还没有进行任何的训练更新。

    使用GCN(随机初始化权重)做空手道俱乐部网络中的节点嵌入

    这似乎有点令人惊讶,最近一篇论文提出的DeepWalk模型 (Perozzi et al., KDD 2014)通过复杂的非监督的训练过程也可以学习到一个相似的嵌入。使用这个简单的未经训练的GCN模型几乎“免费”的获得了这样的嵌入,这怎么可能呢?

    我们可以通过将GCN模型解释为网络图上的著名的Weisfeiler-Lehman(WL)算法的广义可微分版本来理解。1维的WL算法是这样的:

    • 对图上的所有节点:
    • 得到邻居节点的特征
    • 根据更新节点特征,这里hush()是一个一个单射散列函数
    • 迭代k次直到收敛

    实际上,WL算法为大多数图分配一个独特的特征。也就是说每一个节点都被分配到一个可以唯一描述它在图中的角色的特征。例外是像网格(grid)、链(chain)等高度规则的图。对于大多数不规则的图,这个特征分配可以用来检验图同构(比如两个图是否相同,取决于节点的排列)。

    回到我们图卷积层传播规则上(现在从向量角度来看):这里j是邻居节点的索引,是边的正则化常量,来源于GCN模型中用到的对称正则化邻接矩阵。我们现在看到,这种传播规则可以解释为原始WL算法中使用的哈希函数的可微分和参数化(即)变体。如果我们现在选择一个合适的正交的非线性并且初始化随机的权重矩阵(比如,使用(Glorot & Bengio, AISTATS 2010)的初始化方式),在实践中这个更新规则最后会稳定下来(归功于的正则化)。

    经过观察,我们得到了非常有意义的平滑的嵌入,然后我们可以将嵌入后的距离解释为局部图结构的(不)相似性!

    GCN第四部分:非监督学习

    由于我们模型中所有的内容都是可微分的和参数化的,所以我们可以添加标签,训练模型并观察嵌入效果。我们可以使用Kipf & Welling (ICLR 2017)文章中介绍的GCN的半监督学习算法。我们只需为每个节点标注类别或者社团(下面视频中突出显示的节点),然后开始进行多次迭代的训练。

     

    用GCN进行半监督分类:300次训练迭代中隐空间的动态变化,每个类别有一个标签,带标签标的节点突出显示。

    我们注意到,这个模型直接产生了一个二维的可以直接可视化的隐空间。我们观察到这个3层的的GCN模型尝试线性区分社团,每类社团给出一个标签。考虑到该模型并没有输入节点的特征描述,所以这个结果可以说是非常卓越的。同样的,初始化的节点特征是可以提供的,在(Kipf & Welling, ICLR 2017)这篇文章的实验中我们确实是提供了的,因此在图数据的分类上达到了最好的效果。

    结论

    对这个问题的研究才刚刚开始,过去几个月已经看到了令人兴奋的发展,但是目前为止我们可能只是抓住了这个模型的表面。图神经网络如何进一步解决一些特定类型的问题仍然有待观察,比如有向和关系图的学习,如何利用学到的网络嵌入等等。这里的论文清单绝对不是最全面的,我预计在不久的将来会有更多有趣的应用和扩展。如果你有一些令人兴奋的想法或问题需要分享,请在下面的评论中告诉我们!

    补充说明

    这篇博客文章并不是对图神经网络领域的详尽回顾,因为为了使这篇文章更具可读性并且具有一个连贯的故事线,我忽略了一些近期和较早的论文。 但是如果你想深入研究这个主题,并且全面了解目前为止已经研究过的内容和正在研究的内容,那么我在这里提到的论文是一个很好的开端。

    参考文献

    1. Bruna et al., ICLR 2014, http://arxiv.org/abs/1312.6203
    2. Henaff et al., 2015, http://arxiv.org/abs/1506.05163
    3. Duvenaud et al., NIPS 2015, http://papers.nips.cc/paper/5954-convolutional-networks-on-graphs-for-learning-molecular-fingerprints
    4. Li et al., ICLR 2016, https://arxiv.org/abs/1511.05493
    5. Defferrard et al., NIPS 2016, https://arxiv.org/abs/1606.09375
    6. Kipf & Welling, ICLR 2017, http://arxiv.org/abs/1609.02907
    7. How powerful are Graph Convolutions?http://www.inference.vc/how-powerful-are-graph-convolutions-review-of-kipf-welling-2016-2/
    8. Jain et al., CVPR 2016, https://arxiv.org/abs/1511.05298
    9. Brandes et al., 2008, http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.68.6623
    10. Perozzi et al., KDD 2014, https://arxiv.org/abs/1403.6652
    11. Glorot & Bengio, AISTATS 2010, http://jmlr.org/proceedings/papers/v9/glorot10a/glorot10a.pdf
    12. 本文 GCN 项目仓库:https://github.com/tkipf/gcn

    原文地址:

    https://tkipf.github.io/graph-convolutional-networks/

     

     

     

     

     

     

     

     

     

     

    展开全文
  • 图神经网络综述

    万次阅读 2019-06-14 17:09:03
    图神经网络概述第三弹:来自IEEE Fellow的GNN综述 原文地址https://www.jiqizhixin.com/articles/2019-01-07-8 图神经网络(GNN)热度持续上升,之前我们曾介绍了清华两篇综述论文,参见:深度学习时代的图...

    图神经网络概述第三弹:来自IEEE Fellow的GNN综述

     

    原文地址 https://www.jiqizhixin.com/articles/2019-01-07-8

     

     

    图神经网络(GNN)热度持续上升,之前我们曾介绍了清华两篇综述论文,参见:深度学习时代的图模型,清华发文综述图网络,和清华大学图神经网络综述:模型与应用。最近,IEEE Fellow、Senior Member 和 Member Zonghan Wu 等人又贡献了一篇图神经网络综述文章。这篇文章介绍了 GNN 的背景知识、发展历史、分类与框架、应用等,详细介绍了各种模型与方法,包括公式、模型图示、算法等,希望对大家有所帮助。

    引言

    深度网络的最新进展推进了模式识别和数据挖掘领域的研究。目标检测、机器翻译、语音识别等许多机器学习任务曾高度依赖手工特征工程来提取信息特征集合,但多种端到端深度学习方式(即卷积神经网络、长短期记忆网络和自编码器)改变了这种状况。深度学习在多个领域的成功主要归功于计算资源的快速发展(如 GPU)、大量训练数据的收集,还有深度学习从欧几里得数据(如图像、文本和视频)中提取潜在表征的有效性。例如 CNN 可以利用平移不变性、局部连通性和图像数据语意合成性,从而提取出与整个数据集共享的局部有意义的特征,用于各种图像分析任务。

    尽管深度学习已经在欧几里得数据中取得了很大的成功,但从非欧几里得域生成的数据已经取得更广泛的应用,它们需要有效分析。例如,在电子商务领域,一个基于图的学习系统能够利用用户和产品之间的交互以实现高度精准的推荐。在化学领域,分子被建模为图,新药研发需要测定其生物活性。在论文引用网络中,论文之间通过引用关系互相连接,需要将它们分成不同的类别。

    图数据的复杂性对现有机器学习算法提出了重大挑战,因为图数据是不规则的。每张图大小不同、节点无序,一张图中的每个节点都有不同数目的邻近节点,使得一些在图像中容易计算的重要运算(如卷积)不能再直接应用于图。此外,现有机器学习算法的核心假设是实例彼此独立。然而,图数据中的每个实例都与周围的其它实例相关,含有一些复杂的连接信息,用于捕获数据之间的依赖关系,包括引用、朋友关系和相互作用。

    最近,越来越多的研究开始将深度学习方法应用到图数据领域。受到深度学习领域进展的驱动,研究人员在设计图神经网络的架构时借鉴了卷积网络、循环网络和深度自编码器的思想。为了应对图数据的复杂性,重要运算的泛化和定义在过去几年中迅速发展。例如,图 1 展示了受标准 2D 卷积启发得到的图卷积。本文旨在对这些方法进行全面概述,受众包括想要进入这一快速发展领域的研究人员和想要对比图神经网络算法的专家。

    图 1:2D 卷积 vs. 图卷积

    图神经网络简史

    图神经网络的概念首先由 Gori 等人(2005)[16] 提出,并由 Scarselli 等人(2009)[17] 进一步阐明。这些早期的研究以迭代的方式通过循环神经架构传播邻近信息来学习目标节点的表示,直到达到稳定的固定点。该过程所需计算量庞大,而近来也有许多研究致力于解决这个难题。在本文中,图神经网络代表的是所有用于图数据的深度学习方法。

    受到卷积网络在计算机视觉领域所获巨大成功的激励,近来出现了很多为图数据重新定义卷积概念的方法。这些方法属于图卷积网络(GCN)的范畴。Bruna 等人(2013)提出了关于图卷积网络的第一项重要研究,他们基于谱图论(spectral graph theory)开发了一种图卷积的变体。自此,基于谱的图卷积网络不断改进、拓展、进阶。由于谱方法通常同时处理整个图,并且难以并行或扩展到大图上,基于空间的图卷积网络开始快速发展。这些方法通过聚集近邻节点的信息,直接在图结构上执行卷积。结合采样策略,计算可以在一个批量的节点而不是整个图中执行,这种做法有望提高效率。

    除了图卷积网络,近几年还开发出了很多替代的图神经网络。这些方法包括图注意力网络(GAT)、图自编码器、图生成网络以及图时空网络。关于这些方法的分类细节详见第三章。

    图神经网络相关研究。Bronstein 等人用符号几何深度学习概述了非欧几里得领域的深度学习方法,包括图和流形。虽然这是对图卷积网络的第一次回顾,但这一项研究遗漏了几个基于空间的重要方法,包括 [15], [19], [24], [26], [27], [28],这些方法更新了最新的基准。此外,这项调查没有囊括很多新开发的架构,这些架构的重要性不亚于图卷积网络。

    对于另一项研究,Battaglia 等人 [29] 将图网络定位为从关系数据中学习的构建块,并在统一的框架下回顾了部分图神经网络。然而,他们整体的框架是高度抽象的,失去了每种方法在原论文中的见解。Lee 等人 [30] 对图注意力模型(一种图神经网络)进行了部分调查。最近,Zhang 等人 [31] 提出了一项关于图深度学习的最新调查,却忽略了对图生成网络和图时空网络的研究。总之,现有的研究没有一个对图神经网络进行全面的回顾,只覆盖了部分图卷积神经网络且检查的研究有限,因此遗漏了图神经网络替代方法的最新进展,如图生成网络和图时空网络。

    图神经网络 vs. 网络嵌入。对图神经网络的研究与图嵌入或网络嵌入紧密相关,这也是数据挖掘和机器学习社区日益关注的一个话题 [32] [33] [34] [35], [36], [37]。网络嵌入旨在通过保留网络拓扑架构和节点内容信息,将网络顶点表示到低维向量空间中,以使任何后续的图分析任务(如分类、聚类和推荐)都可以通过使用简单的现成学习机算法(如用于分类的支持向量机)轻松执行。许多网络嵌入算法都是无监督算法,它们大致可分为三组 [32],即矩阵分解 [38], [39]、随机游走 [40] 和深度学习方法。用于网络嵌入的深度学习方法同时还属于图神经网络,包括基于图自编码器的算法(如 DNGR [41] 和 SDNE [42])和具有无监督训练的图卷积神经网络(如 GraphSage [24])。图 2 描述了本文中网络嵌入和图神经网络的区别。

    图 2:网络嵌入 vs 图神经网络。

    本文作出的贡献如下

    • 新的分类体系:考虑到深度学习在图数据上的研究与日俱增,我们提出了图神经网络(GNN)的新分类体系。在这种分类体系下,GNN 被分成了 5 个类别:图卷积网络、图注意力网络、图自编码器、图生成网络和图时空网络。我们确定了图神经网络和网络嵌入之间的区别,并在不同的图神经网络架构之间建立了联系。

    • 全面的概述:这个综述提供了在图数据上的现代深度学习技术的全面概述。对每一种类型的图神经网络,我们提供了表征算法的细节描述,并做了必要的对比和对应算法的总结。

    • 丰富的资源:这篇综述提供了图神经网络的丰富资源,其中包括当前最佳算法、基准数据集、开源代码和实践应用。这篇综述可以作为理解、使用和开发不同实际应用的深度学习方法的实践指南。

    • 未来方向:这篇综述还强调了已有算法的当前限制,指出了这个快速发展领域未来的可能方向。

    论文:A Comprehensive Survey on Graph Neural Networks

    论文链接:https://arxiv.org/pdf/1901.00596v1.pdf

    摘要:近年来,从图像分类到视频处理再到语音识别和自然语言处理,深度学习已经变革了多项机器学习任务。这些任务中的数据通常表示在欧几里得空间中。然而,越来越多的应用使用非欧几里得域生成的数据,并将它们表示为具有复杂关系和相互依赖关系的图。虽然图数据的复杂性对现有机器学习算法提出了重大挑战,但最近许多研究开始将深度学习方法扩展到图数据。

    本文综述了数据挖掘和机器学习领域中的图神经网络(GNN),并按照新的方法对图神经网络的最新进展进行了分类。在关注图卷积网络的同时,他们还回顾了最近开发的其他架构,例如图注意力网络、图自编码器,图生成网络以及图时空网络等。我们还进一步讨论了图神经网络在多个领域的应用并总结了不同学习任务现有算法的开源代码及基准。最后,我们提出了这一快速发展领域的研究方向。

    2. 定义

    在这一节,我们提供基础图概念的定义。为了方便查询,我们在表 1 总结了常用的符号。

    表 1:常用符号。

    3. 分类与框架

    这一部分内容给出了图神经网络的分类方法。我们考虑到了所有能与神经架构组合成图神经网络的可微图模型,把图神经网络最终分类为:图卷积网络、图注意力网络、图自编码器、图生成网络和图时空网络。这些网络中,图卷积网络在捕捉架构依存关系上扮演着核心角色。如下图 3 所示,属于其他类别的方法部分使用图卷积网络作为基础。表 2 总结了每个类别的代表性方法。

    图 3:图神经网络分类

    表 2:图神经网络代表性论文

    下图 4 展示了图卷积网络节点表征学习的过程。

    图 4:有多层 GCN 层的图卷积网络变体。通过从邻域聚合特征信息,一个 GCN 层把每个节点的隐藏表征进行压缩。在特征聚合之后,非线性置换被应用到生成的输出上。通过多层堆叠,每个节点的最终隐藏表征从后续邻域获得信息。

    下图 5 展示了多个建立在 GCN 上的图神经网络模型。

    图 5:建立在 GCN 上的不同图神经网络模型。

    下图展示了图卷积网络和图注意力网络在聚合邻近节点信息方面的区别。

    3.2 框架

    表 3:图卷积网络的总结。Node-level 输出与节点回归和分类任务相关,Edge-level 输出与边分类和链接预测任务相关,Graph-level 输出与图分类任务相关。

    端到端训练框架。图卷积网络可以以(半)监督或纯无监督的方式在端到端学习框架中训练,依赖于学习任务和可用的标签信息。

    • 节点级分类的半监督学习。给定部分节点被标记的单个网络,图卷积网络可以学习到一个鲁棒的模型,高效识别未标记节点的类别标签 [14]。为此,可以通过堆叠一系列的图卷积层和 softmax 层来建立端到端框架进行多类别分类。

    • 图级分类的监督学习。给定一个图数据集,图级分类旨在预测整个图的类别标签 [55], [56], [74], [75]。这一任务的端到端学习可以利用一个结合了图卷积层和池化步骤的框架实现 [55], [56]。

    • 图嵌入的无监督学习。如果图中无可用类别标签,我们可以在一个端到端框架中以完全无监督的方式学习图嵌入。这些算法通过两种方式利用边级(edge-level)信息。一种简单的方法是采用自编码器框架,其中编码器使用图卷积层将图嵌进潜在表征中,然后使用解码器重构图结构 [59], [61]。另一种方法是利用负采样方法,采样一部分节点对作为负对(negative pair),而图中已有的节点作为正对(positive pair)。然后在卷积层之后应用 logistic 回归层,以用于端到端学习 [24]。

    4. 图卷积网络

    这一章概览图卷积网络(GCN),这是很多复杂图神经网络模型的基础。GCN 方法分为两类,分别基于谱和空间。基于谱的方法通过从图信号处理的角度引入滤波器来定义图卷积,其中图卷积运算被解释为从图信号中去除噪声 [76]。基于空间的方法将图卷积表征为聚合来自近邻的特征信息。虽然 GCN 在节点级别上运行,但是图池化模块可以与 GCN 层交替,将图粗粒化为高级子结构。如图 5a 所示,这种架构设计可用于提取图级表征、执行图分类任务。下文会分别介绍、基于空间的 GCN 和图池化模块。

    基于谱的 GCN 部分介绍了其背景、方法等,这些方法包括 Spectral CNN、Chebyshev Spectral CNN (ChebNet)、First order of ChebNet (1stChebNet) 和 Adaptive Graph Convolution Network (AGCN)。

    基于空间的 GCN 分为两类:Recurrent-based Spatial GCN 和 Composition Based Spatial GCN。前者包括图神经网络(Graph Neural Networks,GNN)、门控图神经网络(Gated Graph Neural Networks,GGNN)和 Stochastic Steady-state Embedding (SSE)。后者涉及了:Message Passing Neural Networks (MPNN)、GraphSage。此外,这部分还介绍了这两大类之外的空间 GCN 变体,包括 Diffusion Convolution Neural Networks (DCNN)、PATCHY-SAN、Large-scale Graph Convolution Networks (LGCN)、Mixture Model Network (MoNet)。

    SSE 算法。

    这一章还从效率、通用性和灵活性方面,对比了基于谱的 GCN 和基于空间的 GCN,认为基于空间的 GCN 更具优势,也因此吸引了更多研究兴趣。

    5 图卷积网络之外的模型

    这部分概述了图卷积网络之外的其他图神经网络,包括图注意力神经网络、图自编码器、图生成模型和图时空网络。下表总结了每个类别下的主要方法。

    表 4:图卷积网络之外的其他图神经网络概览。该表根据网络的输入、输出、目标任务和是否基于 GCN 总结了每种网络下的多种方法。输入列代表每种方法适合分布式图 (A)、有向图 (D) 还是时空图 (S)。

    5.1 图注意力网络

    注意力机制几乎成为序列任务中的标配。它的价值在于能够聚焦于对象最重要的部分。该机制被证明在多项任务中有用,如机器翻译和自然语言理解。由于注意力机制的模型容量越来越大,图神经网络在聚合信息、集成多个模型的输出、生成重要性导向的随机游走时,可以从注意力机制中获益良多。

    这部分介绍了图注意力网络的多种方法,包括图注意力网络(Graph Attention Network,GAT)、门控注意力网络(Gated Attention Network,GAAN)、图注意力模型(Graph Attention Model,GAM)、注意力游走(Attention Walks)。

    注意力机制对图神经网络的贡献有三部分,即在聚合特征信息时向不同近邻分配注意力权重、根据注意力权重集成多个模型,以及使用注意力权重引导随机游走。尽管我们把 GAT 和 GAAN 分类为图注意力网络的两种方法,但是它们都可以作为基于空间的卷积网络。二者的优势是它们可以适应性地学习近邻的重要性权重(如图 6 所示)。但是,由于我们必须计算每对近邻之间的注意力权重,因此计算成本和内存消耗会快速增长。

    5.2 图自编码器

    图自编码器是一类网络嵌入方法,旨在通过神经网络架构将网络顶点表征到低维向量空间。典型的解决方案是使用多层感知机作为编码器来获取节点嵌入,解码器重建节点的近邻统计,如正逐点互信息(positive pointwise mutual information,PPMI)或一阶、二阶接近度(proximities)[42]。最近,研究人员尝试在设计图自编码器时用 GCN 作为编码器、结合 GCN 和 GAN,或者结合 LSTM 和 GAN。

    这部分介绍了基于 GCN 的自编码器和其他变体。基于 GCN 的自编码器部分介绍了:图自编码器(Graph Auto-encoder,GAE)、对抗正则化图自编码器(Adversarially Regularized Graph Autoencoder,ARGA)。其他变体包括:具备对抗正则化自编码器的网络表征(Network Representations with Adversarially Regularized Autoencoders,NetRA)、用于图表征的深度神经网络(Deep Neural Networks for Graph Representations,DNGR)、结构化深度网络嵌入(Structural Deep Network Embedding,SDNE)、深度递归网络嵌入(Deep Recursive Network Embedding,DRNE)。

    DNGR 和 SDNE 仅基于拓扑结构学习节点嵌入,而 GAE、ARGA、NetRA 和 DRNE 需要基于拓扑信息和节点内容特征学习节点嵌入。图自编码器的一个挑战是邻接矩阵的稀疏性,会导致解码器正条目(positive entry)的数量远远少于负条目。为了解决这个问题,DNGR 重建了一个较稠密的矩阵——PPMI 矩阵,SDNE 对邻接矩阵的零条目进行惩罚,GAE 重新调整邻接矩阵中项的权重,NetRA 将图线性化为序列。

    5.3 图生成网络

    图生成网络的目标是基于一组可观察图来生成图。其中的很多方法都是领域特定的。例如,在分子图生成方面,一些研究将分子图的表征建模为字符串 SMILES [94], [95], [96], [97]。在自然语言处理中,生成语义图或知识图通常需要一个给定的句子 [98], [99]。最近,研究人员又提出了多个通用方法。一些研究将生成过程看成节点或边的形成 [64], [65],而另一些则使用生成对抗训练 [66], [67]。该领域的方法要么使用 GCN 作为构造块,要么使用不同的架构。

    这部分介绍了基于 GCN 的图生成网络和其他图生成网络。前者包括:分子生成对抗网络(Molecular Generative Adversarial Networks,MolGAN)和深度图生成模型(Deep Generative Models of Graphs,DGMG);后者涉及 GraphRNN(通过两级循环神经网络使用深度图生成模型)和 NetGAN(结合 LSTM 和 Wasserstein GAN 从基于随机游走的方法中生成图)。

     图 9:MolGAN 框架图示。

    5.4 图时空网络

    图时空网络同时捕捉时空图的时间和空间依赖。时空图具备全局图结构,每个节点的输入随着时间而改变。例如在交通网络中,使用每个传感器作为节点来连续记录某条道路的交通流动速度,其中交通网络的边由传感器对之间的距离决定。图时空网络的目标是预测未来节点值或标签,或预测时空图标签。近期研究探索了仅使用 GCN、结合 GCN 和 RNN 或 CNN,以及专用于图结构的循环架构。

    这部分介绍了基于 GCN 的图时空网络和其他图时空网络。前者包括:Diffusion Convolutional Recurrent Neural Network (DCRNN)、CNN-GCN、时空 GCN(Spatial Temporal GCN,ST-GCN)。其他方法有 Structural-RNN,一种循环结构化框架。

    DCRNN 的优势是能够处理长期依赖,因为它具备循环网络架构。尽管 CNN-GCN 比 DCRNN 简单一些,但 CNN-GCN 能够更高效地处理时空图,这要归功于 1D CNN 的快速实现。时空 GCN 将时间流作为图的边,这导致邻接矩阵的大小呈平方增长。一方面,它增加了图卷积层的计算成本。另一方面,要捕捉长期依赖,图卷积层必须多次堆叠。StructuralRNN 在同一个语义组内共享相同的 RNN,从而改善了模型效率,但是 StructuralRNN 需要人类先验知识来分割语义组。

    6 应用

    图神经网络应用广泛。下面将首先介绍在文献中频繁使用的基准数据集。接着将报告各种方法在四种常用数据集上的基准性能,并列出可用的图神经网络开源实现。最后,我们将介绍图神经网络在各个领域的实际应用案例。

    6.1 数据集

    表 5:常用数据集总结。

    6.2 基准和开源实现

    表 6:各种方法在四种最常用数据集上的基准性能。以上列出的方法都使用相同的训练、验证和测试数据集进行评估。

    表 7:开源实现概览。

    6.3 实际应用案例

    本文按领域介绍了 GNN 的应用,包括计算机视觉、推荐系统、交通、化学等。

    7 未来方向

    加深网络。深度学习的成功在于深度神经架构。例如在图像分类中,模型 ResNet 具有 152 层。但在图网络中,实证研究表明,随着网络层数增加,模型性能急剧下降 [147]。根据论文 [147],这是由于图卷积的影响,因为它本质上推动相邻节点的表示更加接近彼此,所以理论上,通过无限次卷积,所有节点的表示将收敛到一个点。这导致了一个问题:加深网络是否仍然是学习图结构数据的好策略?

    感受野。节点的感受野是指一组节点,包括中心节点和其近邻节点。节点的近邻(节点)数量遵循幂律分布。有些节点可能只有一个近邻,而有些节点却有数千个近邻。尽管采用了采样策略 [24], [26], [27],但如何选择节点的代表性感受野仍然有待探索。

    可扩展性。大部分图神经网络并不能很好地扩展到大型图上。主要原因是当堆叠一个图卷积的多层时,节点的最终状态涉及其大量近邻节点的隐藏状态,导致反向传播变得非常复杂。虽然有些方法试图通过快速采样和子图训练来提升模型效率 [24], [27],但它们仍无法扩展到大型图的深度架构上。

    动态性和异质性。大多数当前的图神经网络都处理静态同质图。一方面,假设图架构是固定的。另一方面,假设图的节点和边来自同一个来源。然而,这两个假设在很多情况下是不现实的。在社交网络中,一个新人可能会随时加入,而之前就存在的人也可能退出该社交网络。在推荐系统中,产品可能具有不同的类型,而其输出形式也可能不同,也许是文本,也许是图像。因此,应当开发新方法来处理动态和异质图结构。

    展开全文
  • 异构图神经网络

    万次阅读 2020-05-03 13:55:27
    1. 摘要     异构图表示学习的目的是为每个节点寻求一个有意义的...尽管在同构图嵌入、属性图嵌入以及图神经网络等方面做了大量的工作,但很少有人能够有效地联合考虑异构结构(图)信息以及各节点的异构内容信息...

    1. 摘要

        异构图表示学习的目的是为每个节点寻求一个有意义的向量表示,以方便后续应用,如链路预测、个性化推荐、节点分类等。然而,这个任务实现起来很困难。因为不仅需要将异构结构组成的多种类型的节点和边的信息整合,还需要考虑与每个节点相关联的异构属性、异构内容。尽管在同构图嵌入、属性图嵌入以及图神经网络等方面做了大量的工作,但很少有人能够有效地联合考虑异构结构(图)信息以及各节点的异构内容信息。本文提出了一种异构图神经网络模型HetGNN来解决这个问题。

    在这里插入图片描述

    2. 介绍

    异构图面临的挑战:

        (C1)异构图中的许多节点可能不会连接到所有类型的邻居。此外,相邻节点的数量因节点而异。如何对与异构图中每个节点的嵌入生成紧密相关的异构邻居进行采样

        (C2)在异构图中的一个节点可以携带非结构化的异构内容,此外,与不同类型的节点关联的内容也可能不同。如何设计节点内容编码器来解决HetG中不同节点的内容异构性

        (C3)不同类型的邻居对异构图中节点嵌入的贡献不同。如何通过考虑不同节点类型的影响来聚合异构邻居的特征信息

    异构图的表示学习:给定一个节点内容集C的C-HetG G = (V, E、OV、RE)。任务是设计一个带有参数Θ的模型FΘ去学习d维的嵌入,该嵌入能够编码异构结构关系和异构的非结构化的内容。节点嵌入可用于各种图数据挖掘任务,如链接预测、推荐、多标签分类、节点聚类等。

    HetGNND:

        HetGNN由四部分组成:(1)采样异构邻居;(2)编码节点异构内容;(3)聚集异构邻居;(4)制定目标,设计模型培训流程。图2说明了HetGNN的框架。

    在这里插入图片描述

    图二:HetGNND结构

    3.方法

    3.1 采样异构邻居(C1)

        大多数图神经网络(GNNs)的关键思想是聚合来自节点的直接(一阶)邻居的特征信息。然而,直接将这些方法应用于异构图可能会引起以下几个问题:

    1. 不能直接从不同类型的邻居中获取特征信息。
    2. 特征信息被不同的邻居削弱。
    3. 不适合聚合具有不同内容特性的异构邻居。

        针对这些问题,设计了一种基于重启随机游走的异构邻居采样策略:

        步骤1:采样固定长度RWR。从节点v∈V开始随机漫步。该步以迭代的方式移动到当前节点的邻居,或者以概率p返回到起始节点。RWR一直运行,直到成功收集到固定数量的节点,记作RWR(v)。其中RWR(v)中不同类型节点的数量受到限制,以确保v中所有节点类型都被采样。

        步骤2:将不同类型的邻居分组。对于每个节点类型t,根据频率从RWR(v)中选择顶部的kt节点,作为节点v的t型相关邻居集合。

        该策略能够避免上述问题,因为:(1)RWR为每个节点收集所有类型的邻居;(2)固定每个节点的采样邻居大小,选择访问频率最高的邻居;(3)将相同类型的邻居(具有相同的内容特性)进行分组,以便部署基于类型的聚合。

    由于文章在服务器上,全文内容详见:http://burningcloud.cn/article/12/index.html

    展开全文
  • 图神经网络(Graph Neural Networks)概述

    万次阅读 多人点赞 2019-06-04 20:22:07
    一篇关于图神经网络的综述文章,着重介绍了图卷积神经网络(GCN),回顾了近些年的几个主要的图神经网络的的体系:图注意力网络、图自编码机、图生成网络、图时空网络。 1、介绍 传统的机器学习所用到的数据是欧氏...

    论文:A Comprehensive Survey on Graph Neural Networks

    一篇关于图神经网络的综述文章,着重介绍了图卷积神经网络(GCN),回顾了近些年的几个主要的图神经网络的的体系:图注意力网络、图自编码机、图生成网络、图时空网络。

    1、介绍

    传统的机器学习所用到的数据是欧氏空间(Euclidean Domain)的数据,欧氏空间下的数据最显著的特征就是有着规则的空间结构,比如图片是规则的正方形栅格,语音数据是一维序列,这些数据能够通过一维或二维的矩阵进行表示,进行卷积操作是则较为搞笑。同时,存在一个核心的假设:样本之间是相互独立的。

    但是,在现实生活中许多数据都是不具备规则的空间结构,即是非欧氏空间下的数据,如电子交易、推荐系统等抽象出来的图谱,图谱中每个节点与其他节点的连接不是固定的。图神经网络可以对非欧氏空间的数据进行建模,捕获数据的内部依赖关系。图神经网络是不规则的、无序的。

    2、图神经网络 VS 图嵌入

    图嵌入:将图转换到保存图信息的低维空间,将图表示为或多组低维向量。图嵌入的输出是表示整个图或者部分图的低维向量。然后将输出的低维向量应用到其他机器学习方法中。

    3、图神经网络的分类

    可以把图神经网络分为了五类:图卷积网络(Graph Convolutional Networks)、图注意力网络(Graph Attention Networks)、图自编码机(Graph Auto-encoder)、图生成网络(Graph Generative Networks)、图时空网络(Graph Spatial-Temporal Networks)。

    4、图卷积网络(Graph Convolutional Networks, GCN)

    由传统的卷积神经网络引申出的图卷积网络,图卷积方法可分为两种,基于频谱的方法和基于空间的方法。基于频谱的方法,从图信号处理的角度,引入滤波器来定义图卷积,因此基于频谱的图卷积可理解为从图信号中去除噪声。基于空间的图卷积方法,通过汇集邻居节点的信息来构建图卷积。当图卷积在节点级运作时,可以将图池化模块和图卷积进行交错叠加,从而将图粗化为高级的子图。

    4.1、基于频谱的图卷积网络

    在该类图卷积方法中,图被假设为无向图,无向图可以通过正则化拉普拉斯矩阵进行表示,拉普拉斯矩阵是图的一种表示方式,其定义如下:

    其中D为图的度矩阵,是一个对角阵,W为图的邻接矩阵,标准拉普拉斯矩阵的表示如下:

    标准拉普拉斯矩阵是一个实对称半正定矩阵,因此可以被特征分解为:

    其中?是一个对角阵,对角线上的值为排序后的特征值,U为特征值对应的特征向量矩阵。拉普拉斯矩阵的特征向量构成了一个标准正交空间,因此:

     

    对于图中的每一个节点的特征向量x而言,对其做图傅里叶变换,将其映射的一个标准的正交空间里。

    傅里叶变换:

    逆傅里叶变换:

    对于输入的信号x而言,其图卷积可以表示为:

    表示哈达玛积,定义如下:

    因此,基于频谱的图卷积的关键在于滤波器的选择,也就是g的选择。

    基于频谱的图卷积算法有:Spectral CNN、Chebyshev Spectral CNN (ChebNet)、First order of ChebNet、Adaptive Graph Convolution Network。

    频谱卷积依赖于拉普拉斯矩阵的特征分解,有三个缺陷:

    1、对于图的任何扰动都会使得特征值发生变化

    2、所学到的滤波器是依赖于域的,所以不能拓展应用到不同结构的图中

    3、特征分解的时间复杂度是N的三次方,因此对于数据量较大的图而言,计算非常耗时。

    4.2、基于空间的图卷积网络

    基于空间的图卷积网络模仿传统的卷积神经网络中的卷积运算,根据节点的空间关系定义图的卷积。对于图卷积而言,将图中的节点与其邻居节点进行聚合,得到该节点的新表示。为了探索节点接收域的深度与广度信息,通常将多个图卷积层叠加在一起,根绝卷积层的叠加方式的不同,可以将基于空间的图卷积划分为:基于递归的空间图卷积、基于合成的空间图卷积。基于递归的图卷积使用相同的图卷积层对图进行更新,基于组合的图卷积使用不同的卷积层对图进行更新。

    基于递归的空间图卷积网络主要思想是更新图节点的潜在表示直至到达稳定。通过对递归函数施加约束,使用门递归单元体系、异步地、随机地更新节点的潜在表示。基于组合的空间图卷积通过堆叠多个不同的图卷积层来更新节点的表示。基于递归的方法试图获得节点的稳定状态,基于组合的方法试图获取图中更高阶的邻域信息。

    与传统的深度学习中的卷积核类似,在基于空间的图卷积中,图卷积算子的定义如下:

    h??表示节点?在?层特征信息

    c??表示归一化因子,比如节点的度数

    W?表示节点直接的权重

    h??表示节点?在?层特征信息

    图卷积的卷积操作有三步:

    1、每个节点将自身的特征信息传递给邻居节点

    2、每个节点将邻居节点及自身的特征信息进行汇集,对局部结构进行进行融合

    3、与传统的深度学习中的激活函数类似,在图卷积我们同样要加入激活函数,对节点的信息做非线性变换,增强模型的表达能力

    因此,图卷积网络的关键是学习到一个函数,将当前节点的特征信息与其邻居节点的特征信息进行汇集。

    5、其他图神经网络

    5.1、图注意力网络

    与图卷积网络最大的不同是,图注意力网络引入了注意力机制,给与哪些较为重要的节点更大的权重。在端到端的框架中,注意力权重和神经网络参数共同被学习得到。下图展示了图卷积网络与图注意力网络在汇集邻居节点的信息时候的不同。在图卷积网络中,节点与节点之间的权重的计算方式如下:

    而在图注意力网络中,节点之间的权重是参数化的,在网络中学习得到,因此,更为重要的节点之间会被赋予更大的权重。

    5.2、图自编码机

    是一种非监督学习框架,目标是通过编码机学习到低维的节点向量,然后通过解码机重构出图数据。图自编码机是一种常见的图嵌入方法,可以被应用到有属性信息的图中和无属性信息的图中。

    5.3、图生成网络

    目标是从数据中生成合理的结构?因为图是一种较为复杂的数据结构,所以要想从数据中生成指定经验分布的图是非常具有挑战性的。

    5.4、图时空网络

    时空网络图有区别于其他种类的图数据,在该图数据中,图不仅由V、E、A组成,增加了一个X属性,表示的是图在时间维度上的属性变化。

    目标是从时空图中学习到不可见的一些模式,这在交通预测、人类的活动预测中变得越来越重要。比如,在道路交通网络就是一种时空图,图的数据在时间维度上是连续的,用图时空网络构建道路交通预测模型,我们就可以更加准确地预测出交通网络中的交通状态。

    图时空网络的关键在于考虑同一时间下的空间与事物的关联关系。许多现在的方法使用GCN结合CNN或者RNN对这种依赖关系进行建模。

    6、框架

    在图神经网络,图的结构和节点的信息作为输出,根据不同的图分析任务,图的输出可分为以下几种

    ·节点级输出:该类输出和节点的回归和分类相关。因为图卷积网络会给出图数据节点的潜在表示,所以一般,在GCN的后面会增加感知层或者softmax层。

    ·边级输出:该类输出和边的分类和连接预测任务相关。为了能够预测一个边的连接强度,额外添加一个函数,以两个节点的潜在表示作为输入。

    ·图级输出:该类输出一般与图的分类任务相关。为了能够从一个图中获得一个更为紧凑的表示,一个池化层会被用于压缩一个图生成一张子图(部分节点和边会被移除)。

    端到端的训练框架

    ·半监督学习-节点级分类任务:给定一个网络,在网络中,部分节点是有标签的,部分节点是无标签的。图卷积网络可以学习到一个鲁棒的模型,可以有效的识别出哪些没有标签的节点的类标签。在端到端的识别框架中,可以将若干个图卷积网络进行堆叠,然后最后跟一个softmax层完成多分类任务。

    ·有监督学习-图级分类任务:给定一个图数据集,图级的分类旨在预测整个图的类别标签。该任务可以通过结合图卷积网络和池化操作完成。通过图卷积网络,在每个单个的图中,每个节点可以得到一个固定长度的表示,然后对图中的所有节点的表示进行池化操作,我们可以得到一个图的简化表示。最后,添加一个线性层和softmax层,我们就可以构建出图分类的端到端学习框架。

    ·无监督学习-图嵌入如果在图中,没有有标签的数据可用的时候,我们可以通过纯粹的无监督的端到端学习框架学习到图的嵌入。这些算法主要以两种方式利用边的信息。一种是采用自编码机框架,编码机通过图卷积层将图嵌入到潜在的表示中,并在此基础上解码机对图进行重构。另外一种是采用负抽样法,对图中的部分节点进行抽样,作为负对,已存在的有连接的节点作为正对。然后在卷积层后面添加一个logistic回归层。

     

     

    展开全文
  • GNN图神经网络综述

    万次阅读 多人点赞 2019-03-13 09:21:57
    什么是GNN GNN是Graph Neural Network的简称,是用于学习包含...图神经网络处理的数据就是图,而图是一种非欧几里得数据。GNN的目标是学习到每个节点的邻居的状态嵌入,这个状态嵌入是向量且可以用来产生输出,例如...
  • 原文地址 本篇文章是对论文“Wu Z , Pan S , Chen F , et al. A Comprehensive Survey on ...1. 什么是图神经网络? 2. 有哪些图神经网络? 3. 图卷积网络(Graph Convolution Networks,GCN) 4. 图注意力网络...
  • 文章《A Comprehensive Survey on Graph Neural Networks》[1]提供了一个全面的图神经网络(GNNs) 概述,并且将最新的图神经网络分为四类,即递归图神经网络(RecGNNs)、卷积图神经网络(ConvGNNs)、图自动编码器(GAEs)...
  • 图神经网络(GNN)的简介

    万次阅读 2019-10-09 17:21:06
    近年来,图神经网络(GNN)在社交网络、知识图、推荐系统甚至生命科学等各个领域得到了越来越广泛的应用。GNN在对图节点之间依赖关系进行建模的强大功能,使得与图分析相关的研究领域取得了突破。本文介绍了图神经网络...
  • 从图嵌入算法到图神经网络

    千次阅读 多人点赞 2019-08-13 15:12:25
    图神经网络,广泛应用于社交关系、知识图谱、推荐系统、蛋白质分子建模,同样源自于对传统领域的创新,它的前身是图嵌入算法;而图嵌入算法又以图数据作为载体。这一关系,将贯穿本文始末,成为我们
  • 图神经网络GNN综述

    千次阅读 2019-06-11 16:29:34
    清华大学图神经网络综述:模型与应用题 引言:近年来,图神经网络的研究成为深度学习领域的热点,机器之心曾介绍过清华大学朱文武等人综述的图网络。近日,清华大学孙茂松组在 arXiv 上发布预印版综述文章 Graph ...
  • 图神经网络(GNN)TensorFlow实现

    千次阅读 2020-05-07 14:38:09
    图神经网络的研究与图嵌入或网络嵌入密切相关,图嵌入或网络嵌入是数据挖掘和机器学习界日益关注的另一个课题。图嵌入旨在通过保留图的网络拓扑结构和节点内容信息,将图中顶点表示为低维向量,以便使用简单的机器...
  • 本文将介绍基于图神经网络的知识图谱学习与计算以及基于图神经网络融合知识图谱信息的应用的研究进展。 1 知识图谱与图神经网络 近几年来,人工智能技术得到了飞速发展,其进展突出体现在以知识图谱(Knowledge ...
  • 图神经网络/GCN 入门

    千次阅读 2019-11-12 22:18:46
    跳出公式,看清全局,图神经网络(GCN)原理详解 GCN (Graph Convolutional Network) 图卷积网络解析 Graph Convolution Network图卷积网络(一)训练运行与代码概览 Graph Convolution Network图卷积网络(二)数据...
  • 图表示学习入门3——图神经网络

    千次阅读 2019-10-11 11:24:45
    什么是图神经网络?图和神经网络为什么要关联?怎么关联?一份浅显直觉的GNN入门教程。
  • 图嵌入/图神经网络模型整理归类

    千次阅读 2019-10-30 15:01:41
    这里wuzonghan等人将图神经网络分为图卷积网络、图注意网络、图自动编码器、图生成网络和图时空网络。其中,图卷积网络在捕获结构依赖项方面起着核心作用。如上图所示,其他类别的方法部分使用图卷积网络作为构建块...
  • 图神经网络学习笔记——图信号与图傅里叶变换
  • 图神经网络 The Graph neural network model

    万次阅读 2018-07-15 19:28:51
    转载自https://www.cnblogs.com/shenliao/p/8960782.html1 图神经网络...第一篇就介绍图神经网络想法的开端 之后的图神经网络模型 都是基于此慢慢改进。2 能处理的领域针对常见的旅行者问题 社交网络 分子结构 ...
  • 图神经网络,这到底是个什么?

    千次阅读 2021-03-01 14:27:54
    摘要:图神经网络是一种基于图结构的深度学习方法。 1、什么是图神经网络 图神经网络(Graph Neu做ral Networks, GNNs)是一种基于图结构的深度学习方法,从其定义中可以看出图神经网络主要由两部分组成,即“图”...
  • 胶囊图神经网络(CapsGNN)

    千次阅读 2019-03-26 15:25:32
    胶囊图神经网络(CapsGNN)解析: 通过将Hinton提出的胶囊神经网络与图神经网络进行结合,可以利用胶囊网络中动态路由机制更好的对图神经网络中提取的节点特征进行融合,能更好的进行图节点向量化表示,以达到后面...
  • 图神经网络模型 The Graph Neural Network Model

    万次阅读 多人点赞 2019-01-12 15:24:32
    本文提出了一种新型的神经网络模型,称为图神经网络(GNN)模型,对现有的神经网络模型进行了拓展,适用于处理可以表示为图的数据。GNN模型通过一个函数τ(G,n)∈Rm\tau(G,n) \in \mathbb{R}^mτ(G,n)∈Rm将图GGG和...
  • 图神经网络】GNN资料搜集

    千次阅读 2019-05-02 21:24:19
    图神经网络论文收集GitHub https://github.com/PeijiYang/GNNPapers 几种图神经网络方法总结(Graph Neural Network) https://blog.csdn.net/r1254/article/details/88343349 斯坦福的综述PPT http...
  • 本文参考书目为《深入浅出图神经网络:GNN原理解析》 图滤波器 参考之前的学习笔记图神经网络学习笔记(1)——图信号与图傅里叶变换,图信号定义在图的节点上,图信号处理不仅需要考虑图的信号强度,也需要考虑图...
  • 图神经网络笔记(一)

    千次阅读 2019-03-07 20:00:10
    图神经网络(GNN)是一类基于深度学习的处理图域信息的方法。由于其较好的性能和可解释性,GNN 最近已成为一种广泛应用的图分析方法。 为什么有图卷积神经网络 本质上说,世界上所有的数据都是拓扑结构,也就是...
  • 图神经网络GNN 原理 详解 (一)

    千次阅读 2020-03-30 18:06:31
    图神经网络(GNN) 一.背景 图神经网络的概念首先由 Gori 等人(2005)[16] 提出,并由 Scarselli 等人(2009)[17] 进一步阐明。这些早期的研究以迭代的方式通过循环神经架构传播邻近信息来学习目标节点的表示,...
  • A Comprehensive Survey on Graph Neural Networks论文回顾图神经网络(GNN)在文本挖掘和机器学习领域的发展,将GNN划分为递归图神经网络、卷积图神经网络、图自编码和时空图神经网络四类。此外还讨论图神经网络跨...
  • 图神经网络 | (8)图注意力网络(GAT)

    千次阅读 2020-02-24 17:49:09
    GAT)[1],它通过注意力机制(Attention Mechanism)来对邻居节点做聚合操作,实现对不同邻居权重的自适应分配(GCN中不同邻居的权重是固定的,来自归一化的拉普拉斯矩阵),从而大大提高了图神经网络模型的表达能力。...
  • 图神经网络三剑客:GCN、GAT与GraphSAGE 2020-2-27 17:28|发布者:炼数成金_小数|查看:47856|评论: 0|原作者: 桑运鑫|来自: PaperWeekly 摘要: 2019 年号称图神经网络元年,在各个领域关于图神经网络的研究爆发式...
  • 下面是作者0116在蚂蚁金服人工智能部的分享PPT,异质图神经网络:模型与应用,方便大家入门理解.作者目前在阿里搜索事业部做Research Intern,最近在做一些关于异质图神经网络...
  • 图神经网络综述论文解读(三) 本文链接地址:https://www.jiqizhixin.com/articles/2019-01-07-8 本文转载于机器之心博文,如有冒犯,还望谅解。 最近,IEEE Fellow、Senior Member 和 Member Zonghan Wu 等人...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 35,461
精华内容 14,184
关键字:

图神经网络