精华内容
下载资源
问答
  • 解释图神经网络:5个GNN解释方法

    千次阅读 2021-06-17 08:58:17
    由于图结构的不规则性,现有的解释方法难以适用于图神经网络。 Explainability增加可靠性 最近,人工智能中的可解释性引起了人们的广泛关注,其主要动机在于通过深度神经网络等“黑盒子”模型产生更可靠和可信的预测...

    可解释人工智能又向前迈进了一步,以及为什么现有的解释方法难以适用于gnn

    可解释性是深度学习中的一个大课题,因为它可以实现更可靠和可信的预测。

    由于图结构的不规则性,现有的解释方法难以适用于图神经网络。

    Explainability增加可靠性

    最近,人工智能中的可解释性引起了人们的广泛关注,其主要动机在于通过深度神经网络等“黑盒子”模型产生更可靠和可信的预测。LIME论文[2]中给出的一个很好的例子是,您会信任您的医生,因为他/她能够根据您的症状解释诊断。类似地,如果能够以人类可理解的方式解释或证明预测,由深度模型生成的预测就更可靠和可信。

    相关的帖子

    在过去的一个月里,TDS上出现了一些关于可解释AI的帖子。他们中的一些人提供了一些实际的例子来帮助你开始解释AI。如果你想了解更多关于可解释性人工智能的知识,这里列出了几篇文章。

    Gianluca Malato的《How to explain neural networks using SHAPE[3]》提供了一个使用SHAPE来解释神经网络的例子,该神经网络被训练来预测给定33个特征的糖尿病概率。然后将解释可视化,以理解每个特性如何对预测结果作出贡献。

    可解释的AI (XAI) - Prateek Bhatnagar的《用Python中的7个包来解释你的模型[4]指南》提供了一个概述和一些用于解释深度模型的优秀工具包的实际示例,以帮助你入门。

    Javier Marin的可解释深度神经网络[5]提出了一种新的方法来可视化深度神经网络中的隐藏层,从而通过拓扑数据分析了解整个网络中的数据是如何转换的。

    为什么很难用现有的方法来解释GNN?

    传统的解释方法在卷积神经网络(CNN)上很有效。下面的示例显示了对输入图像(a)的三个顶级预测类标签的LIME解释。我们可以清楚地看到导致相应预测的部分与类标签匹配。例如,吉他颈对预测“电吉他”(b)贡献最大。

    然而,当涉及到图神经网络(GNN)时,事情就变得有点棘手了。与cnn所操作的高度规则网格不同,图结构的不规则性带来了许多挑战。例如,我们可以很容易地解释上述CNN模型的解释,但是对于一个图来说,类似的节点级解释就不容易形象化和解释。

    在下一节中,我们将通过最近关于gnn[1]可解释性的综述来了解每一组方法的主要思想。

    GNN解释方法概述

    基于梯度/特征的方法:使用梯度或隐藏特征作为输入重要性的近似值,通过反向传播来解释预测。

    基于扰动(Perturbation )的方法:输出对输入扰动的变化反映了输入区域的重要性。或者换句话说,需要保留哪些节点/边/特征,以便最终的预测不会与最初的GNN模型偏离太多。

    代理(Surrogate )方法:训练一个使用输入节点的邻近区域更易于解释的代理模型。

    分解方法:将预测分解为几个项,每个项作为相应输入特征的重要度得分。

    生成方法:学习根据待解释的GNN模型生成获得最佳预测分数的图。

    什么是GNN最好的解释方法?

    当谈到方法评估时,有很多事情需要考虑。[1]中的作者建议了两个指标来确保以下属性。

    • 保真度:可解释的模型应该与被解释的原始GNN有一致的预测。
    • 稀疏性:只有一小部分节点/边缘/特征被用作解释。
    • 稳定性:输入的微小变化不应过多影响解释。
    • 准确性:解释应该准确地恢复地面真相解释(这只适用于地面真相已知的合成数据集)

    总结

    可解释性是人工智能的一个关键部分,因为它可以实现可靠和可信的预测。然而,将现有的解释方法应用于GNN并非易事。我们快速浏览了一些现有GNN解释方法中的一般方法,以及定义一个好的GNN解释方法所需的一些属性。

    引用

    [1] H. Yuan, H. Yu, S. Gui, S. Ji, Explainability in Graph Neural Networks: A Taxonomic Survey (2020), arXiv

    [2] M. T. Ribeiro, S. Singh, C. Guestrin, “Why Should I Trust You?”: Explaining the Predictions of Any Classifier (2016), ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD)

    [3] How to explain neural networks using SHAPE

    [4] Explainable AI (XAI) — A guide to 7 Packages in Python to Explain Your Models

    [5] Explainable Deep Neural Networks

    作者:Remy Lau

    deephub翻译组

    展开全文
  • 图神经网络通过聚合和结合邻居信息来学习节点特征,在许多图的任务中取得了良好的性能。然而,GNN大多被视为黑盒,缺乏人类可理解的解释。因此,如果不能解释GNN模型,就不能完全信任它们并在某些应用程序域中使用...
  • 图神经网络的可解释

    千次阅读 2020-09-05 08:52:43
    第一个工作是Research Track的《XGNN: Towards Model-Level Explanations of Graph Neural Networks》,关注黑盒模型的事后解释,提出了一种基于输入优化的图神经网络事后解释方法。 论文 第二个

    模型的可解释性是机器学习领域的重要研究课题,主要关注两个方向,一个是提升模型本身的可解释性,如引入注意力机制、解耦表示学习等技术;另一个是对黑盒模型的事后解释,如特征掩码技术、可视化技术等。图结构提供了额外的拓扑信息,也对可解释技术提出了更高的要求。

    第一个工作是Research Track的《XGNN: Towards Model-Level Explanations of Graph Neural Networks》,关注黑盒模型的事后解释,提出了一种基于输入优化的图神经网络事后解释方法。

    论文

    第二个工作是Applied Data Science Track的《Explainable classification of brain networks via contrast subgraphs》,关注提升模型本身的可解释性,提出了一种基于对比子图的可解释脑网络分类方法。
    论文

    GNN 可解释性问题 blog
    https://www.infoq.cn/article/1OgX48SsVcfPPEjgTmEw?utm_source=tuicool&utm_medium=referral

    展开全文
  • 原文地址 本篇文章是对论文“Wu Z , Pan S , Chen F , et al. A Comprehensive Survey on ...1. 什么是图神经网络? 2. 有哪些图神经网络? 3. 图卷积网络(Graph Convolution Networks,GCN) 4. 图注意力网络...

    原文地址

    本篇文章是对论文“Wu Z , Pan S , Chen F , et al. A Comprehensive Survey on Graph Neural Networks[J]. 2019.”的翻译与笔记。论文链接

    目录

    1. 什么是图神经网络?

    2. 有哪些图神经网络?

    3. 图卷积网络(Graph Convolution Networks,GCN)

    4. 图注意力网络(Graph Attention Networks)

    5. Graph Autoencoders

    6. Graph Generative Networks

    7. Graph Spatial -Temporal Networks

    8. 图神经网络的应用


    1. 什么是图神经网络?

    在过去的几年中,神经网络的成功推动了模式识别和数据挖掘的研究。许多机器学习任务,如目标检测、机器翻译和语音识别,曾经严重依赖手工的特征工程来提取信息特征集,最近被各种端到端的深度学习范式(例如卷积神经网络(CNN)、长短期记忆(LSTM)和自动编码器)彻底改变了。在许多领域中,深度学习的成功部分归因于快速发展的计算资源(如GPU)和大量训练数据的可用性,部分归因于深度学习从欧氏空间数据中提取潜在表示的有效性。

    尽管深度学习在欧氏空间中的数据方面取得了巨大的成功,但在许多实际的应用场景中的数据是从非欧式空间生成的,同样需要进行有效的分析。例如,在电子商务中,一个基于图的学习系统能够利用用户和产品之间的交互来做出非常准确的推荐。图数据的复杂性对现有的机器学习算法提出了重大挑战,这是因为图数据是不规则的。每个图都有一个大小可变的无序节点,图中的每个节点都有不同数量的相邻节点,导致一些重要的操作(例如卷积)在图像上很容易计算,但不再适合直接用于图域。此外,现有机器学习算法的一个核心假设是实例彼此独立(独立同分布,i.i.d.)。然而,对于图数据来说,情况并非如此,图中的每个实例(节点)通过一些复杂的链接信息与其他实例(邻居)相关,这些信息可用于捕获实例之间的相互依赖关系。

    近年来,人们对深度学习方法在图数据上的扩展越来越感兴趣。在深度学习的成功推动下,研究人员借鉴了卷积网络、循环网络和深度自动编码器的思想,定义和设计了用于处理图数据的神经网络结构,由此一个新的研究热点——“图神经网络(Graph Neural Networks,GNN)”应运而生,本篇文章主要对图神经网络的研究现状进行简单的概述。

    需要注意的是,图神经网络的研究与图嵌入(对图嵌入不了解的读者可以参考我的这篇文章《图嵌入综述》)或网络嵌入密切相关,图嵌入或网络嵌入是数据挖掘和机器学习界日益关注的另一个课题。图嵌入旨在通过保留图的网络拓扑结构和节点内容信息,将图中顶点表示为低维向量空间(低维稠密向量),以便使用简单的机器学习算法(例如,支持向量机分类)进行处理。许多图嵌入算法通常是无监督的算法,它们可以大致可以划分为三个类别,即矩阵分解、随机游走和深度学习方法。同时图嵌入的深度学习方法也属于图神经网络,包括基于图自动编码器的算法(如DNGR和SDNE)和无监督训练的图卷积神经网络(如GraphSage)。下图描述了图嵌入和图神经网络在本文中的区别。

    图嵌入综述

     

    2. 有哪些图神经网络?

    在本文中,我们将图神经网络划分为五大类别,分别是:图卷积网络(Graph Convolution Networks,GCN)、 图注意力网络(Graph Attention Networks)、图自编码器( Graph Autoencoders)、图生成网络( Graph Generative Networks) 和图时空网络(Graph Spatial-temporal Networks)。

    符号定义:

    3. 图卷积网络(Graph Convolution Networks,GCN)

    图卷积网络将卷积运算从传统数据(例如图像,结构化数据)推广到图数据(非结构化数据)。其核心思想是学习一个函数映射 f(.),通过该映射图中的节点v_i可以聚合它自己的特征(向量)x_i与它邻居的特征x_j(j \in N(v_i))来生成节点 v_i的新表示。图卷积网络是许多复杂图神经网络模型的基础,包括基于自动编码器的模型、生成模型和时空网络等。下图直观地展示了图神经网络学习节点表示的步骤。

    GCN方法又可以分为两大类,基于频谱(spectral-based)和基于空间(spatial-based)。基于频谱的方法从图信号处理的角度引入滤波器来定义图卷积,其中图卷积操作被解释为从图信号中去除噪声。基于空间的方法将图卷积表示为从邻域聚合特征信息,当图卷积网络的算法在节点层次运行时,图池化模块可以与图卷积层交错,将图粗化为高级子结构。如下图所示,这种架构设计可用于提取图的各级表示和执行图分类任务。

    在下面,我们分别简单介绍了基于频谱的GCN和基于空间的GCN。

    • Spectral-based Graph Convolutional Networks

    在大学里学过《数字信号处理》这门课程的朋友应该会记得,在这门课上我们通过引入傅里叶变换将时域信号转换到频域进行分析,进而我们完成一些我们在时域上无法完成的操作,基于频谱的图卷积网络的核心思想正是来源于此。

    在基于频谱的图神经网络中,图被假定为无向图,无向图的一种鲁棒数学表示是正则化(规范化)图拉普拉斯矩阵,即

                                               L = I_n - D^{-1/2}AD^{-1/2}

    其中,A为图的邻接矩阵,D为对角矩阵(度矩阵):

                                                      D_{ii} = \sum_{j}A_{i,j}

    正则化图拉普拉斯矩阵具有实对称半正定的性质。利用这个性质,正则化拉普拉斯矩阵可以分解为:

    ,其中:

    U是由L的特征向量构成的矩阵,\Lambda是对角矩阵,对角线上的值为L的特征值。正则化拉普拉斯矩阵的特征向量构成了一组正交基(U中的特征向量/每一列是正交的)。

    在图信号处理过程中,一个图的信号:

    是一个由图的各个节点组成的特征向量,x_i表示第i个节点。

    对图X的傅里叶变换由此被定义为:

    傅里叶反变换则为:

    其中,\hat{x}为傅立叶变换后的结果。

    为了更好地理解图的傅里叶变换,从它的定义我们可以看出,它确实将输入图信号投影到正交空间,在正交空间中,基由正则化图拉普拉斯矩阵L的特征向量构成。

    转换后得到的信号\hat{x}的元素是新空间(正交空间)中图信号的坐标,因此原来的输入信号可以表示为:

    正是傅里叶反变换的结果。(上式与U\hat{x}等价)

    现在我们可以来定义对输入信号X的图卷积操作了:

    其中,g \in R^{N}是我们定义的滤波器;\odot表示Hadamard product(对应位置元素相乘)。

    假如我们定义这样一个滤波器:

    那么我们的图卷积操作可以简化表示为:

    基于频谱的图卷积网络都遵循这样的模式,它们之间关键的不同点在于选择的滤波器不同。

    现有的基于频谱的图卷积网络模型有以下这些:Spectral CNN、Chebyshev Spectral CNN (ChebNet)、Adaptive Graph Convolution Network (AGCN)。

    基于频谱的图卷积神经网络方法的一个常见缺点是,它们需要将整个图加载到内存中以执行图卷积,这在处理大型图时是不高效的。

    • Spatial-based Graph Convolutional Networks

    模拟传统卷积神经网络对图像的卷积运算,基于空间的方法基于节点的空间关系定义图卷积。为了将图像与图关联起来,可以将图像视为图的特殊形式,每个像素代表一个节点,如下图a所示,每个像素直接连接到其附近的像素。通过一个3×3的窗口,每个节点的邻域是其周围的8个像素。这八个像素的位置表示一个节点的邻居的顺序。然后,通过对每个通道上的中心节点及其相邻节点的像素值进行加权平均,对该3×3窗口应用一个滤波器。由于相邻节点的特定顺序,可以在不同的位置共享可训练权重。同样,对于一般的图,基于空间的图卷积将中心节点表示和相邻节点表示进行聚合,以获得该节点的新表示,如图b所示。

    一种共同的实践是将多个图卷积层叠加在一起。根据卷积层叠的不同方法,基于空间的GCN可以进一步分为两类:recurrent-based和composition-based的空间GCN。recurrent-based的方法使用相同的图卷积层来更新隐藏表示(不停的循环),composition-based的方法使用不同的图卷积层来更新隐藏表示(串联)。下图说明了这种差异。

    • Comparison Between Spectral and Spatial Methods

    作为最早的图卷积网络,基于频谱的模型在许多与图相关的分析任务中取得了令人印象深刻的结果。这些模型在图信号处理方面有一定的理论基础。通过设计新的图信号滤波器,我们可以从理论上设计新的图卷积网络。然而,基于频谱的模型有几个缺点。我们从效率、通用性和灵活性三个方面来说明这一点。

    在效率方面,基于频谱的模型的计算成本随着图的大小而急剧增加,因为它们要么需要执行特征向量计算,要么同时处理整个图,这使得它们很难适用于大型图。基于空间的模型有潜力处理大型图,因为它们通过聚集相邻节点直接在图域中执行卷积。计算可以在一批节点中执行,而不是在整个图中执行。当相邻节点数量增加时,可以引入采样技术来提高效率。

    在一般性方面,基于频谱的模型假定一个固定的图,使得它们很难在图中添加新的节点。另一方面,基于空间的模型在每个节点本地执行图卷积,可以轻松地在不同的位置和结构之间共享权重。

    在灵活性方面,基于频谱的模型仅限于在无向图上工作,有向图上的拉普拉斯矩阵没有明确的定义,因此将基于频谱的模型应用于有向图的唯一方法是将有向图转换为无向图。基于空间的模型更灵活地处理多源输入,这些输入可以合并到聚合函数中。因此,近年来空间模型越来越受到关注。

     

    4. 图注意力网络(Graph Attention Networks)

    注意力机制如今已经被广泛地应用到了基于序列的任务中,它的优点是能够放大数据中最重要的部分的影响。这个特性已经被证明对许多任务有用,例如机器翻译和自然语言理解。如今融入注意力机制的模型数量正在持续增加,图神经网络也受益于此,它在聚合过程中使用注意力,整合多个模型的输出,并生成面向重要目标的随机行走。在本节中,我们将讨论注意力机制如何在图结构数据中使用。

    • Graph Attention Network(GAT)

    图注意力网络(GAT)是一种基于空间的图卷积网络,它的注意机制是在聚合特征信息时,将注意机制用于确定节点邻域的权重。GAT的图卷积运算定义为:

    其中α(·)是一个注意力函数,它自适应地控制相邻节点j对节点i的贡献。为了学习不同子空间中的注意力权重,GAT还可以使用多注意力:

    • Gated Attention Network(GAAN)

    门控注意力网络(GAAN)还采用了多头注意力机制来更新节点的隐藏状态。然而,GAAN并没有给每个head部分配相等的权重,而是引入了一种自注意机制,该机制为每个head计算不同的权重。更新规则定义为,

    其中 \phi _0(.),\phi_v(.)是反馈神经网络,而g_i^{k}是第k个注意力head的注意力权重.

    • Graph Attention Model(GAM)

    图形注意力模型(GAM)提供了一个循环神经网络模型,以解决图形分类问题,通过自适应地访问一个重要节点的序列来处理图的信息。GAM模型被定义为:

    其中,f_h(.)是一个LSTM网络,f_s(.)是一个step network,它会优先访问当前节点v_{t-1}优先级高的邻居并将它们的信息进行聚合。

    除了在聚集特征信息时将注意力权重分配给不同的邻居节点,还可以根据注意力权重将多个模型集合起来,以及使用注意力权重引导随机行走。尽管GAT和GAAN在图注意网络的框架下进行了分类,但它们也可以同时被视为基于空间的图形卷积网络。GAT和GAAN的优势在于,它们能够自适应地学习邻居的重要性权重。然而,计算成本和内存消耗随着每对邻居之间的注意权重的计算而迅速增加。

     

    5. Graph Autoencoders

    图自动编码器是一类图嵌入方法,其目的是利用神经网络结构将图的顶点表示为低维稠密向量。典型的解决方案是利用多层感知机作为编码器来获取节点嵌入,其中解码器重建节点的邻域统计信息,如positive pointwise mutual information (PPMI)或一阶和二阶近似值。最近,研究人员已经探索了将GCN作为编码器的用途,将GCN与GAN结合起来,或将LSTM与GAN结合起来设计图自动编码器。我们将首先回顾基于GCN的AutoEncoder,然后总结这一类别中的其他变体。

    目前基于GCN的自编码器的方法主要有:Graph Autoencoder (GAE)和Adversarially Regularized Graph Autoencoder (ARGA)

    图自编码器的其它变体有:

    Network Representations with Adversarially Regularized Autoencoders (NetRA)

    Deep Neural Networks for Graph Representations (DNGR)

    Structural Deep Network Embedding (SDNE)

    Deep Recursive Network Embedding (DRNE)

    DNGR和SDNE学习仅给出拓扑结构的节点嵌入,而GAE、ARGA、NetRA、DRNE用于学习当拓扑信息和节点内容特征都存在时的节点嵌入。图自动编码器的一个挑战是邻接矩阵A的稀疏性,这使得解码器的正条目数远远小于负条目数。为了解决这个问题,DNGR重构了一个更密集的矩阵,即PPMI矩阵,SDNE对邻接矩阵的零项进行惩罚,GAE对邻接矩阵中的项进行重加权,NetRA将图线性化为序列。

     

    6. Graph Generative Networks

    图生成网络的目标是在给定一组观察到的图的情况下生成新的图。图生成网络的许多方法都是特定于领域的。例如,在分子图生成中,一些工作模拟了称为SMILES的分子图的字符串表示。在自然语言处理中,生成语义图或知识图通常以给定的句子为条件。最近,人们提出了几种通用的方法。一些工作将生成过程作为节点和边的交替形成因素,而另一些则采用生成对抗训练。这类方法要么使用GCN作为构建基块,要么使用不同的架构。

    基于GCN的图生成网络主要有:

    Molecular Generative Adversarial Networks (MolGAN):将relational GCN、改进的GAN和强化学习(RL)目标集成在一起,以生成具有所需属性的图。GAN由一个生成器和一个鉴别器组成,它们相互竞争以提高生成器的真实性。在MolGAN中,生成器试图提出一个伪图及其特征矩阵,而鉴别器的目标是区分伪样本和经验数据。此外,还引入了一个与鉴别器并行的奖励网络,以鼓励生成的图根据外部评价器具有某些属性。

    Deep Generative Models of Graphs (DGMG):利用基于空间的图卷积网络来获得现有图的隐藏表示。生成节点和边的决策过程是以整个图的表示为基础的。简而言之,DGMG递归地在一个图中产生一个节点,直到达到某个停止条件。在添加新节点后的每一步,DGMG都会反复决定是否向添加的节点添加边,直到决策的判定结果变为假。如果决策为真,则评估将新添加节点连接到所有现有节点的概率分布,并从概率分布中抽取一个节点。将新节点及其边添加到现有图形后,DGMG将更新图的表示。

    其它架构的图生成网络主要有:

    GraphRNN:通过两个层次的循环神经网络的深度图生成模型。图层次的RNN每次向节点序列添加一个新节点,而边层次RNN生成一个二进制序列,指示新添加的节点与序列中以前生成的节点之间的连接。为了将一个图线性化为一系列节点来训练图层次的RNN,GraphRNN采用了广度优先搜索(BFS)策略。为了建立训练边层次的RNN的二元序列模型,GraphRNN假定序列服从多元伯努利分布或条件伯努利分布。

    NetGAN:Netgan将LSTM与Wasserstein-GAN结合在一起,使用基于随机行走的方法生成图形。GAN框架由两个模块组成,一个生成器和一个鉴别器。生成器尽最大努力在LSTM网络中生成合理的随机行走序列,而鉴别器则试图区分伪造的随机行走序列和真实的随机行走序列。训练完成后,对一组随机行走中节点的共现矩阵进行正则化,我们可以得到一个新的图。

     

    7. Graph Spatial -Temporal Networks

    图时空网络同时捕捉时空图的时空相关性。时空图具有全局图结构,每个节点的输入随时间变化。例如,在交通网络中,每个传感器作为一个节点连续记录某条道路的交通速度,其中交通网络的边由传感器对之间的距离决定。图形时空网络的目标可以是预测未来的节点值或标签,或者预测时空图标签。最近的研究仅仅探讨了GCNs的使用,GCNs与RNN或CNN的结合,以及根据图结构定制的循环体系结构。

    目前图时空网络的模型主要有:

    Diffusion Convolutional Recurrent Neural Network (DCRNN)

    CNN-GCN

    Spatial Temporal GCN (ST-GCN)

    Structural-RNN

     

    8. 图神经网络的应用

    • Computer Vision

    图形神经网络的最大应用领域之一是计算机视觉。研究人员在场景图生成、点云分类与分割、动作识别等多个方面探索了利用图结构的方法。

    在场景图生成中,对象之间的语义关系有助于理解视觉场景背后的语义含义。给定一幅图像,场景图生成模型检测和识别对象,并预测对象对之间的语义关系。另一个应用程序通过生成给定场景图的真实图像来反转该过程。自然语言可以被解析为语义图,其中每个词代表一个对象,这是一个有希望的解决方案,以合成给定的文本描述图像。

    在点云分类和分割中,点云是激光雷达扫描记录的一组三维点。此任务的解决方案使激光雷达设备能够看到周围的环境,这通常有利于无人驾驶车辆。为了识别点云所描绘的物体,将点云转换为k-最近邻图或叠加图,并利用图论进化网络来探索拓扑结构。

    在动作识别中,识别视频中包含的人类动作有助于从机器方面更好地理解视频内容。一组解决方案检测视频剪辑中人体关节的位置。由骨骼连接的人体关节自然形成图表。给定人类关节位置的时间序列,应用时空神经网络来学习人类行为模式。

    此外,图形神经网络在计算机视觉中应用的可能方向也在不断增加。这包括人-物交互、少镜头图像分类、语义分割、视觉推理和问答等。

    • Recommender Systems

    基于图的推荐系统以项目和用户为节点。通过利用项目与项目、用户与用户、用户与项目之间的关系以及内容信息,基于图的推荐系统能够生成高质量的推荐。推荐系统的关键是评价一个项目对用户的重要性。因此,可以将其转换为一个链路预测问题。目标是预测用户和项目之间丢失的链接。为了解决这个问题,有学者提出了一种基于GCN的图形自动编码器。还有学者结合GCN和RNN,来学习用户对项目评分的隐藏步骤。

    • Traffic

    交通拥堵已成为现代城市的一个热点社会问题。准确预测交通网络中的交通速度、交通量或道路密度,在路线规划和流量控制中至关重要。有学者采用基于图的时空神经网络方法来解决这些问题。他们模型的输入是一个时空图。在这个时空图中,节点由放置在道路上的传感器表示,边由阈值以上成对节点的距离表示,每个节点都包含一个时间序列作为特征。目标是预测一条道路在时间间隔内的平均速度。另一个有趣的应用是出租车需求预测。这有助于智能交通系统有效利用资源,节约能源。

    • Chemistry

    在化学中,研究人员应用图神经网络研究分子的图结构。在分子图中,原子为图中的节点,化学键为图中的边。节点分类、图形分类和图形生成是分子图的三个主要任务,它们可以用来学习分子指纹、预测分子性质、推断蛋白质结构、合成化合物。

    • Others

    除了以上四个领域外,图神经网络还已被探索可以应用于其他问题,如程序验证、程序推理、社会影响预测、对抗性攻击预防、电子健康记录建模、脑网络、事件检测和组合优化。

     

    展开全文
  • 文章《A Comprehensive Survey on Graph Neural Networks》[1]提供了一个全面的图神经网络(GNNs) 概述,并且将最新的图神经网络分为四类,即递归图神经网络(RecGNNs)、卷积图神经网络(ConvGNNs)、图自动编码器(GAEs)...
    摘要:本文我们将主要介绍各种典型的图神经网络的网络架构和训练方法。

    本文我们将主要介绍各种典型的图神经网络的网络架构和训练方法。文章《A Comprehensive Survey on Graph Neural Networks》[1]提供了一个全面的图神经网络(GNNs) 概述,并且将最新的图神经网络分为四类,即递归图神经网络(RecGNNs)、卷积图神经网络(ConvGNNs)、图自动编码器(GAEs)和时空图神经网络(STGNNs)。在图神经网的实际应用中,卷积图神经网络的使用最为广泛,因此,本文将重点介绍ConvGNNs一类网络模型,如上图GNN Roadmap所示。

    1. 欧式空间卷积

    在讲卷积图神经网络(非欧空间做卷积)之前,我们先来回顾下卷积神经网络(欧式空间做卷积)的过程。有一张如下图所示的6*6的image,我们在做卷积的时候,通常会使用一个固定大小的卷积核,比如3*3,然后根据设置的步长滑动整张6*6的image,在每一次滑动之处与原图相应位置做内积。如下图为卷积核滑动两次之后的结果。

    但是对于非欧空间的图结构,我们无法找到一个固定大小的卷积核去滑动整个图区域,如下图所示。

    这时我们就要针对图的特殊结构,借助欧式空间的卷积方法和图结构特征,提出两种卷积图神经网络的卷积方案:

    方案一:

    参考CNN的思想,对每个节点的邻居进行某种方式的加权求和,即Spatial-based convolution。

    方案二:

    参考传统的信号处理的方法,对原始信号进行处理,引入滤波器来定义图卷积,图卷积运算被解释为从图信号中去除噪声,即Spectral-based convolution。

     

    本篇我们将主要介绍基于空间的卷积图神经网络方法和对应的典型的网络架构。

    2. Spatial-based Convolution

    在讲基于空间的卷积图神经网络方法之前,我们先引入两个术语:

    lAggregate:

    lReadout:

    把所有节点的状态特征集合起来代表整个图的状态特征(下右图)。即采用某种sum或者average的方式将所有nodes的feature抽象成一个hidden state,并以此代表整张图的feature。

    2.1图神经网络(Neural Network for Graphs,NN4G)[2]

    NN4G在图神经网络领域算是比较早(2009)的提出的卷积图神经网络模型,其通过直接将节点的邻域信息相加来进行图卷积,表达式如下:

    而readout层则通过对每一层的所有节点信息的取平均,即下图中所有紫色节点 ,从而获得每一层图的representation,并对每一层的信息通过求和平均的方式进行整个图的representation更新,即:

    对于NN4G,其具体的计算过程可以用下面这幅图概括。NN4G也是卷积图神经网络的代表性结构,后续的卷积图神经网络都是或多或少的在NN4G的基础上做一些简单的修改(Aggregate)而获得。所以理解NN4G的运算流程对于理解基于空间的卷积图神经网络至关重要。

    2.2扩散卷积神经网络(Diffusion Convolutional Neural Network, DCNN)[3]

    2.3混合模型(Mixture Model Networks, MoNET)[4]

    通过上述模型,我们可以发现,当计算某个节点在某一层的hidden state的时候,对于该节点的所有邻居上述算法都是一视同仁。但是实际情况可能是任何两个节点之间的关系是有区别的。比如在一副社交关系图谱中,某个个体和其所连接的所有个体亲密关系通常不会相同。这就需要一种新的aggregate方式来解决。

    MoNET同样是定义了一种新的Aggregate的方式,在Aggregate阶段不是简单的对邻居节点feature的平均求和,而是通过加权的方式,权重的计算则是通过衡量节点之间的度的距离方式,即:

    当然这里只是提出了一种权重的计算方式,实际实现中可以选择不同的权重实现方式。其中

    表示节x 的度,图中的w则是特征变换(比如NN),经过NN对节点feature进行编码,最后对某一节点的邻居节点特征加权求和。

    2.4图采样聚合模型(Graph Sample and aggregate, GraphSAGE)[5]

    GraphSAGE主要是通过对邻居节点采样的方法对节点信息进行更新,即图中的Step 1,然后再对这些采样的节点信息进行某种方式的聚合,主要有Mean\Pooling\LSTM三种aggregate的方法,即图中的Step 2,Step 3则是利用聚合信息进行当前节点label或者邻居节点的预测,预测的方式有两种,一种是无监督学习方式。无监督学习基于图的损失函数希望临近的顶点具有相似的向量表示(公式的前半部分),同时让分离的顶点的表示尽可能区分(公式的后半部分),损失函数如下:

    2.5图注意神经网络(Graph Attention Networks, GAT)[6]

    注意力机制已经在传统神经网络CNN和RNN中有了成功的实践,并且使用attention后模型的性能在特定任务上都有不少的提升。GAT是将attention机制实现在卷积图神经网络之中。这里的attention就是一种用来计算节点与邻居之间权重的方式,最后通过加权求和的方式更新节点的feature,节点间权重的计算公式如下:

    下图就是GAT模型的图卷积层的更新过程,其中 e(energy)就是attention的权重。

    3. 总结

    本篇博文主要介绍了Spatial-based Convolution(基于空间的卷积图神经网络),以NN4G为基础,分别介绍了DCNN,MONET,GrapgSAGE,GAT等卷积图神经网络结构以及其实现的方式。对于想要在图神经网络进行实践的同学,可以先学习一些开源的图神经网络框架。目前完成度较好的图神经网络框架主要是基于PyTorch和MXNet的DGL (Deep Graph Library)和PyG (PyTorch Geometric)。

    参考文献

    [1] ] Wu Z , Pan S , Chen F , et al. A Comprehensive Survey on Graph Neural Networks[J]. IEEE Transactions on Neural Networks and Learning Systems, 2019.

    [2] A. Micheli, "Neural Network for Graphs: A Contextual Constructive Approach," in IEEE Transactions on Neural Networks, vol. 20, no. 3, pp. 498-511, March 2009, doi: 10.1109/TNN.2008.2010350.

    [3] https://arxiv.org/abs/1511.02136

    [4] https://arxiv.org/pdf/1611.08402.pdf

    [5] https://arxiv.org/pdf/1706.02216.pdf

    [6] https://arxiv.org/pdf/1710.10903.pdf

    [7]https://mp.weixin.qq.com/s?__biz=MzkwNDE5MDY5Mg==&mid=2247486844&idx=1&sn=6ae21b181c208aa67bcd597572e0d840&chksm=c08b82f7f7fc0be178ac3b11d9df15280d74149c5246a7de641e927d13190afe7ce1f9d603e9&scene=21#wechat_redirect

    [8]. http://speech.ee.ntu.edu.tw/~tlkagk/courses/ML2020/GNN.pdf

     

    本文分享自华为云社区《深入浅出图神经网络应用场景》,原文作者:就挺突然。

     

    点击关注,第一时间了解华为云新鲜技术~

    展开全文
  • 图神经网络GNN综述

    千次阅读 2019-06-11 16:29:34
    清华大学图神经网络综述:模型与应用题 引言:近年来,图神经网络的研究成为深度学习领域的热点,机器之心曾介绍过清华大学朱文武等人综述的图网络。近日,清华大学孙茂松组在 arXiv 上发布预印版综述文章 Graph ...
  • 在本综述中,我们对现有的图神经网络模型进行了详细的回顾,对应用进行了系统的分类,并提出了四个有待进一步研究的问题。 1. Introduction  图是一种数据结构,它为一组对象(节点)及其关系(边)建模。...
  • 图神经网络综述

    万次阅读 2019-06-14 17:09:03
    图神经网络概述第三弹:来自IEEE Fellow的GNN综述 原文地址https://www.jiqizhixin.com/articles/2019-01-07-8 图神经网络(GNN)热度持续上升,之前我们曾介绍了清华两篇综述论文,参见:深度学习时代的图...
  • 图神经网络

    千次阅读 2019-03-28 16:19:42
    目前,大多数图神经网络模型都有一个通用的架构。我将它们称为图卷积神经网络(GCNs),这些模型是可卷积的,因为滤波器参数在图中所有位置或者一个局部位置上( Duvenaud et al., NIPS 2015)都可以共享。 对于...
  • 图表示学习入门3——图神经网络

    千次阅读 2019-10-11 11:24:45
    什么是图神经网络?图和神经网络为什么要关联?怎么关联?一份浅显直觉的GNN入门教程。
  • 什么是图神经网络

    万次阅读 2020-08-05 10:25:32
    2019年可以说是图神经网络元年。01 什么是图神经网络?1. 图和属性图要了解图神经网络,首先要了解图。图是由节点和边组成的,如下图所示。一般图中的节点表示实体对象(比如一个用户、一件商品、一辆车、一张银行卡...
  • 图神经网络笔记(一)

    千次阅读 多人点赞 2019-03-07 20:00:10
    图神经网络(GNN)是一类基于深度学习的处理图域信息的方法。由于其较好的性能和可解释性,GNN 最近已成为一种广泛应用的图分析方法。 为什么有图卷积神经网络 本质上说,世界上所有的数据都是拓扑结构,也就是...
  • 图神经网络详解(四)

    千次阅读 2019-10-23 10:46:32
    图神经网络综述论文解读(三) 本文链接地址:https://www.jiqizhixin.com/articles/2019-01-07-8 本文转载于机器之心博文,如有冒犯,还望谅解。 最近,IEEE Fellow、Senior Member 和 Member Zonghan Wu 等人...
  • 图神经网络(GNN)的简介

    万次阅读 多人点赞 2019-10-09 17:21:06
    近年来,图神经网络(GNN)在社交网络、知识图、推荐系统甚至生命科学等各个领域得到了越来越广泛的应用。GNN在对图节点之间依赖关系进行建模的强大功能,使得与图分析相关的研究领域取得了突破。本文介绍了图神经网络...
  • 知识图谱本身是一种图结构数据,采用图构建知识和数据之间的关联,应用图神经网络技术,有望结合知识和数据,实现更好的可解释和可信人工智能技术。本文将介绍基于图神经网络的知识图谱学习与计算以及基于图神经网络...
  • 掌握图神经网络GNN基本,看这篇文章就够了

    万次阅读 多人点赞 2019-02-16 11:11:56
    【新智元导读】图神经网络(GNN)在各个领域越来越受欢迎,本文介绍了图神经网络的基本知识,以及两种更高级的算法:DeepWalk和GraphSage。 最近,图神经网络 (GNN) 在各个领域越来越受到欢迎,包括社交网络、知识...
  • 在实际应用中,大约80%的神经网络模型采取了BP网络或BP网络的变化形式,一个包含两个隐藏层的BP神经网络的结构如下所示。 传递函数必须可微,所以二值函数与符号函数等没有用武之地了...
  • GNN图神经网络综述

    万次阅读 多人点赞 2019-03-13 09:21:57
    什么是GNN GNN是Graph Neural Network的简称,是用于学习包含...图神经网络处理的数据就是图,而图是一种非欧几里得数据。GNN的目标是学习到每个节点的邻居的状态嵌入,这个状态嵌入是向量且可以用来产生输出,例如...
  • 图神经网络详解(二)

    千次阅读 2019-10-23 10:56:57
    图神经网络综述论文解读(一) 本文链接地址:https://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2650754422&idx=4&sn=0dc881487f362322a875b4ce06e645f7&chksm=871a8908b06d001ef7386ccc...
  • 一、什么是图神经网络? 在过去的几年中,神经网络的成功推动了模式识别和数据挖掘的研究。许多机器学习任务,如目标检测、机器翻译和语音识别,曾经严重依赖手工的特征工程来提取信息特征集,最近被各种端到端的...
  • 4.循环图神经网络(GRN) 5.卷积图神经网络 A.基于频谱的ConvGNNs B.基于空间的CGNN C.图池化模型 D.理论方面的讨论 6.图自动编码器 A.网络嵌入 B.图生成 7.时空图神经网络 8.应用 A.数据集 B.基准和...
  • 长文详解图神经网络

    千次阅读 2020-08-17 22:55:56
    因此,本文试图沿着图神经网络的历史脉络,从最早基于不动点理论的图神经网络(Graph Neural Network, GNN)一步步讲到当前用得最火的图卷积神经网络(Graph Convolutional Neural Network, GCN), 期望通过本文带给...
  • 本文参考书目为《深入浅出图神经网络:GNN原理解析》 图滤波器 参考之前的学习笔记图神经网络学习笔记(1)——图信号与图傅里叶变换,图信号定义在图的节点上,图信号处理不仅需要考虑图的信号强度,也需要考虑图...
  • 图神经网络「GNN」是近年来最火爆的研究领域之一,常用于社交网络和知识图谱的构建,由于具有良好的可解释性,现在已经广泛使用在各个场景当中。 使用基于图的数据结构构建机器学习模型一直很困难,因为没有很多...
  • 卷积神经网络_图像卷积解释

    千次阅读 2016-08-28 14:55:01
    首先看下人工神经网络感知器的原理,这个不是重点,但是卷积神经网络由此而来,所以截取材料如下:   类似wx + b的形式,其中· a1~an为输入向量,当然,也常用x1~xn表示输入· w1~wn为权重· b为偏置bias· ...
  • DeepMind、谷歌大脑、MIT等机构联合提出“图网络”(GNN),将端到端学习与归纳推理相...近年来图神经网络受到大家越来越多的关注,在文本分类(Text classification),序列标注(Sequence labeling), 神经机...
  • 前言 在计算机视觉以及自然...图神经网络的出现为这些非欧几里得数据的处理提供了新的思路。 图(Graph) 图(graph)是数据结构和算法学中最强大的框架之一。图可以用来表现多种类型的结构或系统,在很多应用上都有...
  • 图神经网络时代的深度聚类

    千次阅读 2020-03-17 13:46:43
    ©PaperWeekly 原创 ·作者|纪厚业学校|北京邮电大学博士生研究方向|图神经网络和推荐系统聚类作为经典的无监督学习算法在数据挖掘/机器学习的...
  • 卷积神经网络

    万次阅读 多人点赞 2014-11-29 16:20:41
    自今年七月份以来,一直在实验室负责卷积神经网络(Convolutional Neural Network,CNN),期间配置和使用过theano和cuda-convnet、cuda-convnet2。为了增进CNN的理解和使用,特写此博文,以其与人交流,互有增益。...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 83,893
精华内容 33,557
关键字:

解释图神经网络