精华内容
下载资源
问答
  • 图卷积神经网络
    千次阅读
    2021-08-29 13:32:58

    在这里插入图片描述

    网络分析

    在社会网络分析领域,引文网络是最为常见的数据,即节点为论文,连边关系为引用关系,常见的数据集包括 Cora, DBLP, Citeseer 等。一个典型的分类任务是给定每篇文章的内容信息和文章之间的引用关系,将每篇文章分类到对应的领域中。
    例如,在节点的半监督分类场景下,已知节点的属性信息包括文章的标题或摘要信息,以及节点之间的引用关系构成的网络信息,给定少量的数据标签,通过机器学习的方式,对网络中的每个节点的所属领域进行划分。在该任务中,图卷积神经网络将节点文本属性和引用网络结构有效的建模,取得了巨大的成功。

    推荐系统

    人们通过将其视为矩阵补全或者链接预测的方式,能够有效的建模商品和用户之间的联系。图卷积神经网络被认为能够很好的建模图的结构属性和节点特征信息,而推荐系统既可以被视为一个矩阵补全问题,也可以被是因为是二部图(用户和商品)的链接预测问题。相比传统的方法,图卷积神经网络能够更好的利用在推荐系统中普遍存在的用户属性和商品属性信息,这也是图卷积神经网络能够在推荐系统任务上引起人们广泛关注的原因。
    Monti 等将多图卷积神经网络和循环神经网络相结合,其中多图卷积神经网络被用来提取局部静止的特征,而循环神经网络能够扩散分数值,重建矩阵。Berg 等将推荐系统建模为图上的链接预测问题,提出基于不同消息传播的图自编码框架对推荐系统的二部图进行建模,在包含社交网络的数据上取得了最好的结果。 Leskovec 等将卷积神经网络应用到推荐系统中,其提出一个数据高效的图卷积神经网络算法 PinSage,对商品节点产生嵌入表达。这些表达包含了图结构和节点特征信息,相比传统的图卷积方式,其提出了一个高效的随机游走策略建模卷积,设计了一个新的训练策略,成功的将图卷积神经网络应用到节点数为 10 亿级的超大规模推荐系统中。Wang 等提出 RippleNet 框架,引入知识图谱信息,提高了推荐系统的性能。Fan 等提出 GraphRec 框架,包括用户建模,商品建模和打分预测 3 个部分,使用注意力机制,有效的建模了用户的交互信息和用户的社交网络信息。

    交通预测

    交通预测问题也是图卷积神经网络得到广泛应用的任务之一。其目的是在给定历史交通速度和路线图的情况下,预测未来的交通的速率。在交通预测问题中,节点表示在道路中放置的传感器,而边则表示节点对的物理距离。每个节点包含一个时序的特征。相比于传统的图分析问题。交通预测问题中包括时间和空间两个方面的建模,而如何利用图卷积神经网络更好的建模交通中的路网带来了机遇和挑战。在交通预测相关的场景下,如何解决时空依赖是重要的研究方向,由于图卷积神经网络提供了一种解决图数据问题建模的方案,其通过和循环神经网络等时序模型的结合,给出了一个建模交通预测问题的良好的解决思路。而如何进一步更细粒度考虑时空数据建模依然是未来研究的热点。
    Li 等提出扩散卷积循环神经网络(DCRNN) 建模交通预测。在该模型中,其将交通流量视为一个有向图上的扩散问题,提出通过使用扩散卷积的方式来建模图结构化数据。使用循环神经网络来建模时间依赖。在两个大规模道路网络交通数据集上取得了 12%-15%的提升。Cui 等提出一个交通图卷积长短时记忆网络(TGC-LSTM)学习道路网络和时变的交通模式。其定义图卷积神经网络在物理的路网拓扑结构上。实验结果表明该方法能够捕获有效存在于车辆交通网络中的复杂的时空依赖。Zhang 等提出图门递归单元(GGRU)解决交通流量预测问题,其将图门递归单元应用于循环神经网络的编码解码模型,应用在洛杉矶高数公路数据集上。Yu 等提出一个新的深度学习框架,空间时间图卷积神经网络(STGCN),解决在交通领域时序 预测问题。在该框架中,其首先形式化问题到图上使用卷积结构进行建模,由于更好的利用了拓扑结构,其在短期和中长期交通预测上取得了相比传统机器学习方法显著的提升。

    生物化学

    除了传统的图数据的建模外,图卷积神经网络在生物化学等领域也受到了研究人员的大量关注。相比传统的图数据的研究,在生物化学领域,人们通常将一个化学结构或一个蛋白质视为一个图,图中的节点是更小的分子,边代表键或者相互作用。生物化学领域主要集中于对于分子拓扑结构的建模,这些问题中,许多的化学结构和性质体现在图本身的结构特性上。使用图卷积神经网络对这些分子结构的刻画能够显著地帮助到包括新药发现、药物分类等任务。
    Duvenaud等人直接在图上定义卷积神经网络。该神经网络模型输入为任意大小或形状的分子,通过端到端地学习分子指纹。该模型能够更好地帮助实现特定功能的分子设计。Kearnes等人使用图卷积神经网络对原子、键和距离进行编码,能够更好地利用图结构中的信息。其提供了新的基于配体的虚拟筛选的范式。Gilmer等人提出消息传播模型 MPNNs预测给定分子的化学性质。Lee等人提出图注意力模型(GAM),自适应地选择一些“信息节点”进而收集整个图的信息,用于图分类问题。
    Such等人直接将滤波器定义为图邻接矩阵的函数的多项式,提出Graph-CNNs模型,能够处理异构和同质的图数据。在分子分类问题上,表现出了最好的实验结果。Zitnik等人使用图卷积神经网络建模多种药物副作用。其首先构建蛋白质-蛋白质交互,药物-蛋白质靶标相互作用和多种药物相互作用的多模态图。在图中,每种副作用被视为一个不同类型的边缘。进而将对与药物副作用的建模转化为一个链接预测问题,为进一步研究药理学提供了新的研究思路。Fout等人提出将图卷积神经网络应用到蛋白质交互预测中。在该任务中,蛋白质是氨基酸残基链,折叠成三维结构,赋予它们生化功能。蛋白质通过与其他蛋白质相互作用的复杂网络发挥其功能。Cao等人提出 MolGAN,该模型通过生成对抗网络结合图卷积神经网络,设计出包含特定化学性质的分子结构。You等人提出图卷积策略网络(GCPN),一个基于通用图卷积和强化学习来生成目标图的模型。该模型通过消息传播的方式令隐藏状态为节点表达,然后产生策略π。通过采样的方式选择策略a,然后环境给出化学检测的状态和奖励rt。实验表明该方法相比基线方法,在化学性质优化上有61%的提升。

    计算机视觉(CV)

    在计算机视觉中,图卷积神经网络的应用主要集中于少样本学习(Few-ShotLearning)、零样本学习(Zero-ShotLearning)、点云建模(PointClouds)、场景图(Sencegraph)等。总的来说,在计算机视觉领域,人们在完成了包括物体识别,图片分类,语义分割后,计算机视觉更关注物体在少量样本,复杂语义情况下的建模和学习。在这些场景下,图是重要的数据结构,而图卷积神经网络是建模该图数据有效的方法。
    其中,少样本学习旨在使用较少的样本训练能够识别出一个全新的样本。其通常包含两个阶段:元训练和元测试。在任务中,数据集包括:训练集,支持集和测试集。支持集和测试集共享相同的标签空间,但训练集有单独的标签空间,且与支持/测试集不相交。如果支持集包含每个类包含K个标签样 本,C个类别,则该问题被称为C-wayK-shot问题。常见的数据集包括:Omninglot和miniImageNet。其中Omninglot包含Omninglot数据集包含来自50个不同字母的1623个不同手写字符。miniImageNet则包含100个不同类别,每个类别600样本的84×84的RGB 图片。少样本学习由于存在较少的训练样本,因此需要进一步刻画出不同的物体或者概念之间的语义关系,常见的方法包括引入知识图谱,构建图片之间的全链接图等方式。
    Garcia等人定义一个全连接的图,其中节点是图片,连边是图片和图片之间的相似度,他们使用图神经网络对节点进行编码,使用神经消息传播模型能够更好地利用图片之间的关联结构信息,其在少样本、半监督和主动学习等任务上取得了较好的实验结果。Marino等人将知识图谱引入到图片分类任务中,其使用图卷积神经网络更好地利用在知识图谱中的先验知识。在COC数据集的多标签分类任务上取得了提升。Lee等人同样将知识图谱引入到零样本学习任务中,在多标签分类任务中取得了提升。Kampffmeyer等人在使用知识图谱时,定义先祖和后继传播两种方式,能够更好地利用图谱中的语义信息。
    点云图是指3D扫描器产生的,某个坐标系下的点的集合,其包含了3D的坐标信息、颜色等相比2D图片更多的几何信息。Qi等人使用图神经网络实现了RGBD图片的语义分割务。Wang等人在点云上使用图卷积神经网络,提出通过边卷积的方式收集边的特征,既包含了局部领域的信息,也通过堆叠或循环的方式学习到全局的几何属性。该模型在形状分类(ShapeClassification)和局部分割(PartSegmentation)任务上取得了不错的结果。Landrieu等人使用消息传播机制在点云图上进行建模。
    场景图是另一类在计算机视觉领域较为常见的图结构数据,其节点是物体,边的特征代表其空间关系。相比传统描述的句子线性结构,图结构包含了更多有价值的语义信息。如何使用图卷积神经网络建模场景图受到了大量的关注。Teney等人通过场景图和句子依存句法图的建模,在视觉问答上得到了有效的应用。Chen等人[85]则提出3个图模块:知识图谱、图片区域空间关联图和区域类别分布图,在可视化回答上进行了有效地建模。

    自然语言处理(NLP)

    图卷积神经网络在自然语言处理领域有大量的应用。在该领域中,较为常见的图数据为知识图谱、句法依赖图和抽象含义表达图、词共现图以及其他方式 构 建 的 图。抽 象 含 义 表 达 AbstractMeaning Representation(AMR)是一种将一个句子的含义编码为有根有向图。大量的研究表明,在使用图卷积神经网络模型后,各项自然语言处理任务的结果都出现了一定的提升。图结构的使用,使得对象之间的复杂的语义关系得到了有效地挖掘。相比传统的对于自然语言处理的序列化建模,使用图卷积神经网络能够挖掘出非线性的复杂语义关系。
    Bastings等人将图卷积神经网络作用于依存句法树上,应用在英语和德语、英语和捷克语的机器翻译任务。Beck等人使用门限图神经网络(GGNN)在抽象含义图上,作用于基于语法的机器翻译任务。
    依存句法图或树,节点是单词,连边是语义关系。Liu等人和Nguyen等人使用图卷积神经网络应用于事件提取,这里使用的图是依存句法树。Song等人将图卷积神经网络作用于阅读理解、抽象含义图到文本的生成任务和关系提取等任务上。语义角色标注SemanticRoleLabeling(SRL)的任务是给定一个句子,识别出句子中的谓语和对应的对象。Marcheggiani等人提出使用图卷积神经网络作用于句法依赖图,并且和长短时记忆网络叠加使用,应用于语义角色标注上。
    除了上述的图谱外,词共现网络也被应用于文本分类任务上。其中节点是非停用词,连边是在给定窗口下的词共现关系。Defferrard等人提出了一个在图谱理论上定义的卷积神经网络,它提供了必要的数学背景和有效的数值方案来设计图上的快速局部卷积滤波器。Henaff等人使用图卷积神经网络在Reuter数据集上的文本分类任务。Yao等人通过构建共词网络和文档关系网络,将图卷积神经网络应用到文本分类任务上,在不使用外部知识和单词表达的情况下,取得了最好的结果。Peng等人从原始文本基于词共现网络和一个给定的窗口大小,构建了一个图。然后使用图卷积操作进而实现对于文本的分类任务。

    其他

    在除了上述的应用领域外,包括程序推断、优化求解等任务上,图卷积神经网络都开始被人们使用。由于其可以建模在现实生活中常见的图数据,并且通过卷积、注意力或消息传播等机制,能够将网络的拓扑结构和节点属性等信息以神经网络进行捕获和建模,因此图卷积神经网络有广泛的应用前景。

    参考文献:徐冰冰,岑科廷,黄俊杰,等. 图卷积神经网
    络综述[J]. 计算机学报,2020,43(5):755-780.

    没毛病:大自然的搬运工仅此而已!!!

    更多相关内容
  • 过去几年,卷积神经网络因其强大的建模能力引起广泛关注,在自然语言处理、图像识别...然而,传统的卷积神经网络只能处理欧氏空间数据,而现实生活中的许多场景,如交通网络、社交网络、引用网络等,都是以数据的形式存在。
  • 是一个网络图,一共有6个节点。它的邻接矩阵为A,用于描述的结构。 若两个节点之间有连边,那么邻接矩阵中该元素为1,否则为0。以第0个节点为例(A的第一行),0节点和1、4节点有连边,那么矩阵元素为1。 ...

    尽管在过去的几年中,神经网络的兴起与成功应用使得许多目标检测、自然语言处理、语音识别等领域都有了飞跃发展,但是将 RNN 或者GCN这样的深度学习模型拓展到任意结构的图上是一个有挑战性的问题。受限于传统深度学习方法在处理非欧式空间数据上的局限性,基于图数据结构的图神经网络应运而生。

    在当前的图神经网络,主要分为以下几类,图卷积网络、图注意力网络、图自编码器、图生成网络。而其中图卷积神经网络是许多复杂图神经网络模型的基础,是大多数图神经网络模型通用的架构。图卷积神经网络以其简单的形式开创了图模型上的深度学习方法,并且在许多数据上的节点分类、链路预测等方面取得了非常不错的效果。下面我们将详细介绍一下图卷积神经网络的基本原理和思路。


    1. 图论基础

    下图是一个网络图,一共有6个节点。它的邻接矩阵为 A ,用于描述图的结构。

    若两个节点之间有连边,那么邻接矩阵中该元素为1,否则为0。以第0个节点为例(A的第一行),0节点和1、4节点有连边,那么矩阵元素为1。

    然而,如果每个节点有其自身的特征,那么邻接矩阵无法准确表达这个图。矩阵 H 代表节点的特征矩阵矩阵中的每一行代表每个节点的特征向量。例如0节点的特征向量是 [1, 11]。

    有了邻接矩阵和节点矩阵就能表述网络图了,将邻接矩阵和节点矩阵相乘,我们发现相乘结果矩阵没有保留节点自身的特征信息。如在邻接矩阵中,节点0到自身节点没有连边,因此该元素是0,在特征提取过程中丢失了自身节点的信息。

    为了避免在特征提取过程中丢失自身信息的情况,给网络中的每个节点添加自连接在邻接矩阵中,节点到自身的元素值为1,斜对角线上的元素都变为1。如下图,\tilde{A} 代表有自连接的邻接矩阵

    在网络中每个节点的度代表,该节点有几个邻接的节点,即该节点有几条连边在不加自连接的网络中,如0节点的度为2,而4节点的度为3。加自连接的度矩阵 \tilde{D},如0节点的度为3,而4节点的度为4。


    2. GCN原理

    2.1 GCN 计算公式

    \large H^{(l+1)}=\sigma (\tilde{D}^{-\frac{1}{2}}\cdot \tilde{A}\cdot \tilde{D}^{-\frac{1}{2}}\cdot H^{l}\cdot W^{l})

    W 代表权重矩阵;

    A 代表网络图的邻接矩阵;

    \tilde{A} 代表有自连接网络的邻接矩阵,\tilde{A}=A+I

    \tilde{D} 代表有自连接的邻接矩阵的度矩阵;只有斜对角元素有值的对角矩阵

    自连接度矩阵的计算公式为: \tilde{D_{ii}}=\sum_{j}\tilde{A}_{ij}

    H 代表网络图的节点的特征;

    对角矩阵求逆,就是求对角矩阵每个元素的倒数,变换公式如下

    \large B = \begin{bmatrix} 2 & & \\ & 3 & \\ & & 4 \end{bmatrix} \;\;\;\;\;\;\;\;\;\; B^{-1}=\begin{bmatrix} \frac{1}{2} & & \\ & \frac{1}{3} & \\ & & \frac{1}{4} \end{bmatrix}


    2.2 公式解析 

    (1)为什么要使用有自连接的邻接矩阵

    如果只使用邻接矩阵 A 的话,对角线元素都是0,所以邻接矩阵 A 和节点特征矩阵 H 相乘后只会计算一个节点的所有邻居节点的特征加权和,而该节点自身的特征却被忽略了。因此使用带自连接的邻接矩阵 \tilde{A} 就能将节点自身的特征保留下来,并且通过网络传递下去

    (2)为什么要归一化操作

    自连接邻接矩阵和节点特征矩阵相乘后,如果有的节点的连边比较多,那么计算后的某些节点特征就很大,需要对节点特征进行归一化操作,\tilde{D}^{-\frac{1}{2}}\cdot \tilde{A}\cdot \tilde{D}^{-\frac{1}{2}}

    A 是没有经过归一化的矩阵,如果用它和节点的特征矩阵 H 相乘,意味着特征指标之间的量纲影响没有被消除会改变特征的原本的分布情况,会极大地影响最终的效果,因此我们需要使用归一化或者标准化来将所有数据限制在一个合理的区间范围内,消除奇异样本数据导致的不良影响。平衡那些度很大的节点的重要性。也称为对称归一化拉普拉斯矩阵

    normA_{ij}=\frac{A_{ij}}{\sqrt{d_{i}}\cdot \sqrt{d_{j}}}


    2.3 前向传播方式

    以一个两层 GCN 网络的前向传播为例,计算公式如下:

    \large Y = f(H,A) = Softmax(\hat{A}\cdot ReLU(\hat{A}\cdot H\cdot W^{0})W^{1})

    \large \hat{A} 代表归一化之后的带自连接的邻接矩阵;

    \large H 代表每个节点的特征;

    \large W^{0} 代表第一层 GCN 层的可学习的权重参数;

    \large ReLU 代表激活函数;

    ReLU(\hat{A}\cdot H\cdot W^{0}) 代表每个节点经过一层GCN层之后的提取的特征;

    W^{1} 代表第二层 GCN 层的可学习的权重参数;

     \hat{A}\cdot ReLU(\hat{A}\cdot H\cdot W^{0})W^{1} 代表每个节点经过第二层GCN层之后提取的特征;

    最终需要预测每个节点所属的类别,经过 Softmax 函数,得到每个节点属于每个类别的概率 Y 。


    如下图所示,X 代表每个节点的特征C 代表初始特征的维度数量,经过一系列 GCN 层,得到新的节点特征 Z,以及输出特征维度的数量 F,再经过 Softmax 函数,得到节点属于每个类别的概率。


    如何从 GCN 的输出层转为类别概率

    方法一: 最后一层的 GCN 层的隐含层特征数等于类别数,直接使用 Softmax 输出概率。

    方法二: 在最后一层 GCN 层输出的 F 维特征后面再接一个全连接层,作为分类器,使全连接层的输出数和类别数相同。

    展开全文
  • 图卷积神经网络入门详解

    千次阅读 多人点赞 2020-08-22 23:29:11
    图卷积缘起 在开始正式介绍图卷积之前,我们先花一点篇幅探讨一个问题:为什么研究者们要设计图卷积操作,传统的卷积不能直接用在图上吗?要理解这个问题,我们首先要理解能够应用传统卷积的图像(欧式空间)与图(非...

    图卷积缘起

    在开始正式介绍图卷积之前,我们先花一点篇幅探讨一个问题:为什么研究者们要设计图卷积操作,传统的卷积不能直接用在图上吗? 要理解这个问题,我们首先要理解能够应用传统卷积的图像(欧式空间)图(非欧空间)的区别。如果把图像中的每个像素点视作一个结点,如下图左侧所示,一张图片就可以看作一个非常稠密的图;下图右侧则是一个普通的图。阴影部分代表卷积核,左侧是一个传统的卷积核,右侧则是一个图卷积核。卷积代表的含义我们会在后文详细叙述,这里读者可以将其理解为在局部范围内的特征抽取方法。

     

    仔细观察两个图的结构,我们可以发现它们之间有2点非常不一样:

    • 在图像为代表的欧式空间中,结点的邻居数量都是固定的。比如说绿色结点的邻居始终是8个(边缘上的点可以做Padding填充)。但在图这种非欧空间中,结点有多少邻居并不固定。目前绿色结点的邻居结点有2个,但其他结点也会有5个邻居的情况。
    • 欧式空间中的卷积操作实际上是用固定大小可学习的卷积核来抽取像素的特征,比如这里就是抽取绿色结点对应像素及其相邻像素点的特征。但是因为图里的邻居结点不固定,所以传统的卷积核不能直接用于抽取图上结点的特征。

    真正的难点聚焦于邻居结点数量不固定上。那么,研究者如何解决这个问题呢?其实说来也很简单,目前主流的研究从2条路来解决这件事:

    • 提出一种方式把非欧空间的图转换成欧式空间。
    • 找出一种可处理变长邻居结点的卷积核在图上抽取特征。

    这两条实际上也是后续图卷积神经网络的设计原则,图卷积的本质是想找到适用于图的可学习卷积核

    图卷积框架(Framework)

    上面说了图卷积的核心特征,下面我们先来一窥图卷积神经网络的全貌。如下图所示,输入的是整张图,在Convolution Layer 1里,对每个结点的邻居都进行一次卷积操作,并用卷积的结果更新该结点;然后经过激活函数如ReLU,然后再过一层卷积层Convolution Layer 2与一层激活函数;反复上述过程,直到层数达到预期深度。与GNN类似,图卷积神经网络也有一个局部输出函数,用于将结点的状态(包括隐藏状态与结点特征)转换成任务相关的标签,比如水军账号分类,本文中笔者称这种任务为Node-Level的任务;也有一些任务是对整张图进行分类的,比如化合物分类,本文中笔者称这种任务为Graph-Level的任务。卷积操作关心每个结点的隐藏状态如何更新,而对于Graph-Level的任务,它们会在卷积层后加入更多操作。

     

     

    多说一句,GCN与GNN乍看好像还挺像的。为了不让读者误解,在这里我们澄清一下它们根本上的不同:GCN是多层堆叠,比如上图中的Layer 1Layer 2的参数是不同的;GNN是迭代求解,可以看作每一层Layer参数是共享的。

    卷积(Convolution)

    图卷积神经网络主要有两类,一类是基于空域的,另一类则是基于频域的。通俗点解释,空域可以类比到直接在图片的像素点上进行卷积,而频域可以类比到对图片进行傅里叶变换后,再进行卷积。傅里叶变换的概念我们先按下不讲,我们先对两类方法的代表模型做个大概介绍。

    基于空域卷积的方法直接将卷积操作定义在每个结点的连接关系上,它跟传统的卷积神经网络中的卷积更相似一些。在这个类别中比较有代表性的方法有 Message Passing Neural Networks(MPNN)[1], GraphSage[2], Diffusion Convolution Neural Networks(DCNN)[3], PATCHY-SAN[4]等。

    基于频域卷积的方法则从图信号处理起家,包括 Spectral CNN[5], Cheybyshev Spectral CNN(ChebNet)[6], 和 First order of ChebNet(1stChebNet)[7]等。

    在介绍这些具体的模型前,先让我们从不同的角度来回顾一下卷积的概念,重新思考一下卷积的本质。

    基础概念

    由维基百科的介绍我们可以得知,卷积是一种定义在两个函数(ff跟gg)上的数学操作,旨在产生一个新的函数。那么f和g的卷积就可以写成f∗g,数学定义如下:

    光看数学定义可能会觉得非常抽象,下面我们举一个掷骰子的问题,该实例参考了知乎问题"如何通俗易懂地解释卷积"[8]的回答。

    想象我们现在有两个骰子,两个骰子分别是f跟g,f(1)表示骰子f向上一面为数字1的概率。同时抛掷这两个骰子1次,它们正面朝上数字和为4的概率是多少呢?相信读者很快就能想出它包含了三种情况,分别是:

    • f 向上为1,g 向上为3;
    • f向上为2,g 向上为2;
    • f 向上为3,g 向上为1;

    最后这三种情况出现的概率和即问题的答案,如果写成公式,就是。可以形象地绘制成下图:

     

    对应到不同方面,卷积可以有不同的解释:g 既可以看作我们在深度学习里常说的(Kernel),也可以对应到信号处理中的滤波器(Filter)。而 f 可以是我们所说的机器学习中的特征(Feature),也可以是信号处理中的信号(Signal)。f和g的卷积 (f∗g)就可以看作是对f的加权求和。下面两个动图就分别对应信号处理与深度学习中卷积操作的过程[9][10]。

    信号处理中的卷积

    深度学习中的卷积

    空域卷积(Spatial Convolution)

    介绍完卷积的基础概念后,我们先来介绍下空域卷积(Spatial Convolution)。从设计理念上看,空域卷积与深度学习中的卷积的应用方式类似,其核心在于聚合邻居结点的信息。比如说,一种最简单的无参卷积方式可以是:将所有直连邻居结点的隐藏状态加和,来更新当前结点的隐藏状态。

    消息传递网络(Message Passing Neural Network)

    消息传递网络(MPNN)[1] 是由Google科学家提出的一种模型。严格意义上讲,MPNN不是一种具体的模型,而是一种空域卷积的形式化框架。它将空域卷积分解为两个过程:消息传递状态更新操作,分别由Ml(⋅)和Ul(⋅)函数完成。将结点vv的特征xv作为其隐藏状态的初始态hv0后,空域卷积对隐藏状态的更新由如下公式表示:

     

    其中l代表图卷积的第l层,上式的物理意义是:收到来自每个邻居的的消息Ml+1后,每个结点如何更新自己的状态。

    如果读者还记得GNN的话,可能会觉得这个公式与GNN的公式很像。实际上,它们是截然不同的两种方式:GCN中通过级联的层捕捉邻居的消息,GNN通过级联的时间来捕捉邻居的消息;前者层与层之间的参数不同,后者可以视作层与层之间共享参数。MPNN的示意图如下[11]:

    图采样与聚合(Graph Sample and Aggregate)

    MPNN很好地概括了空域卷积的过程,但定义在这个框架下的所有模型都有一个共同的缺陷:卷积操作针对的对象是整张图,也就意味着要将所有结点放入内存/显存中,才能进行卷积操作。但对实际场景中的大规模图而言,整个图上的卷积操作并不现实。GraphSage[2]提出的动机之一就是解决这个问题。从该方法的名字我们也能看出,区别于传统的全图卷积,GraphSage利用采样(Sample)部分结点的方式进行学习。当然,即使不需要整张图同时卷积,GraphSage仍然需要聚合邻居结点的信息,即论文中定义的aggregate的操作。这种操作类似于MPNN中的消息传递过程。

    GraphSage采样过程

     

    展开全文
  • 图卷积神经网络5:图卷积的应用

    千次阅读 多人点赞 2020-12-06 12:56:04
    图卷积神经网络1-谱域卷积:拉普拉斯变换到谱域图卷积 图卷积神经网络2-谱域卷积:SCNN/ChebNet/GCN的引入和介绍 图卷积神经网络3-空域卷积:GNN/GraphSAGE/PGC的引入和介绍 图卷积神经网络4-空域卷积:空域卷积...

    知乎主页https://www.zhihu.com/people/shuang-shou-cha-dai-53icon-default.png?t=LBL2https://www.zhihu.com/people/shuang-shou-cha-dai-53

    备注:本篇博客摘自某培训机构上的图神经网络讲解的视频内容,该视频关于图神经网络入门讲解、经典算法的引入和优缺点的介绍比较详细,逻辑主线也比较清晰。因此记录分享下。


    前几篇介绍了谱域图卷积及空域图卷积:

    图卷积神经网络1-谱域卷积:拉普拉斯变换到谱域图卷积

    图卷积神经网络2-谱域卷积:SCNN/ChebNet/GCN的引入和介绍

    图卷积神经网络3-空域卷积:GNN/GraphSAGE/PGC的引入和介绍

    图卷积神经网络4-空域卷积:空域卷积局限性分析和过平滑解决方案

    本篇博客主要讲解图卷积神经网络的主要应用。

    目录

    1:简介

    2:图卷积在交通预测上的应用(主要讲解)

    2.1:交通预测任务介绍

    2.2:实现方法

    2.2.1:单节点忽略空间信息

    2.2.2:构建时空矩阵

    2.2.3 栅格模型

    3:图的构建

    3.1:高斯核构建邻接矩阵

    3.2:多图表示法

    4:小结

    5:其他方面

    5.1:天气预测

    5.2:骨架视频

    5.3:文本分类

    5.4:小结


    1:简介

    2:图卷积在交通预测上的应用(主要讲解)

    2.1:交通预测任务介绍

    说明一下公式:V_{t}\varepsilon R^{n*c},其中 n 是节点数,c 是通道数,也就是说,有 n 个节点,每个节点上是一个1 ∗ c 的向量,代表节点上的信号,这还只是一个时刻的交通数据。通常来说,交通数据中的节点可以由道路、十字路口、监测站或者一个区域来代表。这个c cc其实就是节点的信号,也就是特征,可以是车的流量、车速、这个区域或者道路的拥挤程度等。

    如果是单一信息预测,比如说交通流量预测,那么c 就等于1,这种情况也就是说在某个时刻,一个节点上只有一个特征,这个特征代表交通流量。

    上面右图是一个示例。实际上不仅预测下一时刻,也可预测多个时刻。

    以上就是交通数据介绍,下面具体看看实现方法:

    2.2:实现方法

    2.2.1:单节点忽略空间信息

    上面只考虑了单个节点,下面看多个节点的处理办法:

    但是这里有一个问题:将所有的节点排成一排后,节点就完全失去了空间的信息。

    2.2.2:构建时空矩阵

    这个其实就是节点只考虑了周围的两个节点,比如说2号节点只考虑了1和3号节点,而不会考虑其他的节点。这种其实要求数据集是很特殊的,如上面右图,是一个环状的,就可以使用这种思想,但是一般的交通结构不是这种的,所以此模型不具有泛化性。

    2.2.3 栅格模型

    上面这个模型可以看作是从传统的方法到图方法的过渡,使用node embedding的方法来辅助交通预测任务。

    上面的这张图我们在前面其实提到过,现在放在交通流量预测中我们再来看看:输入的每个节点上只有一个数(特征),但是输入的数据是一个历史数据,比如说输入的是过去的5个时刻的数据,预测未来3个时刻的数据,那么输入的每个节点上的数为5,也就是C = 5,表示过去的5个时刻;同样的输出的每个节点上的数为3,也就是F = 3 F=3,表示预测未来3个时刻的流量。

    上面这个就是通过建模来预测交通流量问题,当然这个只是其中的一种建模方法,更多在处理时序数据的时候使用的是LSTM和图卷积结合起来,在这里只讲全图卷积来进行流量预测。

    可以说交通流量预测问题就是一个节点回归问题,需要对每一个节点上的信号给出一个具体的值,这个值就是此节点上未来的多个时刻的交通流量。

    虽然这里介绍的是交通流量预测问题,但是图的构建问题是广泛存在多个领域的,是很重要的部分,如果连图的构建都不会,还想做后面的工作,想peach呢?需要说明一下,图的构建问题实际上就是如何构建出邻接矩阵。

    3:图的构建

    3.1:高斯核构建邻接矩阵

    解释一下上面的公式:d_{ij} 表示 i 节点和 j 节点的欧式距离,w_{ij} 为两个节点的关系,显然 d 越大,w_{ij}​就越小,同时设定一个阈值,超出这个范围,那w_{ij}=0 。

    3.2:多图表示法

    对相关图解释一下,比如说有A和B两个节点,在一段时间中,它们的交通流量呈现相似性,那么就可以认为它们的相关性高。

    最后就是将距离图、交互图、相关图这三种图进行融合,首先的意思就是对邻接矩阵标准化或者说归一化,然后添加自连接边,最后就表示加权求和的过程,F 是最后融合的图的权重,W'_{i}是可学习的参数。

    虽然实验结果表明,多图表示法效果最好,但是加权求和起来的图是否可靠是有疑问的,没有理论的支持。而且这样图确定后不能再变了,但是交通预测中图是随时间变化的。

    上面介绍的都是人为的手工去构造图结构,那么能不能用深度学习的方法自动的学习图结构呢?下面来看:

    解释一下上面的公式:​\widetilde{A}_{apt}^{}k 是邻接矩阵,X 是输入特征,W_{k} 是卷积核参数,和ChebNet网络很相似。

    这篇文章中的邻接矩阵是可学习的,\widetilde{A}_{apt}^{}k ​就是自适应的邻接矩阵,但是由于\widetilde{A}_{apt}^{}k​是一个N ∗ N 的矩阵,由于参数量太大,直接学习是不现实,所以对\widetilde{A}_{apt}^{}k 进行了相当于矩阵分解的操作,就是\widetilde{A}_{apt}^{}k = SoftMax(ReLu(E_{1}E_{2}^{T}) ,也就是将\widetilde{A}_{apt}^{}k 分解成E_{1}  和 E_{2}^{T} ​。现在假设E_{1}  ∈ R^{N*P},一般P<<N,E_{2}  ∈ R^{N*P}转置后相乘就会把P消掉,所以E_{1}E_{2}^{T}N*N。这样就降低了参数量的作用。

    这篇文章只能自动学习到邻接矩阵,学习下来后就固定了,而不能动态的改变邻接矩阵。

    那么有没有学习动态的图结构的方法呢?答案是有的。

    这个就是说Attention机制在学习注意力参数a_{ij} ​时,不同的输入会学习到不同的a_{ij},所以就达到了学习动态图的效果。


    4:小结


    5:其他方面

    5.1:天气预测

    可以发现与交通预测的数据建模很相似。


    5.2:骨架视频


    5.3:文本分类


    5.4:小结

    知乎主页https://www.zhihu.com/people/shuang-shou-cha-dai-53icon-default.png?t=LBL2https://www.zhihu.com/people/shuang-shou-cha-dai-53

    展开全文
  • GCN图卷积神经网络综述

    千次阅读 多人点赞 2020-05-13 00:01:58
    多样的图特性给图卷积神经网络的构建带来更多信息,但是多种特性的建模也要求图卷积神经网络的设计更加复杂精细,给图卷积神经网络带来新的挑战。 图数据的规模很大:在大数据时代,实际应用中的图可能规模极大,...
  • 通过前面的讲解,我们大致了解了什么是图卷积神经网络,有了一个较熟悉的认识,接下来介绍一下图卷积神经网络的应用。应用较多,主要详细讲解交通预测。 目录一、简介二、图卷积在交通预测上的应用(详讲)1.交通...
  • 浅析图卷积神经网络

    万次阅读 多人点赞 2018-05-21 10:31:11
    今天想和大家分享的是图卷积神经网络。随着人工智能发展,很多人都听说过机器学习、深度学习、卷积神经网络这些概念。但图卷积神经网络,却不多人提起。那什么是图卷积神经网络呢?简单的来说就是其研究的对象是图...
  • 2.1. 经典卷积神经网络的应用 2.2. 经典卷积神经网络的局限 2.3. 如何将卷积操作拓展到结构数据中? 谱域卷积 3.1. 图谱卷积背景知识 3.2. 图谱卷积的数学知识 3.3. 傅里叶变换 3.4. 傅里叶反变换 3.5. ...
  • 图卷积神经网络(GCN)

    万次阅读 多人点赞 2019-08-09 14:25:46
    参考文章: 浅析图卷积神经网络 - GEETEST极验的文章 - 知乎 何时能懂你的心——图卷积神经网络(GCN) - 蝈蝈的文章 - 知乎
  • 图卷积神经网络(GCN)

    千次阅读 2020-09-27 07:18:33
    图卷积神经网络 GCN是什么
  • 1:图卷积神经网络回顾 2:空域图卷积局限性分析 3:过平滑问题的若干缓解方案 4:总结 1:图卷积神经网络回顾 图卷积神经网络分类: 上图列出的图卷积缺点,使得谱域图卷积不能实际使用,而造成这种...
  • 图像分类的深度卷积神经网络模型综述 图像分类的深度卷积神经网络模型综述 图像分类的深度卷积神经网络模型综述 图像分类的深度卷积神经网络模型综述 图像分类的深度卷积神经网络模型综述 图像分类的深度卷积神经...
  • 图卷积神经网络整理

    万次阅读 多人点赞 2019-06-22 11:42:25
    图卷积神经网络的整理(理论+代码)一、背景1.1 离散卷积1.2 非结构化数据1.3 图卷积的大致流派二、基于谱的图卷积三、基于空间域的图卷积 一、背景 1.1 离散卷积 首先这篇文章需要基于你已经理解CNN在图像上的原理...
  • 核心在于kernel,kernel是一个个小窗口,在图片上平移,通过卷积的方式来提取特征。这里的关键在于图片结构上的平移不变性:一个小窗口无论移动到图片的哪一个位置,其内部的结构都是一模一样的,因此CNN可以实现...
  • DeepChem-使用图卷积神经网络对化学分子建模 在深度学习中,图卷积神经网络特别适合处理化学分子数据,也经常被用于处理分子数据。 这是因为化学分子本身就是一个图数据。但是如何将分子转化为图神经网络可以使用的...
  • 卷积神经网络(CNN)在表示高光谱图像和实现高光谱图像分类方面表现出令人印象深刻的能力。然而,传统的CNN模型只能对固定大小和权重的规则正方形图像区域进行卷积,因此不能普遍适用于具有不同对象分布和几何外观的...
  • 图卷积神经网络(GCN)入门

    千次阅读 2020-12-28 19:22:51
    从CNN到GCN,如何将欧式数据上定义的卷积迁移到非欧数据上
  • 图卷积神经网络(GCN)目前的应用领域

    千次阅读 2020-11-13 10:53:15
    中科院沈华伟老师课题组的论文 ... 提取码:mrvd 论文内容很多,论文中有张...主要集中于以下几个领域: 网络分析、推荐系统、 生物化学、 交通预测、 计算机视觉、 自然语言处理等 我们将下游任务分为节点级别的..
  • 在生活中的某个时刻我们会发现,在...图卷积神经网络 在传统的神经网络层中,我们在层输入矩阵X和可训练权值矩阵w之间进行矩阵乘法,然后应用激活函数f。因此,下一层的输入(当前层的输出)可以表示为f(XW)。在图卷
  • 时空图卷积神经网络比较好的帖子

    千次阅读 2020-05-14 19:19:48
    时空图卷积神经网络比较好的帖子: 1、https://www.cnblogs.com/shyern/p/11262926.html#_label4_0 2、https://zhoef.com/2019/08/24/14_ST-Gcn/
  • 【GCN】从文本分类来看图卷积神经网络

    千次阅读 多人点赞 2020-03-11 12:02:04
    比如说卷积神经网络(CNN)在图像识别领域的成功以及循环神经网络(LSTM)在文本识别领域的成功。对于图像来说,计算机将其量化为多维矩阵;对于文本来说,通过词嵌入(word embedding)的方法也可以将文档句子量化为规则...
  • 一种基于图卷积神经网络的脑电情感识别方法 技术领域 本发明属于信号处理技术领域,更具体涉及一种基于图卷积神经网络的脑电情感识别方法。 背景技术 在众多生理信号中,由于脑电直接取自大脑信号,能直接...
  • 图卷积神经网络 (1)基于谱方法(Spectral Methods): 由卷积定理可知,函数卷积的傅立叶变换是函数傅立叶变换的乘积。 未完待续。。。。。。 (2)基于非谱方法(Non-spectral Methods): ...
  • 图卷积神经网络主要要完成的就是这件事,给定一个图网络,把节点(node)(又称顶点(vertex))与 边(edge)输入进一个函数,希望得到一个各个节点的feature信息,利用这个feature去实现各种任务(比...
  • 本篇博客为中国科学院计算技术研究所 沈华伟老师 Convolutional ...老师从CNN开始引入,围绕如何在graph上解决卷积操作,逐步介绍了图卷积的谱方法以及空间方法的发展过程,进而回答了谱方法与空间方法的关系。...
  • 因为对图卷积神经网络的概念还是比较模糊的,所以想看看...图卷积卷积神经网络基础上加入了邻接矩阵的信息,这个边是否存在 例子:其中特征矩阵h0和权重w是随机的,w在gcn中并没有那么重要,所以可以随机初始化。
  • 图神经网络----GCN图卷积神经网络+代码理解

    千次阅读 多人点赞 2020-11-12 20:10:07
    (文章写得非常好,看不懂的是傻瓜......) GCN问世已经有几年了(2016年就诞生了),但是这两年尤为火爆。本人愚钝,一直没能搞懂这个GCN为何物,最开始是看清华写的一篇三四十页的综述,读了几页就没读了;...
  • GCN图卷积神经网络入门

    千次阅读 2019-07-17 20:02:53
    如有错误,请批评指正 如需PPT请留言
  • 此博文是对深蓝学院《图卷积神经网络》课程笔记进行整理,简要阐述了谱域图卷积背景知识以及经典的图谱卷积模型。 其中背景知识先摆出结论,之后通过提问题的方式循序渐进引出各种知识点,如图谱卷积定理、傅立叶...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 136,765
精华内容 54,706
关键字:

图卷积神经网络

友情链接: modbus-master.zip