精华内容
下载资源
问答
  • 图卷积神经网络

    2019-11-07 14:29:43
    文章目录引言概述挑战现有方法任务图的基础图卷积神经网络图卷积神经网络应用领域 引言 概述 过去几年,卷积神经网络因其强大的建模能力引起广泛关注,在自然语言处理、图像识别等领域成功应用。然而, 传统的卷积...

    引言

    概述

    过去几年,卷积神经网络因其强大的建模能力引起广泛关注,在自然语言处理、图像识别等领域成功应用。然而, 传统的卷积神经网络只能处理欧氏空间数据,而现实生活中的许多场景,如交通网络、社交网络、引用网络等,都是以图数 据的形式存在。将卷积神经网络迁移到图数据分析处理中的核心在于图卷积算子的构建和图池化算子的构建。
    图卷积神经网络的两类经典方法——谱方法空间方法,图数据上平移不变性 的缺失给图卷积算子的定义带来困难,谱方法借助卷积定理在谱域定义图卷积,而空间方法通过在节点域定义节点相关性来实现图卷积

    挑战

    1. 图数据是非欧空间数据。不满足平移不变形,具有各异的局部结构,而传统卷积神经网络中的基本算子:卷积和池化,依赖于平移不变形。
    2. 图数据具有多样性。社交网络中用户的有向连接,引文网络中作者和引文的异质连接,政治关系网络中的正负倾向带符号连接等。
    3. 图数据规模大。实际应用中的图可能规模极 大,含有百万甚至千万级别的节点。

    现有方法

    • 网页排序:PageRank,HITS
    • 社区分类/人群聚类:拉普拉斯矩阵的特征值和特征向量
    • 网络嵌入:通过约束节点的邻近性为每个节点学习固定长度的表达,如DeepWalk,LINE,Node2Vec。在解决具体的应用问题时,研究人员通常将其建模为两阶段问题,以节点分类为例,第一阶段为每个节点学习统一长度的表达,第二阶段将节点表达作为输入,训练分类模型。
    • 谱方法:在谱空间定义图卷积,ChebNet和GCN对谱方法中的 卷积核进行参数化,大大降低了时空复杂度。
    • 空间方法:在节点域用注意力机制、序列化模型等建模节点间的权重
    • 池化算子。作用是扩大感受野,降低参数。图上池化算子主要用 于图分类问题,目的是学习到图的层级结构

    图卷积神经网络的主要方法如下:
    在这里插入图片描述

    任务

    图数据建模所针对的应用场景非常广泛,这也 使得图数据建模所处理的任务多样。我们将下游任 务分为节点级别的任务和图级别的任务。

    • 节点级别的任务包括节点分类,链接预测等,如引文网络中的文章分类,推荐系统中用户对商品的偏好推断。
    • 图级别的任务包括图生成,图分类等,如药物网络生成,蛋白质网络中的蛋白质分类。

    图的基础

    在这里插入图片描述
    度矩阵,拉普拉斯矩阵和邻接矩阵的关系
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    归一化后的 拉普拉斯矩阵定义为在这里插入图片描述

    图卷积神经网络

    图卷积神经网络主要包括卷积算子和池化算 子的构建,其中卷积算子的目的是刻画节点的局部 结构,而池化算子的目的是学到网络的层级化表 示,降低参数。在解决节点级别的任务时,研究人 员更关注如何给每个节点学到更好的表达,此时池 化算子并不必要,因此前期大量的工作仅关注图上 卷积算子的构建,而池化算子通常用在图级别的任务上

    图卷积神经网络应用领域

    在这里插入图片描述

    展开全文
  • 如果说图神经网络是AI未来的研究重点,那图卷积神经网络必定是重点中的重点。这是为什么呢?一切还要从卷积神经网络说起。卷积神经网络想必大家并不陌生,自2012年起,AlexNet[1]这个由GPU计算集群支持的复杂卷积...

    如果说图神经网络是AI未来的研究重点,那图卷积神经网络必定是重点中的重点。这是为什么呢?一切还要从卷积神经网络说起。

    卷积神经网络想必大家并不陌生,自2012年起,AlexNet[1]这个由GPU计算集群支持的复杂卷积神经网络多次成为ImageNet大规模视觉识别竞赛(ImageNet Large Scale Visual Recognition Challenge, ILSVRC)的优胜算法后,包括之后ZFNet [2]、VGGNet[3]、GoogLeNet [4]和ResNet [5]的卓越表现,使得卷积神经网路越来越火。

    但是随着深入的研究,研究人员发现卷积神经网络只能处理规则的图(如图像、视频等),而难以处理那些不规则的图(如社交网络、交通流量图等)。其中最主要的是原因是很难为不规则的图构建合适的卷积核。

    卷积核可谓是卷积神经网络的核心,它通常是3X3大小的矩阵(图一中间)。卷积核通过滑过图中的节点来提取局部特征。从图二中可以看到这种图的结构是非常有规则的。每个节点都有8个相邻的节点。但是针对于不规则的图来说,图中的每个节点的邻居数量都是不确定的,因此很难去设计一个固定大小的卷积核。

    8dcb62a9ad28e2a24d8f832d18fc7a75.gif

    图一:卷积操作流程

    99c07bd20c3f0c8ad53f2a288e4047a6.png

    图二:左图规则图,右图不规则图

    其次,就是卷积神经网路没有办法处理边的信息的。通常对于规则的图的边一般是默认不计的,或者说节点之间的关系是一样的,因此在用卷积神经网络处理不规则图时,边的信息是不能体现的。

    针对以上这两个主要的问题,就研究出了图卷积神经网络。对于卷积核设计,一开始研究人员的想法是既然不能确定节点邻居的个数,就干脆为整个图设计一个大的卷积核,即卷积核的大小和图的大小一样。但是这样就会导致得到的模型只能处理一张图,不具有通用性。因此之后也出现了能够局部处理的卷积核,例如基于Chebyshev多项式的局部卷积核[6]。

    对于不能处理边信息的这个问题,采用图的邻接矩阵来解决。邻接矩阵是用来描述图中节点和节点之间的关联强度,可以通过计算节点信息之间的相关系数得到。

    57e44d17f4677aee44223478f9626dc0.png

    图三:获得邻接矩阵的简单示意图

    在解决了这两个主要问题之后,图卷积神经网络便得到了更快的发展。可以看出它的主要思想是通过汇总节点v自身的特征和节点v邻居节点的特征来生成节点v新的特征,这与卷积神经网络的思想是一致的。因此图卷积神经网络也可以看作卷积神经网络在图上的一个拓展。

    与循环图神经网络、图自编码和图时空网络等其他的图神经网络模型相比,图卷积神经网络因为具有能够堆叠多层、应用领域更多等优势,成为了图神经网络中的主要研究对象。


    参考论文

    [1]AlexNet(2012 NIPS):ImageNet Classification with Deep Convolutional Neural Networks

    [2]ZFNet(2014 ECCV):Visualizing and Understanding Convolutional Networks

    [3]VGG(2015 ICLR):Very Deep Convolutional Networks for Large-Scale Image Recognition

    [4]Inception-V1(2015 CVPR):Going Deeper with Convolutions

    [5]ResNetv1(2016 CVPR):Deep Residual Learning for Image Recognition

    [6]ChebNet(2016 NIPS):Convolutional neural networks on graphs with fast localized spectral filtering

    展开全文
  • 虽然自己是个做CV的,但是对这一块还是蛮感兴趣的,借助于中国科学院计算技术研究所的沈华伟老师的精彩分享,在此次报告中对于图卷积神经网络的历史、发展现状、未来展望进行了高度总结,对于我这种刚看了几篇相关...

    前言:今天下午有幸听了中国中文信息学会和北京智源组织的图神经网络在线研讨会,虽然自己是个做CV的,但是对这一块还是蛮感兴趣的,借助于中国科学院计算技术研究所的沈华伟老师的精彩分享,在此次报告中对于图卷积神经网络的历史、发展现状、未来展望进行了高度总结,对于我这种刚看了几篇相关paper的小白犹如醍醐灌顶,特此做一下相关paper的笔记,也算是接下来paper阅读的路径吧。行文比较简单,先做个大纲,后续可能会有详细论文笔记,也算是对自己的督促。

    1.图卷积神经网络划分

    1.基于谱方法的图卷积神经网络:卷积经由傅里叶变换和卷积定理定义。

    2.基于空间方法的图卷积神经网络:定义在目标顶点邻域的加权平均函数。

    谱方法算是空间方法的特例,两者为被包含和包含的关系。

    2.基于谱方法的图卷积神经网络相关paper

    顺序分先后

    (1)J. Bruna, W. Zaremba, A. Szlam, and Y.LeCun. Spectral networks and locally connected  networks on graphs.

    ICLR, 2014.

    (2)M. Defferrard, X. Bresson, P. Vandergheynst. Convolutional neural networks on graphs  with fast localized spectral filtering. NeuraIPS, 2016.

    (3)Xu B , Shen H , Cao Q , et al. Graph Wavelet Neural Network[J]. 2019.

    2.基于空间方法的图卷积神经网络相关paper

    可简单将卷积计算划分为以下三步:(1)各点邻域确定;(2)对于各点邻域内各点次序确定;(3)参数共享,卷积计算。而CNN无法应用到图结构的数据上的原因就在于第(1),(2)条,所以只要能够确定图中一个顶点的邻域以及其中点的顺序,那么就能够对图结构数据进行卷积操作。

    (1)M. Niepert, M. Ahmed, K. Kutzkov. Learning Convolutional Neural Networks for Graphs.  ICML, 2016.

    (2)W. L. Hamilton, R. Ying, J. Leskovec. Inductive Representation Learning on Large Graphs.  NeuraIPS2017.

    (3)T. N. Kipf, and M. Welling. Semi-supervised classification with graph convolutional  networks. ICLR 2017.

    (4)P. Velickovic, G. Cucurull, A. Casanova, A. Romero, P. Lio, Y. Bengio. Graph Attention  Networks. NeuraIPS2018.

    (5)F. Monti, D. Boscaini, J. Masci, E. Rodola, J. Svoboda, M. M. Bronstein. Geometric deep  learning on graphs and manifolds using mixture model CNNs. CVPR 2017.

    (6)Bingbing Xu, Huawei Shen, Qi Cao, Keting Cen, Xueqi Cheng. Graph Convolutional Networks using Heat Kernel for Semi-supervised Learning, IJCAI 2019.

    展开全文
  • 通过前面的讲解,我们大致了解了什么是图卷积神经网络,有了一个较熟悉的认识,接下来介绍一下图卷积神经网络的应用。应用较多,主要详细讲解交通预测。 目录一、简介二、图卷积在交通预测上的应用(详讲)1.交通...

    上一节: 链接.
    通过前面的讲解,我们大致了解了什么是图卷积神经网络,有了一个较熟悉的认识,接下来介绍一下图卷积神经网络的应用。应用较多,主要详细讲解交通预测。

    一、简介

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    二、图卷积在交通预测上的应用(详讲)

    1.交通预测任务介绍

    在这里插入图片描述
    在这里插入图片描述
    说明一下公式:VtRncV_t \in R^{n*c},其中nn是节点数,cc是通道数,也就是说,有nn个节点,每个节点上是一个1c1*c的向量,代表节点上的信号,这还只是一个时刻的交通数据。通常来说,交通数据中的节点可以由道路、十字路口、监测站或者一个区域来代表。这个cc其实就是节点的信号,也就是特征,可以是车的流量、车速、这个区域或者道路的拥挤程度等。

    如果是单一信息预测,比如说交通流量预测,那么cc就等于1,这种情况也就是说在某个时刻,一个节点上只有一个特征,这个特征代表交通流量。

    上面右图是一个示例。

    当然不仅预测下一时刻,也可预测多个时刻。
    在这里插入图片描述

    以上就是交通数据介绍,接下来看看具体是怎么样做的。

    2.各种方法介绍

    2.1 忽略空间信息

    在这里插入图片描述
    在这里插入图片描述
    上面只考虑了单个节点,多个节点怎么处理?下面接着看:
    在这里插入图片描述
    但是有个问题就是:将所有的节点排成一排,那么节点就完全失去了空间的信息。

    2.2 构建 spatio-temporal matrix

    在这里插入图片描述
    在这里插入图片描述
    这个其实就是节点只考虑了周围的两个节点,比如说2号节点只考虑了1和3号节点,而不会考虑其他的节点。这种其实要求数据集是很特殊的,如上面右图,是一个环状的,就可以使用这种思想,但是一般的交通结构不是这种的,所以此模型不具有泛化性。

    2.3 栅格模型

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    上面这个模型可以看作是从传统的方法到图方法的过渡,使用node embedding的方法来辅助交通预测任务。
    在这里插入图片描述
    在这里插入图片描述

    2.4 图模型

    在这里插入图片描述
    在这里插入图片描述
    上面的这张图我们在前面其实提到过,现在放在交通流量预测中我们再来看看:输入的每个节点上只有一个数(特征),但是输入的数据是一个历史数据,比如说输入的是过去的5个时刻的数据,预测未来3个时刻的数据,那么输入的每个节点上的数为5,也就是C=5C=5,表示过去的5个时刻;同样的输出的每个节点上的数为3,也就是F=3F=3,表示预测未来3个时刻的流量。

    上面这个就是通过建模来预测交通流量问题,当然这个只是其中的一种建模方法,更多在处理时序数据的时候使用的是LSTM和图卷积结合起来,在这里只讲全图卷积来进行流量预测。

    可以说交通流量预测问题就是一个节点回归问题,需要对每一个节点上的信号给出一个具体的值,这个值就是此节点上未来的多个时刻的交通流量。
    在这里插入图片描述
    虽然这里介绍的是交通流量预测问题,但是图的构建问题是广泛存在多个领域的,是很重要的部分,如果连图的构建都不会,还想做后面的工作,想peach呢?需要说明一下,图的构建问题实际上就是如何构建出邻接矩阵。

    3.图的构建

    3.1 高斯核构建邻接矩阵

    在这里插入图片描述
    解释一下上面的公式:dijd_{ij}表示ii节点和jj节点的欧式距离,wijw_{ij}为两个节点的关系,显然dd越大,wijw_{ij}就越小,同时设定一个阈值,超出这个范围,那wij=0w_{ij}=0
    在这里插入图片描述

    3.2 多图表示法

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    对相关图解释一下,比如说有A和B两个节点,在一段时间中,它们的交通流量呈现相似性,那么就可以认为它们的相关性高。

    最后就是将距离图、交互图、相关图这三种图进行融合,首先A=Di1Ai+IA^{'}=D_i^{-1}A_i+I的意思就是对邻接矩阵标准化或者说归一化,然后添加自连接边,最后F=i=1NWiAiF = \sum\limits_{{\rm{i = 1}}}^N {W'_i\circ A'_i}就表示加权求和的过程,FF是最后融合的图的权重,WiW'_i是可学习的参数。
    在这里插入图片描述
    虽然实验结果表明,多图表示法效果最好,但是加权求和起来的图是否可靠是有疑问的,没有理论的支持。而且这样图确定后不能再变了,但是交通预测中图是随时间变化的。

    上面介绍的都是人为的手工去构造图结构,那么能不能用深度学习的方法自动的学习图结构呢?下面来看:

    3.3 自适应的邻接矩阵

    在这里插入图片描述
    解释一下上面的公式:A~aptk\widetilde A^k_{apt}是邻接矩阵,XX是输入特征,WkW_k是卷积核参数,和ChebNet网络很相似。

    这篇文章中的邻接矩阵是可学习的,AaptkA^k_{apt}就是自适应的邻接矩阵,但是由于AaptkA^k_{apt}是一个NNN*N的矩阵,由于参数量太大,直接学习是不现实,所以对AaptkA^k_{apt}进行了相当于矩阵分解的操作,就是Aaptk=SoftMaxReLU(E1E2T)A^k_{apt}=SoftMax(ReLU(E_1E^T_2)),也就是将AaptkA^k_{apt}分解成E1E2TE_1和E^T_2。现在假设E1RNPE_1\in R^{N*P},一般P<<N,E2RNPE_2\in R^{N*P}转置后相乘就会把P消掉,所以E1E2TNNE_1E_2^T\in N*N。这样就降低了参数量的作用。
    在这里插入图片描述
    这篇文章只能自动学习到邻接矩阵,学习下来后就固定了,而不能动态的改变邻接矩阵。

    那么有没有学习动态的图结构的方法呢?答案是有的。

    3.4 attention

    在这里插入图片描述
    这个就是说Attention机制在学习注意力参数aija_{ij}时,不同的输入会学习到不同的aija_{ij},所以就达到了学习动态图的效果。

    4.小结

    在这里插入图片描述
    在这里插入图片描述

    三、其他方面

    1.天气预测(气象分析邻域)

    在这里插入图片描述
    在这里插入图片描述
    可以发现与交通预测的数据建模很相似。

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    2.骨架视频(计算机视觉邻域)

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    3.文本分类(自认语言处理邻域)

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    4.小结

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    展开全文
  • 图卷积神经网络5:图卷积的应用

    千次阅读 2020-12-06 12:56:04
    图卷积神经网络1-谱域卷积:拉普拉斯变换到谱域图卷积 图卷积神经网络2-谱域卷积:SCNN/ChebNet/GCN的引入和介绍 图卷积神经网络3-空域卷积:GNN/GraphSAGE/PGC的引入和介绍 图卷积神经网络4-空域卷积:空域卷积...
  • 浅析图卷积神经网络

    万次阅读 2018-07-05 00:00:00
    今天想和大家分享的是图卷积神经网络。随着人工智能发展,很多人都听说过机器学习、深度学习、卷积神经网络这些概念。但图卷积神经网络,却不多人提起。那什么是图卷积神经网络呢?简单的来说就是其研究的对象是图...
  • 图卷积神经网络整理

    万次阅读 多人点赞 2019-06-22 11:42:25
    图卷积神经网络的整理(理论+代码)一、背景1.1 离散卷积1.2 非结构化数据1.3 图卷积的大致流派二、基于谱的图卷积三、基于空间域的图卷积 一、背景 1.1 离散卷积 首先这篇文章需要基于你已经理解CNN在图像上的原理...
  • 图卷积神经网络(GCN)

    万次阅读 多人点赞 2019-08-09 14:25:46
    参考文章: 浅析图卷积神经网络 - GEETEST极验的文章 - 知乎 何时能懂你的心——图卷积神经网络(GCN) - 蝈蝈的文章 - 知乎
  • resources for graph convolutional networks (图卷积神经网络相关资源)
  • 本章中主要着重从深度学习中的卷积神经操作逐渐引导至图卷积神经网络,主要的推导过程在该博客下方给出链接,想要了解其数学推理过程的可以进一步进行学习研究,本文中主要从个人理解的角度进行推理,方便入门者快速...
  • Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recognition. 图卷积神经网络,2018年AAAI论文代码。
  • 上一篇文章中简单的介绍了几种与图数据相关的名词以及它们之间的联系与区别,这篇文章中主要介绍图卷积神经网络(GCN)的实现原理。 一、卷积VS图卷积        图卷积操作的思想...
  • 图卷积神经网络(GCN)

    2020-09-27 07:18:33
    图卷积神经网络 GCN是什么
  • GCN—图卷积神经网络理解

    千次阅读 多人点赞 2019-09-10 19:30:23
    文章目录一、CNN卷积二、GCN 图卷积神经网络2.1 GCN优点2.3 提取拓扑图空间特征的两种方式三、拉普拉斯矩阵3.1 拉普拉斯矩阵的谱分解(特征分解)3.2 如何从传统的傅里叶变换、卷积类比到Graph上的傅里叶变换及卷积...
  • 图卷积神经网络 (1)基于谱方法(Spectral Methods): 由卷积定理可知,函数卷积的傅立叶变换是函数傅立叶变换的乘积。 未完待续。。。。。。 (2)基于非谱方法(Non-spectral Methods): ...
  • 目录一、图卷积神经网络回顾二、空间域图卷积局限性分析三、过平滑问题的若干缓解方案四、总结 一、图卷积神经网络回顾 由于上面缺点的存在,使得谱域图卷积不能实际使用,而造成这种缺点的原因是正交基UUU,那么...
  • 1:图卷积神经网络回顾 2:空域图卷积局限性分析 3:过平滑问题的若干缓解方案 4:总结 1:图卷积神经网络回顾 图卷积神经网络分类: 上图列出的图卷积缺点,使得谱域图卷积不能实际使用,而造成这种...
  • 图卷积神经网络_biji

    2020-04-05 20:34:12
    图卷积神经网络 卷积谱域方法ChebyNet 的改进空间域方法GraphSAGE的方法GCN的方法GAT 卷积 卷积是一种积分,是一种运算,是一种信号处理,结果比原来的信号更加平滑。 spectral methods:谱域方法,通过傅立叶变化...
  • 图卷积神经网络环境配置 1.首先需要装好Anaconda3 版本为Anaconda3-5.2.0-Linux-x86_64.sh, 各版本的Anaconda下载地址:https://repo.anaconda.com/archive/ 下载好对应的sh文件之后,命令行输入 bash ~/Downloads/...
  • 3 图卷积神经网络 分为卷积算子构建和池化算子构建。 3.1 卷积算子的构建 3.1.1 谱方法 3.1.2 空间方法 3.2 图池化操作 也有谱方法和空间方法等等。 4 一些新的进展 分成了建模网络额外信息的图卷积...
  • 用 Pytorch 实现一个简单的图卷积神经网络 深度学习在序列化数据的处理上取得了良好的效果, 但对于非欧空间中的数据处理问题却长时间难以突破. 在 2017 年, Kipf 等人在图神经网络上利用信号处理中的谱方法成功实现...
  • 2.1. 经典卷积神经网络的应用 2.2. 经典卷积神经网络的局限 2.3. 如何将卷积操作拓展到结构数据中? 谱域卷积 3.1. 图谱卷积背景知识 3.2. 图谱卷积的数学知识 3.3. 傅里叶变换 3.4. 傅里叶反变换 3.5. ...
  • 图卷积神经网络简单理解 https://www.zhihu.com/column/p/71200936 图卷积网络理解(可参考,内容和1极为相似,但有答主的个人理解) https://www.zhihu.com/question/54504471/answer/332657604 图卷积网络(GCN)...
  • 题目双向图卷积神经网络谣言检测,Rumor Detection on Social Media with Bi-Directional Graph Convolutional Networks关键字双向图卷积神经网络,社交媒体节点图,谣言检测,深度学习,图模型简介社交媒体以其传播...
  • 过去几年,卷积神经网络因其强大的建模能力引起广泛关注,在自然语言处理、图像识别...然而,传统的卷积神经网络只能处理欧氏空间数据,而现实生活中的许多场景,如交通网络、社交网络、引用网络等,都是以数据的形式存在。
  • 图卷积神经网络(GCN)的简单介绍 1. 什么是GCN 图卷积神经网络是一种能对图数据进行深度学习的方法。 简单的说,GNN就是其研究的对象是图数据(Graph),研究的模型是卷积神经网络。 2. 为什么使用GCN 与传统方法...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 14,591
精华内容 5,836
关键字:

图卷积神经网络