精华内容
下载资源
问答
  • 网络分析 在社会网络分析领域,引文网络是最为常见的数据,即节点为论文,连边关系为引用关系,常见的数据集包括 Cora, DBLP, Citeseer 等。...在该任务中,图卷积神经网络将节点文本属性和引用网络结构有效的建模,取.

    在这里插入图片描述

    网络分析

    在社会网络分析领域,引文网络是最为常见的数据,即节点为论文,连边关系为引用关系,常见的数据集包括 Cora, DBLP, Citeseer 等。一个典型的分类任务是给定每篇文章的内容信息和文章之间的引用关系,将每篇文章分类到对应的领域中。
    例如,在节点的半监督分类场景下,已知节点的属性信息包括文章的标题或摘要信息,以及节点之间的引用关系构成的网络信息,给定少量的数据标签,通过机器学习的方式,对网络中的每个节点的所属领域进行划分。在该任务中,图卷积神经网络将节点文本属性和引用网络结构有效的建模,取得了巨大的成功。

    推荐系统

    人们通过将其视为矩阵补全或者链接预测的方式,能够有效的建模商品和用户之间的联系。图卷积神经网络被认为能够很好的建模图的结构属性和节点特征信息,而推荐系统既可以被视为一个矩阵补全问题,也可以被是因为是二部图(用户和商品)的链接预测问题。相比传统的方法,图卷积神经网络能够更好的利用在推荐系统中普遍存在的用户属性和商品属性信息,这也是图卷积神经网络能够在推荐系统任务上引起人们广泛关注的原因。
    Monti 等将多图卷积神经网络和循环神经网络相结合,其中多图卷积神经网络被用来提取局部静止的特征,而循环神经网络能够扩散分数值,重建矩阵。Berg 等将推荐系统建模为图上的链接预测问题,提出基于不同消息传播的图自编码框架对推荐系统的二部图进行建模,在包含社交网络的数据上取得了最好的结果。 Leskovec 等将卷积神经网络应用到推荐系统中,其提出一个数据高效的图卷积神经网络算法 PinSage,对商品节点产生嵌入表达。这些表达包含了图结构和节点特征信息,相比传统的图卷积方式,其提出了一个高效的随机游走策略建模卷积,设计了一个新的训练策略,成功的将图卷积神经网络应用到节点数为 10 亿级的超大规模推荐系统中。Wang 等提出 RippleNet 框架,引入知识图谱信息,提高了推荐系统的性能。Fan 等提出 GraphRec 框架,包括用户建模,商品建模和打分预测 3 个部分,使用注意力机制,有效的建模了用户的交互信息和用户的社交网络信息。

    交通预测

    交通预测问题也是图卷积神经网络得到广泛应用的任务之一。其目的是在给定历史交通速度和路线图的情况下,预测未来的交通的速率。在交通预测问题中,节点表示在道路中放置的传感器,而边则表示节点对的物理距离。每个节点包含一个时序的特征。相比于传统的图分析问题。交通预测问题中包括时间和空间两个方面的建模,而如何利用图卷积神经网络更好的建模交通中的路网带来了机遇和挑战。在交通预测相关的场景下,如何解决时空依赖是重要的研究方向,由于图卷积神经网络提供了一种解决图数据问题建模的方案,其通过和循环神经网络等时序模型的结合,给出了一个建模交通预测问题的良好的解决思路。而如何进一步更细粒度考虑时空数据建模依然是未来研究的热点。
    Li 等提出扩散卷积循环神经网络(DCRNN) 建模交通预测。在该模型中,其将交通流量视为一个有向图上的扩散问题,提出通过使用扩散卷积的方式来建模图结构化数据。使用循环神经网络来建模时间依赖。在两个大规模道路网络交通数据集上取得了 12%-15%的提升。Cui 等提出一个交通图卷积长短时记忆网络(TGC-LSTM)学习道路网络和时变的交通模式。其定义图卷积神经网络在物理的路网拓扑结构上。实验结果表明该方法能够捕获有效存在于车辆交通网络中的复杂的时空依赖。Zhang 等提出图门递归单元(GGRU)解决交通流量预测问题,其将图门递归单元应用于循环神经网络的编码解码模型,应用在洛杉矶高数公路数据集上。Yu 等提出一个新的深度学习框架,空间时间图卷积神经网络(STGCN),解决在交通领域时序 预测问题。在该框架中,其首先形式化问题到图上使用卷积结构进行建模,由于更好的利用了拓扑结构,其在短期和中长期交通预测上取得了相比传统机器学习方法显著的提升。

    生物化学

    除了传统的图数据的建模外,图卷积神经网络在生物化学等领域也受到了研究人员的大量关注。相比传统的图数据的研究,在生物化学领域,人们通常将一个化学结构或一个蛋白质视为一个图,图中的节点是更小的分子,边代表键或者相互作用。生物化学领域主要集中于对于分子拓扑结构的建模,这些问题中,许多的化学结构和性质体现在图本身的结构特性上。使用图卷积神经网络对这些分子结构的刻画能够显著地帮助到包括新药发现、药物分类等任务。
    Duvenaud等人直接在图上定义卷积神经网络。该神经网络模型输入为任意大小或形状的分子,通过端到端地学习分子指纹。该模型能够更好地帮助实现特定功能的分子设计。Kearnes等人使用图卷积神经网络对原子、键和距离进行编码,能够更好地利用图结构中的信息。其提供了新的基于配体的虚拟筛选的范式。Gilmer等人提出消息传播模型 MPNNs预测给定分子的化学性质。Lee等人提出图注意力模型(GAM),自适应地选择一些“信息节点”进而收集整个图的信息,用于图分类问题。
    Such等人直接将滤波器定义为图邻接矩阵的函数的多项式,提出Graph-CNNs模型,能够处理异构和同质的图数据。在分子分类问题上,表现出了最好的实验结果。Zitnik等人使用图卷积神经网络建模多种药物副作用。其首先构建蛋白质-蛋白质交互,药物-蛋白质靶标相互作用和多种药物相互作用的多模态图。在图中,每种副作用被视为一个不同类型的边缘。进而将对与药物副作用的建模转化为一个链接预测问题,为进一步研究药理学提供了新的研究思路。Fout等人提出将图卷积神经网络应用到蛋白质交互预测中。在该任务中,蛋白质是氨基酸残基链,折叠成三维结构,赋予它们生化功能。蛋白质通过与其他蛋白质相互作用的复杂网络发挥其功能。Cao等人提出 MolGAN,该模型通过生成对抗网络结合图卷积神经网络,设计出包含特定化学性质的分子结构。You等人提出图卷积策略网络(GCPN),一个基于通用图卷积和强化学习来生成目标图的模型。该模型通过消息传播的方式令隐藏状态为节点表达,然后产生策略π。通过采样的方式选择策略a,然后环境给出化学检测的状态和奖励rt。实验表明该方法相比基线方法,在化学性质优化上有61%的提升。

    计算机视觉(CV)

    在计算机视觉中,图卷积神经网络的应用主要集中于少样本学习(Few-ShotLearning)、零样本学习(Zero-ShotLearning)、点云建模(PointClouds)、场景图(Sencegraph)等。总的来说,在计算机视觉领域,人们在完成了包括物体识别,图片分类,语义分割后,计算机视觉更关注物体在少量样本,复杂语义情况下的建模和学习。在这些场景下,图是重要的数据结构,而图卷积神经网络是建模该图数据有效的方法。
    其中,少样本学习旨在使用较少的样本训练能够识别出一个全新的样本。其通常包含两个阶段:元训练和元测试。在任务中,数据集包括:训练集,支持集和测试集。支持集和测试集共享相同的标签空间,但训练集有单独的标签空间,且与支持/测试集不相交。如果支持集包含每个类包含K个标签样 本,C个类别,则该问题被称为C-wayK-shot问题。常见的数据集包括:Omninglot和miniImageNet。其中Omninglot包含Omninglot数据集包含来自50个不同字母的1623个不同手写字符。miniImageNet则包含100个不同类别,每个类别600样本的84×84的RGB 图片。少样本学习由于存在较少的训练样本,因此需要进一步刻画出不同的物体或者概念之间的语义关系,常见的方法包括引入知识图谱,构建图片之间的全链接图等方式。
    Garcia等人定义一个全连接的图,其中节点是图片,连边是图片和图片之间的相似度,他们使用图神经网络对节点进行编码,使用神经消息传播模型能够更好地利用图片之间的关联结构信息,其在少样本、半监督和主动学习等任务上取得了较好的实验结果。Marino等人将知识图谱引入到图片分类任务中,其使用图卷积神经网络更好地利用在知识图谱中的先验知识。在COC数据集的多标签分类任务上取得了提升。Lee等人同样将知识图谱引入到零样本学习任务中,在多标签分类任务中取得了提升。Kampffmeyer等人在使用知识图谱时,定义先祖和后继传播两种方式,能够更好地利用图谱中的语义信息。
    点云图是指3D扫描器产生的,某个坐标系下的点的集合,其包含了3D的坐标信息、颜色等相比2D图片更多的几何信息。Qi等人使用图神经网络实现了RGBD图片的语义分割务。Wang等人在点云上使用图卷积神经网络,提出通过边卷积的方式收集边的特征,既包含了局部领域的信息,也通过堆叠或循环的方式学习到全局的几何属性。该模型在形状分类(ShapeClassification)和局部分割(PartSegmentation)任务上取得了不错的结果。Landrieu等人使用消息传播机制在点云图上进行建模。
    场景图是另一类在计算机视觉领域较为常见的图结构数据,其节点是物体,边的特征代表其空间关系。相比传统描述的句子线性结构,图结构包含了更多有价值的语义信息。如何使用图卷积神经网络建模场景图受到了大量的关注。Teney等人通过场景图和句子依存句法图的建模,在视觉问答上得到了有效的应用。Chen等人[85]则提出3个图模块:知识图谱、图片区域空间关联图和区域类别分布图,在可视化回答上进行了有效地建模。

    自然语言处理(NLP)

    图卷积神经网络在自然语言处理领域有大量的应用。在该领域中,较为常见的图数据为知识图谱、句法依赖图和抽象含义表达图、词共现图以及其他方式 构 建 的 图。抽 象 含 义 表 达 AbstractMeaning Representation(AMR)是一种将一个句子的含义编码为有根有向图。大量的研究表明,在使用图卷积神经网络模型后,各项自然语言处理任务的结果都出现了一定的提升。图结构的使用,使得对象之间的复杂的语义关系得到了有效地挖掘。相比传统的对于自然语言处理的序列化建模,使用图卷积神经网络能够挖掘出非线性的复杂语义关系。
    Bastings等人将图卷积神经网络作用于依存句法树上,应用在英语和德语、英语和捷克语的机器翻译任务。Beck等人使用门限图神经网络(GGNN)在抽象含义图上,作用于基于语法的机器翻译任务。
    依存句法图或树,节点是单词,连边是语义关系。Liu等人和Nguyen等人使用图卷积神经网络应用于事件提取,这里使用的图是依存句法树。Song等人将图卷积神经网络作用于阅读理解、抽象含义图到文本的生成任务和关系提取等任务上。语义角色标注SemanticRoleLabeling(SRL)的任务是给定一个句子,识别出句子中的谓语和对应的对象。Marcheggiani等人提出使用图卷积神经网络作用于句法依赖图,并且和长短时记忆网络叠加使用,应用于语义角色标注上。
    除了上述的图谱外,词共现网络也被应用于文本分类任务上。其中节点是非停用词,连边是在给定窗口下的词共现关系。Defferrard等人提出了一个在图谱理论上定义的卷积神经网络,它提供了必要的数学背景和有效的数值方案来设计图上的快速局部卷积滤波器。Henaff等人使用图卷积神经网络在Reuter数据集上的文本分类任务。Yao等人通过构建共词网络和文档关系网络,将图卷积神经网络应用到文本分类任务上,在不使用外部知识和单词表达的情况下,取得了最好的结果。Peng等人从原始文本基于词共现网络和一个给定的窗口大小,构建了一个图。然后使用图卷积操作进而实现对于文本的分类任务。

    其他

    在除了上述的应用领域外,包括程序推断、优化求解等任务上,图卷积神经网络都开始被人们使用。由于其可以建模在现实生活中常见的图数据,并且通过卷积、注意力或消息传播等机制,能够将网络的拓扑结构和节点属性等信息以神经网络进行捕获和建模,因此图卷积神经网络有广泛的应用前景。

    参考文献:徐冰冰,岑科廷,黄俊杰,等. 图卷积神经网
    络综述[J]. 计算机学报,2020,43(5):755-780.

    没毛病:大自然的搬运工仅此而已!!!

    展开全文
  • 有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右...自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特功能...

    PDF下载:https://download.csdn.net/download/qq_40507857/14933374

    B站视频:https://www.bilibili.com/video/BV1bK4y1t7Pw?p=1

    GCN发论文的方向:

    1. 拿到数据,新建图,在图结构上创新,融入图论知识,这个比较难。
    2. 以前用CNNs和GAN做的任务,用GCN再做一遍,看看效果怎样,这个比较容易。

    深度学习

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    深度学习:

    • 权重分配
    • 层级结构
    • 欧几得空间数据

    在这里插入图片描述

    图结构数据

    • 现实中有大量数据是非欧几里得结构。
    • 社交网络
    • 科学网络
    • 通信网络
    • 多用户系统

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    • 传统的深度学习平台无法完成这类学习(CNNs和RNNs)
    • 这类数据无法通过一维、二维或者三维的欧几里得结构表达

    GCN背景和基本框架

    图卷积发展历史

    • Graph Convolutional Networks(GCNs)
      在这里插入图片描述
    • 回顾:邻接矩阵
      在这里插入图片描述
      在这里插入图片描述

    图卷积基本框架

    • 关键:在节点和社区间进行信息传递
      在这里插入图片描述
      在这里插入图片描述

    回顾: 卷积神经网络

    在这里插入图片描述
    在这里插入图片描述

    图卷积

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    图卷积的演示

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    基于知识图谱的GCN

    知识图谱

    G(A,X):

    • 节点:每个实体
    • 边:实体间的关系
    • 特征:实体的性质
      在这里插入图片描述
      在这里插入图片描述
      在这里插入图片描述

    KGCN

    数据:

    • 用户: U = { u 1 , u 2 , ⋯   } U=\{u_1,u_2,\cdots\} U={u1,u2,}
    • 实体: V = { v 1 , v 2 , ⋯   } V=\{v_1,v_2,\cdots\} V={v1,v2,}
    • y u v y_{uv} yuv=1:用户u与实体v有联系
    • 关系: R = { r 1 , r 2 , ⋯   } R=\{r_1,r_2,\cdots\} R={r1,r2,}
    • 特征:H矩阵

    图卷积:
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    • Label smoothing Regularization
      在这里插入图片描述
      在这里插入图片描述

    KGCN:伪代码

    在这里插入图片描述

    KGCN:结果演示

    在这里插入图片描述
    在这里插入图片描述

    RGCN for Knowledge Graph

    在这里插入图片描述
    两个任务:

    1. 链接预测(缺失三元组的恢复)
    2. 实体分类(为实体分配类型或分类属性)

    例如:“Mikhail Baryshnikov was educated at the Vaganova Academy”,可以得到:

    a. Mikhail Baryshnikov 的标签是person

    b. (Mikhail Baryshnikov, lived in, Russia)三元组属于这个图

    RGCN for Knowledge Graph

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    Hyper GCN

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    热门GCN应用

    人体姿势识别

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    用户推荐系统

    在这里插入图片描述

    舆情监控

    在这里插入图片描述

    自动驾驶

    在这里插入图片描述

    总结

    • 介绍了图卷积的背景知识和基本框架
    • 详细说了图卷积应用于知识图谱
    • 现阶段图卷积的研究领域和方向:人体姿势识别、超图、图构建、子图嵌入
    • 图卷积未来可解决的工业问题:用户推荐系统、舆情监控和控制、自动驾驶等等
    展开全文
  • 文章目录一、图卷积神经网络1.1 基本思想1.2 名词定义1.3 公式说明参考资料 一、图卷积神经网络 1.1 基本思想 已知条件 1)图的结构:节点的连接关系;是否是有向图。 2)每个节点对应的 Feature 3)哪些属于...

    一、图卷积神经网络

    1.0 为什么要用 GCN,不可以使用CNN?

    • 1)Graph的结构是一种非欧几里得空间的数据(Non Euclidean Structure)【通俗的说:在Graph中每个节点的相邻节点的数目都可能不同】,所以无法直接使用CNN。
    • 2)广义上来说,任何数据都可以建立拓扑关联(谱聚类的思想)。

    1.1 GCN 的目的

    提取拓扑图的空间特征。

    1.2 GCN的基本思想

    在这里插入图片描述

    • 已知条件
      1)图的结构:节点的连接关系;是否是有向图。
      2)每个节点对应的 Feature
      3)将特征应用于具体任务【比如,在节点分类中是:未知节点中哪些属于已知的类别】

    • 计算过程:
      得到节点特征表示 ⟶ \longrightarrow 类似全连接或卷积的网络提取特征 ⟶ \longrightarrow 得到结果表示

    1.3 GCN中的名词定义

    • 1)邻接矩阵【图结构】 A A A
      邻接矩阵的维度是: n × n n × n n×n
      { a i j = 1 表 示 节 点 i 和 节 点 j 存 在 连 接 a i j = 0 无 连 接 \begin{cases} a_{ij} = 1 表示节点 i 和 节点 j 存在连接 \\ a_{ij} = 0 无连接 \end{cases} {aij=1ijaij=0
      在这里插入图片描述

      • 1.1)无向图的邻接矩阵是对称的。
    • 2)度矩阵 D D D
      度矩阵的维度是: n × n n × n n×n
      只在主对角线上有值。
      { d i j = d e g ( v i ) i f i = j d i j = 0 其 他 情 况 \begin{cases} d_{ij} = deg(v_i) \qquad if i = j \\ d_{ij} = 0 \qquad 其他情况 \end{cases} {dij=deg(vi)ifi=jdij=0

      • 2.1)无向图出现自循环时,度数 + 1 +1 +1
        这也就是在下图中,节点 1 的度数为 4 的原因。
        在这里插入图片描述

    1.4 GCN的计算方式

    { v e r t e x   d o m a i n ( s p a t i a l   d o m a i n , 节 点 域 ; 空 间 域 ) s p e c t r a l   d o m a i n ( 谱 域 ) \begin{cases} vertex \ domain(spatial \ domain,节点域;空间域) \\ spectral \ domain(谱域) \end{cases} {vertex domain(spatial domain,)spectral domain

    1.4.1 Vertex domain 的计算方式

    • 定义
      找到每个目标节点的所有相邻节点,然后对目标节点进行特征聚合。

    • 存在的问题
      1、如何寻找目标节点的相邻节点?(相对于 CNN 里面的概念就是,如何确定感受野?)
      2、如何处理非欧式空间的数据?(如何处理包含不同数目的相邻节点的特征?)

    • 解决方式
      1、首先,根据路径的长短,确定相邻节点的数量
      2、然后,将相邻节点直接加到目标节点之上。
      在这里插入图片描述
      参考论文:Learning Convolutional Neural Networks for Graphs

    1.4.2 Spectral Domain的计算方式

    • 定义
      通过Graph 的拉普拉斯矩阵的特征值和特征向量来研究图的性质。

    • 什么是拉普拉斯矩阵(Laplacian)?
      拉普拉斯矩阵的计算过程:
      L = D − A L 是 拉 普 拉 斯 矩 阵 D 是 度 矩 阵 , A 是 邻 接 矩 阵 L = D - A \\ L 是拉普拉斯矩阵 \\ D 是度矩阵,A 是邻接矩阵 L=DALDA
      举个例子,如下图所示:
      在这里插入图片描述

    • 常见的拉普拉斯矩阵计算方式:
      { L = D − A → 组 合 拉 普 拉 斯 算 子 ( C o m b i n a t o r i a l L a p l a c i a n ) L = D − 1 2 A D − 1 2 → 对 称 归 一 化 拉 普 拉 斯 算 子 ( S y m m e t r i c n o r m a l i z e d L a p l a c i a n ) L = D − 1 A → 随 机 游 走 归 一 化 拉 普 拉 斯 算 子 ( R a n d o m w a l k n o r m a l i z e d L a p l a c i a n ) \begin{cases} L = D - A \qquad \rightarrow 组合拉普拉斯算子(Combinatorial Laplacian) \\ L = D^{- \frac{1}{2}} A D^{- \frac{1}{2}} \qquad \rightarrow 对称归一化拉普拉斯算子(Symmetric normalized Laplacian) \\ L = D^{-1} A \qquad \rightarrow 随机游走归一化拉普拉斯算子(Random walk normalized Laplacian) \end{cases} L=DA(CombinatorialLaplacian)L=D21AD21(SymmetricnormalizedLaplacian)L=D1A(RandomwalknormalizedLaplacian)

    • 为什么要用拉普拉斯矩阵(Laplacian)?
      1、拉普拉斯矩阵是对称矩阵,可以进行特征分解(谱分解;对角化)
      2、拉普拉斯矩阵只在中心顶点一阶相邻相连的节点上有非 0 元素,其余位置均为 0 。

    1.4.2.1 拉普拉斯矩阵的特征分解(谱分解)

    • 注意
      (1)不是所有的矩阵都可以特征分解。【矩阵进行特征分解的充要条件是:n 阶方阵存在 n 个线性无关的特征向量。】
      (2)拉布普拉斯矩阵是半正定矩阵。【半正定矩阵是对称矩阵】(根据下面的性质,可以得到拉普拉斯矩阵一定可以谱分解。)

      • 1) 对称矩阵一定存在 n 个线性无关的特征向量。
      • 2)半正定矩阵的特征值一定是非负的。
      • 3)对称矩阵的特征向量相互正交,即所有的特征向量构成的矩阵为正交矩阵。
      • 4)正交矩阵 若是 A A A 为正交矩阵,则存在 A A T = E A A^T = E AAT=E,也就是 A T = A − 1 A^T = A^{-1} AT=A1
    • 拉普拉斯矩阵的谱分解:

      • L = U λ U − 1 L = U \lambda U^{-1} L=UλU1
      • U U U列向量为特征向量的矩阵。其中 U = ( u 1 → , u 2 → , . . . , u n → ) U = (\mathop{u_1}\limits ^{\rightarrow},\mathop{u_2}\limits ^{\rightarrow},...,\mathop{u_n}\limits ^{\rightarrow} ) U=(u1,u2,...,un)【左乘行,右乘列。 解读:左乘对角矩阵是行变化,右乘对角矩阵是列变换。】
      • λ \lambda λ 是特征值构成的对角矩阵。

    1.5 GCN 公式说明

    在这里插入图片描述

    • 具体的公式可以表示为:
      H l + 1 = σ ( D ~ − 1 2 A ~ D ~ − 1 2 H ( l ) W ( l ) ) H^{l+1} = \sigma(\tilde{D}^{-\frac{1}{2}} \tilde{A} \tilde{D}^{-\frac{1}{2}} H^{(l)} W^{(l)}) Hl+1=σ(D~21A~D~21H(l)W(l))
      对比上述公式可以得到: 图 结 构 特 征 : A ′ = D ~ − 1 2 A ~ D ~ − 1 2 图结构特征:A^{'} = \tilde{D}^{-\frac{1}{2}} \tilde{A} \tilde{D}^{-\frac{1}{2}} A=D~21A~D~21

    • 1、GNN 逐步计算过程
      A × x ↓ D ~ − 1 A ~ x ↓ D ~ − 1 A ~ D ~ − 1 x ↓ D ~ − 1 2 A ~ D ~ − 1 2 x A × x \\ \downarrow \\ \tilde{D}^{-1} \tilde{A} x \\ \downarrow \\ \tilde{D}^{-1} \tilde{A}\tilde{D}^{-1} x \\ \downarrow \\ \tilde{D}^{-\frac{1}{2}} \tilde{A}\tilde{D}^{-\frac{1}{2}} x A×xD~1A~xD~1A~D~1xD~21A~D~21x

    • 1)为什么需要图结构特征 A ′ A^{'} A
      因为在相同的图节点中,不同的节点连接,就能得到不同的节点特征表示。
      2)图结构特征 A ′ A^{'} A 是固定的吗?
      答:是固定的,因为这代表了图中节点之间的连接,所以是固定的。
      3)图结构特征为什么用 A ′ A^{'} A表示,而不用 A A A
      答: A A A 代表最原始的图结构, A ′ A^{'} A 则是在 A A A 上进行了变化,更有利计算。

    • 2、 A ~ \tilde{A} A~ 得到的过程
      在这里插入图片描述
      最直观的节点特征表示: A × x A × x A×x
      但是这种操作存在一个问题:就是不存在目标节点自身的节点特征。

    为了解决上述问题:

    A ~ = A + λ I \tilde{A} = A + \lambda I A~=A+λI
    其中 I I I 表示单位矩阵。

    • 3、 D ~ \tilde{D} D~ 得到的过程
      在这里插入图片描述

      相对应的度数矩阵也进行变化

      D ~ = D + λ I \tilde{D} = D + \lambda I D~=D+λI
      其中 I I I 表示单位矩阵。

      在这里插入图片描述

    • 4、为什么取逆矩阵?
      神经网络对输入数据非常敏感,一般来说,我们希望对所有的向量进行归一化操作(缩放)。
      在本身的矩阵上乘一个对角线矩阵,就可以减小规模

    • 5、为什么分别左乘 和 右乘 度的逆矩阵?
      左 乘 、 右 乘 , 两 次 归 一 化 { 左 乘 : 表 示 对 邻 接 矩 阵 的 行 信 息 进 行 变 换 右 乘 : 表 示 对 邻 接 矩 阵 的 列 信 息 进 行 变 换 左乘、右乘, 两次归一化 \begin{cases} 左乘:表示对邻接矩阵的行信息进行变换 \\ 右乘:表示对邻接矩阵的列信息进行变换 \end{cases} ,{
      在这里插入图片描述
      在这里插入图片描述

    • 6、为什么使用 D ~ − 1 2 \tilde{D}^{-\frac{1}{2}} D~21
      为了进一步减少计算规模
      在这里插入图片描述

    • 节点分类的公式:
      在这里插入图片描述

    参考资料

    从CNN到GCN的联系与区别——GCN从入门到精(fang)通(qi)

    展开全文
  • 分析了采用注意力机制进一步提升模型性能的网络结构,然后归纳分析了目前的特殊模型结构,最后总结并讨论了卷积神经网络在相关领域的应用,并对未来的研究方向进行展望。 地址: ...

    点上方计算机视觉联盟获取更多干货

    仅作学术分享,不代表本公众号立场,侵权联系删除

    转载于:专知

    985人工智能博士笔记推荐

    周志华《机器学习》手推笔记正式开源!附pdf下载链接,Github2500星!

    深度学习是机器学习和人工智能研究的最新趋势,作为一个十余年来快速发展的崭新领域,越来越受到研究者的关注。卷积神经网络(CNN)模型是深度学习模型中最重要的一种经典结构,其性能在近年来深度学习任务上逐步提高。由于可以自动学习样本数据的特征表示,卷积神经网络已经广泛应用于图像分类、目标检测、语义分割以及自然语言处理等领域。首先分析了典型卷积神经网络模型为提高其性能增加网络深度以及宽度的模型结构,分析了采用注意力机制进一步提升模型性能的网络结构,然后归纳分析了目前的特殊模型结构,最后总结并讨论了卷积神经网络在相关领域的应用,并对未来的研究方向进行展望。

    地址:

    http://fcst.ceaj.org/CN/abstract/abstract2521.shtml

    卷积神经网络(convolutional neural network,CNN) 在计算机视觉[1- 5]、自然语言处理[6- 7]等领域已被广泛 应用。在卷积神经网络兴起之前,主要依靠人工针对特定的问题设计算法,比如采用 Sobel、LoG(Laplacian of Gaussian)、Canny、Prewitt 等[8- 11]算子进行边 缘 检 测 ,采 用 Harris、DoG(difference of Gaussian)、FAST(features from accelerated segment test)、SIFT (scale invariant feature transform)等[12-15]用于角点等特 征检测,并且采用传统分类器如 K近域、支持向量机、 稀疏分类器等[16- 18]进行分类。特征提取和分类器的 设计是图片分类等任务的关键,对分类结果的好坏 有着最为直接的影响。卷积神经网络可以自动地从 训练样本中学习特征并且分类,解决了人工特征设计 的局限性。神经网络的思想起源于1943年McCulloch 和 Pitts 提出的神经元模型[19],简称 MCP 神经元模 型。它是利用计算机来模拟人的神经元反应的过 程,具有开创性意义。此模型将神经元反应简化为 三个过程:输入信号线性加权、求和、非线性激活。1958 年到 1969 年为神经网络模型发展的第一阶段, 称为第一代神经网络模型。在 1958 年 Rosenblatt 第 一次在 MCP 模型上增加学习功能并应用于机器学 习,发明了感知器算法[20],该算法使用 MCP 模型能够 采用梯度下降法从训练样本中自动学习并更新权 值,并能对输入的多维数据进行二分类,其理论与实 践的效果引起了神经网络研究的第一次浪潮。1969 年美国数学家及人工智能先驱 Minsky在其著作中证 明感知器本质上是一种线性模型[21],只能处理线性分 类问题,最简单的异或问题都无法正确分类,因此神 经网络的研究也陷入了近二十年的停滞。1986 年到 1988 年是神经网络模型发展的第二阶段,称为第二 代神经网络模型。1986 年 Rumelhart 等人提出了误 差反向传播算法(back propagation algorithm,BP)[22]。

    BP 算法采用 Sigmoid 进行非线性映射,有效解决了 非线性分类和学习的问题,掀起了神经网络第二次 研究高潮。BP 网络是迄今为止最常用的神经网络, 目前大多神经网络模型都是采用 BP网络或者其变化 形式。早期神经网络缺少严格数学理论的支撑,并 且在此后的近十年时间,由于其容易过拟合以及训 练速度慢,并且在 1991 年反向传播算法被指出在后 向传播的过程中存在梯度消失的问题[23],神经网络再 次慢慢淡出人们的视线。

    1998 年 LeCun 发明了 LeNet-5,并在 Mnist 数据 集达到 98%以上的识别准确率,形成影响深远的卷积 神经网络结构,但此时神经网络的发展正处于下坡 时期,没有引起足够的重视。从感知机提出到 2006 年以前,此阶段称为浅层 学习,2006 年至今是神经网络的第三阶段,称为深度 学习。深度学习分为快速发展期(2006—2012 年)和 爆发期(2012 年至今),2006 年 Hinton 提出无监督的 “逐层初始化”策略以降低训练难度,并提出具有多 隐层的深度信念网络(deep belief network,DBN)[24], 从此拉开了深度学习大幕。

    随着深度学习理论的研究和发展,研究人员提 出了一系列卷积神经网络模型。为了比较不同模型 的质量,收集并整理了文献中模型在分类任务上的 识别率,如图 1所示。由于部分模型并未在 ImageNet 数据集测试识别率,给出了其在 Cifar-100 或 Mnist数 据集上的识别率。其中,Top-1识别率指的是 CNN 模型预测出最大概率的分类为正确类别的概率。Top-5 识别率指的是 CNN 模型预测出最大概率的前 5 个分 类里有正确类别的概率。

    2012 年,由 Alex Krizhevshy 提出的 AlexNet给卷 积神经网络迎来了历史性的突破。AlexNet 在百万 量级的 ImageNet数据集上对于图像分类的精度大幅 度超过传统方法,一举摘下了视觉领域竞赛 ILSVRC2012的桂冠。自 AlexNet之后,研究者从卷积神经网 络的结构出发进行创新,主要有简单的堆叠结构模 型,比如 ZFNet、VGGNet、MSRNet。堆叠结构模型通 过改进卷积神经的基本单元并将其堆叠以增加网络 的深度提升模型性能,但仅在深度这单一维度提升 模 型 性 能 具 有 瓶 颈 ;后 来 在 NIN(network in network)模型提出使用多个分支进行计算的网中网结 构模型,使宽度和深度都可增加,具有代表性的模型 有 Inception 系列模型等;随着模型深度以及宽度的 增加,网络模型出现参数量过多、过拟合以及难以训 练等诸多问题。ResNet 提出残差结构后,为更深层 网络构建提出解决方案,随即涌现出很多残差结构模 型,比如基于 ResNet 改进后的 ResNeXt、DenseNet、 PolyNet、WideResNet,并且 Inception也引入残差结构 形成了 Inception-ResNet-block,以及基于残差结构并 改进其特征通道数量增加方式的 DPResNet;与之前 在空间维度上提升模型性能的方法相比,注意力机 制模型通过通道注意力和空间注意力机制可以根据 特征通道重要程度进一步提升模型性能,典型的模 型为 SENet、SKNet 以及 CBAM(convolutional block attention module)。

    传统的卷积神经网络模型性能十分优秀,已经 应用到各个领域,具有举足轻重的地位。由于卷积 神经网络的模型十分丰富,有些模型的结构或用途 比较特殊,在本文中统称为特殊模型,包括具有简单的结构和很少参数量的挤压网络模型 SqueezeNet,采 用无监督学习的生成对抗网络模型(generative adversarial network,GAN),其具有完全相同的两路网络 结构以及权值的孪生神经网络模型 SiameseNet,以 及通过线性运算生成其他冗余特征图的幽灵网络 GhostNet。由于卷积神经网络的一系列突破性研究成果, 并根据不同的任务需求不断改进,使其在目标检测、 语义分割、自然语言处理等不同的任务中均获得了 成功的应用。

    基于以上认识,本文首先概括性地介绍了卷积 神经网络的发展历史,然后分析了典型的卷积神经 网络模型通过堆叠结构、网中网结构、残差结构以及 注意力机制提升模型性能的方法,并进一步介绍了 特殊的卷积神经网络模型及其结构,最后讨论了卷 积神经网络在目标检测、语义分割以及自然语言处 理领域的典型应用,并对当前深度卷积神经网络存 在的问题以及未来发展方向进行探讨。

    -------------------

    END

    --------------------

    我是王博Kings,985AI博士,华为云专家、CSDN博客专家(人工智能领域优质作者)。单个AI开源项目现在已经获得了2100+标星。现在在做AI相关内容,欢迎一起交流学习、生活各方面的问题,一起加油进步!

    我们微信交流群涵盖以下方向(但并不局限于以下内容):人工智能,计算机视觉,自然语言处理,目标检测,语义分割,自动驾驶,GAN,强化学习,SLAM,人脸检测,最新算法,最新论文,OpenCV,TensorFlow,PyTorch,开源框架,学习方法...

    这是我的私人微信,位置有限,一起进步!

    王博的公众号,欢迎关注,干货多多

    手推笔记:

    思维导图  |  “模型评估与选择”  |  “线性模型”  |  “决策树”  |  “神经网络”  |  支持向量机(上)  |  支持向量机(下)  |  贝叶斯分类(上)  |  贝叶斯分类(下)  |  集成学习(上)  |  集成学习(下)  |  聚类  |  降维与度量学习  |  稀疏学习  |  计算学习理论  |  半监督学习  |  概率图模型  |  规则学习

    增长见识:

    博士毕业去高校难度大吗?  |  研读论文有哪些经验之谈?  |  聊聊跳槽这件事儿  |  聊聊互联网工资收入的组成  |  机器学习硕士、博士如何自救?  |  聊聊Top2计算机博士2021年就业选择  |  非科班出身怎么转行计算机?  |  有哪些相见恨晚的科研经验?  |  经验 | 计算机专业科班出身如何提高自己编程能力?  |  博士如何高效率阅读文献  |  有哪些越早知道越好的人生经验?  |  

    其他学习笔记:

    PyTorch张量Tensor  |  卷积神经网络CNN的架构  |  深度学习语义分割  |  深入理解Transformer  |  Scaled-YOLOv4!  |  PyTorch安装及入门  |  PyTorch神经网络箱  |  Numpy基础  |  10篇图像分类  |  CVPR 2020目标检测  |  神经网络的可视化解释  |  YOLOv4全文解读与翻译总结  | 

    点分享

    点收藏

    点点赞

    点在看

    展开全文
  • 图卷积神经网络

    2021-08-19 10:05:13
    受到卷积网络、循环网络和深度自动编码器的思想影响,研究者定义和设计了用于处理数据的神经网络结构,由此产生了一个新的研究热点-图神经网络图神经网络对图有很多应用,对于上节点的应用,可以是对节点的...
  • 图卷积神经网络图卷积神经网络入门笔记1CNN1.1CNN简单回顾2欧式数据网络到非欧数据的迁移2.1主要困难2.2目标1CNN功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的...
  • 简单一点概括,机器学习就是计算机从数据中学习出规律和模式,以应用在新数据上做预测的任务。 未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城市)大脑研究...
  • 五.卷积神经网络应用

    千次阅读 2021-03-08 16:04:17
    1. 卷积神经网络应用 图像风格转换 图像修复 换脸 图像超清化 图像翻译 文字生成图像 2. 卷积神经网络学到了什么 卷积神经网络的每一层激活值都可以看作是图像的抽象表示。(卷积神经网络中某层的每...
  • 信号处理(Graph Signal Processing ,GSP)是离散信号处理(Discrete Signal Processing,DSP)理论在信号领域的应用。其通过傅里叶变换、滤波等信号处理基本概念的迁移,来研究对图信号的压缩、变换、重构等...
  • 图卷积神经网络1. CNN1.1 CNN有效的原因2. 从基于欧式数据的网络迁移到非欧数据上2.1 主要困难2.2 目标3. 卷积数学中的卷积(信号处理中的卷积)连续量卷积图像上的卷积总结:卷积是一种对信号的处理方式图卷积的两...
  • 吴恩达深度学习笔记——十二、第四课第四周:卷积神经网络的重要应用1 人脸识别1.1 人脸识别简介1.2 one-shot学习1.3 Siamese network1.4 Tirplet 损失函数 1 人脸识别 1.1 人脸识别简介 人脸验证与人脸识别不同: ...
  • 这篇文章提出了一种新颖的基于图卷积特征的卷积神经网络股票趋势预测方法,这种方法可以考虑股票市场信息以及个股信息,并实现有效的趋势预测。实验验证了提出的模型具有较好的预测效果以及收益表现。原论文在文末...
  • 卷积神经网络图解

    2021-08-06 19:49:09
    卷积神经网络结构包括卷积层、池化层、全连接层,适用于包括图片在内的高维数据。卷积的优点在于参数共享和稀疏连接。
  • 图神经网络学习01:图卷积神经网络GCN实战解决论文分类问题(tensorflow实现) 文章目录图神经网络学习01:图卷积神经网络GCN实战解决论文分类问题(tensorflow实现)前言1.数据集的介绍2.网络的搭建3.数据的处理1.将...
  • 核心在于kernel,kernel是一个个小窗口,在图片上平移,通过卷积的方式来提取特征。这里的关键在于图片结构上的平移不变性:一个小窗口无论移动到图片的哪一个位置,其内部的结构都是一模一样的,因此CNN可以实现...
  • 地铁网络客流预测对交通管理和公共安全具有重要意义。然而,这样的预测是非常具有挑战性的,因为客流受到复杂的空间依赖关系(远近)和时间依赖关系(近期和周期性)的影响。在本文中,我们提出了一种基
  • 卷积神经网络及其在机器翻译中的应用CNN的基本原理卷积卷积的定义CNN中的基本二维卷积操作对二维卷积操作的扩展二维卷积总结一维卷积为什么使用卷积池化典型CNN结构CNN在机器翻译中的应用ByteNetConvS2S卷积层多步...
  • 作者 |李秋键责编| 寇雪芹头| 下载于视觉中国引言近几年来深度学习的发展越来越火热,其中最为典型的就是半监督学习的新研究进展GCN。由Kipf和Welling提出的GCN被证明是...
  • 在处理图像问题时,卷积神经网络利用固定大小Kernel提取图像的特征,见下 当面对结构数据时,由于网络中各节点的一阶邻居数是不同的,如果仍然使用固定大小的kernel是不可行的,因为卷积核的感受野会是不同的。...
  • 经过切比雪夫多项式近似后,单层图卷积计算公式如下: 此模型可以使用1阶切比雪夫多项式进行近似,最终可以得到图卷积神经网络的特征传播公式如下: 使用简单的图卷积神经网络模型在著名的图数据集:Zachary空手道...
  • 卷积神经网络特别适合处理像图片、视频、音频、语言文字等,这些与相互位置有一定关系的数据。 卷积神经网络(Convolutional Nerual Network,CNN) 为什么计算机可以处理图片--因为在计算机语言中图片可以用数字...
  • 图像分类 目标检测 像素级语义分割 超高分辨率成像 球形卷积神经网络 文本处理
  • 对图片的信息进行处理,首先想到的就是卷积神经网络。 我选用了残差网络,由卷积层、池化层、全连接层组成,并用反向传播算法争取让损失函数降到最小,以此提高准确率。 设计原理 3.1 卷积层 我们知道,图像是由...
  • 摘要:本文提出一种基于局部特征保留的图卷积网络架构,与最新的对比算法相比,该方法在多个数据集上的图分类性能得到大幅度提升,泛化性能也得到了改善。
  • 介绍本文将讨论有关图像分类的所有内容。在过去的几年里,深度学习已经被证明是一个非常强大的工具,因为它能够处理大量的数据。隐藏层的使用超越了传统技术,尤其是在模式识别方面。最受欢迎的深度神经...
  • 图卷积神经网络 国科大 沈华伟_哔哩哔哩_bilibili老师讲得很好(膜大佬orzhttps://www.bilibili.com/video/BV1dT4y1o7VF/CNN 平移不变性 CNN可以通过卷积核,学习到局部的平稳的结构,然后通过层层堆叠,得到层次...
  • 卷积神经网络介绍

    2021-04-10 14:23:27
    卷积神经网络(Convolutional Neural Networks,CNN)是由纽约大学的Yann Lecun于1998年提出的,其本质是一个多层感知机,它是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks),是深度...
  • 本文详细讲述量子计算机上卷积神经网络(CNN)的理论实现。我们将此算法称为QCNN,我们证明了它可以比CNN 更快地运行,并且精度很高。为此,我们必须提出卷积积的量子形式,找到实现非线性和池化的方法,以及对表示...
  • 卷积神经网络

    2021-08-27 21:36:16
    文章目录前言一、卷积神经网路定义二、卷积神经网络结构及运行原理2.1 网络结构2.2 运行原理2.3 运行原理三、卷积神经网络结构总结 前言 提示:这里可以添加本文要记录的大概内容: 例如:随着人工智能的不断发展,...
  • 本文综合整理常用的神经网络,包括生物神经网络、人工神经网络、卷积神经网络、循环神经网络、生成对抗网络;参考了许多高校的课程、论文、博客和视频等。文章的结构是先进行概念了解,然后结合图片、结构、一步...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 72,945
精华内容 29,178
关键字:

图卷积神经网络的应用