精华内容
下载资源
问答
  • CIKM2019中我们论文的代码和数据:Fi-GNN:通过图形神经网络为CTR预测建模特征交互, 。 首先将输入的稀疏多场特征向量映射到稀疏的一热嵌入向量,然后通过嵌入层和多头自注意层将其嵌入到密集场嵌入向量中。 然后...
  • GNN

    千次阅读 2019-06-02 13:43:49
    图形神经网络(GNN)主要用于分子应用,因为分子结构可以用图形结构表示。 GNN的有趣之处在于它可以有效地建模系统中对象之间的关系或交互。 近年来,图神经网络(GNN)在社交网络、知识图、推荐系统甚至生命科学等...

    图形神经网络(GNN)主要用于分子应用,因为分子结构可以用图形结构表示。 GNN的有趣之处在于它可以有效地建模系统中对象之间的关系或交互。

    近年来,图神经网络(GNN)在社交网络、知识图、推荐系统甚至生命科学等各个领域得到了越来越广泛的应用。GNN在对图节点之间依赖关系进行建模的强大功能,使得与图分析相关的研究领域取得了突破。本文介绍了图神经网络的基本原理,以及两种高级的算法,DeepWalk和GraphSage。

    图(Graph)

    在讨论GNN之前,我们先来了解一下什么是图。在计算机科学中,图是由顶点和边两部分组成的一种数据结构。图G可以通过顶点集合V和它包含的边E来进行描述。

    根据顶点之间是否存在方向依赖关系,边可以是有向的,也可以是无向的。

    图 1有向图

    顶点也称为节点,在本文中,这两个术语是可以互换。

    图神经网络

    图神经网络是一种直接作用于图结构上的神经网络。GNN的一个典型应用是节点分类,本质上,图中的每个节点都与一个标签相关联,我们希望预测未标记节点的标签。本文将介绍该论文中描述的算法,

    在节点分类问题中,每个节点v都可以用其特征x_v表示并且与已标记的标签t_v相关联。给定部分标记的图G,目标是利用这些标记的节点来预测未标记的节点标签。它通过学习得到每个节点的d维向量(状态)表示为h_v,同时包含其相邻节点的信息。

    x_co[v] 代表连接顶点v的边的特征,h_ne[v]代表顶点v的邻居节点的嵌入表示,x_ne[v]代表顶点v的邻居节点特征。f是将输入投影到d维空间的转移函数,由于要求出h_v的唯一解,我们应用Banach不动点理论重写上述方程进行迭代更新。

    H和X分别表示所有h和x的连接,通过将状态h_v以及特征x_v传递给输出函数g来计算GNN的输出。

    这里的f和g都可以解释为全连接前馈神经网络,L1损失可以直接表述为如下函数:

    它可以通过梯度下降进行优化,但是该论文指出的原始GNN有三个主要局限:

    1.如果放宽了“固定点”的假设,则可以利用多层感知器来学习更稳定的表示,并删除迭代更新过程。 这是因为在原始方法中,不同的迭代使用转移函数f的相同参数,而不同MLP层中的不同参数允许分层特征提取;

    2.不能处理边缘信息(例如知识图谱中的不同边可能表示节点之间的不同关系);

    3. 固定点会限制节点分布的多样化,因此可能不适合学习节点表示。

    虽然现在已经提出了几种GNN变体来解决上述问题。 但是他们不是论文的重点。

    DeepWalk

    DeepWalk是第一个以无监督学习的节点嵌入算法。它在训练过程中类似于词嵌入。它的目的是让图中的节点分布和语料库中的单词分布都遵循幂律,如下图所示:

    算法包括两个步骤:

    1. 在图中的节点上执行随机游走生成节点序列;

    2. 运行skip-gram,根据步骤1中生成的节点序列学习每个节点的嵌入;

    在随机游走过程中,下一个节点是从前一节点的邻居统一采样。然后将每个序列截短为长度为2 | w |+1的子序列,其中w表示skip-gram中的窗口大小。如果您不熟悉skip-gram,我之前的博客文章已经向您介绍它的工作原理。

    在论文中,分层softmax用于解决由于节点数量庞大而导致的softmax计算成本过高的问题。为了计算每个单独输出元素的softmax值,我们必须为所有元素k计算ek。

    图 2 softmax的定义

    因此,原始softmax的计算时间是 O(|V|) ,其中其中V表示图中的顶点集。

    多层的softmax利用二叉树来解决softmax计算成本问题。 在二叉树中,所有叶子节点(上面所说的图中的v1,v2,... v8)都是图中的顶点。 在每个内部节点中(除了叶子节点以外的节点,也就是分枝结点),都通过一个二元分类器来决定路径的选取。 为了计算某个顶点v_k的概率,可以简单地计算沿着从根节点到叶子节点v_k的路径中的每个子路径的概率。 由于每个节点的孩子节点的概率和为1,因此在多层softmax中,所有顶点的概率之和等于1的特性仍然能够保持。如果n是叶子的数量,二叉树的最长路径由O(log(n))限定,因此,元素的计算时间复杂度将减少到O(log | V |)。

    图 3多层softmax

    在训练DeepWalk GNN之后,模型已经学习到了每个节点的表示,如下图所示。不同的颜色在输入图中(图a)表示不同标签。 我们可以看到,在输出图中,具有相同标签的节点聚集在一起,而具有不同标签的大多数节点被正确分开。

    然而,DeepWalk的主要问题是它缺乏泛化能力。每当有新节点加入到图中时,它必须重新训练模型以正确表示该节点。因此,这种GNN不适用于图中节点不断变化的动态图。

    GraphSage

    GraphSage提供了解决上述问题的方案,它以归纳方式学习每个节点的嵌入。具体来讲,它将每个节点用其邻域的聚合重新表示。因此,即使在训练期间未出现的新节点,也仍然可以由其相邻节点正确地表示。下图展示了GraphSage的算法过程:

    外层for循环表示更新迭代次数,而 h^k_v 表示节点v在迭代第 k次时的本征向量。在每次迭代时,将通过聚合函数,前一次迭代中v和v领域的本征向量以及权重矩阵W^k来更新h^k_v。这篇论文提出了三种聚合函数:

    1.均值聚合器:

    均值聚合器取一个节点及其邻域的本征向量的平均值。

     

    与原始方程相比,它删除了上述伪代码中第5行的连接操作。这种操作可以被视为"skip-connection" ("跳连接"),这篇论文后面将证明其可以在很大程度上提高模型的性能。

    2. LSTM聚合器:

    由于图中的节点没有任何顺序,因此他们通过互换这些节点来随机分配顺序。

    3.池聚合器:

    此运算符在相邻顶点集上执行逐元素池化函数。下面显示了最大池的例子:

    可以用平均池或任何其他对称池函数替换这种最大池函数。尽管均值池和最大池聚合器性能相似,但是池聚合器(也就是说采用最大池函数)被实验证明有最佳的性能。 论文使用max-pooling作为默认聚合函数。损失函数定义如下:

    其中u 和v 共同出现在一定长度的随机游走中,而 v_n 是不与u共同出现的负样本。这种损失函数鼓动节点在投影空间中更靠近嵌入距离更近的节点,而与那些相距很远的节点分离。通过这种方法,节点将获得越来越多其邻域的信息。

    GraphSage通过聚合其附近的节点,可以为看不见的节点生成可表示的嵌入位置。它让节点嵌入的方式可以被应用于涉及动态图的研究领域,这类动态图的图的结构是可以不断变化的。例如,Pinterest采用了GraphSage的扩展版本PinSage作为他们的内容探索系统的核心。

    展开全文
  • 您可以安装tf2_gnn利用Python包索引模块pip install tf2_gnn 。 另外(例如,用于开发),您可以签出该存储库,导航到该存储库,然后运行pip install -e ./将其安装为本地可编辑软件包。 然后,您将可以使用tf2_gnn....
  • GNN讲义pdf超详细

    2020-10-18 22:34:24
    GNN讲义pdf超详细
  • @InProceedings{Point-GNN, author = {Shi, Weijing and Rajkumar, Ragunathan (Raj)}, title = {Point-GNN: Graph Neural Network for 3D Object Detection in a Point Cloud}, booktitle = {The IEEE Conference ...
  • 《深入浅出图神经网络:GNN原理解析》配套代码 关于勘误 由于作者水平有限,时间仓促,书中难免会有一些错误或不准确的地方,给读者朋友造成了困扰,表示抱歉。 仓库中提供了目前已经发现的一些问题的,在此向指正...
  • GNN-RL-模型压缩 GNN-RL压缩:使用多阶段图嵌入和强化学习的拓扑感知网络修剪 依存关系 当前代码库是在以下环境下测试的: Python 3.8 PyTorch 1.8.0(CUDA 11.1) 火炬视觉0.7.0 1.6.1 GNN-RL频道修剪 在这项...
  • 关于图神经网络(GNN)上自我监督学习的论文。如果您认为缺少与相关主题相关的论文,请随时通过问题或请求请求告知我们。 2021年 [arXiv 2021]使用基于子结构对比的图形表示学习进行药物目标预测 [arXiv 2021]通过...
  • gnn解释器 该存储库包含 , , , 和提交的论文GNNExplainer: Generating Explanations for Graph Neural Networks的源代码,该论文在。 @misc{ying2019gnnexplainer, title={GNNExplainer: Generating ...
  • GNN github开源代码

    2019-05-06 11:06:35
    人工智能(AI)最近经历了复兴,在视觉,语言,控制和决策等关键领域取得了重大进展。 部分原因在于廉价数据和廉价计算资源,这些资源符合深度学习的自然优势。 然而,在不同的压力下发展的人类智能的许多定义特征...
  • GNN2讲义pdf超详细

    2020-10-18 22:35:50
    GNN2讲义pdf超详细
  • 今年的EMNLP 2019上,Shikhar等人做了tutorial,详述了如何用图神经网络(GNN)做自然语言处理。这个tutorial非常有价值,主要包括对GCN方法的研究、以及在不同的任务场景下,如何使用它来做更好的解决问题,提升...
  • 今年,第58届计算语言学协会(the Association for Computational ...为此,本文提前为大家整理了ACL 2020图神经网络(GNN)相关论文,让大家先睹为快——事实验证、法律文书、谣言检测、自动摘要、情感分析。
  • 了解图像检索的重新排名:图神经网络的角度 在Market-1501数据集上,我们使用一个K40m GPU将重新排名处理从89.2s加速到9.4ms ,从而促进了实时后处理。 同样,我们观察到,在有限的时间成本下,我们的方法在其他四...
  • 它是使用图数据库 , 和来从表格数据构建异构图并训练图神经网络(GNN)模型以检测欺诈行为的端到端实时欺诈检测解决方案。 解决方案的架构 此解决方案由以下组成, 欺诈检测解决方案堆栈 嵌套模型训练和部署堆栈 ...
  • Python-图形神经网络GNN

    2019-08-11 03:38:49
    图形神经网络(GNN)主要用于分子应用,因为分子结构可以用图形结构表示。 GNN的有趣之处在于它可以有效地建模系统中对象之间的关系或交互。 GNN有各种应用,例如分子应用,网络分析和物理建模。
  • 分析了小波神经网络(WNN)、灰色神经网络(GNN)、支持向量机(SVM)预测方法的原理,利用粒子群优化(PSO)算法对这3种基本预测方法进行了结构参数优化。将WNN、GNN、SVM与PSO-BP算法进行组合,推导得出了组合预测模型最优...
  • GNN特征分解 概述 这是我们工作的存储库:GNN特征分解,被RTAS 2021(Brif行业跟踪)接受,名为“优化边缘计算平台上的图形神经网络的内存效率” 图神经网络(GNN)在各种工业任务上都达到了最先进的性能。 但是,...
  • 真棒-深-gnn 关于开发深图神经网络(GNN)的论文。 本文还包括有关GNN中过度平滑和过度挤压问题的调查。 如果您想添加优质论文,请随时提交拉取请求。 2021年 [arXiv 2021]同一枚硬币的两个方面:图卷积神经网络中...
  • 本文手把手教你使用TensorFlow的图神经网络库tf_geometric训练图自编码器(GAE),实现链接预测功能。
  • PM2.5-GNN:PM2.5-GNN-源码

    2021-05-09 09:35:40
    PM2.5-GNN PM2.5-GNN:用于PM2.5预测的领域知识增强图神经网络 数据集 下载从数据集KnowAir或与代码ni44 。 要求 Python 3.7.3 PyTorch 1.7.0 PyG: https://github.com/rusty1s/pytorch_geometric#pytorch-170 pip ...
  • 本文组织如下:首先,介绍了图和网络的基本概念。其次,我们描述了在GNNs中用于计算节点嵌入的主要步骤。接下来,我们将介绍现有文献中经常提到的三种GNN技术。最后,我们对该领域的其他著名作品进行了有限的综述。
  • 必须阅读的有关GNN的论文 GNN:图神经网络 由周杰,崔干渠,张正彦和白玉石贡献。 图神经网络简介。 人工智能和机器学习,摩根克莱普尔出版社,2020年合成讲座 刘志远周杰 图神经网络:方法与应用综述。 arxiv 2018....
  • 混合GNN训练框架 安装 要求 C ++ 14 CUDA> = 11.0 联合会 古巴 CUSPARSE 梅蒂斯 从源代码构建 做配置python configure.py 构建全部-j 如何使用 数据集 混合GNN训练框架在COO表示中使用图形数据集。 您可以使用...
  • 基于deap数据集的脑电情绪识别,本文采用多种模型,包括gnn模型,并对脑电特征进行特征提取,构建了对应的边特征点特征
  • (GNN) 以对链接的存在进行分类,以便它可以同时从图结构特征(来自A )和潜在/显式特征(来自X )中学习以进行链接预测. 欲了解更多信息,请查看我们的论文: M. Zhang 和 Y. Chen,基于图神经网络的链路预测,神经...
  • 我们还有一个微信公众号,提供一些有关GNN和推荐的材料。 欢迎您加入我们,为GNN和Recommendation提供任何贡献!这是供稿者使用的模板: [ID] Authors. **Paper_Name**. Conference&Year. [Paper](Paper_Link) 模板...
  • 图神经网络论文的介绍,包括多种Graph Embedding、GCN、序列方式的处理。
  • 本文继续为大家整理了五篇CVPR 2020 图神经网络(GNN)相关论文,供大家参考——行为识别、少样本学习、仿射跳跃连接、多层GCN、3D视频目标检测。
  • 本文为大家奉上的是WWW 2020五篇知识图谱+图神经网络(KG+GNN)相关论文,供大家参考!——多关系实体对齐、问答推理、动态图实体链接、序列实体链接、知识图谱补全。

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 7,991
精华内容 3,196
关键字:

GNN