精华内容
下载资源
问答
  • hin2vec想法其实挺巧妙的 它学习两种embedding,一种是对于节点的嵌入,一种是对于元路径(meta path)的嵌入 (ps 作者在文中说如果要强调路径的有向性...这是一个二分类网络,输出对于一定的x,y存在关系r的概率...

    hin2vec想法其实挺巧妙的

    它学习两种embedding,一种是对于节点的嵌入,一种是对于元路径(meta path)的嵌入

    (ps 作者在文中说如果要强调路径的有向性,强调路径开始节点和终止节点的不同,那么可以扩展到三种embedding,对于路径起始节点的嵌入,对于路径终止节点的嵌入,对于元路径的嵌入)

     

    训练流程如上。这是一个二分类网络,输出对于一定的x,y存在关系r的概率

     

    x,y,r 分别代表路径起始节点、路径终止节点、元路径的one-hot向量,?_x′x 就是x对应节点的嵌入向量

     

    这个模型的输出是 o= ???????( ∑ ?_?′?⊙?_?′?⊙?01(?_?′?)  )

     

    从外到内

    sigmoid是sigmoid函数

    ∑是求和

    ⊙是hadmard函数,也就是对向量的逐项相乘

    f01是01标准化函数

     

    损失函数就是一般的交叉熵损失

    ——————

    在实现的时候:

    原作者使用的采样方式是将网络中的每个节点都作为随机游走的起始点进行n次长度为length的游走,同时对每条游走记录,用长度为1到w的窗口滑动采样。

    原作者使用一个衰减的学习率,lr = max( trained/(total+1)*lr_{init} , lr_{min}),就是已训练的数据占总数的比例乘以初始设定学习率,并设置了一个下限防止变为0。初始学习率lr_{init}默认0.025,下限学习率lr_{min} = 0.0001 * lr_{init}.

    元路径嵌入归一化函数有两种,一种是sigmoid,另外一种也是默认的一种,是f(x) =\left\{\begin{matrix} 1 & x>=0 \\ 0 & x<0 \end{matrix}\right.。归一化以后的梯度仍然是使用sigmoid的梯度计算方式。

    负采样的具体方式为给定target(目标节点),meta-path(元路径),随机均匀采样context(起始节点) neg个(neg默认5)。(ps:负采样在实现的时候写错了,写成了采样metapath,结果就掉了9%的预测准确率)

    笔者认为学习率衰减方式和采样方式对于较为孤立的点可能不够公平。

    ——————

    胡思乱想:

    其实会让人联想到注意力机制,训练过程中的r相当于一个query

    另外用起来的话觉得比较不顺手的一点就是对于不同的metapath在训练时没有权重分配。也就是说对于不同的特定任务hin2vec训练得到的嵌入其实是有提升空间的

    展开全文
  • 比较分析一下异质信息网络表示和知识图谱嵌入之间的异同 文中截图来源于自己做的组会分享ppt,非常简陋… 部分比较精美的图片来源于知乎文章的插图和 https://www.zhihu.com/people/Jhy1993 一片分享ppt 2. 异质...

    1. 前言

    最近在研究异质信息网络,发现知识图谱无论是在建模方式还是下游任务都与异质信息网络有很大的相似性。

    • 在这里简单介绍一下知识图谱的相关概念和从网上找来的知识图谱嵌入综述类的文章或者博客进行总结。
    • 比较分析一下异质信息网络表示和知识图谱嵌入之间的异同

    文中截图来源于自己做的组会分享ppt,非常简陋…

    部分比较精美的图片来源于知乎文章的插图和 https://www.zhihu.com/people/Jhy1993 一片分享ppt

    2. 异质信息网络和知识图谱

    2.1 异质信息网络

    在这里插入图片描述
    现实生活中形形色色的系统,通常由大量类型各异、彼此交互的组件构成,例如生物、社交和计算机系统等。利用异质网络建模这种类型丰富且交互复杂的数据,可以保留更全面的语义及结构信息。

    相较于同质网络,异质网络建模带来了两方面的好处:

    • (1)异质网络不仅可以自然融合不同类型对象及其交互,而且可以融合异构数据源的信息。在大数据时代来源不同的数据仅捕获了部分甚至是有偏差的特征,异质图网络可以对这些数据进行综合处理。因此异质网络建模不仅成为解决大数据多样性的有力工具,而且成为宽度学习的主要方法。
    • (2)异质网络包含丰富的结构和语义信息,为发现隐含模式提供了精准可解释的新途径。例如,推荐系统的异质网络中不再只有用户和商品这两种对象,而是包含店铺、品牌等更全面的内容,关系也不再只有购买,而是含有收藏、喜爱等更精细的交互。基于这些信息,利用元路径和元图等语义挖掘方法,可以产生更精细的知识发现。

    在这里插入图片描述
    在这里插入图片描述
    基于以上分析,在设计具有异质图注意机制的图神经网络体系结构时,需要满足以下新需求。

    • 1.Heterogeneity of graph
      异构性是异质图的内在属性,即具有各种类型的节点和边。例如,不同类型的节点具有不同的特征,其特征可能落在不同的特征空间中。仍然以IMDB为例,演员的特征可能涉及到性别、年龄和国籍。另一方面,电影的特征可能涉及到情节和演员。如何处理如此复杂的结构信息,同时保留多样的特征信息,是一个迫切需要解决的问题
    • Semantic-level attention
      异质图中涉及到不同的有意义和复杂的语义信息,这些语义信息通常通过[32]元路径反映出来。异质图中不同的元路径可以提取不同的语义信息。如何为具体任务选择最有意义的元路径并融合语义信息是一个有待解决的问题。语义级注意的目的是学习每个元词的重要性,并为它们分配适当的权重。还是以IMDB为例,《终结者》既可以通过电影-演员-电影MAM(都由施瓦辛格主演)连接到《终结者2》,也可以通过电影-电影(都拍摄于1984年)MYM连接到《鸟人》。然而,在确定电影《终结者》的类型时,MAM通常比MYM扮演更重要的角色。因此,平等对待不同的元路径是不现实的,而且会削弱一些有用的元路径所提供的语义信息
    • Node-level attention
      在异质图中,节点可以通过不同类型的关系进行连接,例如元路径。给定一个元路径,每个节点都有许多基于元路径的邻居。如何区分这些邻居之间的细微差别,选择具有信息的邻居是需要解决的问题。对于每个节点,节点级注意的目的是了解基于元路径的邻居的重要性,并为它们分配不同的注意值。还是以IMDB为例,当使用元路径电影 - 导演 - 导演 - 电影(同一位导演拍摄的电影)时,《终结者》将通过导演詹姆斯•卡梅隆连接到《泰坦尼克号》和《终结者2》。为了更好地把《终结者》定义为科幻电影,模型应该多关注《终结者2》,而不是《泰坦尼克号》。因此,如何设计一个能够发现相邻区域细微差异并正确掌握其权重的模型将是我们所需要的。

    2.2 知识图谱

    知识图谱定义
    知识图谱,本质上,是一种揭示实体之间关系的语义网络。–不同的实体可以抽象成不同类型的信息

    • 信息:是指外部的客观事实。举例:这里有一瓶水,它现在是7°。
    • 知识:是对外部客观规律的归纳和总结。举例:水在零度的时候会结冰。

    “客观规律的归纳和总结” 似乎有些难以实现。Quora 上有另一种经典的解读,区分 “信息” 和 “知识” 。
    在这里插入图片描述

    知识图谱是由一条条知识组成,每条知识表示为一个SPO三元组(Subject-Predicate-Object)。

    在知识图谱中,我们用RDF形式化地表示这种三元关系。RDF(Resource Description Framework),即资源描述框架,是W3C制定的,用于描述实体/资源的标准数据模型。RDF图中一共有三种类型,International Resource Identifiers(IRIs)blank nodesliterals。下面是SPO每个部分的类型约束:

    • Subject可以是IRI或blank node
    • Predicate是IRI
    • Object三种类型都可以。
    1. IRI:我们可以看做是URI或者URL的泛化和推广,它在整个图中唯一定义了一个实体/资源,和我们的身份证号类似。
    2. Literal:是字面量,可以把它看做是带有数据类型的纯文本。
    3. blank :node简单来说就是没有IRI和literal的资源。

    在这里插入图片描述

    我们其实可以认为知识图谱就包含两种节点类型,资源和字面量。借用数据结构中树的概念,字面量类似叶子节点,出度为0。例如“罗纳尔多·路易斯·纳萨里奥·德·利马”作为字面量,是不能有指向外部节点的边。在这里插入图片描述

    2.3 异质图与知识图谱

    异质图神经网络跟知识图谱都是以图的形式进行表示,都是为了得到节点的分布式表示。但是他们的原理方法上有点不一样:

    对于异质图神经网络而言,其节点表示学习也就是图嵌入从宏观上来讲大致分为两个步骤:

    1. 学习目标节点基于元路径的特征嵌入 (HGT:邻居节点基于边的注意力表示)
    2. 学习基于不同元路径的语义级别的嵌入。(HGT:不同邻居节点的消息传递)

    对于异质图网络而言,不同节点的连接关系更像是一种标注的邻居间信息聚合的标签,对于标签本身的含义关系没有进行深入挖掘(这里有一类研究方向是元路径的选择也就是不同类型节点的链接—随机游走获取邻居、针对于下游任务学习元路径),来声明利用神经网络进行信息聚合时的不同策略。这里的策略在异质图神经网络中可以表现为GAT注意力机制或者Transformer的注意力机制(个人认为其实从根本上看是一样的,都是为了区分不同连接类型采取不同的处理方式)。至于第二步语义级别的嵌入在我所看的论文中全部采取注意力机制,理由同上

    而知识图谱是受到word2vec能自动发现implicit relation的启发(king-man=quene-women),重点在学习图数据时强调的是节点跟关系的表示,知识图谱在应用更关注于关系建模。但是两中方法也可以互相借鉴的。 例如 WWW 2020 MAGNN: Metapath Aggregated Graph Neural Network for Heterogeneous Graph Embedding 在基于元路径的邻居信息聚合方式上将知识图谱嵌入中的 RotatE 方法泛化到异质信息网络中,由于异质信息网络和知识图谱的相似性,两者互相借鉴的创新方法还有待进一步研究

    后续会整理一下知识图谱嵌入相关的方法

    展开全文
  • 为了方便大家对异质信息网络表示学习(HINE)开展相关的实验或研究,北京邮电大学 DMGroup 的研究人员在 GitHub 上发布了 HINE 训练和测试框架 OpenHINE。项目链...

    为了方便大家对异质信息网络表示学习(HINE)开展相关的实验或研究,北京邮电大学 DMGroup 的研究人员在 GitHub 上发布了 HINE 训练和测试框架 OpenHINE项目链接:

    https://github.com/BUPTDM/OpenHINE

    该项目还在持续开发中,今后将根据已公布的 HINE 论文持续实现更多有代表性的模型。欢迎其他研究者在该框架中构建 HINE 模型到这个工具包里,也会公布项目中的贡献内容。


    OpenHINE 是一个用于异质信息网络嵌入的开源工具包。它统一了 HINE 模型输入/输出/评测接口,并且修订和复现了目前比较经典的异质信息网络表示学习模型,包括:DHNE、HAN、HeGAN、HERec、HIN2vec、Metapath2vec、MetaGraph2vec、RHINE。更多资料请访问 www.shichuan.org

    亮点:

    • 易于训练和评估

    • 能够扩展到新的/您的数据集和模型

    • 可用的最新模型:HAN,HeGAN 等

    贡献者:

    北京邮电大学 DMGroup 成员:赵天宇,朱美琪,刘佳玮,刘念,楚贯一,刘佳玥,王啸,杨成,胡琳梅,石川

    1 开始

    配置需求:

    • Python version >= 3.6

    • PyTorch version >= 1.4.0

    • TensorFlow version >= 1.14

    • Keras version >= 2.3.1

    使用:

    输入参数:

    python train.py -m model_name -d dataset_name
    

    例如,使用 Metapath2vec 模型训练 ACM 数据请输入:

    python train.py -m Metapath2vec -d acm
    

    模型设置:

    可以在文件(./src/config.ini)中修改模型参数。

    • 通用参数

      ……

      • alpha: 学习率

      • dim: 输出维度

      • epoch: 迭代次数

    • 特定参数

      ……

      • metapath: 选择的元路径

      • neg_num: 负采样的个数

    数据集:

    如果想用自己的数据集进行训练,请创建文件(./dataset/your_dataset_name/edge.txt),数据格式如下:

    • input: edge

    src_node_id dst_node_id edge_type weight

    例如:

    19	7	p-c	2
    19	7	p-a	1
    11	0	p-c	1
    0       11	c-p	1
    
    -输入图是有向图,无向图需要转换为有向图。
    
    • Input: feature

    number_of_nodes embedding_dim

    node_name dim1 dim2

    例如:

    11246	2
    a1814 0.06386946886777878 -0.04781734198331833
    a0 ... ...
    

    2 模型

    DHNE AAAI 2018

    Structural Deep Embedding for Hyper-Networks

    源代码:

    https://github.com/tadpole/DHNE

    HAN WWW 2019

    Heterogeneous Graph Attention Network

    -将feature.txt添加到输入文件夹中或者设置参数["featype": "adj"],以使用邻接矩阵作为特征。
    

    源代码:

    https://github.com/Jhy1993/HAN

    DGL 实现:

    https://github.com/dmlc/dgl/tree/master/examples/pytorch/han

    HeGAN KDD 2019

    Adversarial Learning on Heterogeneous Information Network

    源代码:

    https://github.com/librahu/HeGAN

    HERec TKDE 2018

    Heterogeneous Information Network Embedding for Recommendation

    源代码:https://github.com/librahu/HERec

    -特定参数["metapath_list": "pap|psp"] (元路径用"|"划分)
    

    HIN2Vec CIKM 2017

    HIN2Vec: Explore Meta-paths in Heterogeneous Information Networks for Representation Learning

    源代码:

    https://github.com/csiesheep/hin2vec

    metapath2vec KDD 2017

    metapath2vec: Scalable Representation Learning for Heterogeneous Networks

    源代码:

    https://ericdongyx.github.io/metapath2vec/m2v.html

    DGL 实现:

    https://github.com/dmlc/dgl/tree/master/examples/pytorch/metapath2vec

    MetaGraph2Vec PAKDD 2018

    MetaGraph2Vec: Complex Semantic Path Augmented Heterogeneous Network Embedding

    源代码:

    https://github.com/daokunzhang/MetaGraph2Vec

    RHINE AAAI 2019

    Relation Structure-Aware Heterogeneous Information Network Embedding

    源代码:

    https://github.com/rootlu/RHINE

    3 输出

    测试

    python test.py -d dataset_name -m model_name -n file_name
    

    输出的嵌入文件在路径(./output/embedding/model_name/)中。

    例如,使用 HAN 模型测试 DBLP 数据并输出到 node.txt 文件请输入:

    python test.py -d dblp -m HAN -n node.txt
    

    输出格式如下:

    • output: embedding

    number_of_nodes embedding_dim

    node_name dim1 dim2

    例如:

    11246	2
    a1814 0.06386946886777878 -0.04781734198331833
    a0 ... ...
    

    4 评估

    -这里HAN使用的是没有节点特征的数据集
    

    4 未来工作

    目前 OpenHINE 仅为 0.1 版本,仍在积极开发中,欢迎您随时提供反馈意见以及您的问题。

    未来我们将包含更多模型和任务。目前我们使用了多种深度学习框架,今后我们想使用 PyTorch 统一所有模型。如果您使用 PyTorch 进行了上述模型的代码实现,或者想将您的方法添加到我们的工具包中,请与我们联系。

    点击 “阅读原文”,即刻进入 OpenHINE 的世界。

    展开全文
  • HIN2Vec 是一篇关于异质信息网络中的表示学习的论文,发表在刚刚结束的 2017CIKM 会议上。这篇论文和我最近的工作有一些相似之处,一些想法甚至有些相同,同样有很多地方值得借鉴。  论文提出了一种 针对异质...


    ?wxfrom=5&wx_lazy=1


    在碎片化阅读充斥眼球的时代,越来越少的人会去关注每篇论文背后的探索和思考。


    在这个栏目里,你会快速 get 每篇精选论文的亮点和痛点,时刻紧跟 AI 前沿成果。


    点击本文底部的「阅读原文」即刻加入社区,查看更多最新论文推荐。

    这是 PaperDaily 的第 18 篇文章

    本期推荐的论文笔记来自 PaperWeekly 社区用户 @YFLu。这篇论文发表在刚刚结束的 2017CIKM 会议上,论文提出了一种针对异质信息网络的表示学习框架 HIN2Vec

    不同于之前很多基于 Skip-gram 语言模型的工作,HIN2Vec 的核心是一个神经网络模型,不仅能够学习网络中节点的表示,同时还学到了关系(元路径)的表示

    如果你对本文工作感兴趣,点击底部的阅读原文即可查看原论文。

    关于作者:陆元福,北京邮电大学计算机系硕士生,研究方向为异质信息网络的表示学习。

    ■ 论文 | HIN2Vec: Explore Meta-paths in Heterogeneous Information Networks for Representation Learning

    ■ 链接 | https://www.paperweekly.site/papers/1182

    ■ 作者 | YFLu

    HIN2Vec 是一篇关于异质信息网络中的表示学习的论文,发表在刚刚结束的 2017CIKM 会议上。这篇论文和我最近的工作有一些相似之处,一些想法甚至有些相同,同样有很多地方值得借鉴。 

    论文提出了一种针对异质信息网络的表示学习框架 HIN2Vec,不同于之前很多基于 Skip-gram 语言模型的工作,HIN2Vec 的核心是一个神经网络模型,不仅能够学习网络中节点的表示,同时还学到了关系(元路径)的表示。 

    同时论文还对异质信息网络中表示学习的一些问题做了研究实验,例如:元路径向量的正则化、负采样过程中节点的选择以及随机游走中的循环序列问题。

    Introduction

    论文首先指出了现有模型存在的一些问题,之前的很多工作仅仅局限于同质信息网络,而且往往只考虑节点之间的整合的信息或者限制类型的关系。虽然 ESim 模型考虑了节点间的不同关系,但是该模型过于依赖人为定义的元路径以及每条元路径人为设置的权重。

    基于现有模型存在的问题,论文提出了 HIN2Vec 模型,通过研究节点之间不同类型的关系和网络结构,学习异质信息网络中丰富的信息。由于不同的元路径可能有不同的语义信息,所以作者认为对嵌入在元路径和整个网络结构中的丰富信息进行编码,有助于学习更有意义的表示

    和之前的一些模型相比,HIN2Vec 模型保留了更多的上下文信息,不仅假设存在关系的两个节点是相关的,而且还区分节点之间的不同关系,并通过共同学习关系向量区别对待。

    论文的主要贡献:

    • 证明了节点间不同类型的关系能够更好的捕获更多嵌入在网络结构中的细节信息,因此通过捕获节点间各种不同类型的关系,有助于网络的表示学习。

    • 提出了 HIN2Vec 模型,包括两部分:首先,基于随机游走和负采样生成训练数据,然后,设计逻辑二元分类器用于预测两个给定的节点是否存在特定的关系。同时,考虑了循环序列、负采样和正则化问题。

    • 实验很充分,包括多标签分类和链路预测,同时实验研究了循环序列、负采样以及正则化对实验分类结果的影响。

    HIN2Vec

    Framework

    HIN2Vec 模型分为两部分:基于随机游走的数据生成部分和表示学习部分。数据生成部分,基于随机游走和负采样生成符合目标关系的数据,以用于表示学习。表示学习部分是一个神经网络模型,通过最大化预测节点之间关系的可能性,同时学习节点和关系的表示向量,模型的整体框架可以见下图。

    ?

    值得注意的是,HIN2Vec 模型同时学习了节点和关系(元路径)的表示向量,这种多任务学习(multi-task learning)方法能够把不同关系的丰富信息和整体网络结构联合嵌入到节点向量中。 

    Representation Learning 

    HIN2Vec 模型的基本想法是对于多个预测任务,每个任务对应于一条元路径,联合学习一个模型,学到每个节点的向量表示,所以一个简单的想法就是构建一个神经网络模型,预测任意给定节点对之间的一组目标关系。 

    论文最初的想法是一个多分类模型,即给定两个节点和一个目标关系集合,通过下图 2 的神经网络模型训练预测概率值 P(ri|x,y),(i=1…|R|),但是对于这样的一个模型的训练数据的获取是非常复杂的,因为对于一个复杂网络而言,获取网络中两个节点的所有关系是很困难的

    ?

    所以论文退而求其次,将问题简化成二分类问题,即给定两个节点 x,y,预测节点间是否存在确定的关系 r,这样就避免了遍历网络中的所有关系,图 3 所示就是 HIN2Vec 的神经网络模型。

    ?

    模型的输入层是三个 one-hot 编码的向量?,经过隐层层转换到隐含向量?,值得注意的是,因为关系和节点的语义含义是不同的,所以论文对关系向量 r 做了正则化处理,这种处理方式限制了关系向量的值在 0 到 1 之间。

    然后,模型对三个隐含向量运用一个 Hadamard 函数(例如,对应元素相乘),对乘积再运用一个线性激活函数,最后输出层对成绩求和后的值进行一个 sigmoid 非线性转换。 

    模型的训练数据集是以四元组的形式给出的,形如 $,其中,其中 L(x,y,r) 指示指示 x,y 之间是否存在关系之间是否存在关系 r。具体的:

    ?


    ?

    Traning Data Preparation

    论文采用随机游走的方式生成节点序列,但是需要注意的是,不同于 metapath2vec[1] 按照给定元路径模式游走的方式,HIN2Vec 模型完全随机选择游走节点,只要节点有连接均可游走

    例如,随机游走得到序列 P1,P2,A1,P3,A1,那么对于节点 P1,可以产生训练数据 $和$。

    在论文中,作者讨论了随机游走过程中可能出现的循环的情况,提出通过检查重复节点的方式消除循环,并在实验部分分析了是否消环对实验结果的影响,但是个人认为这个地方的原理性介绍比较欠缺,对于消除循环的具体做法没有给出很详细的说明解释,循环的检测是根据前面已生成的所有节点还是部分节点,也没有给出说明。

    论文还讨论了训练数据集中负样本的选择,论文也是采用 word2vec 中的负采样的方法产生负样本。对于一个正样本 $,通过随机替换,通过随机替换 x,y,r 中的任意一个,生成负样本中的任意一个,生成负样本,其中,其中 x’’ 和 y’’ 之间不一定有确定的关系之间不一定有确定的关系 r’’$。

    但是,由于网络中的关系数量是很少的,节点的数量远远大于关系的数量,这样就很容易产生错误的负样本(其实是可能正样本),所以论文采用只随机替换 x 或 y 中的一个,而保持 r 是不变的,同时保持 x 或 y 的类型不变

    Summary

    总体来说,论文的想法还是很新颖的,把节点和节点间的关系作为一种二分类问题考虑,给定两个节点 x,y,通过预测节点之间是否存在确定的关系 r,同时学习到了节点和关系的向量表示。

    此外,论文考虑到了节点和关系的语义是不同的,因此它们的表示空间也应该不通,所以论文对关系向量运用了一个正则函数。对于随机游走过程中可能会出现循环节点的问题,论文也给出了实验分析,同时阐述了负采样时候节点及节点类型的选择。

    个人认为,论文的不足之处在于随机游走过程中如何消除循环,没有给出较为详细的说明。此外,对于学习到的关系的表示如何应用到实际的数据挖掘任务中,论文也没有给出实验分析。

    Reference

    [1] Dong Y, Chawla N V, Swami A. metapath2vec: Scalable representation learning for heterogeneous networks[C]//Proceedings of the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. ACM, 2017: 135-144.


    本文由 AI 学术社区 PaperWeekly 精选推荐,社区目前已覆盖自然语言处理、计算机视觉、人工智能、机器学习、数据挖掘和信息检索等研究方向,点击「阅读原文」即刻加入社区!

              

     我是彩蛋


     解锁新功能:热门职位推荐!


    PaperWeekly小程序升级啦


    今日arXiv√猜你喜欢√热门职位


    找全职找实习都不是问题

     

     解锁方式 

    1. 识别下方二维码打开小程序

    2. 用PaperWeekly社区账号进行登陆

    3. 登陆后即可解锁所有功能


     职位发布 

    请添加小助手微信(pwbot01)进行咨询

     

    长按识别二维码,使用小程序

    *点击阅读原文即可注册


    ?




    关于PaperWeekly


    PaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域,欢迎在公众号后台点击「交流群」,小助手将把你带入 PaperWeekly 的交流群里。


    ?

    ▽ 点击 | 阅读原文 | 查看原论文

    展开全文
  • 文章目录写在前面前两章简单阅读异质网络的基本概念基于原路径的挖掘异质网络的学习表示浅层模型基于分解的方法基于元路径的随机游走的方法基于关系的方法深度模型基于自动编码器基于生成对抗网络基于强化学习基于图...
  • 实际系统往往由大量类型各异、彼此交互的组件构成.当前大多数工作将其建模为同质...除介绍异质信息网络领域的基本概念外,重点聚焦基于元路径的数据挖掘方法、异质信息网络表示学习技术和实际应用三个方面的最新研究进
  • 异质网络的社区发现通过对异质网络中的多维结构、多模信息、语义信息、链接关系等信息进行建模表示和提取分析,以发现其中相对紧密稳定的社区结构,对网络信息的获取与挖掘、信息推荐以及网络演化预测具有重要的研究...
  • 本次讲座中,石川针对图神经网络研究的重要挑战——传统采用的是同质图数据,无法满足业界交互系统对异质图的实际需求,介绍了自己对于解决方案的一系列相关研究工作,包括:异质信息网络表示学习、浅层模型、深层...
  • 传统的网络表示学习方法都是针对网络中节点和连边只有一种类型的同质信息网络的表示学习方法,而现实世界中的网络往往是具有多种节点和连边类型的异质信息网络。而且,从时间维度上来看,网络是不断变化的。因此,...
  • 针对SDN网络管理与非SDN网络管理共存面临的管理信息异质性这一对立问题,引入可拓学的转换桥方法,给出该问题的基元表示、共存度函数与转换桥等形式化定义,并通过SDN管理信息的同义异词场景进行实例分析.分析结果表明,...
  • Network embedding 目前是非常火热的一个研究方向,特别是从DeepWalk开始,后续引入了大量的工作,在数据挖掘领域没年都可以看到很多杰出工作,特别是北邮石川老师提出异质信息网络(HIN)后。随后很多领域专家老师...
  • 深度神经网络由于结构类似于生物神经网络,因此拥有高效、精准抽取信息深层隐含特征的能力和能够学习多层的抽象特征表示,且能够对跨域、多源、异质的内容信息进行学习等优势。提出了一种基于多用户-项目结合深度...
  • 具体而言,首先通过使用疾病-基因,疾病-表型,蛋白质-蛋白质和基因-GO关联构建异质网络。 通过快速网络嵌入算法从异构网络中提取节点的低维向量表示。 然后,使用低维向量表示重建双层异构网络,并将网络传播应用...
  • Metapath2Vec通过在异质信息网络中做基于元路径的随机游走来抽取节点结构信息,并利用skip-gram 算法来学习节点表示。 Metapath2Vec++ 通过将不同类型的节点映射到不同的向量空间,进一步刻画节点间的区别。进一...
  •   网络表示学习**(Network Representation Learning,NRL),也称为图嵌入法(Graph Embedding Method,GEM):用低维、稠密、实值的向量表示网络中的节点(含有语义关系,利于计算存储,不用再手动提特征(自...
  • 异质图嵌入是将异质图的丰富结构信息嵌入到低维节点表示中。现有的模型通常是定义一个异质图中的多个元路径,用于捕获复合关系和指导邻域选择。然而,这些模型存在着几个问题 省略节点内容特性 沿着元路径丢弃中间...
  • 该文提出了一种基于深层模型的异质网络表示学习的方法HetGNN。 异构图的表示学习旨在为每个节点寻求一个有意义的向量表示,以便于链接预测、个性化推荐、节点分类等下游应用。然而,这个任务是挑战不仅因为需求将异构...
  • 发布于2020年。...提出了一种用于学习模态不可知特征的特征聚合网络(FAN),其中提出了一种新颖的解缠表示模块(DRM),该模块包含两个Siamese子网络(域私有网络和域不可知网络)。借助DRM,模态和
  • 系统之间利用网络通信 程序结构和运行信息存储 16进制 字 数据大小 寻址 机器的机器级表示过程 栈帧结构 转移控制 寄存器使用 递归过程 数组分配 原则 指针运算 嵌套数组 变长数组 定长数组 异质的数据结构 结构 ...
  • 由于互联网内容的大规模、异质多元、组织结构松散的特点,给人们有效获取信息和知识提出了挑战。 知识图谱,Knowledge Graph以其强大的语义处理能力和开放组织能力,为互联网时代的知识化组织和智能应用奠定了基础...
  • 苏萌表示,互联网的发展已经经历了三个变革:由目录式到搜索式,再到社交网络式,而第四次互联网信息变革将是从搜索时代进入推荐时代。 “当今互联网的现状有两大特性:消费者的异质性和信息过载,而这
  • 具体来说,HC损失可以通过约束两个异质模态之间的类内中心距离来监督网络学习的跨模态不变信息。在交叉熵损失和HC损失的联合监督下,训练网络尽可能多地实现类间差异和类内交叉模态相似性这两个重要目标。 并且,...

空空如也

空空如也

1 2
收藏数 22
精华内容 8
关键字:

异质信息网络表示