精华内容
下载资源
问答
  • 点上方人工智能算法与Python大数据获取更多干货在右上方···设为星标★,第一时间获取资源仅做学术分享,如有侵权,联系删除转载于 :专知摘要:近年来,新兴的图神经网络因其强大的图...

    点上方人工智能算法与Python大数据获取更多干货

    在右上方 ··· 设为星标 ★,第一时间获取资源

    仅做学术分享,如有侵权,联系删除

    转载于 :专知

    摘要: 近年来,新兴的图神经网络因其强大的图学习和推理能力,得到学术界和工业界的广泛关注,被认为是推动人工智能领域迈入“认知智能”阶段的核心力量.图神经网络融合传统图计算和神经网络的执行过程,形成了不规则与规则的计算和访存行为共存的混合执行模式.传统处理器结构设计以及面向图计算和神经网络的加速结构不能同时应对2种对立的执行行为,无法满足图神经网络的加速需求.为解决上述问题,面向图神经网络应用的专用加速结构不断涌现,它们为图神经网络定制计算硬件单元和片上存储层次,优化计算和访存行为,取得了良好的加速效果.以图神经网络执行行为带来的加速结构设计挑战为出发点,从整体结构设计以及计算、片上访存、片外访存层次对该领域的关键优化技术进行详实而系统地分析与介绍.最后还从不同角度对图神经网络加速结构设计的未来方向进行了展望,期望能为该领域的研究人员带来一定的启发.

    人 工 智 能 时 代,包 括 卷 积 神 经 网 络 (convoluG tionalneuralnetworks,CNNs)、循 环 神 经 网 络 (recurrentneuralnetworks,RNNs)等在内的机器 学习应用为社会与生活的智能化做出了革新性的巨 大贡献.然而传统的神经网络只能处理来自欧几里 得空间(Euclideanspace)的数据[1],该类分布规整 且结构固定的数据无法灵活地表示事物间的复杂关 系.现实生活中,越来越多的场景采用图作为表征数 据属性与关系的结构.非欧几里得空间中的图结构 理论上能够表征世间万物的互联关系(如社交网络、 路线图、基因结构等)[2],具有极为丰富和强大的数 据表达能力.图计算是一种能够对图进行处理,深入 挖掘图数据内潜藏信息的重要应用,但其不具备对 图数据进行学习的能力.

    受到传统神经网络与图计算应用的双重启发, 图神经网络(graph neural networks,GNNs)应运 而生.图神经网络使得机器学习能够应用于非欧几 里得空间的图结构中,具备对图进行学习的能力.目 前图神经网络已经广泛应用到节点分类[3]、风控评 估[4]、推荐系统[5]等众多场景中.并且图神经网络被 认为是推动人工智能从“感知智能”阶段迈入“认知 智能”阶段的核心要素[6G8],具有极高的研究和应用 价值.

    图神经网络的执行过程混合了传统图计算和神 经网络应用的不同特点.图神经网络通常包含图聚 合和图更新2个主要阶段.1)图聚合阶段的执行行 为与传统图计算相似,需要对邻居分布高度不规则 的图进行遍历,为每个节点进行邻居信息的聚合,因 此这一阶段具有极为不规则的计算和访存行为特 点.2)图更新阶段的执行行为与传统神经网络相似, 通过多层感知机(multiGlayerperceptrons,MLPs) 等方式来进行节点特征向量的变换与更新,这一阶 段具有规则的计算和访存行为特点.

    图神经网络的混合执行行为给应用的加速带来 极大挑战,规则与不规则的计算与访存模式共存使 得传统处理器结构设计无法对其进行高效处理.图 聚合阶段高度不规则的执行行为使得 CPU 无法从 其多层次缓存结构与数据预取机制中获益.主要面 向密集规则型计算的 GPU 平台也因图聚合阶段图 遍历的不规则性、图更新阶段参数共享导致的昂贵 数据复制和线程同步开销等因素无法高效执行图神 经网络[9].而已有的面向传统图计算应用和神经网 络应用的专用加速结构均只关注于单类应用,无法 满足具有混合应用特征的图神经网络加速需求.因 此为图神经网络专门设计相应的加速结构势在必行. 

    自2020年全球首款面向图神经网络应用的专 用加速结构 HyGCN [9]发表后,短时间内学术界已 在该领域有多篇不同的硬件加速结构成果产出.为 使读者和相关领域研究人员能够清晰地了解图神经 网络加速结构的现有工作,本文首先对图神经网络 应用的基础知识、常见算法、应用场景、编程模型以 及主流的基于通用平台的框架与扩展库等进行介 绍.然后以图神经网络执行行为带来的加速结构设 计挑战为出发点,从整体结构设计以及计算、片上访 存、片外访存多个层次对该领域的关键优化技术进 行详实而系统的分析与介绍.最后还从不同角度对 图神经网络加速结构设计的未来方向进行了展望, 期望能为该领域的研究人员带来一定的启发.

    当前已有的图神经网络应用领域综述论文从不 同角度对图神经网络算法以及软件框架进行总结与 分析.综述[1]对应用于数据挖掘和机器学习领域的 主流图神经网络算法进行分类,并讨论不同类别算 法的关系与异同.综述[10]依据图神经网络模型的结 构和训练策略的不同,提出新的分类方法,并以模型 的发展历史为主线进行介绍与分析.综述[11]围绕图 的表示学习(representationlearning)方法展开,并建立统一的框架来描述这些相关模型.综述[12]关注 于图神经网络的理论属性,总结图神经网络的表达 能力(expressivepower)并对比分析克服表达限制 的图神经网络模型.综述[13]基于计算机的金字塔组 织结构,对面向图计算的加速结构进行分类和总结, 对于新兴的图神经网络应用,仅以 HyGCN [9]作为 案例进行了讨论.与前述工作侧重点不同的是,本文 针对图神经网络加速结构设计过程中涉及到的关键 优化技术,进行系统性分析和总结,具有重要意义与 启发价值.

    ---------♥---------

    声明:本内容来源网络,版权属于原作者

    图片来源网络,不代表本公众号立场。如有侵权,联系删除

    AI博士私人微信,还有少量空位

    如何画出漂亮的深度学习模型图?

    如何画出漂亮的神经网络图?

    一文读懂深度学习中的各种卷积

    点个在看支持一下吧

    展开全文
  • 今天,iQOO产品经理@戈蓝V爆料了一个全新的黑科技——“双Wi-Fi加速”。用户可以在连接主Wi-Fi的基础上,再连接另一个Wi-Fi,两个Wi-Fi同时工作,使游戏运行更稳定,下载速度更快,网页加载更...

    对于爱玩手游的用户来说,可能经常要面临的一个问题是:房间面积太大,在不同房间的Wi-Fi信号强度不一样,这就导致想要好好的玩游戏,就要固定在某个房间,甚至还有不少人特意安装了两个路由器。

    d4f89f79aa5018a4881e1c75b5862595.png

    今天,iQOO产品经理@戈蓝V爆料了一个全新的黑科技——“双Wi-Fi加速”。用户可以在连接主Wi-Fi的基础上,再连接另一个Wi-Fi,两个Wi-Fi同时工作,使游戏运行更稳定,下载速度更快,网页加载更顺畅。

    据悉,双频WiFi同时支持两个不同频段的无线信号,分别为2.4G和5G,支持802.11a/b/g/n技术,属第五代Wi-Fi传输技术。该技术最大优点在于,与单频Wi-Fi相比稳定性更强,传输速率更高,并且更加省电。

    3999d02a660eb166b217da9dc99c6728.png

    a346766bb9ad23c6f47913e152fb9fde.png

    对于家里有两个Wi-Fi的用户来说,如果在打游戏时,需要从这个房间去另一个房间,避免了两个Wi-Fi信号切换的断网空档,同时从公布的视频来看,双Wi-Fi状态下,下载速度要明显超过单Wi-Fi。

    下午,ColorOS官微正式宣布,ColorOS 6 「双 Wi-Fi 网络加速」功能,现已支持 Reno 十倍变焦版尝鲜使用。

    1ae148adb9fda780e28766a7a9489c90.png

    按照官方科普介绍,「双Wi-Fi网络加速」是指利用DBS/DBDC芯片能力,让手机同时连接两个Wi-Fi上网,智能网速倍增,告别WI-FI卡顿,让上网更加流畅。

    双Wi-Fi加速有以下几个特点:

    • 一个2.4 G热点,一个5G热点,不同频段无干扰,可并行独立收发数据;

    • 两个2.4G同信道热点,或两个5G同信道热点,时分复用信道收发数据(TBD);

    • 两个热点可以是相同的SSID(Wi-Fi名称),也可以是两个不同SSID,如Wi-Fi A 和 Wi-Fi B ;

    • 两个热点可以是同个路由器设备,如家里双频路由器开的2个热点;也可以是两个不同的路由器设备。

    目前市面上大多数双Wi-Fi的概念,还停留在2.4GHz和5GHz双频道,「特指可以支持这两个频道,而不是可以让同时连接两个频道」。而ColorOS 6 双Wi-Fi是同时连接两个不同的热点,建立两条Wi-Fi通路,通过策略路由和链路聚合/分流技术,同时使用两条通路上网,实现网速倍增和网络无缝切换。

    降低用户使用成本,更智能的去判断需要启动双Wi-Fi的场景,现阶段主要有以下两种场景,会激活双Wi-Fi功能:

    一、网络差。网速小于200KB/s,网络延迟太大;

    二、下载速度慢。比如,网络一直持续处于500KB/s—1MB/s之间。

    想要体验双 Wi-Fi 网络加速功能的用户,可以自行前往ColorOS社区下载安装包。

    适配风险说明:

    1、务必确认你的机型为OPPO Reno 10倍变焦,目前只有此款机型支持双 Wi-Fi 网络加速功能适配;

    2、适配过程会清空你的手机数据,因此在适配之前请务必确保你已将手机数据备份(手机备份教程)完成;

    3、双 Wi-Fi 网络加速功能为仅为尝鲜版本;

    如何适配ColorOS 6 「双 Wi-Fi 网络加速」功能?

    备份 1. 确认你的机型为OPPO Reno 10倍变焦版并备份你的手机数据:设置-其他设置-备份与恢复-新建备份;

    拷贝 2. 备份完成后,文件位于手机存储根目录-backup文件夹,请将该文件拷贝至电脑或其他存储设备保存。

    下载 3. 下载双 Wi-Fi 网络固件包,并将该升级固件包拷贝到手机存储目录中;

    安装 4. 手机关机,关机后长按"电源键"与"音量下键"进入Recovery模式,选择安装升级文件,找到对应升级固件包,点击"安装"升级即可;

    成功 5. 升级过程中请勿操作手机,升级完成后会弹出"安装成功"弹框,点击"重启"键,手机重启后拥有ColorOS 6 「双 Wi-Fi 网络加速」功能。

    大家都在看:

    高通全新处理器发布:性能暴增50%

    无惧制裁!华为手机出货将再创新高

    首批8款5G手机通过3C认证 华为占一半 没小米

    iPhone外形终于要大改!屏占比猛增

    f1b9a196fbccf343120076f54938ebab.png

    展开全文
  • 【读文献笔记】图神经网络加速结构综述 前言一、图神经网络来源1.图神经网络用途2.图神经网络特点3.图神经网络主要阶段4.图神经网络加速面临的挑战5.本笔记内容包含内容二、图与图神经网络1.图数据结构2.图神经网络...



    前言

    对图神经网络进行一些关注。


    提示:以下是本篇文章正文内容。

    一、图神经网络来源

    受到传统神经网络与图计算应用的双重启发,图神经网络(graph neural networks, GNNs)应运而生。

    1.图神经网络用途

    图神经网络使得机器学习能够应用于非欧几里得空间的图结构中,具备对图进行学习的能力.目前图神经网络已经广泛应用到节点分类、风控评估、推荐系统等众多场景中.并且图神经网络被认为是推动人工智能从“感知智能”阶段迈入“认知智能”阶段的核心要素,具有极高的研究和应用价值.

    2.图神经网络特点

    图神经网络的执行过程混合了传统图计算和神经网络应用的不同特点.

    3.图神经网络主要阶段

    图神经网络通常包含图聚合和图更新2个主要阶段:
    1)图聚合阶段的执行行为与传统图计算相似,需要对邻居分布高度不规则的图进行遍历,为每个节点进行邻居信息的聚合,因此这一阶段具有极为不规则的计算和访存行为特点.
    2)图更新阶段的执行行为与传统神经网络相似,通过多层感知机(multi-layer perceptrons, MLPs)等方式来进行节点特征向量的变换与更新,这一阶段具有规则的计算和访存行为特点.

    4.图神经网络加速面临的挑战

    图神经网络的混合执行行为给应用的加速带来极大挑战,规则与不规则的计算与访存模式共存使得传统处理器结构设计无法对其进行高效处理.图聚合阶段高度不规则的执行行为使得 CPU 无法从其多层次缓存结构与数据预取机制中获益.主要面向密集规则型计算的 GPU 平台也因图聚合阶段图遍历的不规则性、图更新阶段参数共享导致的昂贵数据复制和线程同步开销等因素无法高效执行图神经网络.而已有的面向传统图计算应用和神经网络应用的专用加速结构均只关注于单类应用,无法满足具有混合应用特征的图神经网络加速需求.

    5.本笔记内容包含内容

    本文首先对图神经网络应用的基础知识、常见算法、应用场景、编程模型以及主流的基于通用平台的框架与扩展库等进行介绍.然后以图神经网络执行行为带来的加速结构设计挑战为出发点,从整体结构设计以及计算、片上访存、片外访存多个层次对该领域的关键优化技术进行详实而系统的分析与介绍.最后还从不同角度对图神经网络加速结构设计的未来方向进行了展望,期望能为该领域的研究人员带来一定的启发.

    二、图与图神经网络

    1.图数据结构

    由于图结构的不规则性,其邻接矩阵通常为稀疏矩阵.有3种主流格式常用以存储稀疏图邻接矩阵:坐标列表格式(coordinate list, COO)(COO 是最简单的一种存储稀疏矩阵的方式,它通过3个一一对应的数组记录矩阵中所有非零的元素,3个数组分别记录非零元素在矩阵中的行号、列号及节点特征.COO 的方式简单直观,但记录信息较多存在冗余)、压缩稀疏行格式(compressed sparse row, CSR)以及压缩稀 疏 列 格 式 (copressed sparse column, CSC)(CSR和 CSC格式进一步对矩阵的存储进行压缩.CSR格式同样通过3个数组对稀疏矩阵进行存储,但对行数组进行了压缩,具体方法是行数组中的每个元素依次记录稀疏矩阵中每行第1个非零元素在列数组中的偏移位置,因此也被称为偏移数组.列数组依次记录对应行的非零元素列号,也即单跳(1-hop)邻居(目标节点)的编号,该数组也被称为边数组,用以存储出边.最后通过属性数组记录节点的特征.CSC格式与 CSR 形式相似,不同的是进行列的压缩,其边数组用以存储入边)

    现实世界中的图具有3个显著特征:
    1)规模大.除边和节点规模外,用于表征现实图中节点和边属性的特征向量维度常常也数以千计,进一步扩大了图的规模.
    2)幂律分布.少数节点会与大部分节点之间具有相连关系,而大多数节点仅与少量其他节点之间存在边相连
    3)动态多样性..现实场景中的图往往具有动态变化且邻居节点分布不规则的特征.另外,现实图的种类多变,在不同的应用场景中,根据不同节点之间是否有指向性要求,分为有向图无向图;根据不同节点的类型是否相同,分为同质图异质图;根据处理过程中图结构是否发生变化,分为动态图静态图

    2.图神经网络模型

    尽管传统的神经网络在人工智能领域取得了巨大成功,但它只能应用于欧几里得空间的分布规整且结构固定的数据.为使更多现实应用场景智能化,图神经网络应运而生.图神经网络同时受到传统图计算和神经网络的启发,扩宽和加深了神经网络的应用范围和学习能力.图神经网络利用图结构,对节点的属性与相连关系进行建模与学习,通过对输入的节点、边、特征属性等信息进行逐层的迭代处理,最终对指定节点的特征向量进行更新,实现分类、预测、推荐、识别等不同的执行目的.
    现有的主流图神经网络算法可以统一抽象为模型:
    模型
    执行过程为:,图神经网络首先遍历整张图(或采样后的子图),对每个节点进行邻居信息的聚合(aggregate)获得该节点在本层的中间特征h′v,该过程与传统图计算相似;
    其后对聚合了邻居信息的中间特征与节点在上一层得到的特征进行组合,更新(update)获得本层该节点的输出特征向量h(k)v ,该过程与传统神经网络相似.
    另外,为了简化执行过程,图神经网络算法通常可以在图聚合阶段增加自环(self-loop)也就是将节点自身的特征与其邻居节点特征同时进行聚合,进而在图更新阶段不区分自身节点特征和由邻居节点聚合形成的中间特征的神经网络参数.该方法尽管会损失部分模型表达能力,但执行过程简单并可从一定程度上缓解图神经网络可能存在的过拟合(over-fitting)现象.
    增加自环的图神经网络可抽象为模型:

    与神经网络类似,为获得对知识进行学习和预测的能力,一个完整的图神经网络包含训练(train)和推断(inference)两个主要部分.
    1)训练过程:图神经网络通常可以通过反向传播(back propagation)的过程对损失函数进行训练.其中损失函数用于衡量图神经网络中最终得到的节点预测值与其真实值的差距,训练的目的是通过不断降低损失函数梯度以期模型对数据的预测更为准确,该过程通常可以采用随机梯度下降或其变形方法实现.
    2)推断过程:通过训练过程对知识进行学习并不断对网络模型进行调整后,图神经网络具备了一定的推断能力,此时可执行推断过程,针对不同需求,对新知识进行推断.此 过 程 主 要 包 含 图 聚 合 (aggregate)和 图 更 新(update)两大主要阶段.

    典型图神经网络算法
    分为卷积图神经网络(convolutional graph neural net works)、循环图神经网络(recurren graph neural networks)、图自编码器(graph autoencoders)和时空图神经网络(spatial-temporal graph neural networks)四大类.

    图神经网络与传统应用的比较
    1)与图计算应用的比较:① 数据类型.图神经网络与图计算均针对非欧几里得空间的不规则图结构数据进行处理.② 执行行为:图神经网络的图聚合阶段行为与传统图计算应用类似,均为通过逐跳(hop)遍历图中节点收集并聚合邻居信息.图神经网络相较图计算而言,具备较高的数据空间局部性.③ 学习能力.图计算应用不具备知识学习的能力,执行过程较为简单,通常应用于路径规划、页面排序、网络分析等场景.而图神经网络集成神经网络的行为,具备知识学习和推断的能力,适用场景更为广泛.
    2)与神经网络应用的比较:① 数据类型.神经网络只能处理欧几里得空间的规整数据,而图神经网络面向的是现实生活中更广泛存在的非欧几里得空间的不规则且动态变化的图结构数据.② 执行行为.图神经网络的图更新阶段与传统神经网络应用相似.但传统神经网络中,依赖信息仅能以节点的属性形式存在,而图神经网络能够通过聚合过程,将图节点间的依赖关系在图中进行传播.③ 学习能力.④ 可解释性.

    二、图神经网络编程模型与框架

    主流的图神经网络框架与扩展库

    1)PyG:是目前最常用的通用图神经网络扩展库,它基于PyTorch框架扩展而成,同时支持在 CPU 和 GPU 平台上运行,已开源.除了常见的图结构数 据 处 理 方 法 外,PyG还 提 供 对 关 系 学 习(relational learning)和3D数据处理等方法的支持.PyG 为 用 户 提 供 通 用 的 消 息 传 递 (message passing)接口.在此接口下,用户只需要分别定义 message 和 update函数以及选择节点聚合模式,即可完成一个图神经网络算法的构建,实现对节点进行邻居聚合以及对节点进行更新的操作.
    2)DGL:DGL基于多种已有的神经网络框架扩展实现,目前已支持 Tensonflow,PyTorch和MXNet,并最小化用户跨平台迁移图神经网络模型时的工作量.DGL将图神经网络计算过程抽象为用户可配置的消息传递单元,并提取图神经网络中的稀疏矩阵乘与消息传递机制间的联系,将计算操作整合为泛化 的 稀 疏 稠 密 型 矩 阵 乘 (generalized sparse-dense matrix multiplication, g-SpMM)与泛化的采样稠密 稠密型矩阵乘(generalized sampled dense-dense matrix multiplication, g-SDDMM).另 外,DGL 还 引 入 了 不 同 类 别 的 并 行 策 略,通 过 对 g-SpMM 采用节点级并行,对g-SDDMM采用边级并行的方式,使其具备高执行速度和访存效率.
    3)AliGraph:AliGraph 的 系 统 分 为 算 子 (operator)、采 样(sampling)和数据存储(storage)这3个层次.算子层将不同的图神经网络算法拆解为系统中的采样(sample)、聚合(aggregate)和组合(combine)三个算子,并进行优化计算;采样层集成多种不同的采样策略,使其能够快速准确地生成训练样本;数据存储层通过灵活的图划分、对图中不同属性进行分别存储以及缓存热点数据等策略来实现高效的数据组织和存储.

    三、图神经网络加速的挑战

    1)图聚合阶段:现实世界的图往往具有极高的稀疏性,其邻接矩阵的稀疏度高达99%.且图中节点之间的连接分布不规则,每个节点的邻居节点的数量和位置均不固定.上述行为和特性导致图神经网络的图聚合阶段存在大量的动态计算与不规则访存,受内存约束.
    2)图更新阶段:因此图更新阶段具有静态的计算和规则的访存,受计算约束.
    alt
    不规则访存使得传统通用处理器的数据预取机制失效
    图神经网络的混合执行行为,导致通用平台均无法为图神经网络的执行提供专属且高效的算力.对于 CPU 平台来说,它们缺少计算资源,并且图聚合阶段的遍历不规则性会导致频繁的数据替换.对于 GPU 来说,其结构本质上是面向类似神经网络的具有规则执行行为且计算密集型的应用进行加速,缺少应对不规则性的能力.
    神经网络加速结构不具备应对不规则访存和不规则计算的能力,无法高效执行图神经网络的图聚合阶段.另外,图计算加速结构和神经网络加速结构均只能针对图神经网络中的单一阶段进行加速,无法融合2个阶段的执行,不足以应对图神经网络应用的加速需求.
    在这里插入图片描述
    ***挑战主要可以分为计算和访存2个方面:***.计算方面:图神经网络加速结构需要同时能够高效应对不规则和密集规则型算.由于图中节点具有极高的不规则性并服从幂律分布,图聚合阶对邻居节点的遍历会导致严重的负载不均衡,为图神经网络加速结构的设计带来更多挑战.另外,图神经网络的执行过程中还潜藏着不同级别的并行性待加速结构挖掘.
    访存方面:图神经网络加速结构需要同时能够高效应对不规则和规则的粗粒度访存以及高带宽需求.同时如何充分地进行图数据复用也为图神经网络加速结构的设计提出更高要求.

    四、图神经网络加速结构分类方案

    1.支持算法方面

    2.支持阶段方面

    3.加速平台方面

    现有工作通常采用 CPU-FPGA 的异构平台、ASIC平台或存内计算平台实现硬件加速结构搭建.

    4.关键优化技术方面

    现有工作的关键优化技术可以归纳为计算、片上访存和片外访存这3个层次.
    ① 图神经网络加速结构在计算层次主要的优化目标是充分挖掘并行性,常见的优化方向包括负载均衡、脉动阵列、减少冗余计算与降低计算复杂度等.
    ② 目前片上访存层次主要的优化目标是深入挖掘粗粒度访存数据的空间局部性和时间局部性,尽可能减少片上数据的频繁替换.主要的解决思路是采用大容量片上存储和对图数据进行数据重排.另外还有新兴方法通过优化模型压缩图神经网络的模型参数数据,降低对片上存储空间的需求.
    ③ 现有的解决片外访存层次挑战的主要思路是基于特定的图数据划分方法提高预取效率和数据重用率,利用稀疏性消除、动态访存调度、数据结构重组提高带宽利用率,通过操作融合减少访存带宽需求等.
    在这里插入图片描述

    五、图神经网络加速结构整体分析

    在这里插入图片描述

    六、图神经网络关键优化技术

    1.计算优化层次

    从关键优化技术角度看,图神经网络芯片在计算层次主要的优化目标是充分挖掘并行性和提高计算部件的利用效率,常见的优化方向包括负载均衡脉动阵列减少冗余计算降低计算复杂度等。

    2.片上访存优化层次

    图神经网络中节点的特征属性为高维数据,因此对节点属性的访问为粗粒度的不规则访问,这也是图神经网络与传统图计算执行过程的典型区别之一.不规则粗粒度访存导致的片上存储 Cache命中率低的问题,为图神经网络加速结构的设计在片上存储层次带来极大挑战.
    解决这一挑战的主要思路分为2种::1)采用大容量的片上存储,并配合批量处理与数据分割等技术。2)对图数据进行数据重排.3)降低片上存储需求

    3.片外访存优化层次

    图神经网络加速结构设计在片外存储层次需要解决粗粒度不规则访存导致的片外访存效率和带宽利用率低下的问题.
    目前主要的解决思路包括:基于特定的图数据划分方法提高预取效率和数据重用率;利用稀疏性消除、动态访存调度、数据结构重组提高带宽利用率;通过操作融合减少访存带宽需求.
    1)图数据划分(为了提高片外带宽利用率,HyGCN借鉴文献中的Interval和 Shard的抽象概念来对图神经网络中的图数据进行划分)2)稀疏性消除(图神经网络的图数据具有很强的稀疏性,导致了很多无用的片外访存行为)3)动态访存调度4)数据结构重组(针对现实图数据的稀疏性问题,FPGAN提出一种数据结构重组的策略,在表示图结构的传统邻接列表基础上,对图数据进行向量化和对齐处理,从而实现更加高效的数据片外访存)5)操作融合(对于复杂的自注意力机制(self-attention mechanism),FPGAN通过操作融合(operation fusion)的方式剔除其中的存储同步过程,从而节省片外访存带宽)6)存内计算(为数据传输提供更高的带宽)
    代码如下(示例):

    七、总结与展望

    由于图神经网络加速结构研究尚处于新兴初始研究阶段,其仍具备很大的发展优化空间:

    1.大规模多节点加速结构

    2.异质图神经网络加速结构

    3.算法与阶段支持灵活化.

    4.图神经网络加速结构产业化落地.

    展开全文
  • 网络加速更换你的登录IP的,切换IP才可以达到加速的效果的,所以才会显示异地登录。 比如:你在江西然后加速器节点在江苏,然后登录的IP就在江苏了,自然的也就安全模式了。 网游加速器是针对个人用户快速、安全...

    换ip软件和网络加速器有什么不同?先分别介绍一下网络加速器和换ip软件:

    在这里插入图片描述

    网络加速器:

    网络加速器能更换你的登录IP的,切换IP才可以达到加速的效果的,所以才会显示异地登录。

    比如:你在江西然后加速器节点在江苏,然后登录的IP就在江苏了,自然的也就安全模式了。

    网游加速器是针对个人用户快速、安全连接网络加速器的一种服务。它利用IDC资源,采用数据转发的技术为个人用户提供快速、优质网络加速服务。

    换ip软件:

    换ip软件指的是ip代理软件,ip切换器、等。

    是指虚拟专用网络,通过第三方网络协议传输数据的一种加密工具。换ip工具可以实现不同网络的组件和资源之间的相互连接。具体实现是采用隧道技术,将数据封装在隧道中进行传输。而隧道协议又可分为第二层隧道协议pptp、se、l2tp和第三隧道协GRE、lpsec。

    二者之间的区别是什么呢?

    简单来讲,网络加速器不改变本机ip地址,是用过加速器节点登录连接的。而换IP软件是改变本身ip地址,通过ip代理商提供的ip线路进程连接操作的。通常情况下,换IP软件更能适应工作和娱乐,使用范围更广,操作和安全性也更高一点。

    这就是网络加速器和换IP软件的区别,希望能帮到你们。

    IP代理提供高效稳定的代理ip服务,为各行业提供最优质的网络服务,我们可以为您提供安全高效的IP服务,为您量身打造行业资讯推荐、软件使用技巧,更有专业人士为您定制IP服务。

    展开全文
  • 神经网络加速

    2021-05-08 11:45:26
    神经网络的计算本质上是张量计算(tensor),因此为了加速神经网络的计算,我们就需要进行张量的加速计算。为了加速张量计算,我们需要软硬件协调。 张量计算有两个特征 计算密集(compute-intensive) 访存受限...
  • Pytorch卷积神经网络GPU加速 首先要配置好pytorch,通常我们直接pip install pytorch的话会缺少关于cude的内容,可以通过torch.cuda.is_available()来判断是否需要重新安装pytorch 如果返回False 我们需要到官方...
  • 文章目录 在前一篇文章里给大家示范了一下如何用Pytorch构建最基础的全连接训练网络,并且写了一个基于FNN的MNIST手写数字识别器。在这一章里,我们将进一步研究如何使用CUDA加速网络的收敛过程。 ...
  • 很多网友都听说过,使用网络加速器来对游戏进行加速就好了,那使用网络加速器就真的有用吗,又有什么的作用呢?网络加速器的作用主要是改善游戏网络的延迟,比如我们在玩网游的时候,遇到游戏高峰期,游戏非常的...
  • 该报告介绍了一款量化卷积神经网络(CNN)加速芯片——QNAP,通过挖掘量化后CNN模型权值大量冗余的特征,提出一种能够显著减少冗余权值造成冗余乘操作的优化方法,降低了硬件功耗;同时,提出了一种减少ReLU激活...
  • 用FPGA加速卷积神经网络的知识储备

    千次阅读 2021-07-05 10:51:46
    下面我会从硬件和神经网络两方面来介绍使用FPGA做卷积神经网络加速所需要的知识基础。 1.FPGA 1.FPGA分类 毫无疑问,Xilinx是当前FPGA领域的带头大哥,占据了百分之60左右的全球市场份额。而Alt
  • ICLR2021 组合忽略图结构的浅层模型和利用标签结构相关性的两个简单后处理步骤,来获得GNN性能的提升 提出了包含三个主要部分的简单管道,如图1所示 (1)使用节点特征(忽略图结构)做出基本预测(例如MLP或线性...
  • 是不是有很多小伙伴遇到过这种情况:明明之前电信/联通的网打开的页面,为什么换了移动网后就进不去了呢?是什么原因导致移动网络打不开这些网页的呢?页面打不开可能和以下两点有关系:其一,可能是网间互联出口...
  • 深度神经网络压缩和加速详解

    千次阅读 2021-12-17 15:05:45
    深度学习模型的压缩和加速是指利用神经网络参数的冗余性和网络结构的冗余性精简模型,在不影响任务完成度的情况下,得到参数量更少、结构更精简的模型.被压缩后的模型计算资源需求和内存需求更小,相比 原始模型能够...
  • cfosspeed是什么软件:...用户的游戏或网页等重要网络流量优先传输,其余流量延后传输,大大减少等待时间(降低游戏延迟,提高网页以及视频的加载速度),有效提高用户的网络吞吐能力并且显著降低网络延迟...
  • cdn网络加速

    2021-09-28 11:25:32
    CDN全称Content Delivery Network,即内容分发网络。其基本思路是尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节,使内容传输的更快、更稳定。通过在网络各处放置节点服务器所构成的在现有的互联网...
  • 加速神经网络训练 目录Pytorch教程目录Stochastic Gradient Descent (SGD)Momentum 更新方法AdaGrad 更新方法RMSProp 更新方法Adam 更新方法 包括以下几种模式: Stochastic Gradient Descent (SGD) Momentum ...
  • 用于光学神经网络的高速光学卷积加速器导读一、工作原理二、矩阵卷积加速器三、光学卷积神经网络3.1 卷积层实现3.2 全连接层的实现3.3 测试结果 导读     受生物视觉皮层系统启发的卷积神经网络能够提取原始数据...
  • 越复杂的神经网络 , 越多的数据 , 我们需要在训练神经网络的过程上花费的时间也就越多. 原因很简单, 就是因为计算量太大了. 可是往往有时候为了解决复杂的问题, 复杂的结构和大数据又是不避免的, 所以
  • 神经网络加速

    2021-11-15 21:28:08
    CCF-CV走进高校第101期(广东工业大学)——纪荣嵘_哔哩哔哩_bilibili 原理(重中之重) 卷积神经网络的复杂度分析 - 知乎 (zhihu.com) 基于梯度下降公式 SGD Momentum AdaGrad RMSProp Adam
  • 那么, CDN网络加速适合那些场景使用呢?下面就跟着摩杜云小杜一起来看看吧! 1、适合给网站加速 对于网站来说,包括门户网站、电商平台、资讯APP、UGC应用等,使用CDN加速之后,可以对域名下的所有内容提高良好的
  • 本文将详细介绍shift操作的具体方法、如何剪掉冗余的Shift操作、3种用于深度神经网络加速的Shift操作、如何利用bit-wise的Shift操作避免乘法运算以及如何将Shift的思想应用到加法网络中。 在之前的文章中,我们详细...
  • 原标题:vivo创新推出双WiFi网络加速功能,是否实用,聊胜于无!“极客谈科技”,全新视角、全新思路,伴你遨游神奇的科技世界。近期,vivo公布了一项较为特殊的技术,双WiFi网络加速功能。该功能使得一台手机可以...
  • 影响用户放弃打开应用的...华为基于多年对网络的理解,推出HMS Core网络加速套件——hQUIC Kit,开发者的应用快速支持QUIC协议,辅以华为智能拥塞算法,为用户提供更快的连接建立速度,更强的抗丢包能力以及更高的
  • 如何从零开始将神经网络移植到FPGA(ZYNQ7020)加速 本片文章用于对零基础的小白使用,仅供参考,大神绕道。AI一直都是做算法的热点,作为多少研究生都想蹭一蹭热度,本文就神经网络的移植到FPGA做一个简单的教程。 1....
  • 文献阅读(167)NoC神经网络加速

    千次阅读 2021-10-25 20:32:42
    文章目录面向DNN的NoC拓扑比较 题目:Energy-Efficient and High-Performance NoC Architecture and Mapping Solution for Deep Neural Networks 时间:2019 会议:NOCS 研究机构:GIT 本篇论文的主要贡献: ...
  • 您可能感兴趣的话题:网络加速工具核心提示:相信很多经常上网的朋友都遇到过浏览网页速度很慢的情况,这种情况除了有自身带宽的原因外,比如北方网通用户浏览电信服务器的页面、电脑内存太小、浏览器加载插件太多...
  • 文 / Artsiom Ablavatski 和 Marat Dukhan,软件工程师,Google Research设备端的神经网络推理能够以一种低延迟和注重隐私的方式,实现如姿势预测和...
  • CDN(网络加速

    2021-03-23 13:58:01
    在用户和服务器之间加一个缓存机制,通过这个缓存机制动态根据地理位置获取IP地址,用户到最近的服务器访问,解决Internet网络拥塞状况,提高用户访问网站的响应速度。 简单的说,CDN的工作原理就是将您源站的资源...
  • 【2021年01月08日,北京】1月8日,在与中科院计算所和中科院计算所南研院的通力合作基础上,北京中科睿芯科技集团有限公司(简称中科睿芯)正式发布了一款图神经网络加速芯片的IP核(即制备芯片的知识产权核),并宣布面向...
  • Nvidia的开源神经网络加速器NVDLA已经在GitHub上面存在两个多月的时间了,而距离软件Software Stack的开源也差不多提上了日程。近期,NVDLA的代码库中已经更新了System C平台和Verilator,为更为便捷快速的软件仿真...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 283,701
精华内容 113,480
关键字:

咋样能让网络加速