精华内容
下载资源
问答
  • 通过前面的讲解,我们大致了解了什么是图卷积神经网络,有了一个较熟悉的认识,接下来介绍一下图卷积神经网络的应用。应用较多,主要详细讲解交通预测。 目录一、简介二、图卷积在交通预测上的应用(详讲)1.交通...

    上一节: 链接.
    通过前面的讲解,我们大致了解了什么是图卷积神经网络,有了一个较熟悉的认识,接下来介绍一下图卷积神经网络的应用。应用较多,主要详细讲解交通预测。

    一、简介

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    二、图卷积在交通预测上的应用(详讲)

    1.交通预测任务介绍

    在这里插入图片描述
    在这里插入图片描述
    说明一下公式:VtRncV_t \in R^{n*c},其中nn是节点数,cc是通道数,也就是说,有nn个节点,每个节点上是一个1c1*c的向量,代表节点上的信号,这还只是一个时刻的交通数据。通常来说,交通数据中的节点可以由道路、十字路口、监测站或者一个区域来代表。这个cc其实就是节点的信号,也就是特征,可以是车的流量、车速、这个区域或者道路的拥挤程度等。

    如果是单一信息预测,比如说交通流量预测,那么cc就等于1,这种情况也就是说在某个时刻,一个节点上只有一个特征,这个特征代表交通流量。

    上面右图是一个示例。

    当然不仅预测下一时刻,也可预测多个时刻。
    在这里插入图片描述

    以上就是交通数据介绍,接下来看看具体是怎么样做的。

    2.各种方法介绍

    2.1 忽略空间信息

    在这里插入图片描述
    在这里插入图片描述
    上面只考虑了单个节点,多个节点怎么处理?下面接着看:
    在这里插入图片描述
    但是有个问题就是:将所有的节点排成一排,那么节点就完全失去了空间的信息。

    2.2 构建 spatio-temporal matrix

    在这里插入图片描述
    在这里插入图片描述
    这个其实就是节点只考虑了周围的两个节点,比如说2号节点只考虑了1和3号节点,而不会考虑其他的节点。这种其实要求数据集是很特殊的,如上面右图,是一个环状的,就可以使用这种思想,但是一般的交通结构不是这种的,所以此模型不具有泛化性。

    2.3 栅格模型

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    上面这个模型可以看作是从传统的方法到图方法的过渡,使用node embedding的方法来辅助交通预测任务。
    在这里插入图片描述
    在这里插入图片描述

    2.4 图模型

    在这里插入图片描述
    在这里插入图片描述
    上面的这张图我们在前面其实提到过,现在放在交通流量预测中我们再来看看:输入的每个节点上只有一个数(特征),但是输入的数据是一个历史数据,比如说输入的是过去的5个时刻的数据,预测未来3个时刻的数据,那么输入的每个节点上的数为5,也就是C=5C=5,表示过去的5个时刻;同样的输出的每个节点上的数为3,也就是F=3F=3,表示预测未来3个时刻的流量。

    上面这个就是通过建模来预测交通流量问题,当然这个只是其中的一种建模方法,更多在处理时序数据的时候使用的是LSTM和图卷积结合起来,在这里只讲全图卷积来进行流量预测。

    可以说交通流量预测问题就是一个节点回归问题,需要对每一个节点上的信号给出一个具体的值,这个值就是此节点上未来的多个时刻的交通流量。
    在这里插入图片描述
    虽然这里介绍的是交通流量预测问题,但是图的构建问题是广泛存在多个领域的,是很重要的部分,如果连图的构建都不会,还想做后面的工作,想peach呢?需要说明一下,图的构建问题实际上就是如何构建出邻接矩阵。

    3.图的构建

    3.1 高斯核构建邻接矩阵

    在这里插入图片描述
    解释一下上面的公式:dijd_{ij}表示ii节点和jj节点的欧式距离,wijw_{ij}为两个节点的关系,显然dd越大,wijw_{ij}就越小,同时设定一个阈值,超出这个范围,那wij=0w_{ij}=0
    在这里插入图片描述

    3.2 多图表示法

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    对相关图解释一下,比如说有A和B两个节点,在一段时间中,它们的交通流量呈现相似性,那么就可以认为它们的相关性高。

    最后就是将距离图、交互图、相关图这三种图进行融合,首先A=Di1Ai+IA^{'}=D_i^{-1}A_i+I的意思就是对邻接矩阵标准化或者说归一化,然后添加自连接边,最后F=i=1NWiAiF = \sum\limits_{{\rm{i = 1}}}^N {W'_i\circ A'_i}就表示加权求和的过程,FF是最后融合的图的权重,WiW'_i是可学习的参数。
    在这里插入图片描述
    虽然实验结果表明,多图表示法效果最好,但是加权求和起来的图是否可靠是有疑问的,没有理论的支持。而且这样图确定后不能再变了,但是交通预测中图是随时间变化的。

    上面介绍的都是人为的手工去构造图结构,那么能不能用深度学习的方法自动的学习图结构呢?下面来看:

    3.3 自适应的邻接矩阵

    在这里插入图片描述
    解释一下上面的公式:A~aptk\widetilde A^k_{apt}是邻接矩阵,XX是输入特征,WkW_k是卷积核参数,和ChebNet网络很相似。

    这篇文章中的邻接矩阵是可学习的,AaptkA^k_{apt}就是自适应的邻接矩阵,但是由于AaptkA^k_{apt}是一个NNN*N的矩阵,由于参数量太大,直接学习是不现实,所以对AaptkA^k_{apt}进行了相当于矩阵分解的操作,就是Aaptk=SoftMaxReLU(E1E2T)A^k_{apt}=SoftMax(ReLU(E_1E^T_2)),也就是将AaptkA^k_{apt}分解成E1E2TE_1和E^T_2。现在假设E1RNPE_1\in R^{N*P},一般P<<N,E2RNPE_2\in R^{N*P}转置后相乘就会把P消掉,所以E1E2TNNE_1E_2^T\in N*N。这样就降低了参数量的作用。
    在这里插入图片描述
    这篇文章只能自动学习到邻接矩阵,学习下来后就固定了,而不能动态的改变邻接矩阵。

    那么有没有学习动态的图结构的方法呢?答案是有的。

    3.4 attention

    在这里插入图片描述
    这个就是说Attention机制在学习注意力参数aija_{ij}时,不同的输入会学习到不同的aija_{ij},所以就达到了学习动态图的效果。

    4.小结

    在这里插入图片描述
    在这里插入图片描述

    三、其他方面

    1.天气预测(气象分析邻域)

    在这里插入图片描述
    在这里插入图片描述
    可以发现与交通预测的数据建模很相似。

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    2.骨架视频(计算机视觉邻域)

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    3.文本分类(自认语言处理邻域)

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    4.小结

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    展开全文
  • 下面一起来探讨一下关于深度学习算法中卷积神经网络的基本概念和应用: 1、卷积神经网络基本概念 卷积神经网络也是在传统人工神经网络的基础上发展起来的,它与 BP 神经网络有很大的相似之处,但也有很大的区别 ;...

    下面一起来探讨一下关于深度学习算法中卷积神经网络的基本概念和应用:

    1、卷积神经网络基本概念

    卷积神经网络也是在传统人工神经网络的基础上发展起来的,它与 BP 神经网络有很大的相似之处,但也有很大的区别 ;BP 人工神经网络是以一维向量的方式进行输入,而卷积神经网络以二维矩阵格式数据进行输入,其网络的各层都是二维阵列的形式处理数据,这样的形式正好符合数字图像的二维矩阵格式,图像以二维矩阵输入正好保留了每个像素之间的相对位置信息,从而网络能够从输入图像中获取更多有用的的特征。卷积神经网络的结构和 BP 人工神经网络一样,是由一层层的结构组成,但是每一层的功能却不一样。卷积神经网络的层结构主要有 :输入层、卷积层、池化层(汇聚层、下采样层)、输出层等,其他的还可以有全连接层,归一化层之类的层结构。

    2、卷积层

    卷积神经网络因卷积操作而闻名,而卷积操作又是卷积层主要过程。不同的卷积层有不同数量的卷积核,卷积核实际就是一个数值矩阵,并且每个卷积核拥有一个常量偏置,所有矩阵里的元素加上偏置组成了该卷积层的权重,权重参与网络的迭代更新,常用的卷积核大小有 1*1、3*3、5*5、7*7 等。局部感受野和权值共享是卷积操作的两个鲜明特点。局部感受野是指每次卷积操作只需要关心做卷积操作的那部分区域的颜色、轮廓、纹理等信息 ;局部感受野的大小就是卷积核卷积操作时的作用范围,这仅仅是对于一层卷积层而言,对于多层卷积网络,可由此逐层往回反馈,通过反复迭代可以计算出在原始输入图像中感受野大小,从而计算多层卷积层感受野大小与该层之前所有卷积层的卷积核大小和步长有关。权值共享是指卷积核在卷积操作中每个卷积核的值是不变的,除了每个迭代的权重更新,当然每个卷积核里的值是不一样的,则卷积核便不同,可以理解为每个卷积核提取的是一种特征,如有的提取的是图像的颜色特征、轮廓特征等。

    3、下采样层

    下采样层,也叫 Pooling 层,是卷积神经网络中的又一个重要层。下采样层顾名思义执行的是下采样降维操作,下采样层没有卷积层那样复杂,下采样层一般没有权重更新。常用的下采样层有最大值下采样(max pooling)、随机值下采样(stochastic pooling)、均值下采样(mean pooling)等,常用的下采样尺度为 2*2、7*7 等。均值下采样是在下采样局部取平均值来代替这个局部的所有值 ;最大值下采样是取采样区域中的最大值操作 ;随机下采样是根据某些准则在采样区域中根据一定的算法准则随机取值。下采样的主要作用是降低数据体的空间尺寸,使网络中参数的数量减少,降低计算资源的开销,更能有效的控制过拟合 ;另外还可能起到转换不变性和类似于大脑视皮层的侧抑制效应。

    4、激活函数

    激活函数的作用是选择性的对神经元节点进行特征激活或抑制,能对有用的目标特征进行增强激活,对无用的背景特征进行抑制减弱,从而使得卷积神经网络可以解决非线性问题。网络模型中若不加入非线性激活函数,网络模型相当于变成了线性表达,从而网络的表达能力也不好,如果使用非线性激活函数,网络模型就具有特征空间的非线性映射能力。另外激活函数还能构建稀疏矩阵,使网络的输出具有稀疏性,稀疏性可以去除数据的冗余,最大可能的保留数据特征, 所以每层带有激活函数的输出都是用大多数值为 0 的稀疏矩阵来表示。激活函数必须具备一些基本的特性 :

    1)单调性 :单调的激活函数保证了单层网络模型具有凸函数性能 ;

    2)可微性 :使用误差梯度来对模型权重进行微调更新。激活函数可以保证每个神经元节点的输出值在一个固定范围之内,限定了输出值的范围可以使得误差梯度更加稳定的更新网络权重,使得网络模型的性能更加优良 ;当激活函数的输出值不受限定时,模型的训练会更加高效,但是在这种情况下需要更小的学习率。卷积神经网络经常使用的激活函数有好几种 :sigmoid函数、tanh 函数、Re Lu 函数、Leaky Re Lu 函数、PRe Lu 函数等,每种激活函数使用的方法大致相同,  但是不同的激活函数带来的效果却有差异,目前卷积神经网络中用得最多的还是 Re Lu 函数,sigmoid 函数在传统的 BP 神经网络中用得比较多。

    5、损失函数

    损失函数亦叫作代价函数,在机器学习的任务中,所有算法都有一个目标函数,算法的原理就是对这个目标函数进行优化,优化目标函数的方向是取其最大值或者最小值,当目标函数在约束条件下最小化时就是损失函数。在卷积神经网络中损失函数用来驱动网络训练,使网络权重得到更新。卷积神经网络模型训练中最常用的损失函数就是 Softmax loss 函数,Soft max loss 函数是 Soft max 的交叉熵损失函数,Soft max 是一种常用的分类器。

    6、经典卷积神经网络模型

    卷积神经网络从兴起到现在,期间出现了不少具有代表性的网络模型,有的网络模型在深度学习的发展史中具有里程碑的意义。
    最早的也最具有代表性的卷积神经网络模型是 Le  Net模型,这是一个浅层网络模型,由两个卷积层、两个下采样层、一个全连接层组成,这个模型是卷积神经网络在实际中的第一个应用,应用于银行支票上手写数字的识别,当时取得了非常好的效果,这也是卷积神经网络的开山之作。Alex  Net 网络模型的出现,具有里程碑的意义,其网络模型相比 Le  Net 模型要更深一些,有 5 个卷积层、3 个下采样层、2 个全连接层,还有 1 个数据局部归一化层。它的诞生验证了卷积神经网络在复杂模型下的有效性,另外 Alex  Net网络模型的训练首次实现了 GPU 加速运算,使得在可接受的时间范围内得到结果,从此让深度学习和 GPU 紧紧的联系到一起,也推动了有监督式的深度学习的发展。以及到后来非常有名的 Google  Net 模型、VGG 模型、Res  Net 模型等,这些经典模型都在各自的时期取得了卷积神经网络图像分类任务的最佳结果,这些模型也呈现出一种趋势是网络层数越来越深,并且取得的效果也越来越好。

     

    展开全文
  • 结论: ...[1 ] 卷积神经网络每一层激活值都可以看作是图像抽象表示 解释 卷积神经网络中某层每个激活值都可以看作是一个分类器,众多分类结果组成了抽象表示 层次越高,抽象层级越高 ...

    结论:

    • [1 ] 卷积神经网络每一层的激活值都可以看作是图像的抽象表示

    解释

    1. 卷积神经网络中某层的每个激活值都可以看作是一个分类器,众多的分类结果组成了抽象表示
    2. 层次越高,抽象层级越高
    展开全文
  • Graph Neural Networks A Review of Methods and Applications
  • 卷积神经网络的应用场景总结

    千次阅读 2019-12-13 09:56:15
    一维卷积一般用于序列模型,自然语言处理模型 二维卷积一般用于计算机视觉,图像处理领域 三维卷积一般用于医学领域(CT影响),视频处理领域(检测动作或用户行为) ...

    一维卷积一般用于序列模型,自然语言处理模型

    二维卷积一般用于计算机视觉,图像处理领域

    三维卷积一般用于医学领域(CT影响),视频处理领域(检测动作或用户行为)

     

    展开全文
  • 有监督问题:就是说在问题上是有反馈信息的。比如说图像分类中的图像类别就是信息,是会被人标注出来,然后用到神经网络中去学习的。...1. 首先,看一下卷积神经网络在生成问题上的应用。 2. 其次,卷积...
  • 因为对图卷积神经网络的概念还是比较模糊的,所以想看看别人的讲解视频,结果发现b站上有一些内容,所以我就把这边博文当作的我的观看笔记! 1.图卷积的基本框架 输入邻接矩阵,然后把特征矩阵点乘到每个节点上...
  • 卷积神经网络(CNN) 分类任务:C个类别 输入:图片, 输出:类别标签, 评估准则:准确率 图像识别与定位 输入:图片, 输出:物体边界框(x,y,w,h) 评估准则:交并准则 交并准则是预测值与真实值...
  • 一、理论部分介绍 1. 目标定位和特征点检测 图片检测问题: ...对于目标定位问题,我们卷积神经网络模型结构可能如下: 输出:包含图片中存在对象及定位框 行人,0 or 1;汽车,0 or
  • 来自:Microstrong本文概览:1. 图卷积背景和基本框架1.1 图算法介绍我们都知道在数据结构中,图是一种基础且常用结构。现实世界中许多场景可以抽象为一种图结构,如社交网络、交...
  • #神经网络计算,并添加sigmoid激活函数 h_fcl = tf.nn.sigmoid(tf.matmul(h_pool2_flat,W_fcl) + b_fcl) #输出层 W_fc2 = tf.Variable(tf.truncated_normal([80,10])) b_fc2 = tf.Variable(tf.truncated_normal([10...
  • 认识了解了卷积神经网络的工作原理及其一些经典的网络结构后,这里介绍如何应用卷积神经网络,实现目标检测、人脸识别及神经风格转换。 目标检测 图像识别中,目标检测的任务,是对输入图像样本准确进行分类的...
  • 卷积核是什么?就是点乘 pooling是什么?就是均化池,输入数据过程中做一个均化池banch到一个维度上去 如果没有属性怎么办?可以用统计方法提取属性,或者提取拓扑结构属性,边数,点数等 gcn处理网格数据...
  • fc1 = tf.nn.relu(tf.matmul(h_pool2_flat,W_fc1)+b_fc1) #keep_prob用来表示神经输出概率 keep_prob = tf.placeholder(tf.float32) h_fc1_drop = tf.nn.dropout(h_fc1,keep_prob) W_fc2 = weight_variable(...
  • 来自:Microstrong本文概览:1. 图卷积背景和基本框架1.1 图算法介绍我们都知道在数据结构中,图是一种基础且常用结构。现实世界中许多场景可以抽象为一种图结构,如社交网络、交...
  • 卷积,要训练就是特征矩阵。 1.发展历史: 基于:Spatial 方法 和 基于 Spectral 方法。 通过傅里叶变换 结合在一起 GCN 2.图卷积基本框架: 输入:邻接矩阵。 隐藏层中,每个节点都乘以特征矩阵。 (NxN)...
  • 卷积神经网络

    万次阅读 多人点赞 2014-11-29 16:20:41
    自今年七月份以来,一直在实验室负责卷积神经网络(Convolutional Neural Network,CNN),期间配置和使用过theano和cuda-convnet、cuda-convnet2。为了增进CNN理解和使用,特写此博文,以其与人交流,互有增益。...
  • 卷积神经网络特征的应用

    千人学习 2018-06-01 17:02:26
    卷积神经网络特征、模型视频入门教程,该课程内容包含神经网络的起源、发展、计算和训练,卷积神经网络基础,生成对抗网络、卷积神经网络的实战应用、GAN实例、人工智能案例分享及行业趋势分析。通过本次课程的学习...
  • 详细讲解了线性模型、神经网络和卷积神经网络模型,然后介绍了基于梯度下降法的优化方法和梯度反向传播算法,接着介绍了训练网络前的准备工作、神经网络实战、卷积神经网络的应用及其发展。针对每个关键知识点,书中...
  • 摘要:CNN作为当今绝大多数计算机视觉系统核心技术,在图像分类领域做出了巨大贡献。本文从计算机视觉用例开始,介绍...当我们听到卷积神经网络(Convolutional Neural Network, CNNs)时,往往会联想到计
  • 摘要:本文概括地介绍...但是很多工作人员可能直接调用相关深度学习工具箱搭建卷积神经网络模型,并不清楚其中具体原理。本文将简单介绍卷积神经网络(CNN),方便读者大体上了解其基本原理及实现过程,便于后续...
  • 这个系列一开始曾经用二维卷积神经网络对图像数据进行应用,本文主要是使用一维卷积神经网络,对序列数据进行机器学习,可以理解为将原始数据变换为一维序列段,与二维卷积神经网络一样,这一步运算作用也是为了...
  • CNN卷积神经网络

    万次阅读 多人点赞 2018-05-26 09:49:50
    三、CNN卷积神经网络的应用 四、常见的CNN卷积神经网络 一、BP神经网络回顾 人工全连接神经网络 (1)每相邻两层之间的每个神经元之间都是有边相连的 (2)当输入层的特征维度变得很高时,这时全连接网络...
  • 我在Andrew Ng深度学习课程中看到了一种将单个对象定位在图像上...在我想训练一个CNN神经网络来定位我眼睛(不是分类)。我拍了200张我照片:60×60像素灰度。对左、右眼进行标定,标记眼各坐标归一化为0-1。y...
  • 随机抠取(一般用较大正方形在原图随机位置处抠取图像块,抠取次数决定了数据集扩充倍数)卷积神经网络模型输入一般是方形图像 尺度变换(一般是将图像分辨率变成原图0.8,0.9,1.1,1.2,1.3等倍数,将尺度...
  • 详细讲解了线性模型、神经网络和卷积神经网络模型,然后介绍了基于梯度下降法的优化方法和梯度反向传播算法,接着介绍了训练网络前的准备工作、神经网络实战、卷积神经网络的应用及其发展。针对每个关键知识点,书中...
  • 卷积神经网络CNN的应用场景

    千次阅读 2018-02-07 11:30:00
    卷积网络(Convolutional Network)也叫卷积神经网络(Convolutional Neural Network,CNN),是一种专门用来处理具有类似网络结构数据神经网络。 例如时间序列数据(可以认为是是在时间轴上有规律地采样形成一...
  • 【深度学习】卷积神经网络应用 本次学习主要内容是,使用 TensorFlow 实现模型,即:使用 TensorFlow 创建一个卷积神经网络来解决分类问题。 导入需要包 import math import numpy as np import h5py import ...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 4,578
精华内容 1,831
关键字:

卷积神经网络的应用