精华内容
下载资源
问答
  • 肉桂 可逆神经网络的引力波参数估计
  • 网2网 NeurIPS 2020口头报告随附的代码 *,*,*平等贡献 tl; dr我们的方法提取了一个模型相对于另一个模型的残差信息,从而可以在固定的现成专家模型(例如BERT和BigGAN)之间进行转换,而无需修改或微调它们。...
  • INN 两个很好的讲解视频: https://www.youtube.com/watch?v=WqP45Iyvd3o这里的讲者是Analyzing Inverse Problems...这文章很适合入门了解INN的概念。 ...其中,我觉得比较值得细看的是NICE: NON-LINEARINDEPENDENTC...

    INN

    两个很好的讲解视频:

    https://www.youtube.com/watch?v=WqP45Iyvd3o 这里的讲者是Analyzing Inverse Problems with Invertible Neural Networks的作者。这文章很适合入门了解INN的概念。

    https://www.youtube.com/watch?v=IpbeIwSr7r0 这个是比较综述的,涉及很多文章的内容。其中,我觉得比较值得细看的是 NICE: NON-LINEAR INDEPENDENT COMPONENTS ESTIMATIONDENSITY ESTIMATION USING REAL NVP

     

    BPP

    另外,在NICE文章中,我看的时候并不知道bits per pixel(bpp)是什么。一查才知道这是评价generative model很重要的指标。详细描述在这篇文章的3.1: A NOTE ON THE EVALUATION OF GENERATIVE MODELS https://arxiv.org/pdf/1511.01844.pdf(有很多不错的概念)。简而言之,就是用一个training set训练generative model之后,用model去求一个test set中X的P(X),然后取log得到log likelihood。然后根据香农信息论 里的信息量 = -log(p(x)),我们可以定义bits per pixel 就是这个信息量除以一个总pixels/channel的 数量(一个常数)。具体这个常数,定义上似乎有些复杂,有些讨论可以看:

    https://www.reddit.com/r/MachineLearning/comments/56m5o2/discussion_calculation_of_bitsdims/

    https://stats.stackexchange.com/questions/423120/what-is-bits-per-dimension-bits-dim-exactly-in-pixel-cnn-papers

    https://www.tutorialspoint.com/dip/concept_of_bits_per_pixel.htm

    总而言之,对于一个generative model,log-likelihood higher value is better and bits-per-dimension (BPD) lower value is better

     

    展开全文
  • 基于可逆卷积神经网络的图像超分辨率重建方法.pdf
  • 机器学习神经网络

    2020-12-16 20:11:33
    神经网络是20世纪80年代以来人工智能领域兴起的 研究热点 ■神经网络的发展也经历了沉寂期和繁荣期 ■自2010年随着深度学习作为人工智能技术的重要应 用技术,其□理论神经网络也成为人工智能课程的重 要学习内容 ...

    这里写自定义目录标题

    概述

    □发展历程
    ■神经网络是20世纪80年代以来人工智能领域兴起的 研究热点
    ■神经网络的发展也经历了沉寂期和繁荣期
    ■自2010年随着深度学习作为人工智能技术的重要应 用技术,其□理论神经网络也成为人工智能课程的重 要学习内容
    神经网络作为一种重要的数据挖掘方法,已在医学 诊断、信用卡欺诈识别、手写数字识别以及发动机 的故障诊断等领域得到了广泛的应用
    重点介绍神经网络的概念和基本原理,为以后深度 学习打下基础
    □神经网络与机器学习,人工智能的关系
    □线性回归和逻辑回归模型可以作为神经网络的”组 件
    在这里插入图片描述

    逻辑回归

    □ 2. 1线性回归
    □ 2. 2逻辑回归
    口在线性回归中,预测目标y是连续型,模型如下
    在这里插入图片描述
    ■目标函数
    最小二乘法
    目标函数
    •最小化残差平方和RSS=« argmin(y - WTX)T (y - WTX) w
    ■最小二乘法
    w = (XTX)_1XTy
    •存在问题通过最小二乘法可以获得参数的解析解
    •然而解析解存在的前提是: 矩阵XTX可逆:满秩或为正定矩阵
    •当矩阵不可逆时,最小二乘法无法给出解析解
    ■另外一种求最优解方法:梯度下降
    在这里插入图片描述
    梯度下降(gradient descent)

    在这里插入图片描述
    ■也是一种寻找目标函数最小化的方法
    求使目标函数值最小的W的值
    在这里插入图片描述
    梯度:多变量偏导构成的向量
    公式意义:J是关于@的一个函数,0为初始点,要从这个点走到J的最小值点,也就是山底。首先确定前进的方向,也就是梯度的反向,然后走一段距离的步长,也就是a,走完这个段步长,就到达了l这个点!
    在这里插入图片描述
    ■a称作为学习率或者步长:控制每一步走的距离
    ■梯度要乘以一个负号:梯度的方向实际就是函数在
    在这里插入图片描述

    8.2.2逻辑回归

    应用最为广泛的模型之一
    在这里插入图片描述
    假设要解决的是二分类问题,也就是预测目标y为离散型,线性回归无法解决该问题
    在这里插入图片描述
    Logistic函 数是S形函数,又称为Si gmoid函数
    在这里插入图片描述
    在线性加和的基础上,叠加Logistic函数,增加非线性映射。
    在这里插入图片描述
    逻辑回归中逻辑函数σ(),将任意实数映射到(0, 1)之间
    因y;∈{1,-1},逻辑回归模型可统- -表示为
    在这里插入图片描述
    与线性回归比较
    极大似然估计:样本结果信息已知,反推最大概率导致这些样本结果的模型参数值
    设训练集为D= ((x)1)2.,…,(…n}, 利用极大似然法估计逻辑回归模型的的参数w.
    目标函数:负对数似然函数
    在这里插入图片描述
    在这里插入图片描述
    使用梯度下降法求目标函数的最小值,设目标函数对于模型的梯度为: VNLL(w)
    初始化参数后,梯度下降法使用以下迭代公式更新
    w←. w - ηVNLL(w)
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    人类大脑神经元
    1 人脑由百亿条神经组成
    2 神经元对接收的能量进行累加
    3 当这个累加的总和达到某个临界阈值时将能量发送给其他神经
    4 大脑通过调节神经连接数目和强度进行学习
    抽象人脑神经元网络,即人工神经网络模型
    由节点(“神经元”)和之间的相互联接构成
    逻辑回归模型可以看做是单层的神经网络,激活函
    在这里插入图片描述
    神经元接收其他神经元传入的信号
    信号通过带有权重的连接传递
    输入总信号与阈值比较,通过激活函数,产生输出
    在这里插入图片描述
    由输入层和输出层组成:神经网络雏形;
    感知机模型
    在这里插入图片描述
    多层前馈神经网络
    将多个感知机组合成多层感知机模型
    在输入层和输出层之间加入多层(>=1)隐含层神经
    在这里插入图片描述
    多层前馈神经网络
    神经元之间不存在同层连接也不存在跨层连接,即网络就能以任意精度逼近任意复杂度的连续函数
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    展开全文
  • 神经网络基础

    2020-07-14 18:18:53
    神经网络 1、神经网络基础 1.1、图数据的应用场景 重要的四个类别:同构图、异构图、属性图和非显示图 同构图:节点类型和关系类型只有一种。如超链接关系构成的万维网;社交网络 异构图:节点类型和关系类型不止...

    图神经网络

    1、神经网络基础

    1.1、图数据的应用场景

    重要的四个类别:同构图、异构图、属性图和非显示图

    • 同构图:节点类型和关系类型只有一种。如超链接关系构成的万维网;社交网络
    • 异构图:节点类型和关系类型不止一种。更贴近现实。
    • 属性图:节点和关系都有标签和属性,标签指节点或者关系的类型,属性是节点或关系的附加描述信息。
    • 非显示图:数据之间没有显示的定义出关系,需要依据某种规则或计算方式将数据的关系表达出来。如点云数据。

    1.2、图神经网络

    是一套基于图卷积操作并不断衍生的神经网络理论

    在图神经网络出现之前。处理图数据的方法是在数据的预处理阶段将图转化为一组向量表示,问题是可能会丢失图中的结构信息。

    近几年,更多的基于空域图卷积的神经网络模型的变体被开发出来,这类方法被统称为GNN

    1.3、几个定义

    • **卷积滤波:**卷积是一种运算方法, 滤波操作就是图像对应像素与卷积滤波器的乘积之和。 卷积滤波器就是利用卷积运算的原理来构成滤波器,来提取特征。卷积运算决定了该滤波器的性能。
    • **空域:**空域滤波是指图像平面本身,这类方法直接对图像的像素进行处理。

    1.4、 图数据相关任务的分类

    • **节点层面:**主要包括分类任务和回归任务,对节点层面的性质进行预测。
    • **边层面任务:**主要包括边的分类和预测(两节点是否构成边)任务,集中应用在推荐业务中。
    • **图层面任务:**从图的整体结构出发,实现分类、表示和生成等任务。主要应用在自然科学研究领域,如药物分子的分类。

    1.5、机器学习是什么?

    机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。即是让计算机从数据中挖掘有价值的信息。

    1.6、机器学习的分类

    1.6.1、根据训练数据是否有标签

    • **监督学习:**训练数据中每个样本都有标签,通过标签可以指导模型进行学习,学到具有判别性的特征,从而对未知样本进行预测。
    • **无监督学习:**训练数据完全没有标签,通过算法从数据中发现一些数据之间的约束关系,比如数据之间的关联、距离关系等。如聚类算法。
    • **半监督学习:**既有标签数据也有无标签数据,无标签数据中含有一些数据分布相关的信息,可以作为标签数据之外的补充。

    1.6.2、根据算法输出的形式(属于监督学习的范畴)

    • 分类问题:模型的输出值为离散值。例如风控的输出为正常/异常两类结果。
    • 回归问题:模型的输出值为连续值。例如用户点击商品的概率,概率越高表示模型认为用户越倾向于点击该商品。

    1.7、机器学习流程

    • 提取图片特征
    • 建立模型
    • 确定损失函数:用来衡量模型输出值与真实值之间的差异程度。
    • 进行优化求解

    1.7.1、重要组成部分

    • 损失函数:用来估量模型的预测值和真实值的差异程度,是一个非负实值函数,用L(y,f(x;θ))。机器学习中,通过在训练集X上最小化损失函数来训练模型,调整f的参数θ,使得损失函数值降低。

      • 平方损失函数
      • 交叉熵损失函数
    • 优化算法:

      • **批梯度下降算法:**利用梯度信息,通过不断迭代调整参数来寻找合适的解。

        1.通过随机初始化为需要求解的参数赋初始值,作为优化的起点。

        2.使用模型对所有样本进行预测,计算总体的损失值。

        3.利用损失值对模型参数求导,得到响应的梯度。

        4.基于梯度调整参数,得到迭代之后的参数。

        5.重复上述过程,直到停止条件。

      • **随机梯度下降算法:**每次从训练集中随机选择一个样本,计算其对应的损失和梯度,进行参数更新和反复迭代。

    1.8、神经网络

    • **神经元:**是神经网络进行信息处理的基本单元,其主要是模拟生物神经元的结构和特性,接收输入信号并产出输出。

    • **神经元基本组成:**输入信号、线性组合、非线性激活函数。

    • 多层感知器:又称前馈神经网络

      • 分为输入层,隐藏层,输出层。隐藏层可以包括一层或者多层;
      • 每一层都由若干神经元组成,每个神经元承担的计算功能包括线性加权和非线性变换(激活函数);
      • 层与层之间通过权值建立联系,后一层的每个神经元与前一层的每个神经元都产生连接;
      • 输入和输出层的神经元个数基本已知,隐藏层中每层的神经元个数以及使用的层数都是超参数。
    • **激活函数:**它的非线性使得神经网络几乎可以任意逼近任何非线性函数。如果不使用激活函数,无论神经网络有多少层,其每一层的输出都是上一层输入的线性组合,这样构成的神经网络仍是一个线性模型,表达能力有限。

      • 选择:连续可导,可以允许在少数点不可导。
      • 常见函数:
        • S型激活函数:Sigmoid和Tanh,特点是有界,x趋于-∞/+∞有界
        • ReLU(Rectified Linear Unit)函数:线性整流函数,是目前深度学习模型中最常用的激活函数。定义为x>=0时,保持x不变进行输出;x<0时,输出为零,又称单侧抑制
    • **训练神经网络:**使用反向传播法来高效训练

      • 神经网络的运行过程
        • **前向传播:**给定输入和参数,逐层向前进行计算,最后输出预测结果。
        • **反向传播:**基于前向传播得到的预测结果,使用损失函数得到损失值,然后计算相关参数的梯度。
        • **参数更新:**使用梯度下降算法对参数进行更新,重复上述过程,逐步迭代,直到模型收敛。
      • **梯度消失:**原因在于激活函数的饱和性,函数值在趋于上下边界时,梯度通常比较小,在与误差项的乘积更小,多次的反向传播导致梯度值不断下降,最终在靠近输入层的梯度值很低,几乎无法进行参数有效更新,在下一次前向传播时,前面层参数无法提供有价值的信息供后面使用,模型也就难以进行有效更新。这就是梯度消失。
      • **局部最优:**深度模型网络通常存在非常多的局部最优解,往往这些局部最优解都能够保证模型的效果。
      • **鞍点:**指在该处梯度为0,但并不是最大或最小值。

    2、卷积神经网络

    卷积神经网络(Convolutional Neural Network)是一种具有局部连接、权值共享等特点的深层前馈神经网络,在图像和视频分析领域、比如图像分类、目标检测、图像分割等各种视觉任务上取得了显著的效果

    2.1、卷积与池化

    2.1.1、 信号处理中的卷积

    • 卷积定理:(f * g)(t) 等价于 F(w)G(w),可以将时域中的数据转换到频域中的一种方式。

    • **时域:**信号的基本性质,描述数学函数或物理信号对时间的关系。

    • **频域:**信号的基本性质,描述信号在频率方面特性时用到的一种坐标系。

    • **傅里叶变换:**能将满足一定条件的某个函数表示成三角函数(正弦/余弦)或者他们的积分的线性组合。

      [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-lRdhADzn-1594721863638)(C:\Users\13018\Desktop\研究生阶段文件\傅里叶变换时频卷积.png)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-FyfU9jYz-1594721863643)(C:\Users\13018\Desktop\研究生阶段文件\傅里叶变换时频卷积.png)]

    • **卷积的典型应用:**针对某个线性时不变的系统,给定输入信号f(t)和系统响应g(t),求系统的输出。

    2.1.2、深度学习中的卷积操作

    • **单通道卷积:**卷积核不需要进行显示翻转,卷积网络中的卷积核是通过自动学习得到的。

      导致的问题:

      • 进行多次卷积运算后,输出的尺寸会越来越小
      • 越是边缘的像素点,对于输出的影响越小,因为卷积运算在移动到边缘的时候就结束了。中间的像素点会参与多次计算,但是边缘的像素点可能只会参与一次运算,这就导致边缘信息的丢失。

      解决的办法:

      • 在输入矩阵的边缘使用0进行填充,使得边缘处的像素值也能进行计算。输入维度由M*N变成M+2*N+2
    • **多通道卷积:**在单通道卷积的基础上添加了通道数C,多通道卷积使用多个卷积核来提取更丰富的特征。

      计算过程:

      • 输入向量X,H*W维,C个通道;与卷积核R,K*k维,C个通道,C‘个卷积核个数进行卷积运算
      • 卷积完成后,为每个特征图加一个偏置
      • 得到输出向量Y,H’*W‘维,C’个通道
      • 过程中的参数为卷积核与偏置,参数总量为K²*C*C’+C’
    • 池化

      • 目的:降维,降低计算量,并在训练初期提供一些平移不变性。
      • 具体:使用一个固定大小的滑窗在输入上滑动,每次将滑窗内的元素聚合为一个值作为输出。
      • 分类:平均池化,最大支持化。

    2.2、卷积神经网络

    通过将卷积层与池化层进行堆叠得到的

    2.2.1、卷积神经网络的结构

    • 一部分由卷积层和池化层交替堆叠构成的骨干网络,主要用于从输入中提取丰富的特征。
    • 一部分是全连接层,将卷积得到特征图展平,主要作用是聚合全局信息并将其映射到输出空间。

    2.2.2、卷积神经网络的特点

    • **局部连接:**图像通常具有局部连接性,卷积计算每次只在与卷积核大小对应的区域进行。输入和输出是局部连接的。

    • **权值共享:**不同的区域使用相同的卷积核参数,减少了参数量,带来了平移不变性。

    • **层次化表达:**低层次的卷积一般是提取一些简单的特征,如颜色、边缘、角,对应局部性特征。

      中间层次的卷积得到的特征开始变得抽象,比如纹理结构。

      高层次的卷积得到的特征更加抽象,与图像的语义、具体包含的目标。

    2.2.3、特殊的卷积形式

    • 1*1 卷积:用于信息聚合,增加非线性和通道数的变化。
    • 转置卷积:语义分割任务中不可分割的模块,对对象在像素级别上进行分类。
    • 空洞矩阵:超参数空洞率r控制卷积核(K*K)的扩张程度,使用0填充,扩张后的卷积核大小变为k+(k-1)(r-1)。
    • 分组卷积:把特征图分给了多个GPU来处理,最后再把多个GPU的处理结果融合。
    • **深度可分离卷积:**一部分沿着深度的逐层卷积,另一部分是1*1卷积。

    3、表示学习

    表示学习是一类可以自动地从数据中去学习有用的特征,并可以直接用于后续的具体任务的方法的统称。

    3.1.1、表示学习的意义

    • 从数据中得到具有判别性特征的方法,减少机器学习对特征工程(人工标注的特征)的依赖。

    3.1.2、端到端的学习

    端到端的学习是一种强大的表示学习方法

    • **是什么:**以原始图像作为输入,而不是特征工程得到的特征,输出直接是预测的类别,这中学习方式就是端到端学习。去掉怀疑
    • 深度学习模型的优势:
      • 反向传播算法将误差从输出层向前传递直到输入层,优化算法动态的调节模型参数,使得模型可以自动提取到与任务相关的判别性特征。
      • 能够学习到数据的层次化表达,位于低层的变换得到基础的特征,是构成高层抽象特征的基础。
    • **表示学习的任务:**通常是学习这样一个映射:f:X->R,即将输入映射到一个稠密的低维向量空间中。

    3.1.3、典型表示学习的方法:

    • 基于重构损失的方法------自编码器:
    • 基于对比损失的方法------Word2vec:

    4、图信号处理与图卷积神经网络

    图信号处理是离散信号处理理论在图信号领域的应用

    4.1、图信号与图的拉普拉斯矩阵

    • **图信号:**图信号是定义在图节点上的信号,性质包括图信号的强度和图的拓扑结构。
    • **拉普拉斯矩阵:**用来研究图的结构性质的核心对象,定义为L = D - A ,D是图的度矩阵,A是图的邻接矩阵。拉普拉斯矩阵是一个反映图信号局部平滑度的算子。

    4.2、图傅里叶变换

    • **是什么:**傅里叶变换是数字信号处理的基石,傅里叶变换将信号从时域空间转换到频域空间,频域视角给信号的处理带来了极大的便利。

    • 图位移算子: 算子就是把一个R^2 上的函数变化到另一个 R^2上的函数的一个变换。 原图每个点到另一幅图的的映射,是通过矩阵(图像处理时也称为掩膜)用来与原图像做运算而实现的 。

    • **定义:**对于任意一个在图G上的信号,其图傅里叶变换为:Xk=<Vk,x>矩阵点积的和,特征向量称为傅里叶基,Xk是X在第k个傅里叶基上的傅里叶系数,傅里叶系数的本质上是图信号在傅里叶基上的投影。

    • **总变差:**总变差是图的所有特征值的一个线性组合,权重是图信号相对应的傅里叶系数的平方。代表着图信号整体平滑度的实际意义。

    • 图信号的能量:E(x) = ||x||² = x转置·x (Xk=<Vk,x>)图信号的能量可以同时从空域和时域进行等价定义。单位向量的图信号能量为1。有了频率的定义,傅里叶系数就可以等价为成图信号在对应频率分量上的幅值,反映了图信号在该频率分量上的强度。

    • **图滤波器:**对给定信号的频谱中各个频率分量的强度进行增强或衰减的操作。

      性质:

      • 线性:H(x+y) = Hx + Hy
      • 滤波操作是顺序无关的:H1(H2x) = H2(H1x)
      • 如果H(λ) ≠ 0,则该滤波操作是可逆的

      空域角度:

      • 具有局部性,每个节点的输出信号值只需要考虑其K阶子图
      • 可通过K步迭代式的矩阵向量乘法来完成滤波操作

      频域角度:

      • 从频域视角能够更加清晰的完成对图信号的特定滤波操作。
      • 图滤波器如何设计具有显式的公式指导
      • 对矩阵进行特征分解是一个非常耗时的操作,具有O(n三次方)的时间复杂度,相比空域视角中的矩阵向量乘法而言,有工程上的局限性。
    • 滤波器种类:

      • **低通滤波器:**只保留信号中的低频部分,更加关注信号中平滑的部分。
      • **高通滤波器:**只保留信号中的高频部分,更加关注信号中快速变化的部分。
      • **带通滤波器:**只保留信号特定频段的成分。

    5、GCN图神经网络的性质

    5.1、 GCN与CNN的关系

    • 图象是一种特殊的图数据,CNN中的卷积运算相较于GCN中的卷积运算,最大的区别是没有显式的表达出邻接矩阵。GCN中的卷积计算是用来处理更普遍的非结构化的图数据的。
    • **从网络连接方式来看,二者都是局部连接。**GCN的计算作用在其一阶子图上;CNN的计算作用在中心像素的N*N像素栅格内;节点下一层的特征计算只依赖于自身邻域的方式,在网络连接上表现为局部连接的结构。
    • **二者卷积核的权重式处处共享的。**都作用于全图的所有节点。参数共享会大大减少每一层网络的参数量,可以有效地避免过拟合现象的出现。
    • **从模型的层面看,感受域随着卷积层的增大而变大。**每多一层卷积运算,中心节点就能多融合进更外一圈的信息。

    5.2、 GCN能够对图数据进行端到端的学习(一端是数据,一端是任务)

    端到端的学习实现了一种自动化地从数据种进行高效学习的机制,但是离不开背后大量的针对特定类型数据的学习任务的适配工作

    5.2.1、 图数据包含的信息

    • **属性信息:**描述了图中对象的固有属性。
    • **结构信息:**描述了对象之间的关联性质。

    5.2.2、 GCN计算过程

    首先对属性信息进行仿射变换,学习了属性特征之间的交互模式,然后迭代式的聚合邻居节点的特征,从而更新当前节点的特征。

    5.2.3、 GCN的优势

    • GCN对表示学习和任务学习一起进行端到端的优化。
    • GCN对结构信息和属性信息的学习是同步进行的(在同一个网络层里同时学习)。

    5.3、 GCN是一个低通滤波器

    5.4、 GCN的问题-过于平滑

    在使用多层GCN之后,节点的区分性变得越来越差,节点的表示向量趋于一致,这使得相应的学习任务变得更加困难,我们将这个问题称为多层GCN的过平滑问题


    6、GNN的通用框架

    6.1、 MPNN(Message Passing Neural Network) 消息传播神经网络

    基本思路:节点的表示向量通过消息函数M(Message)和更新函数U(Update)进行K轮消息传播机制的迭代后得到的。

    6.2、 NLNN(Non-Local Neural Network)非局部神经网络

    非局部神经网络是对注意力机制的一般化总结。

    基本思路:NLNN是通过non-local操作将任意位置的输出响应计算为所有位置特征的加权和。

    6.3、 GN(Graph Network)图网络

    基本计算单元包含三个要素:节点的状态、边的状态、图的状态

    基本思路:由点更新边,边聚合更新点,点聚合与边聚合更新图。每个元素在更新的时候都需要考虑自身上一轮的状态。


    7、 图分类

    图分类任务中实现层次化池化的机制,是GNN需要解决的基础问题

    7.1、 基于全局池化的图分类

    **读出机制:**对经过K轮迭代的所有节点进行一次性聚合操作,从而输出图的全局性表示。

    7.2、 基于层次化池化的图分类

    • **基于图坍缩(Graph Coarsening)的池化机制:**将图划分成不同的子图,然后将子图视为超级节点,从而形成一个坍缩的图。实现对图的全局信息的层次化学习。实质是节点不断聚合成簇的过程。
      • DIFFPOOL算法:通过学习出一个簇分配矩阵进行子图的划分,得到簇连接强度,确定邻接矩阵,对节点特征进行加和(这样加和损失了子图本身的结构信息)。
      • EigenPooling算法:通过图分区的算法(如谱聚类算法)实现对图的划分,得到簇连接强度,之后用子图上的信号在该子图上的图傅里叶变换来代表结构信息于属性信息的整合输出。
    • **基于TopK的池化机制:**对图中每个节点学习出一个分数(重要度),基于这个分数的排序丢掉一些底分数的节点,借鉴最大池化,将更重要的信息筛选出来。实质是一个不断丢弃节点的过程。
    • 基于边收缩(Edge Contraction)的池化机制(Edge Pool):边收缩是指并行的将图中的边移除,并将被移除边的两个节点合并,同时保持被移除节点的连接关系。通过归并操作实现图信息的层次化学习。融合边收缩变换操作和端到端的学习机制。

    8、 基于GNN的图表示学习

    基于GNN图表示学习的优势:

    • 非常自然的融合了图的属性信息进行学习,而之前的方法大多把图里面的结构信息与属性信息单独进行处理。
    • GNN本身作为一个可导的模块,可以任意嵌入到一个支持端到端学习的系统中去,这种特性使得能够与各个层面的有监督学习任务进行有机结合,学习出更加适应该任务的数据表示。
    • GNN的很多模型支持归纳学习,多数情况下对新数据的表示学习可以进行直接预测,而不必重新训练。
    • 相较于分解类(转换到低维矩阵向量)的方法只能适应小图的学习,GNN保证了算法在工程上的可行性,也能适应大规模的学习任务。

    8.1、 图表示学习

    • **主要目标:**将图数据转化成低维稠密的向量化表示。
    • **学习对象:**节点的表示学习一直是图表示学习的主要对象。
    • **核心:**图表示学习的核心也是研究数据的表示。
    • 非线性结构作用下,图表示学习的作用:
      • 将图数据表示成线性空间中的向量。向量化的表示为擅长处理线性结构数据的计算机提供了便利。
      • 为之后的学习任务奠定基础。图数据的学习任务种类繁多,有节点层面的,有边层面的,还有全图层面的,一个好的表示学习方法可以统一高效地辅助完成这些工作。

    8.2、 基于GNN的图表示学习(无监督的学习方式)

    无监督学习的主体在于损失函数的设计,以下是两类损失函数

    • **基于重构损失的GNN:**核心在于将节点之间的邻接关系进行重构学习,以及加噪降低GNN学习过平滑的问题。

      加噪的常见做法:

      • 对原图数据的特征矩阵X适当增加随机噪声或进行置零处理;
      • 对原图数据的邻接矩阵A删除适当比例的边,或者修改边上的权重值。
    • **基于对比损失的GNN:**通常对比损失会设置一个评分函数D,该得分函数会提高“真实/正”样本的,降低“假/负”样本的得分。

      类比词向量,将对比损失的落脚点放在词与上下文中。词就是节点,上下文可以是邻居节点,节点所在的子图、全图。

      • **邻居作为上下文:**对比损失就在建模节点与邻居节点的共现关系。
      • **子图作为上下文:**强调节点之间的共现关系,更多反映图中节点间的距离关系,缺乏对节点结构相似性的捕捉。
      • **全图作为上下文:**对图数据进行加噪,得到负样本数据,将这两组图数据送到同一个GNN中进行学习。为了得到图的全局表示,我们使用读出机制对局部节点的信息进行聚合。在最后的损失函数中,固定全图表示。
    展开全文
  • 神经网络

    2016-07-03 11:12:00
    神经网络:是一种模仿生物神经网络的运算模型,由大量的节点之间相互联接构成。 传输函数:每个节点代表一种特定的输出函数,称为激励函数,完成对给节点信号的非线性映射,传输函数应该为单值函数,使得神经元是...

    1.几个名词:

    神经网络:是一种模仿生物神经网络运算模型,由大量的节点之间相互联接构成。

    传输函数:每个节点代表一种特定的输出函数,称为激励函数,完成对给节点信号的非线性映射,传输函数应该为单值函数,使得神经元是可逆的,常用的传输函数有Sigmoid函数和对数Sigmoid函数

    权重:每两个节点间的连接都代表一个对于通过该连接信号的加权值,称之为权重,权重反应了神经元之间的连接强度,这相当于人工神经网络的记忆。网络的输出则依网络的连接方式,权重值和激励函数的不同而不同。

    单个神经元:

    • a1~an为输入向量的各个分量
    • w1~wn为神经元各个突触的权值
    • b为偏置
    • f为传递函数,通常为非线性函数。一般有traingd(),tansig(),hardlim()。以下默认为hardlim()
    • t为神经元输出

    一个神经元的功能是求得输入向量与权向量的内积后,经一个非线性传递函数得到一个标量结果。

    单个神经元的作用:把一个n维向量空间用一个超平面分割成两部分(称之为判断边界),给定一个输入向量,神经元可以判断出这个向量位于超平面的哪一边。

    该超平面的方程

     

    人工神经网络具有以下基本特征:
    ① 并行分布处理:具有高度的并行结构和并行实现能力。
    ② 固有的非线性映射特性,这是其解决非线性问题的根本。
    ③ 良好的鲁棒性。当一个控制系统中的某个参数发生变化时,系统仍能保
    持正常工作的属性。
    ④ 自学习、自组织与自适应性:当外界环境变化时,神经网络能够按一定
    规则调整结构参数,建立新的神经网络。

    2.神经元网络分类:

    神经网络分为单层和多层

    单层神经网络是最基本的神经元网络形式,由有限个神经元构成,所有神经元的输入向量都是同一个向量。由于每一个神经元都会产生一个标量结果,所以单层神经元的输出是一个向量,向量的维数等于神经元的数目,单层神经网络如下图所示:

    多层神经网络分为多种,

    (1)前馈网络:也称前向网络。这种网络只在训练过程会有反馈信号,而在分类过程中数据只能向前传送,直到到达输出层,层间没有向后的反馈信号,BP神经网络就属于前馈网络。前馈网络如图所示:

    (2)反馈型神经网络:这一种从输出到输入具有反馈连接的神经网络,其结构比前馈网络要复杂得多。典型的反馈型神经网络有:Elman网络和Hopfield网络,反馈网络如图所示:

    (3)自组织网络 自组织神经网络是一种无导师学习网络,无导师网络如图所示:

    3.神经网络训练

    自动学习:通过训练样本的校正,对各个层的权重进行校正(learning)而建立模型的过程,称为自动学习过程(training algorithm)。

    学习方法:神经网络的学习方法主要包括有导师学习和无导师学习。

    无导师学习算法:Hebb学习率

    当两个神经元同时处于激发状态时两者间的连接权会被加强,否则被减弱。 为了理解Hebb算法,有必要简单介绍一下条件反射实验。巴甫洛夫的条件反射实验:每次给狗喂食前都先响铃,时间一长,狗就会将铃声和食物联系起来。以后如果响铃但是不给食物,狗也会流口水。

    Hebb的理论认为在同一时间被激发的神经元间的联系会被强化。比如,铃声响时一个神经元被激发,在同一时间食物的出现会激发附近的另一个神经元,那么这两个神经元间的联系就会强化,从而记住这两个事物之间存在着联系。相反,如果两个神经元总是不能同步激发,那么它们间的联系将会越来越弱。

    有导师学习算法:Delta学习规则

    而 delta 规则是基于梯度降落这样一种思路。这个复杂的数学概念可以举个简单的例子来表示。从给定的几点来看,向南的那条路径比向东那条更陡些。向东就像从悬崖上掉下来,但是向南就是沿着一个略微倾斜的斜坡下来,向西像登一座陡峭的山,而北边则到了平地,只要慢慢的闲逛就可以了。所以您要寻找的是到达平地的所有路径中将陡峭的总和减少到最小的路径。在权系数的调整中,神经网络将会找到一种将误差减少到最小的权系数的分配方式。

    若神经元实际输出比期望输出大,则减小所有输入为正的连接的权重,增大所有输入为负的连接的权重。反之,若神经元实际输出比期望输出小,则增大所有输入为正的连接的权重,减小所有输入为负的连接的权重。

    4.BP神经网络

    BP神经网络是典型的有导师学习算法,BP(Back Propagation)神经网络是一种按误差逆传播算法训练的多层前馈网络。它的学习规则是使用梯度下降法,通过反向传播来不断调整网络的权值和阈值,使网络的误差平方和最小。

     

    BP神经网络的工作过程分为正向传播和反向传播:

    正向传播

    输入的样本从输入层经过隐单元一层一层进行处理,通过所有的隐层之后,则传向输出层;在逐层处理的过程中,每一层神经元的状态只对下一层神经元的状态产生影响。在输出层把现行输出和期望输出进行比较,如果现行输出不等于期望输出,则进入反向传播过程。

    反向传播

    反向传播时,把误差信号按原来正向传播的通路反向传回,并对每个隐层的各个神经元的权系数进行修改,以望误差信号趋向最小。

    BP神经网络模型拓扑结构包括输入层(input)、隐层(hidden layer)和输出层(output layer),结构如图所示:

     

    BP神经网络的优缺点:

    (1)容易形成局部极小值而得不到全局最优值。BP神经网络中极小值比较多,所以很容易陷入局部极小值,这就要求对初始权值和阀值有要求,要使得初始权值和阀值随机性足够好,可以多次随机来实现。

    (2)训练次数多使得学习效率低,收敛速度慢。

    (3)隐含层的选取缺乏理论的指导。

    (4)训练时学习新样本有遗忘旧样本的趋势。

    BP神经网络一般用于分类或者逼近问题。如果用于分类,则激活函数一般选用Sigmoid函数或者硬极限函数,如果用于函数逼近,则输出层节点用线性函数。

    5.Matlab实现BP神经网络

    (1) 什么是归一化? 

    数据归一化,就是将数据映射到[0,1]或[-1,1]区间或更小的区间,比如(0.1,0.9) 。

    (2) 为什么要归一化处理? 

    <1>输入数据的单位不一样,有些数据的范围可能特别大,导致的结果是神经网络收敛慢、训练时间长。

    <2>数据范围大的输入在模式分类中的作用可能会偏大,而数据范围小的输入作用就可能会偏小。

    <3>由于神经网络输出层的激活函数的值域是有限制的,因此需要将网络训练的目标数据映射到激活函数的值域。例如神经网络的输出层若采用S形激活函数,由于S形函数的值域限制在(0,1),也就是说神经网络的输出只能限制在(0,1),所以训练数据的输出就要归一化到[0,1]区间。

    <4>S形激活函数在(0,1)区间以外区域很平缓,区分度太小。例如S形函数f(X)在参数a=1时,f(100)与f(5)只相差0.0067。

    (3) 归一化算法 

      一种简单而快速的归一化算法是线性转换算法。线性转换算法常见有两种形式:

           <1>

    y = ( x - min )/( max - min )

      其中min为x的最小值,max为x的最大值,输入向量为x,归一化后的输出向量为y 。上式将数据归一化到 [ 0 , 1 ]区间,当激活函数采用S形函数时(值域为(0,1))时这条式子适用。

           <2>

    y = 2 * ( x - min ) / ( max - min ) - 1

           这条公式将数据归一化到 [ -1 , 1 ] 区间。当激活函数采用双极S形函数(值域为(-1,1))时这条式子适用。

    (4) Matlab数据归一化处理函数 

      Matlab中归一化处理数据可以采用premnmx , postmnmx , tramnmx 这3个函数。

    <1> premnmx

    语法:[pn,minp,maxp,tn,mint,maxt] = premnmx(p,t)

    参数:

    pn: p矩阵按行归一化后的矩阵

    minp,maxp:p矩阵每一行的最小值,最大值

    tn:t矩阵按行归一化后的矩阵

    mint,maxt:t矩阵每一行的最小值,最大值

    作用:将矩阵p,t归一化到[-1,1] ,主要用于归一化处理训练数据集。

    <2> tramnmx

    语法:[pn] = tramnmx(p,minp,maxp)

    参数:

    minp,maxp:premnmx函数计算的矩阵的最小,最大值

    pn:归一化后的矩阵

    作用:主要用于归一化处理待分类的输入数据。

    <3> postmnmx

    语法: [p,t] = postmnmx(pn,minp,maxp,tn,mint,maxt)

    参数:

    minp,maxp:premnmx函数计算的p矩阵每行的最小值,最大值

    mint,maxt:premnmx函数计算的t矩阵每行的最小值,最大值

    作用:将矩阵pn,tn映射回归一化处理前的范围。postmnmx函数主要用于将神经网络的输出结果映射回归一化前的数据范围。

    2. 使用Matlab实现神经网络 

    使用Matlab建立前馈神经网络主要会使用到下面3个函数:

    newff :前馈网络创建函数

    train:训练一个神经网络

    sim :使用网络进行仿真

     下面简要介绍这3个函数的用法。

    1) newff函数

    <1>newff函数语法 

           newff函数参数列表有很多的可选参数,具体可以参考Matlab的帮助文档,这里介绍newff函数的一种简单的形式。

    语法:net = newff ( A, B, {C} ,‘trainFun’)

    参数:

    A:一个n×2的矩阵,第i行元素为输入信号xi的最小值和最大值;

    B:一个k维行向量,其元素为网络中各层节点数;

    C:一个k维字符串行向量,每一分量为对应层神经元的激活函数

    trainFun :为学习规则采用的训练算法

    <2>常用的激活函数

      常用的激活函数有:

      a) 线性函数 (Linear transfer function)

    f(x) = x

      该函数的字符串为’purelin’。

     

    b) 对数S形转移函数( Logarithmic sigmoid transfer function )

     

        该函数的字符串为’logsig’。

    c) 双曲正切S形函数 (Hyperbolic tangent sigmoid transfer function )

     

      也就是上面所提到的双极S形函数。 该函数的字符串为’ tansig’。

      Matlab的安装目录下的toolbox\nnet\nnet\nntransfer子目录中有所有激活函数的定义说明。

    <3>常见的训练函数

        常见的训练函数有:

    traingd :梯度下降BP训练函数(Gradient descent backpropagation)

    traingdx :梯度下降自适应学习率训练函数

    <4>网络配置参数

    一些重要的网络配置参数如下:

    net.trainparam.goal  :神经网络训练的目标误差

    net.trainparam.show   : 显示中间结果的周期

    net.trainparam.epochs  :最大迭代次数

    net.trainParam.lr    : 学习率

    (2) train函数

        网络训练学习函数。

    语法:[ net, tr, Y1, E ]  = train( net, X, Y )

    参数:

    X:网络实际输入

    Y:网络应有输出

    tr:训练跟踪信息

    Y1:网络实际输出

    E:误差矩阵

    (3) sim函数

    语法:Y=sim(net,X)

    参数:

    net:网络

    X:输入给网络的K×N矩阵,其中K为网络输入个数,N为数据样本数

    Y:输出矩阵Q×N,其中Q为网络输出个数

     

    转载于:https://www.cnblogs.com/feichangnice/p/5637028.html

    展开全文
  • 深入浅出图神经网络|GNN原理解析☄学习笔记(五)图信号处理与图卷积神经网络 文章目录深入浅出图神经网络|GNN原理解析☄学习笔记(五)图信号处理与图卷积神经网络矩阵乘法的三种形式图信号与图的拉普拉斯矩阵图...
  • 卷积神经网络

    2017-10-17 18:14:17
    卷积神经网络 注: 1.对二维图像的滤波操作可以写成卷积  2.神经元的激活:我们要识别图像中的某种特定曲线,这个滤波器要对这种曲线有很高的输出,对其他形状则输出很低 3.在训练卷积审计网络的某一个卷积层时...
  • 生物神经网络

    千次阅读 2018-08-18 01:17:32
    1 生物神经网络 2 神经元 神经系统的基本结构和机能単位。接受刺激,产生兴奋或抑制。通过神经元相互间的联系,八传入的神经冲动加以分析、贮存,并发出调整后的信息。 组成:包体(soma)、突起(neurites); ...
  • 《深入浅出图神经网络》第5章的个人读书笔记
  • 深度神经网络总结

    万次阅读 多人点赞 2019-01-09 17:52:24
    深度神经网络(Deep Neural Networks,DNN)可以理解为有很多隐藏层的神经网络,又被称为深度前馈网络(DFN),多层感知机(Multi-Layer perceptron,MLP)。 1 前向传播算法 1.1 从感知机到神经网络 感知机的模型...
  • RBF神经网络简单介绍与MATLAB实现

    万次阅读 多人点赞 2017-05-30 09:10:02
    MATLAB实现RBF神经网络 RBF的直观介绍RBF具体原理,网络上很多文章一定讲得比我好,所以我也不费口舌了,这里只说一说对RBF网络的一些直观的认识1 RBF是一种两层的网络是的,RBF结构上并不复杂,只
  • RBF神经网络

    千次阅读 2017-04-03 15:38:16
    RBF(径向基函数神经网络)网络结构图如下 对于输入x=(x1,x2,⋯,xn)T\mathbf{x}=(x_1,x_2,\cdots,x_n)^T,c1,c2,⋯,cm\mathbf{c_1,c_2,\cdots,c_m}为样本中心,w=(w1,w2,⋯,wm×h)\mathbf{w}=(w_1,w_2,\cdots,w_...
  • 神经网络中,激活函数的作用是能够给神经网络加入一些非线性因素,使得神经网络能够很好的解决比较复杂的问题。 如果不使用激活函数,神经网络中的每一层的输出只是承接了上一层输入函数的线性变换,无论神经网络...
  • 在证明系统可逆的基础上,采用BP神经网络构建逆系统,通过将此逆系统与原系统级联,使原系统解耦成4个独立子系统,实现了主动电磁轴承-转子系统的径向电磁力解耦,同时设计闭环控制器。仿真结果和实验数据表明,所...
  • 神经网络与信息隐藏的结合

    千次阅读 2020-03-25 09:52:16
    神经网络与信息隐藏的结合 Contents 1 引言... 1 2 切入点介绍... 1 2.1 SGAN & SSGAN.. 1 2.2 使用神经网络生成隐写失真代价... 1 2.3 使用神经网络做隐写分析... 1 2.4 生成含秘载体... 2 3 面临的...
  • 之前的DL:针对欧式空间数据,对于图数据效果不好,故使用图神经网络直接处理图数据。 图嵌入 首先需要图嵌入,即高维图转变为低维向量表示,主要参考这篇文章https://zhuanlan.zhihu.com/p/62629465。 图嵌入的主要...
  • 近日,来自德国不来梅大学和加拿大多伦多大学的研究者提出一种新架构——可逆残差网络,可用于分类、密度估计和生成任务。而在此之前,单个架构无法在判别和生成任务上同时取得优秀性能。值得一提的是,NeurIPS 2018...
  • 激活函数是神经网络的一个重要组成部分。如果不用激活函数(即相当于激活函数为f(x)=x),在这种情况下,网络的每一层的输入都是上一层的线性输出,因此,无论该神经网络有多少层,最终的输出都是输入的线性组合,与...
  • 研究了TCP/AQM拥塞控制系统的可逆性,并利用一种神经网络监督控制结构进行了AQM算法的设计。算法由一个三层前馈结构的神经网络控制器(neural network controller,NNC)和一个反馈控制器(feedback controller,FC)...
  • 卷积神经网络的压缩方法简介低秩近似剪枝与稀疏约束参数量化二值网络知识蒸馏紧凑的网络结构 尽管卷积神经网络在诸如计算机视觉、自然语言处理等领域取得了出类拔萃的效果,但其动辄过亿的参数数量却使得诸多实际...
  • 《解析卷积神经网络》学习笔记

    千次阅读 2018-05-05 19:21:32
    本文主要分享一下自己读吴秀参的《解析卷积神经网络》的一些心得,这是一本偏实用的深度学习工具书,内容侧重深度卷积神经网络的基础知识和实践应用。这本书主要剖析了卷积神经网络的基本部件与工作机理,并且系统性...
  • 可视化卷积神经网络

    2018-01-23 17:52:12
    可视化理解卷积神经网络 原文地址:http://blog.csdn.net/hjimce/article/details/50544370 作者:hjimce 一、相关理论 本篇博文主要讲解2014年ECCV上的一篇经典文献:《Visualizing and ...
  • 近期很多研究试图通过对比神经网络表示来理解神经网络的行为。谷歌大脑 Simon Kornblith、Geoffrey Hinton 等人的一项新研究引入了 centered kernel alignment (CKA) 作为相似性指数,并分析 CKA、线性回归、典型...
  •   前面我们利用pytorch实现了基于机器学习中最基本的的线性回归和逻辑回归,下面我们就正式开始接触神经网络神经网络一般可以看作是一个非线性模型,其基本组成单位为具有非线性激活函数的神经元,通过大量神经...
  • 卷积神经网络基础知识 卷积神经网的基本定义 以卷积结构为主(主干层,还包括池化层等),搭建起来的深度网络(主要解决图片问题,如图像的目标检测) 将图片作为网络的输入(输入数据结构,n * w * h * c )...
  • 神经网络逆系统

    2019-05-23 13:13:11
  • The architecture is composed of a series of blocks defined as follows, where x1 and x2 are a partition of the units in each layer: 各种可逆神经网络结构已经被提出,尽管动机不同于本文。Deco 和 Brauer...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 2,920
精华内容 1,168
关键字:

可逆神经网络