精华内容
下载资源
问答
  • 径向基函数神经网络(RBFNN)详解

    万次阅读 多人点赞 2019-09-13 16:29:05
    径向基函数神经网络(RBFNN) 前言 RBFNN是20世纪80年代末提出的一种单隐层、以函数逼近为基础的前馈神经网络。随着研究日渐成熟,RBFNN以其结构简单、非线性逼近能力强以及良好的推广能力,受到各领域研究者的极...

    参考:
    博客:深度学习之径向基函数神经网络RBFNN
    人工神经网络——径向基函数(RBF)神经网络
    youtube视频:RBF Networks

    一篇推荐:RBF神经网络理论与实现

    前言

    RBFNN是20世纪80年代末提出的一种单隐层、以函数逼近为基础的前馈神经网络。随着研究日渐成熟,RBFNN以其结构简单、非线性逼近能力强以及良好的推广能力,受到各领域研究者的极大关注,被广泛应用于模式分类、函数逼近和数据挖掘等众多研究领域。

    1.基础知识

    RBFNN全称为:Radial Basis Function Neyral Network。中文名为径向基函数神经网络。那么什么是径向基函数呢?

    1.1 径向基函数(RBF)

    看一下百度百科的解释:

    径向基函数是一个取值仅仅依赖于离原点距离的实值函数,也就是Φ(x)=Φ(‖x‖),或者还可以是到任意一点c的距离,c点称为中心点,也就是Φ(x,c)=Φ(‖x-c‖)。任意一个满足Φ(x)=Φ(‖x‖)特性的函数Φ都叫做径向基函数,标准的一般使用欧氏距离(也叫做欧式径向基函数),尽管其他距离函数也是可以的。在神经网络结构中,可以作为全连接层和ReLU层的主要函数。

    简单地说,就是该点的函数值只与该店距离中心点的距离有关。

    典型的径向基函数(RBF)有:
    (1):Gaussian函数
    在这里插入图片描述
    Alt
    (2):Multiquadric函数
    在这里插入图片描述
    (3):Inverse Multiquadric函数
    在这里插入图片描述
    形如Gaussian函数的RBF具有良好的局部特征,只在距离中心点附近的某一邻域内响应显著,而函数值随着与中心点的距离的增大而呈单调递减趋势,并逐渐趋近于0.因此这类RBF在实际应用中比较广泛。

    1.2 非线性问题

    我们知道,三层的神经网络就可以拟合任何一个函数。同样,RBFNN刚好三层且隐藏层使用径向基函数,所以,它完全可以拟合任何一个函数(只要隐藏层神经元足够多)。

    1.3 高级的径向基函数

    前面提到的几个径向基函数都是最简单形式的,在实际应用中,你可能使用高级的径向基函数。
    在这里插入图片描述

    其中,μt为中心点,σt为径基宽度。径基宽度决定了径向基函数下降的快慢,也可以说是圆的大小。比如:
    在这里插入图片描述

    图是视频中截取的,与上面的函数不对应。不过可以这样理解。

    1.4 RBFNN的结构

    RBFNN只有三层,第一层为输入层,第二层为隐藏层,第三层为输出层。输入层到隐藏层的神经元之间的权重全部为1。隐藏层是使用径向基函数作为激活函数的神经元。隐藏层与输出层之间就是普通的神经网络的连接关系,他们之间的权重可以训练而改变。
    在这里插入图片描述
    RBFNN的结构很简单。主要是它的原理部分。

    2.RBFNN的原理

    2.1基本原理

    假设我们要根据小球位置将下图中的小球分类,那么我们可以画两个圆,圆内的球全为红色,圆外的全为绿色。
    在这里插入图片描述
    在这里插入图片描述

    输入一个点的位置信息(x,y)坐标,隐藏层的两个神经元由于有不同的中心点,下降速度也不一样,那么,就会得到不同的输出,当然,离中心点越近,输出越大。这样我们就知道了输入的点离哪个中心点比较近,就可以知道它的颜色了。

    当然,实际中,数据分布可能不是那么理想,比如这样:
    在这里插入图片描述
    此时,我们用多个圆来拟合就可以了。这些圆有不同的μt和σt。
    在这里插入图片描述
    实际应用中,你可能用到几百几千个圆。而且,圆不再是理论上的这种断崖式的(圈内全为红球,圈外全为绿球),而是更加的平滑,毕竟径向基函数也是平滑的。
    在这里插入图片描述
    不同的径向基函数,球也不一样,下面是几种:

    对应到神经网络里,也就是我们有两个径向基函数,它们中心点不同,在距离中心点一定距离内为红球,大于这个距离为绿球。当然,两个径向基函数可能还需要进一步加权求和。
    在这里插入图片描述
    举一个手写数字识别的例子:
    在这里插入图片描述
    通过隐藏层的输出,我们直接就可以得知输入与数字7的中心点最近,所以,输入就被认为是数字7。
    但有时候,可能会得到这样不好的结果:
    在这里插入图片描述
    因为9可能和7有比较多的像素相像,所以9反而输出更高。这怎么办呢,我们把两个7的输出加起来就好了。
    在这里插入图片描述
    这也是为什么隐藏层与输出层之间的权重还要训练的原因。隐藏层的神经元数目实际上也更加多。比如30个隐藏层神经元的神经网络结构:
    在这里插入图片描述

    2.2径向基函数的确定

    RBFNN的关键就在于径向基函数的确定,中心点在哪,径基宽度多大,多少个径向基函数,都是会影响神经网络的效果的。

    径向基函数中心的确定方法有以下几种:

    • 直接计算法(随机选取RBF中心)

      隐含层神经元的中心是随机地在输入样本中选取,且中心固定。一旦中心固定下来,隐含层神经元的输出便是已知的,这样的神经网络的连接权就可以通过求解线性方程组来确定。适用于样本数据的分布具有明显代表性。

    • 自组织学习选取RBF中心法

      RBF神经网络的中心可以变化,并通过自组织学习确定其位置。输出层的线性权重则是通过有监督的学习来确定的。这种方法是对神经网络资源的再分配,通过 学习,使RBF的隐含层神经元中心位于输入空间重要的区域。这种方法主要采用K-均值聚类法来选择RBF的中心,属于无监督(导师)的学习方法。

    • 有监督学习选取RBF中心

      通过训练样本集来获得满足监督要求的网络中心和其他权重参数。常用方法是梯度下降法。

    • 正交最小二乘法选取RBF中心法

      正交最小二乘法(Orthogoal least square)法的思想来源于线性回归模型。神经网络的输出实际上是隐含层神经元某种响应参数(回归因子)和隐含层至输出层间连接权重的线性组合。所有隐含层神经元上的回归因子构成回归向量。学习过程主要是回归向量正交化的过程。

    2.3训练

    其实,和普通的神经网络一样,只不过,普通的神经网络训练的只是神经网络之间的权重,而RBFNN训练的还有激活函数----RBF的相关参数。这样理解起来就简单多了。

    展开全文
  • rbf网络matlab代码Julia·rbfnn 径向基函数神经网络(RBFNN)的Julia软件包 这是克里斯·麦考密克RBFNN()八度/ Matlab代码的翻译目前,Julia版本尚未优化,但运行速度提高了60%。 为了分配RBF神经元,使用了...
  • Laser Gyro Temperature Compensation Using Modified RBFNN
  • 复杂样本分类的GA-RBFNN方法,田津,李敏强 ,本文以提高径向基函数神经网络(RBFNN)分类能力为出发点,结合遗传算法(GA)群体并行搜索能力,提出了一种有效的GA-RBFNN学习算法。该算��
  • 四旋翼飞机的自适应RBFNN /整体滑模控制
  • 基于PCA与合并聚类的RBFNN人脸识别.pdf
  • 基于RBFNN重构油膜力的发动机连杆瞬态变形分析,孟凡明,刘清明,利用径向基神经网络(RBFNN)对活塞组件二维油膜力作用下的内燃机连杆瞬态变形进行了研究。为获得符合工况的连杆瞬态变形,RBFNN被设计
  • An RBFNN-based direct inverse controller for PMSM with disturbances
  • 因此,提出了一种基于委员会改进查询的主动学习算法,用于RBFNN,并将其应用于电子鼻,称为EQBC-RBFNN。 该技术有效地将QBC和RBFNN结合在一起,用于标记和有价值的未标记样品的电子鼻训练。 并且我们采用这种方法来...
  • 基于RBFNN混合粒子群算法的电力负荷短期预测.pdf
  • 基于在线学习RBFNN的网络安全态势预测技术研究.pdf
  • RBFNN的Matlab仿真

    2008-04-20 15:57:00
    一个外国人写的RBFNN仿真训练程序
  • 介绍了RBFNN的结构leRBFNN应用于发动机SA的控制,并在SIMULINK下进行建模和仿真,编写SA数然后封装在SIMULINK系统中。RBFNN在发动机中的应用,为发动机SA的控制提供一种新的途径。
  • 基于K-means聚类与RBFNN的点云DEM构建方法.pdf
  • 新型同轴八旋翼无人机的自适应RBFNN建模和鲁棒反推滑模控制
  • 减法聚类算法结合RBFNN用于涡流检测中的缺陷检测与识别
  • RBFNN辅助卡尔曼滤波器在GPS/SINS组合导航中的应用.pdf
  • 车载MIMU_GPS_地磁系统的模糊广义RBFNN辅助滤波算法.pdf
  • 利用该算法和BP算法、传统的RBFNN算法进行了剥离和擦伤识别的对比实验,结果表明:GA-RBFNN算法对剥离、擦伤和非损伤三类样本的测试集的识别率高于传统的RBFNN算法和BP算法,而且GA-RBFNN算法的进化代数远远小于BP...
  • 为了提高MSISP的控制精度,开发了一种基于径向基函数神经网络(RBFNN)的扰动补偿器来补偿扰动。 使用Lyapunov定理,可以在线更新RBFNN的权重矩阵。 因此,无需先验训练就可以构建RBFNN。 最后通过仿真和实验结果...
  • 基于自适应RBFNN反馈控制和ESO的两轴惯性稳定平台复合控制方法
  • 径向基函数神经网络RBFNN

    千次阅读 2019-05-18 20:50:52
    径向基函数(Radial Basis Function)神经网络是具有唯一最佳逼近(克服局部极小值问题)、训练简洁、学习收敛速度快等良好性能的前馈型神经网络,目前已证明RBFNN能够以任意精度逼近任意连续的非线性网络,被广泛...

    概述

    • 径向基函数(Radial Basis Function)神经网络是具有唯一最佳逼近(克服局部极小值问题)、训练简洁、学习收敛速度快等良好性能的前馈型神经网络,目前已证明RBFNN能够以任意精度逼近任意连续的非线性网络,被广泛用于函数逼近、语音识别、模式识别、图像处理、自动控制和故障诊断等领域。
      • 全局逼近网络:网络的一个或多个权值对任一输出都有影响。由于每次输入都要对所有权值进行修正,因此这种网络的学习速度很慢,无法满足实时性要求,如DNN(MLP)。
      • 局部逼近网络:对于输入空间的某局部区域只有少数几个连接权影响输出,有可能满足实时性要求,如RBFNN。
    • RBFNN的优缺点
      • 优点:非线性拟合能力强,全局最优逼近;局部接受特性使得决策时含有距离的概念,学习规则简单、拓扑结构紧凑、结构参数可实现分离学习,收敛速度快,便于计算机实现;稳定性、泛化能力、记忆能力强,具有强大的自学习能力等。
      • 缺点:解释性差,数据不充分时无法工作,难以确定隐藏层节点数、节点中心和宽度,优选过程出现数据病态现象等。

    一、RBFNN结构

    RBFNN包含3层结构,即只有一个隐藏层:

    1. 输入层是由N个感知单元组成,表示信源节点输入;
      输入层仅起到输入数据的作用,输入层和隐藏层之间的连接权值为1。
    2. 隐藏层含有M个径向基神经元(激活函数为RBF),将低维非线性可分的输入映射到高维线性可分的空间;
      隐藏层节点的激活函数对输入局部响应,当输入靠近基函数中央范围时,隐藏层节点将产生较大的输出;远离中心点时,输出将呈指数衰减。
    3. 输出层含有P个线性神经元(激活函数为线性函数),最终的输出是隐藏层神经元输出的线性加权和。
      在这里插入图片描述

    二、RBFNN的RBF(径向基函数、核函数)

    1. 径向基函数RBF是中心点径向对称、取值仅依赖于距中心点距离的非负实值函数,常用的RBF使用欧氏距离及高斯函数,令μi为隐藏层第i个节点的高斯函数中心点,σi为第i个节点的宽度参数/方差:

      在这里插入图片描述

    2. RBF的基本思想是将低维线性不可分的数据映射到高维空间,使其在高维空间线性可分。
      就像SVM中只需要找到代表数据的支持向量一样,RBF也只需要找到能够代表数据的中心点即可。与传统DNN的BP算法不同之处是,RBF网络不用对全局连接权值进行训练,只对一些重要的影响输出的权重进行调整,提高了训练速度,因此该函数也称局部响应函数。

    3. RBFNN需要选择M个隐藏层基函数,输入向量与中心点之间的距离||x-μ||越小则网络的输出就越大。中心点矩阵的大小为隐层神经元数M*输入层神经元数N,每个μi对应的σi使得不同的输入信息能被不同的隐层神经元最大程度的反映出来。

    4. 最终的输出为:
      在这里插入图片描述

    三、RBFNN分类

    1. 正则化RBFNN(RN)

      正则化RBFNN的隐藏层节点个数等于输入样本数M=N,隐节点激活函数为高斯形式的Green函数,并将所有输入样本设为径向基函数的中心点,各个径向基函数采取统一的方差:
      在这里插入图片描述

    其中 是中心点之间的最大距离,M是中心点个数。

    • 由于易受噪声影响,且可能是超定问题,需要加入一个含有解的先验知识的约束来控制映射函数的光滑性:

      在这里插入图片描述

    其中λ为正则化参数,D为线性微分算子,代表对F(x)的先验知识。

    • 确定隐藏层神经元的中心位置后,只需要解线性方程组得到W的解析解即可确定该RBFNN模型:
      在这里插入图片描述

    • 这种方法适用于一些样本量小的问题,特点是计算量小、过程简单,易受噪声影响、可能是超定问题,需要加入正则项。

    1. 广义RBFNN(GN)

    使用径向基函数作为隐节点的基函数,对输入向量进行变换,从输入层到隐藏层相当于把低维空间的数据映射的到高维空间。输入层节点个数为样本的维度,隐藏层节点个数多于输入层节点个数,但一定比样本总个数少得多,因此减小了计算量且避免了病态数据的问题。

    样本维数N < 隐层节点个数M < 样本总个数

    1. 两种模型的比较
      在这里插入图片描述

    四、RBFNN训练

    概述

    • RBFNN的设计包括结构设计和参数设计,即隐藏层需要几个节点(RN中M=N),确定基函数参数、,使用BP算法求解隐藏层与输出层之间的权值。RBFNN常用的中心选择方法有:随机中心选取法、自组织学习选取中心法和正交最小二乘法等。
    1. 随机中心选取法
      一般在样本密集的地方可以适当多选择一些样本作为中心点,在稀疏的地方适当少些;若数据本身是均匀分布的,则中心点也可以均匀分布,总之选出的数据中心点应具有代表性。为了避免每个径向基函数太尖锐或者太平坦,可以将方差设为
      在这里插入图片描述
    2. 自组织学习中心选取法
    • 这种方法由无监督和监督学习两个阶段混合组成,无监督学习阶段用K-means聚类算法确定RBF的中心,并根据各中心点之间的距离来确定隐节点的方差;监督学习阶段一般采用梯度下降法得到输出层的权值。除了以上2种算法外,还有RAN、RANEKF、MRAN、GIRAN等算法。
    • 选择M个不同的向量作为初始聚簇中心,计算输入各样本与聚簇中心的欧式距离,设定阈值根据距离对样本进行归类,从而将全部样本划分为M个子集,每个子集构成一个以聚簇中心为代表的簇
    • 对各簇中样本取均值,或者采用竞争学习规则调整聚簇中心,直到聚簇中心的调整小于阈值为止
    • 确定了中心点后,可根据中心点之间的距离计算方差,λ为重叠系数:
      在这里插入图片描述
    1. 梯度下降法
      使用监督学习算法训练得到RBF中心、方差及输出权值,同BP算法一样经历误差修正的学习过程,忽略阈值定义目标函数为:
      在这里插入图片描述
      为了使目标函数最小化,各个参数的修正量应与其负梯度成正比。
      在这里插入图片描述

    2. 正交最小二乘法OLS
      Orthogonal Least Square的思想来源于加权线性回归模型,输出Y是隐节点某种响应参数(回归算子:隐节点的输出)和隐藏层与输出层之间连接权重的线性组合: 。所有隐节点的回归算子构成回归向量P,学习的过程主要是回归向量正交化的过程。
      OLS方法要求把P变换为一个关于正交基向量表示的矩阵,使得P可以表示出各个基向量对输出的贡献大小,对P做QR分解:
      在这里插入图片描述
      其中Q为正交矩阵,R为上三角矩阵,主对角线元素为1,对角线下方元素为0。
      为新的回归参数向量,求得G后就可得到W的解析解在这里插入图片描述
      原文链接:https://blog.csdn.net/liuy9803/article/details/81510296

    展开全文
  • 提出了一种优化选择径向基神经网络数据中心的算法,该算法结合了Kohonen网络的模式分类能力,将初步分类结果用做RBFNN的初始数据中心,然后采用OLS算法进行优化选择,对比仿真实验表明该算法效果比单独使用OLS算法...
  • 一个基于PSO优化weights的RBFNN程序来进行故障诊断
  • Modeling and robust backstepping sliding mode control with Adaptive RBFNN for a novel coaxial eight-rotor UAV
  • RBFNN算法在遥感土地分类中的应用
  • 为识别固体燃料气化过程参数出现的异常模式(失稳),构建一种基于蜜蜂算法-径向基函数神经网络(BA-RBFNN)控制图模式识别的气化过程参数失稳监控模型,对气化过程参数进行监控。该监控模型主要包括特征描述、特征...
  • 针对高填路堤地基沉降难以预测这一技术难题,对其影响地基沉降的主要因素进行了分析,根据各因素之间存在的高度非线性,结合BC-RBFNN(基于聚类分析径向基函数神经网络)非线性拟合的特点,提出一种基于BC-RBNN模型对...

空空如也

空空如也

1 2 3 4 5 ... 12
收藏数 229
精华内容 91
关键字:

RBFNN