精华内容
下载资源
问答
  • 径向基函数神经网络模型计算程序源码,供参考
  • 基于Lasso稀疏学习的径向基函数神经网络模型.pdf
  • 基于多尺度径向基函数的时变模型参数辨识,刘青,李阳,研究一种新的时变模型参数辨识方法,提出把多尺度径向基函数(Multi-scale Radial Basis Function, MRBF)作为时变模型中时变参数的基函数展开
  • 径向基函数神经网络模型与学习算法PPT学习教案.pptx
  • 基于粒子群算法优化的径向基函数水质预测模型.pdf
  • 径向基函数神经网络方法应用于河道洪水演算中,并利用最小二乘法来确定模型参数.结合河道洪水演算的具体方式,分别构建基于马斯京根方法和具有预见期的洪水演算方法的径向基函数神经网络模型.将该模型应用于两条天然...
  • RBF径向基函数

    万次阅读 2018-07-02 19:10:19
    一、径向基函数径向基函数是某种沿径向对称的标量函数,通常定义为样本到数据中心之间径向距离(通常是欧氏距离)的单调函数(由于距离是径向同性的)。RBF核是一种常用的核函数。它是支持向量机分类中最为常用的核...

    一、径向基函数

    径向基函数是某种沿径向对称的标量函数,通常定义为样本到数据中心之间径向距离(通常是欧氏距离)的单调函数(由于距离是径向同性的)。RBF核是一种常用的核函数。它是支持向量机分类中最为常用的核函数。常用的高斯径向基函数形如:

    其中,可以看做两个特征向量之间的平方欧几里得距离。x’为核函数中心,是一个自由参数,是函数的宽度参数 , 控制了函数的径向作用范围。。一种等价但更为简单的定义是设一个新的参数 \gamma,其表达式为

    因为RBF核函数的值随距离减小,并介于0(极限)和1(当x = x’的时候)之间,所以它是一种现成的相似性度量表示法。核的特征空间有无穷多的维数;对于 =1,它的展开式为:

    径向基函数二维图像:
    RBF核
    RBF 拥有较小的支集。针对选定的样本点,它只对样本附近的输入有反应,如下图。
    这里写图片描述
    RBF 使样本点只被附近(圈内)的输入激活。
    T. Poggio 将 RBF 比作记忆点。与记忆样本越近,该记忆就越被激活。
    RBF 核与多项式核相比具有参数少的优点。因为参数的个数直接影响到模型选择的复杂性。
    其他的径向基函数有:
    Reflected Sigmoidal(反常S型)函数:

    Inverse multiquadrics(拟多二次)函数:

    σ称为径向基函数的扩展常数,它反应了函数图像的宽度,σ越小,宽度越窄,函数越具有选择性。

    二、径向基网络

    RBF(Radial Basis Function,径向基)网络是一种单隐层前馈神经网络,它使用径向基函数作为隐层神经元激活函数,而输出层则是对隐层神经元输出的线性组合。径向基函数网络具有多种用途,包括包括函数近似法、时间序列预测、分类和系统控制。他们最早由布鲁姆赫德(Broomhead)和洛维(Lowe)在1988年建立。
    RBF网络分为标准RBF网络,即隐层单元数等于输入样本数;和广义RBF网络,即隐层单元数小于输入样本数。但广义RBF的隐藏层神经元个数大于输入层神经元个数,因为在标准RBF网络中,当样本数目很大时,就需要很多基函数,权值矩阵就会很大,计算复杂且容易产生病态问题。
    径向基网络:
    径向基网络

    RBF神经网络的基本思想:用RBF作为隐单元的“基”构成隐藏层空间,隐藏层对输入矢量进行变换,将低维的模式输入数据变换到高维空间内,使得在低维空间内的线性不可分问题在高维空间内线性可分。详细一点就是用RBF的隐单元的“基”构成隐藏层空间,这样就可以将输入矢量直接(不通过权连接)映射到隐空间。当RBF的中心点确定以后,这种映射关系也就确定 了。而隐含层空间到输出空间的映射是线性的(注意这个地方区分一下线性映射和非线性映射的关系),即网络输出是隐单元输出的线性加权和,此处的权即为网络可调参数。
    通常采用两步过程来训练RBF网络:第一步,确定神经元中心,常用的方式包括随机采样、聚类等;第二步,利用BP算法等来确定参数。
    [Park and Sandberg,1991]证明,具有足够多隐层神经元的RBF网络能以任意精度逼近任意连续函数。
    且RBF网络可以处理系统内的难以解析的规律性,具有良好的泛化能力,并有很快的学习收敛速度。
    RBF网络学习收敛得比较快的原因:当网络的一个或多个可调参数(权值或阈值)对任何一个输出都有影响时,这样的网络称为全局逼近网络。由于对于每次输入,网络上的每一个权值都要调整,从而导致全局逼近网络的学习速度很慢。BP网络就是一个典型的例子。如果对于输入空间的某个局部区域只有少数几个连接权值影响输出,则该网络称为局部逼近网络。常见的局部逼近网络有RBF网络、小脑模型(CMAC)网络、B样条网络等。

    三、参数计算

    中心点的计算:
    标准RBF的样本点即为中心
    广义RBF的中心点通过随机采用、聚类等方法确定
    w和β的计算:
    人为指定:所有神经元的β都一样,β=1/2(的平方),=dmax/根号下的2M。dmax为任意两个样本点距离的最大值,M为样本个数。
    BP算法迭代确定。

    四、RBF神经网络与SVM with RBF Kernel的区别和联系:

    从模型上看,区别不大,区别在于训练方式。
    RBF神经网络训练分两阶段。第一阶段为非监督学习,从数据中选取记忆样本(上上图中的紫色中心)。例如聚类算法可在该阶段使用。第二阶段为监督学习,训练记忆样本与样本输出的联系。该阶段根据需要可使用 AD/BP。(AD,即 Automatic Differentiation (Backpropagation) )

    展开全文
  • 基于径向基函数神经网络模型的车门结构多目标优化.pdf
  • 基于径向基函数神经网络模型的桃江县森林碳储量估测.pdf
  • DRBF法回顾在上一篇基于动态径向基函数(DRBF)代理模型的优化策略中我们简要介绍了DRBF算法,这种算法收敛次数少,但由于收敛区间只缩小不扩张,该算法有着天然的劣势,如果在几次迭代当中并未搜索到最优解附近的...
    • DRBF法回顾
    • TR-DRBF简介
    • 拉丁超方设计
    • 信頼域思想
    • 算例

    DRBF法回顾

    在上一篇基于动态径向基函数(DRBF)代理模型的优化策略中我们简要介绍了DRBF算法,这种算法收敛次数少,但由于收敛区间只缩小不扩张,该算法有着天然的劣势,如果在几次迭代当中并未搜索到最优解附近的区间,则更新新样本点的区间将缩减到足够小,以致矩阵奇异,从而算法失效。

    也是由于这个原因,笔者并未对该算法进行详细展开。


    TR-DRBF简介

    在本篇文章中,将介绍一种新的算法,TR-DRBF(Trust region based dynamic radial basis function)算法。该方法同样用于模型优化,目的是找到某个函数的最小值,算法的大致描述如下:给定特定函数搜索区间,首先在整个区间内采一些点,采点方法见拉丁超方设计

    采完第一组点后,利用径向基函数插值出一个代理模型,然后利用全局优化算法(如遗传算法等,笔者用的即为遗传算法)优化该代理模型,得到一个近似最优解,由于当前采集的特征点较少,代理模型并不能很好的代表原函数,接下来就需要运用基于信赖域采样空间更新策略更新采样空间,得到一组新的样本点,与之前的样本点一起保存进样本点数据库中,然后用这些样本点一起构造新的代理模型,直至相邻两次代理模型求得的全局最优解带入真实模型中,满足收敛条件即可跳出循环。

    流程图如下

    Created with Raphaël 2.1.0 初始条件 (设计变量 分析模型 设计空间) 选取初始(新增)样本点并求其对应的真实模型响应值 构造径向基函数代理模型 遗传算法求解当前代理模型的可能最优解 计算当前可能最优解在真实模型出的响应值 满足收敛准测 结束 信赖域采样更新 yes no

    拉丁超方设计

    拉丁超方设计是保证空间均布性与投影均匀性的计算实验设计方案。其实现用matlab自带的lhsdesign函数即可


    信頼域思想

    信赖域采样空间更新策略的主要目的是使基于当前代理模型的子优化能够实现目标函数值的显著下降。

    信赖域采样空间更新策略就是根据当前已知信息,并结合信赖域思想,进行采样空间更新,确定更新后的采样空间的边界。需用参数取值为c1=0.75,c2=1.25,r1=0.1,r2=0.75,信赖域半径上限Δ 取为初始设计空间的半径R,本文中lambda=0.05。

    信赖域采样空间更新策略可以总结如下。

    第 1 步,确定新采样空间的中心点xc。若真实目标函数值下降,则
    当前可能最优解 xk 作为更新后采样空间的中心点x_c,反之,则将上一次的可能最优解 xk -1作为更新后采样空间的中心点 x_c。

    % matlab code
    if(Y_star_k_1 > Y_star_k)
        X_c = X_star_k;
    else
        X_c = X_star_k_1;
    end

    第 2 步,更新信赖域半径delta_k。将信赖域思想引入采样空间更新策略中,根据已知信息,求解获得信赖因子r 。根据r 的大小,按照对信赖域半径进行适当缩放。

    r = GetTRFactor(Y_star_k_1,Y_star_k,Y_star_predict_k);
    delta_k = UpdateDelta(r,X_star_k,X_star_k_1,c1,c2,r1,r2,Delta);
    function [ output_args ] = GetTRFactor( Y_star_k_1,Y_star_k,Y_star_predict_k )
    output_args = (Y_star_k_1 - Y_star_k)/(Y_star_k_1 - Y_star_predict_k);%该过程衡量最优解值的改善情况
    
    end
    function [ output_args ] = UpdateDelta(r,X_star_k,X_star_k_1,c1,c2,r1,r2,Delta)
    if r < r1
        output_args = c1*abs(X_star_k - X_star_k_1);
    elseif r > r2
            output_args = min(c2*abs(X_star_k - X_star_k_1),Delta);
    else
        output_args = abs(X_star_k - X_star_k_1);
    end
    end

    第3 步,信赖域采样空间边界控制。多次迭代之后可能会出现所求信赖域半径delta_k太小,导致新增样本点过于集中在一个狭小空间中,对于提高RBF 代理模型的近似精度没有明显帮助,同时为使优化策略更容易跳出局部最优解,给定最小信赖域半径,可以根据实际问题来确定。此外,获得的信赖域采样空间可能超出初始设计空间,则选取二者交集作为信赖域采样空间边界。则整个基于信赖域思想的采样更新策略如下。

    function [ output_args ] = shrinkspace(Y_star_k_1,Y_star_k,Y_star_predict_k,X_star_k,X_star_k_1,lb,ub,lbc,ubc,Delta,c1,c2,r1,r2,lambda)
    if(Y_star_k_1 > Y_star_k)
        X_c = X_star_k;
    else
        X_c = X_star_k_1;
    end
    r = GetTRFactor(Y_star_k_1,Y_star_k,Y_star_predict_k);
    delta_k = UpdateDelta(r,X_star_k,X_star_k_1,c1,c2,r1,r2,Delta);
    delta_k = max(delta_k,lambda*Delta);
    lbc = X_c - delta_k;
    ubc = X_c + delta_k;
    lbc = max(lbc,lb);
    ubc = min(ubc,ub);
    output_args = [lbc;ubc];
    end

    算例

    SC_Function

    比如我们期望对SC 函数进行优化,该函数是常见的一种优化测试函数,其函数图像如下图

    SC-Function
    首先,在[-2 -2;2 2]内由拉丁超方方法采集6个点,构造代理模型及所采的6个点如下图
    这里写图片描述
    可以看到,代理模型过每一个采样点,所以说径向基函数为差值型。采用ga算法进行优化求解,得到第一个最优解为[0.9377 -0.4421]处,最优值是1.0767,此时代理模型与原函数相去甚远,所以我们还要进一步更新该代理模型。
    选取六个点中的最小值[-0.6615 -0.0811]为中心点更新采样空间,由更新策略得新的采样空间为[-0.6615 -0.8031; 2 -0.0811],然后再在该更新后的空间中重新采6个点,与原来的6个点一起保存到样本库中,进入第二轮循环。

    在第二轮循环中,由这12个点构建新的代理模型,得下图
    这里写图片描述
    可以看到,曲面中部的近似于原函数的精度已明显有所提高,动态更新策略仅对兴趣区域采集新的点,所以曲面靠近边界处的精度并未提高,我们也并不关心,因为从代理模型来看,函数的全局最优解仅有可能出现在该次循环所计算的更新后的采样区间当中。

    如此进行数次迭代,在第8次循环后,满足收敛条件,循环结束,最后一次构造的代理模型如图
    这里写图片描述

    最终找到的全局最优解为-1.0314,与SC_Function的真实最优解-1.0316相差很小。并且这只代表该次的结果,在笔者多次的实验中,大部分时候可以精确找到真实全局最优解,少数情况会过早结束循环,所得结果略大于真实解。要解决这一问题,可以适当调整收敛判据,使之更严格。
    该算例最终结果如下

    Test FunctionTheoretical OptimumIntermediate OptimumFunction Calls
    SC-1.0316-1.031448

    GN_Function

    f(x)=i=1nvx2i/200i=1nvcos(xi/i)+1

    x1,x2[100,100] nv=2

    Test FunctionTheoretical OptimumIntermediate OptimumFunction Calls
    GN00.0002204
    展开全文
  • 为综合多测点监测信息建立海堤渗压预测模型,揭示其受海洋潮位等因素影响的复杂而特殊的变化规律,以径向基函数(RBF)神经网络为建模工具,采用前期潮位因子、积分型降雨因子、时效因子构建模型输入层,对符合条件...
  • 网络游戏-基于径向基函数神经网络模型的测井曲线预测方法.zip
  • 高斯径向基函数(RBF)神经网络

    万次阅读 多人点赞 2019-04-03 00:53:52
    高斯径向基函数(RBF)神经网络 牛顿插值法-知乎 泰勒公式 径向基函数-wiki 径向基网络之bp训练 RBF网络逼近能力及其算法 线性/非线性,使用”多项式“逼近非线性,通过调节超参数来改善多项式参数进一步拟合真实非...

    高斯径向基函数(RBF)神经网络

    牛顿插值法-知乎
    泰勒公式
    径向基函数-wiki
    径向基网络之bp训练
    RBF网络逼近能力及其算法
    线性/非线性,使用”多项式“逼近非线性,通过调节超参数来改善多项式参数进一步拟合真实非线性。

    1.径向基函数
    2.RBF网络
    3.RBF网络训练方法
    4.RBF网络和BP网络对比
    5.RBF网络和SVM对比
    6.高斯核函数为什么可以映射到高维
    7.前馈网络、递归网络和反馈网络

    径向基函数

    说径向基网络之前,先聊下径向基函数径向基函数(英语:radial basis function,缩写为RBF)是一个取值仅依赖于到原点距离的实值函数,即 ϕ ( x ) = ϕ ( ∥ x ∥ ) {\displaystyle \phi (\mathbf {x} )=\phi (\|\mathbf {x} \|)} ϕ(x)=ϕ(x)。此外,也可以按到某一中心点c的距离来定义, 即 ϕ ( x , c ) = ϕ ( ∥ x − c ∥ ) {\displaystyle \phi (\mathbf {x} ,\mathbf {c} )=\phi (\|\mathbf {x} -\mathbf {c} \|)} ϕ(x,c)=ϕ(xc)。任一满足 ϕ ( x ) = ϕ ( ∥ x ∥ ) {\displaystyle \phi (\mathbf {x} )=\phi (\|\mathbf {x} \|)} ϕ(x)=ϕ(x)的函数都可称作径向函数。其中,范数一般为欧几里得距离,不过亦可使用其他距离函数。

    可以用于许多径向基函数的和来逼近某一给定的函数。这一逼近的过程可看作是一个简单的神经网络(rbf网络中的每个隐单元看作一个径向基函数,然后再线性加权结合逼近)。此外在机器学习中,径向基函数还被用作支持向量机的核函数。

    看了好多博客基本都没有谈到为什么径向基函数可以逼近函数,说数谈的也说的不清楚,强硬开始径向基网络的分析,以下是我的一些见解
    既然是逼近函数,那么建议读者先简单通过顶部的知乎链接了解下逼近这个概念和多变量插值问题。

    为什么径向基函数可以逼近给定函数呢? 换句话说也就是使用径向基函数解决多变量插值问题,从几何意义上看,相当于根据稀疏的给定样本数据点恢复一个连续的超曲面,在给定点处曲面的值要满足样本值。先给出基于径向基函数的插值函数如下:
    在这里插入图片描述
    可以看出插值函数就是由p个径向基函数和其权值构成(p为给定的样本数),那么也就意味着逼近的这个超曲面上任何一点可以由对应的基函数值得出,具体实例看下图(搬运)
    在这里插入图片描述
    第一张图即给出二维平面中的n个样本点,然后构建n个基函数,如图二中红色的曲线,假设采用高斯径向基函数,其对应的曲线即高斯分布曲线,图三中的蓝色曲线即真正曲线,多维情况下即为超曲面。而我们高斯径向基函数要做的就是用这n个高斯曲线去拟合这条蓝色曲线。可以看出图三中的红色曲线和图二中的曲线不同,这是由图二的曲线乘以一个权值得到的,这也就对应了上面说到的插值函数就是由p个径向基函数和其权值构成(p为给定的样本数)。例如对x1,其真实值为f(x1),即图三中的a点,而与高斯曲线相交于b、c两点,高斯径向基函数拟合的结果就是b和c的纵坐标之和,f(x1)-b-c就是误差,我们要做的就是优化权值参数或者选取其他径向基函数来尽可能还原蓝色曲线。

    RBF网络

    BF网络能够逼近任意的非线性函数,可以处理系统内的难以解析的规律性,具有良好的泛化能力,并有很快的学习收敛速度,已成功应用于非线性函数逼近、时间序列分析、数据分类、模式识别、信息处理、图像处理、系统建模、控制和故障诊断等。

    简单说明一下为什么RBF网络学习收敛得比较快。当网络的一个或多个可调参数(权值或阈值)对任何一个输出都有影响时,这样的网络称为全局逼近网络。由于对于每次输入,网络上的每一个权值都要调整(例如传统的多项式插值法),从而导致全局逼近网络的学习速度很慢。BP网络就是一个典型的例子。

    如果对于输入空间的某个局部区域只有少数几个连接权值影响输出,则该网络称为局部逼近网络。常见的局部逼近网络有RBF网络、小脑模型(CMAC)网络、B样条网络等。

    明白RBF如何逼近一个给定函数后,RBF网络就是用网络来实现上述思路。
    径向基函数网络通常有三层:输入层、隐藏层和一个非线性激活函数和线性径向基神经网络输出层。输入可以被建模为实数向量。输出是输入向量的一个标量函数。rbf简单网络模型如下:
    在这里插入图片描述
    RBF网络的基本思想是:用RBF作为隐单元的“基”构成隐含层空间,这样就可以将输入矢量直接映射到隐空间,而不需要通过权连接。当RBF的中心点确定以后,这种映射关系也就确定了。而隐含层空间到输出空间的映射是线性的,即网络的输出是隐单元输出的线性加权和,此处的权即为网络可调参数。其中,隐含层的作用是把向量从低维度的p映射到高维度的h,这样低维度线性不可分的情况到高维度就可以变得线性可分了,主要就是核函数的思想。这样,网络由输入到输出的映射是非线性的,而网络输出对可调参数而言却又是线性的。网络的权就可由线性方程组直接解出,从而大大加快学习速度并避免局部极小问题。

    RBF网络训练方法

    我们由RBF函数过渡到RBF网络,接下来我们研究如何搭建一个RBF网络,由上述内容我们可以RBF网络无非3层,而输入层是无法优化的,只有隐藏层和输出层了,因此RBF网络训练就是对两组网络参数的学习:
    1.隐层节点中心、RBF宽度、以及隐层节点数
    2.隐层到输出层连接权值

    1、方法一:

    通过非监督方法得到径向基函数的中心和方差,通过监督方法(最小均方误差)得到隐含层到输出层的权值。具体如下:

    (1)在训练样本集中随机选择h个样本作为h个径向基函数的中心。更好的方法是通过聚类,例如K-means聚类得到h个聚类中心,将这些聚类中心当成径向基函数的h个中心。

    (2)RBF神经网络的基函数为高斯函数时,方差可由下式求解:
    在这里插入图片描述
    式中cmax 为所选取中心之间的最大距离,h是隐层节点的个数。扩展常数这么计算是为了避免径向基函数太尖或太平。

    (3)隐含层至输出层之间神经元的连接权值可以用最小均方误差LMS直接计算得到,计算公式如下:(计算伪逆)(d是我们期待的输出值)

    在这里插入图片描述
    2、方法二:

    采用监督学习算法对网络所有的参数(径向基函数的中心、方差和隐含层到输出层的权值)进行训练。主要是对代价函数(均方误差)进行梯度下降,然后修正每个参数。具体如下:

    (1)随机初始化径向基函数的中心、方差和隐含层到输出层的权值。当然了,也可以选用方法一中的(1)来初始化径向基函数的中心。

    (2)通过梯度下降来对网络中的三种参数都进行监督训练优化。代价函数是网络输出和期望输出的均方误差:
    在这里插入图片描述
    然后每次迭代,在误差梯度的负方向已一定的学习率调整参数。

    RBF网络与BP网络对比

    1、局部逼近与全局逼近:

    BP神经网络的隐节点采用输入向量与权向量的内积作为激活函数的自变量,而激活函数采用Sigmoid函数。各调参数对BP网络的输出具有同等地位的影响,因此BP神经网络是对非线性映射的全局逼近,每当有新的样本出现时,都要重新计算参数,训练很慢。

    RBF神经网络的隐节点采用输入向量与中心向量的距离(如欧式距离)作为函数的自变量,并使用径向基函数(如Gaussian函数)作为激活函数。神经元的输入离径向基函数中心越远,神经元的激活程度就越低(高斯函数)。RBF网络的输出与部分调参数有关,譬如,一个wij值只影响一个yi的输出(参考上面的径向函数3张图,目标函数的逼近只靠最近的几个径向函数来实现,而距离远的径向函数不起作用,隐节点的这一特性常被称为“局部特性”。),RBF神经网络因此具有“局部逼近”特性。
      
    简单说,假设输入向量的取值范围是[0,1],那么全局逼近就是有n个函数,每个函数的自变量输入范围是[0,1],每输入一个变量,会得到n个值,这n个值相加之和就是逼近的真实值,也就是说用全部函数来逼近目标函数。而局部逼近也是n个函数,但是每个函数的自变量是1/n,那么输入一个变量,只会得到一个值,这个值就是逼近的真实值,也就是说用一个函数来逼近目标函数,实际是数个函数,所以说是局部逼近。(以上例子仅为了通俗对比二者而举)

    2、中间层数的区别
      BP神经网络可以有多个隐含层,但是RBF只有一个隐含层。
      
    3、训练速度的区别
      使用RBF的训练速度快,一方面是因为隐含层较少,另一方面,局部逼近可以简化计算量。对于一个输入x,只有部分神经元会有响应,其他的都近似为0,对应的w就不用调参了。

    4、Poggio和Girosi已经证明,RBF网络是连续函数的最佳逼近,而BP网络不是。

    RBF网络和SVM对比

    SVM等如果使用核函数的技巧的话,不太适应于大样本和大的特征数的情况(因为SVM间隔最大化是一个二次规划问题,求解将涉及m阶矩阵的计算(m为样本的个数), 因此SVM不适用于超大数据集),因此提出了RBF。

    另外,SVM中的高斯核函数可以看作与每一个输入点的距离,而RBF神经网络对输入点做了一个聚类。RBF神经网络用高斯核函数时,其数据中心C可以是训练样本中的抽样,此时与svm的高斯核函数是完全等价的,也可以是训练样本集的多个聚类中心,所以他们都是需要选择数据中心的,只不过SVM使用高斯核函数时,这里的数据中心都是训练样本本身而已。
      在这里插入图片描述

    高斯核函数为什么可以将低维映射到高维

    相信大部分人都听过核函数可以将低维数据映射到高维中,其实准确说核函数只是给出了数据在低维下计算高维内积的方法。

    对于高斯核为什么可以将数据映射到无穷多维,我们可以从泰勒展开式的角度来解释,

    首先我们要清楚,SVM中,对于维度的计算,我们可以用内积的形式,假设函数:
    κ ( x 1 , x 2 ) = ( 1 , x 1 x 2 , x 2 ) \kappa \left( x_{1}, x_{2} \right) = (1, x_{1}x_{2}, x^{2} ) κ(x1,x2)=(1,x1x2,x2) 表示一个简单的从二维映射到三维。

    则在SVM的计算中,可以表示为:
    κ ( x 1 , x 2 ) = 1 + x 1 x 2 + x 2 \kappa \left( x_{1}, x_{2} \right) = 1+x_{1}x_{2}+ x^{2} κ(x1,x2)=1+x1x2+x2

    再来看 e x e^{x} ex泰勒展开式(具体泰勒展开公式推导见顶部知乎链接):
    e x ≈ 1 + x + x 2 2 ! + x 3 3 ! + . . . + x n n ! e^{x} \approx 1 + x + \frac{x^{2}}{2!} + \frac{x^{3}}{3!} + ... + \frac{x^{n}}{n!} ex1+x+2!x2+3!x3+...+n!xn

    所以这个无穷多项的式子正是对于 e x e^{x} ex的近似, e x e^{x} ex所对应的映射:
    κ ( x ) = ( 1 , x , x 2 2 ! , x 3 3 ! , . . . , x n n ! ) \kappa \left( x \right) = \left( 1, x, \frac{x^{2} }{2!}, \frac{x^{3} }{3!}, ..., \frac{x^{n} }{n!} \right) κ(x)=(1,x,2!x2,3!x3,...,n!xn)

    再来看高斯核:
    κ ( x 1 , x 2 ) = e ( − ∣ ∣ x 1 − x 2 ∣ ∣ 2 2 σ 2 ) \kappa \left( x_{1} , x_{2} \right) = e^{\left(- \frac{\left||x_{1} - x_{2} \right|| ^{2} }{2\sigma ^{2} } \right) } κ(x1,x2)=e(2σ2x1x22)

    将泰勒展开式带入高斯核,我们得到了一个无穷维度的映射
    κ ( x 1 , x 2 ) = 1 + ( − ∣ ∣ x 1 − x 2 ∣ ∣ 2 2 σ 2 ) + ( − ∣ ∣ x 1 − x 2 ∣ ∣ 2 2 σ 2 ) 2 2 ! + . . . + ( − ∣ ∣ x 1 − x 2 ∣ ∣ 2 2 σ 2 ) 3 3 ! + . . . + ( − ∣ ∣ x 1 − x 2 ∣ ∣ 2 2 σ 2 ) n n ! \kappa \left( x_{1} , x_{2} \right) = 1 + \left(- \frac{\left||x_{1} - x_{2} \right|| ^{2} }{2\sigma ^{2} } \right) + \frac{(-\frac{\left||x_{1} - x_{2} \right|| ^{2} }{2\sigma ^{2} })^{2} }{2!} + ... + \frac{(-\frac{\left||x_{1} - x_{2} \right|| ^{2} }{2\sigma ^{2} })^{3} }{3!} + ... + \frac{(-\frac{\left||x_{1} - x_{2} \right|| ^{2} }{2\sigma ^{2} })^{n} }{n!} κ(x1,x2)=1+(2σ2x1x22)+2!(2σ2x1x22)2+...+3!(2σ2x1x22)3+...+n!(2σ2x1x22)n
    即:
    在这里插入图片描述
    当n趋于正无穷时,对于 x 1 x_{1} x1 x 2 x_{2} x2的内积形式符合在SVM中无穷维度下的内积计算,即高斯核将数据映射到无穷高的维度。

    前馈网络、递归网络和反馈网络

    前馈网络一般指前馈神经网络或前馈型神经网络。它是一种最简单的神经网络,各神经元分层排列。每个神经元只与前一层的神经元相连。接收前一层的输出,并输出给下一层,各层间没有反馈。包括:BP神经网络、RBF神经网络等。

    递归神经网络(RNN)是两种人工神经网络的总称。一种是时间递归神经网络(recurrent neural network),又名循环神经网络,包括RNN、LSTM、GRU等;另一种是结构递归神经网络(recursive neural network)。

    反馈网络(Recurrent Network),又称自联想记忆网络,其目的是为了设计一个网络,储存一组平衡点,使得当给网络一组初始值时,网络通过自行运行而最终收敛到这个设计的平衡点上。包括CHNN、DHNN等。

    展开全文
  • 提出自适应径向基函数代理模型,并结合微型多目标遗传算法对整车耐撞性...最后采用微型多目标遗传算法对达到许可误差的各个自适应径向基函数模型进行优化,获得Pareto前沿面,根据工程要求或工程人员的经验权衡耐撞性
  • 通过建立考虑水气两相非饱和渗流的正演有限元模型,以归一化的数值模拟结果的出水时间为输入目标,以归一化的不同水平参数组合为输出目标,同时以归一化的模型试验结果为测试输入变量,利用径向基函数神经网络模型对...
  • 基于径向基函数神经网络的电动汽车动力电池SOC模型.pdf
  • 为进一步研究瓦斯涌出量与影响因素之间的映射关系,建立了径向基函数网络预测模型,并基于瓦斯涌出量与影响因素关系的实际收集数据,对其本构关系进行了函数逼近,通过网络所建立的映射关系对矿井瓦斯涌出量进行了预测。...
  • 大坝变形蚁群聚类径向基函数神经网络安全监控预测模型.pdf
  • 电子散斑干涉技术(ESPI)测量物体变形时,初始载荷下采集的散斑图像呈现出粗宽分布,提出了一种基于径向基函数的粗宽条纹图滤波方法。介绍了基于径向基函数平滑插值的滤波原理,分析了该滤波方法的参数选取问题。通过...
  • 基于径向基函数神经网络的功率器件集总参数热模型.pdf
  • 提出了一种基于径向基函数神经网络的网络流量识别方法。根据实际网络中的流量数据,建立了一个基于RBF神经网络的流量识别模型。先介绍了RBF神经网络的结构设计及学习算法,针对RBF神经网络在隐节点过多的情况下算法...
  • 关于径向基函数神经网络,首先要介绍一个定理,cover定理,对于一个复杂的在低维空间表现为非线性可分的模型分类问题,当我们从该低维空间由某种非线性变换而得到的高维空间来看待时,原来的问题就可能转化为一个...

    径向基函数神经网络是不同于BP神经网络的另一种的前馈神经网络,由输入层、一层非线性隐层(径向基层)和线性输出层组成的。

    关于径向基函数神经网络,首先要介绍一个定理,cover定理,对于一个复杂的在低维空间表现为非线性可分的模型分类问题,当我们从该低维空间由某种非线性变换而得到的高维空间来看待时,原来的问题就可能转化为一个简单的线性可分的模式分类问题。再看回径向基函数神经网络的结构,它只有一层隐层,而且隐层的神经元数量是多于输入层的,所以就可以看成经过隐层的处理后,原来的输入特征由n维变成了更高的n+k维。这就是径向基函数神经网络的核心思想。

    接下来我们首先从BP神经网络和径向基函数神经网络的区别入手,分析径向基神经网络的一些优点。

    首先,BP神经网络的隐节点(隐层神经元)采用输入变量与权向量的内积作为激活函数的自变量,激活函数采用sigmoid函数,我们知道,在训练过程中,BP算法会根据样本数据不断反向调整参数(权向量),使得最后得到的模型能够尽可能拟合所有数据(或者说模型损失函数尽可能小),也就是说,所有数据对于模型参数的调整都有同等重要的地位,这种现象就称为全局逼近。

    而RBF神经网络则是采用输入变量与基函数中心的距离(如欧氏距离)作为激活函数的自变量,同时激活函数采用径向基函数,采用输入变量与中心的距离作为激活函数的自变量和核回归的思想是相似的,也就是说,远离各个中心的数据,对于模型参数调整的影响是较小的,真正起主要作用的是靠近中心变量的样本数据,所以这就属于局部逼近。

    针对BP神经网络和RBF神经网络的区别,就可以推导出,RBF神经网络比起BP神经网络的优点主要在于计算速度,因为RBF只有一层隐层,BP可能有多层隐层,同时BP是全局逼近而RBF是局部逼近,这些都会影响计算速度。

    明确了RBF神经网络的优点后,再来具体介绍RBF神经网络的过程。BP神经网络要求解的只有权向量,而RBF神经网络需要求解的参数有基函数的中心、方差以及隐层到输出层的权值。首先关于中心,其实和样条回归的节点、loess的拟合点是一个东西,通过一组中心将原来的样本数据集划分到不同区间,再局部进行拟合,所以中心变量的数量和位置对于最后拟合得到的函数的精度和形状影响很大。所以REF神经网络可以分为两个过程,第一个是确定基函数的中心和方差,然后才是确定权值。

    关于基函数的中心选取方法有很多,第一种是直接计算法,其实就是随机选取中心;第二种是自组织学习选取中心,主要采用K-均值聚类法来选择中心;第三种是通过梯度下降法这类有监督学习方法来选取中心,除此之外还有很多不同的方法,但目前为止也没有通用的较好的策略去决定中心,或多或少会存在计算量大、收敛速度较慢等问题,所以目前针对这些问题,也有提出了一种更复杂的基于合作性协同进化的RBF学习算法,去分析出最优的隐层神经元数量以及基函数中心、方差。

    确定了基函数的中心和方差之后,我们就能进一步得到模型的输出表达式(以高斯函数作为径向基函数为例):

    R ( x p − x i ) = e x p ( 1 − 2 δ 2 ∣ ∣ x p − x i ∣ ∣ 2 ) R(x_p - x_i) = exp(\frac{1}{-2\delta ^2} ||x_p - x_i ||^2) R(xpxi)=exp(2δ21xpxi2)

    y i = ∑ i = 1 h ω i j e x p ( 1 − 2 δ 2 ∣ ∣ x p − x i ∣ ∣ 2 ) y_i = \sum_{i=1}^h \omega_{ij} exp(\frac{1}{-2\delta ^2} ||x_p - x_i ||^2) yi=i=1hωijexp(2δ21xpxi2)

    最后,根据实际的情况(回归还是分类问题),选择适当的损失函数,按照常规的方法去求解最优权值。

    总的来说,RBF神经网络可以看成是一种基于局部逼近思想而改进的神经网络,理论上和BP神经网络相比计算效率更高,可是另一方面,我认为BP神经网络的各个步骤是十分明确的,可以一步步推导的,而RBF神经网络在确定径向基函数相关参数时,根据不同的样本数据分布或许会有更好的计算方法,很难确定一种通用的最优的求解方法,这种不确定性就变成了RBF神经网络的一大局限。

    想浏览更多关于数学、机器学习、深度学习的内容,可浏览本人博客

    展开全文
  • 利用典型航速、航向角、海情下水池实验测量的数据算得 水动力参数,基于径向基函数神经网络(RBF)算法,逼近三维空间各水动力参数的非线性函数,从而得到随航速、海 情和航向角自适应变化的船舶运动非线性参数模型 ...
  • 径向基函数神经网络(RBFNN)详解

    万次阅读 多人点赞 2019-09-13 16:29:05
    径向基函数神经网络(RBFNN) 前言 RBFNN是20世纪80年代末提出的一种单隐层、以函数逼近为基础的前馈神经网络。随着研究日渐成熟,RBFNN以其结构简单、非线性逼近能力强以及良好的推广能力,受到各领域研究者的极...
  • 人工神经网络——径向基函数(RBF)神经网络

    万次阅读 多人点赞 2015-10-24 15:32:45
    径向基函数神经网络的优点:逼近能力,分类能力和学习速度等方面都优于BP神经网络,结构简单、训练简洁、学习收敛速度快、能够逼近任意非线性函数,克服局部极小值问题。原因在于其参数初始化具有一定的方法,并非...
  • 针对由于驾驶行为的不确定性, 难以建立精确的车辆跟驰模型的问题, 应用径向基函数神经网络建立了跟驰模型, 改进了基于最近邻聚类的网络学习算法, 并利用跟驰数据对模型进行了验证Z 结果表明, 该网络模型与多层前馈...
  • 1985年,Powell提出了多变量插值的径向基函数(RBF)方法。1988年Moody和Darken提出了一种神经网络结构,即RBF神经网络,属于前向神经网络类型,它能够以任意精度逼近任意连续函数,特别适合于解决分类问题。RBF网络...
  • 径向基函数在神经网络的构造有很好的应用,构造神经网络的基本方法为假设某种过程是属于某种函数空间的函数,然后连接成神经网格,运行一段时间该网络的电势趋于最小达到某种动态的平衡,从而可以求出该函数,而选择...
  • 径向基函数

    2014-11-14 16:16:00
    详尽的描述了RBF模型。对于初学者而言这是一个捷径。

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 10,805
精华内容 4,322
关键字:

径向基函数模型