精华内容
下载资源
问答
  • 2021-04-24 18:26:40

    RBF高斯径向基核函数(单值:两个点相似性)

    XVec表示X向量。||XVec||表示向量长度。

    r表示两点距离。r^2表示r的平方。

    k(XVec,YVec) = exp(-1/(2*sigma^2)*(r^2))

    = exp(-gamma*r^2)...... 公式-1

    这里, gamma=1/(2*sigma^2)是参数, r=||XVec-YVec||

    实际上,可看作是计算2个点X与Y的相似性。很多参考书上,把YVec写作XVec',即 k(XVec, XVec'),也是一样的含义:两点相似性。由于Matlab上面XVec'代表XVec的转置向量(XVec)T,所以,为规避歧义,我记作k(XVec,YVec)。如:LibSVM代码,机器学习经典教材《Pattern Recognition and Machine Learning -Bishop》P312.(三大牛人巨著: Michael I. Jordan,加州大学伯克利分校计算机系/Jon Kleinberg,康奈尔大学计算机系/Bernhard Schlkopf德国蒂宾根马普所)。

    r是半径(radial),这也是径向基核函数(radial basis function)名称的由来。

    很容易,写出高斯RBF matlab代码:

    r = norm(XVec-YVec, 2); % L2范数嘛

    或者: r = sum((XVec-YVec).^2)^(1/2);

    k = exp(-gamma*r^2);

    假设X与Y矩阵的每一行是一个样本,如何求得K(X,Y)?

    假若X = train_data是训练数据, K(X,X)是训练核矩阵,可拿去LibSVM做自定义核训练。当然,这里只是童鞋们的一个练习。LibSVM svmtrain有RBF核(-t 2)。

    假若X = test_data 是测试数据, Y = train_data 是训练数据, 那么 K(X,Y)是测试核矩阵了。(svmpredict)

    MatLab下,核矩阵怎么求更高效?去掉for循环!

    推导下。

    MatLab下,X'代表X的转置矩阵。

    r^2 = ||XVec - YVec||^2

    = ||XVec||^2 + ||YVec||^2 - 2*XVec*YVec'

    = XVec*XVec' + YVec*YVec' - 2*XVec*YVec'

    r^2 = repmat( sum(X.^2,2), 1, size(Y,1) ) ...

    + repmat( sum(Y.^2,2), 1, size(X,1) )' ...

    - 2*X*Y' ;

    代入公式-1, 得到高斯径向基RBF核矩阵KRBF = K(X, Y):

    KRBF = exp(-gamma*r^2); % RBF核矩阵

    在LibSVM中,gamma默认是:1/num_features , 即X与Y的列数。

    假若X是m×d矩阵, Y是n×d矩阵,则KRBF = K(X, Y)是m×n矩阵;

    则KRBF = K(Y, Y)是n×n矩阵。

    例如:Corel5k图片库,提取出Gist全局视觉特征,训练数据4500×512矩阵Y,测试数据499×512矩阵X,特征数num_features = 512,那么 默认值 gamma = 1/512;

    高斯径向基RBF核矩阵KRBF 写成MatLab函数:

    function KMatrix = getKRBF(X, Y, gamma)

    r2 = repmat( sum(X.^2,2), 1, size(Y,1) ) ...

    + repmat( sum(Y.^2,2), 1, size(X,1) )' ...

    - 2*X*Y' ; % r^2(r的平方)

    KMatrix = exp(-gamma*r2);

    更多相关内容
  • 高斯径向基核函数参数的GA优化方法_徐咏梅,可用于svm分类器的进一步学习。
  • RBF高斯径向基核函数

    千次阅读 2018-01-30 17:40:26
    RBF高斯径向基核函数(单值:两个点相似性) XVec表示X向量。||XVec||表示向量长度。 r表示两点距离。r^2表示r的平方。 k(XVec,YVec) = exp(-1/(2*sigma^2)*(r^2))  = exp(-gamma*r^2) ...... 公式-1 这里, ...
    RBF高斯径向基核函数(单值:两个点相似性)

    XVec表示X向量。||XVec||表示向量长度。
    r表示两点距离。r^2表示r的平方。
    k(XVec,YVec) = exp(-1/(2*sigma^2)*(r^2))
                 = exp(-gamma*r^2) ...... 公式-1
    这里, gamma=1/(2*sigma^2)是参数, r=||XVec-YVec||
    实际上,可看作是计算2个点X与Y的相似性。很多参考书上,把YVec写作XVec',即 k(XVec, XVec'),也是一样的含义:两点相似性。由于Matlab上面XVec'代表XVec的转置向量(XVec)T,所以,为规避歧义,我记作k(XVec,YVec)。如:LibSVM代码,机器学习经典教材《Pattern Recognition and Machine Learning -Bishop》P312.(三大牛人巨著: Michael I. Jordan,加州大学伯克利分校计算机系/Jon Kleinberg,康奈尔大学计算机系/Bernhard Schölkopf德国蒂宾根马普所)。
    r是半径(radial),这也是径向基核函数(radial basis function)名称的由来。

    很容易,写出高斯RBF matlab代码:
    r = norm(XVec-YVec, 2); % L2范数嘛
    或者: r = sum((XVec-YVec).^2)^(1/2);
    k = exp(-gamma*r^2);

    假设X与Y矩阵的每一行是一个样本,如何求得K(X,Y)?
    假若X = train_data是训练数据, K(X,X)是训练核矩阵,可拿去LibSVM做自定义核训练。当然,这里只是童鞋们的一个练习。LibSVM svmtrain有RBF核(-t 2)。
    假若X = test_data 是测试数据, Y = train_data 是训练数据, 那么 K(X,Y)是测试核矩阵了。(svmpredict)

    MatLab下,核矩阵怎么求更高效?去掉for循环!
    推导下。
    MatLab下,X'代表X的转置矩阵。
    r^2 = ||XVec - YVec||^2
        = ||XVec||^2 + ||YVec||^2 - 2*XVec*YVec'
        = XVec*XVec' + YVec*YVec' - 2*XVec*YVec'
    r^2 = repmat( sum(X.^2,2), 1, size(Y,1) ) ...
    + repmat( sum(Y.^2,2), 1, size(X,1) )' ...
    - 2*X*Y' ;
    代入公式-1, 得到高斯径向基RBF核矩阵KRBF = K(X, Y):
    KRBF = exp(-gamma*r^2); % RBF核矩阵
    在LibSVM中,gamma默认是:1/num_features , 即X与Y的列数。
    假若X是m×d矩阵, Y是n×d矩阵,则KRBF = K(X, Y)是m×n矩阵;
    则KRBF = K(Y, Y)是n×n矩阵。
    例如:Corel5k图片库,提取出Gist全局视觉特征,训练数据4500×512矩阵Y,测试数据499×512矩阵X,特征数num_features = 512,那么 默认值 gamma = 1/512;

    高斯径向基RBF核矩阵KRBF 写成MatLab函数:
    function KMatrix = getKRBF(X, Y, gamma)
    r2 = repmat( sum(X.^2,2), 1, size(Y,1) ) ...
    + repmat( sum(Y.^2,2), 1, size(X,1) )' ...
    - 2*X*Y' ; % r^2(r的平方)
    KMatrix = exp(-gamma*r2);
    展开全文
  • 在机器学习中,(高斯径向基函数核(英语:Radial basis function kernel),或称为RBF核,是一种常用的核函数。它是支持向量机分类中最为常用的核函数。[1] 关于两个样本xx'的RBF核可表示为某个“输入空间”...

    中文简单介绍:

    机器学习中,(高斯径向基函数英语Radial basis function kernel),或称为RBF核,是一种常用的核函数。它是支持向量机分类中最为常用的核函数。[1]

    关于两个样本xx'的RBF核可表示为某个“输入空间”(input space)的特征向量,它的定义如下所示:[2]

    K(\mathbf{x}, \mathbf{x'}) = \exp\left(-\frac{||\mathbf{x} - \mathbf{x'}||_2^2}{2\sigma^2}\right)

    \textstyle||\mathbf{x} - \mathbf{x'}||_2^2可以看做两个特征向量之间的平方欧几里得距离\sigma是一个自由参数。一种等价但更为简单的定义是设一个新的参数\gamma,其表达式为\textstyle\gamma = -\tfrac{1}{2\sigma^2}

    K(\mathbf{x}, \mathbf{x'}) = \exp(\gamma||\mathbf{x} - \mathbf{x'}||_2^2)

    因为RBF核函数的值随距离减小,并介于0(极限)和1(当x = x'的时候)之间,所以它是一种现成的相似性度量表示法。[2]核的特征空间有无穷多的维数;对于\sigma = 1,它的展开式为:[3]

    \exp\left(-\frac{1}{2}||\mathbf{x} - \mathbf{x'}||_2^2\right) = \sum_{j=0}^\infty \frac{(\mathbf{x}^\top \mathbf{x'})^j}{j!} \exp\left(-\frac{1}{2}||\mathbf{x}||_2^2\right) \exp\left(-\frac{1}{2}||\mathbf{x'}||_2^2\right)

    近似[编辑]

    因为支持向量机和其他模型使用了核技巧,它在处理输入空间中大量的训练样本或含有大量特征的样本的时表现不是很好。所以,目前已经设计出了多种RBF核(或相似的其他核)的近似方法。[4] 典型的情况下,这些方法使用z(x)的形式,也就是用一个函数对一个与其他向量(例如支持向量机中的支持向量)无关的单向量进行变换,例如:

    z(\mathbf{x})z(\mathbf{x'}) \approx \varphi(\mathbf{x})\varphi(\mathbf{x'}) = K(\mathbf{x}, \mathbf{x'})

    其中\textstyle\varphi是RBF核中植入的隐式映射。 RBF函数作为核函数,其作用是将不同输入欧几里得距离映射到高斯空间,特点是使距离变化变得更为敏感

    一种构造这样的z函数的方法是对核函数作傅里叶变换,然后从中随机抽出所需函数。[5]



    wiki详解:

    radial basis function (RBF) is a real-valued function whose value depends only on the distance from the  origin, so that  \phi(\mathbf{x}) = \phi(\|\mathbf{x}\|); or alternatively on the distance from some other point  c, called a  center, so that  \phi(\mathbf{x}, \mathbf{c}) = \phi(\|\mathbf{x}-\mathbf{c}\|). Any function  \phi that satisfies the property  \phi(\mathbf{x}) = \phi(\|\mathbf{x}\|) is a radial function. The norm is usually  Euclidean distance, although other  distance functions are also possible. For example, using  Łukaszyk–Karmowski metric, it is possible for some radial functions to avoid problems with  ill conditioning of the matrix solved to determine coefficients  w i (see below), since the  \|\mathbf{x}\| is always greater than zero. [1]

    Sums of radial basis functions are typically used to approximate given functions. This approximation process can also be interpreted as a simple kind of neural network; this was the context in which they originally surfaced, in work by David Broomhead and David Lowe in 1988,[2][3] which stemmed from Michael J. D. Powell's seminal research from 1977.[4][5][6] RBFs are also used as a kernel in support vector classification.[7]

    Types[edit]

    Commonly used types of radial basis functions include (writing r = \|\mathbf{x} - \mathbf{x}_i\|\;):

    The first term, that is used for normalisation of the Gaussian, is missing, because in our sum every Gaussian has a weight, so the normalisation is not necessary.

    \phi(r) = e^{-(\varepsilon r)^2}\,
    \phi(r) = \sqrt{1 + (\varepsilon r)^2}
    \phi(r) = \frac{1}{1+(\varepsilon r)^2}
    \phi(r) = \frac{1}{\sqrt{1 + (\varepsilon r)^2}}
    \phi(r) = r^k,\; k=1,3,5,\dots
    \phi(r) = r^k \ln(r),\; k=2,4,6,\dots
    \phi(r) = r^2 \ln(r)\;

    Approximation[edit]

    Main article:  Kernel smoothing

    Radial basis functions are typically used to build up function approximations of the form

    y(\mathbf{x}) = \sum_{i=1}^N w_i \, \phi(\|\mathbf{x} - \mathbf{x}_i\|),

    where the approximating function y(x) is represented as a sum of N radial basis functions, each associated with a different center xi, and weighted by an appropriate coefficient wi. The weights wi can be estimated using the matrix methods of linear least squares, because the approximating function is linear in the weights.

    Approximation schemes of this kind have been particularly used[citation needed] in time series prediction and control of nonlinear systems exhibiting sufficiently simple chaotic behaviour, 3D reconstruction in computer graphics (for example, hierarchical RBF and Pose Space Deformation).

    RBF Network[edit]

    Two unnormalized Gaussian radial basis functions in one input dimension. The basis function centers are located at  x 1=0.75 and  x 2=3.25.

    The sum

    y(\mathbf{x}) = \sum_{i=1}^N w_i \, \phi(\|\mathbf{x} - \mathbf{x}_i\|),

    can also be interpreted as a rather simple single-layer type of artificial neural network called a radial basis function network, with the radial basis functions taking on the role of the activation functions of the network. It can be shown that any continuous function on a compact interval can in principle be interpolated with arbitrary accuracy by a sum of this form, if a sufficiently large number N of radial basis functions is used.

    The approximant y(x) is differentiable with respect to the weights wi. The weights could thus be learned using any of the standard iterative methods for neural networks.

    Using radial basis functions in this manner yields a reasonable interpolation approach provided that the fitting set has been chosen such that it covers the entire range systematically (equidistant data points are ideal). However, without a polynomial term that is orthogonal to the radial basis functions, estimates outside the fitting set tend to perform poorly.

    See also[edit]

    References[edit]

    1. Jump up^ Łukaszyk, S. (2004) A new concept of probability metric and its applications in approximation of scattered data sets. Computational Mechanics, 33, 299-3004. limited access
    2. Jump up^Radial Basis Function networks
    3. Jump up^ Broomhead, David H.; Lowe, David (1988). "Multivariable Functional Interpolation and Adaptive Networks" (PDF). Complex Systems 2: 321––355. Archived from the original (PDF) on 2014-07-14.
    4. Jump up^ Michael J. D. Powell (1977). "Restart procedures for the conjugate gradient method" (PDF). Mathematical Programming (Springer) 12 (1): 241––254.
    5. Jump up^ Sahin, Ferat (1997). A Radial Basis Function Approach to a Color Image Classification Problem in a Real Time Industrial Application (PDF) (M.Sc.). Virginia Tech. p. 26. Radial basis functions were first introduced by Powell to solve the real multivariate interpolation problem.
    6. Jump up^ Broomhead & Lowe 1988, p. 347: "We would like to thank Professor M.J.D. Powell at the Department of Applied Mathematics and Theoretical Physics at Cambridge University for providing the initial stimulus for this work."
    7. Jump up^ VanderPlas, Jake (6 May 2015). "Introduction to Support Vector Machines" [O'Reilly]. Retrieved 14 May 2015.

    Further reading[edit]

    • Buhmann, Martin D. (2003), Radial Basis Functions: Theory and ImplementationsCambridge University PressISBN 978-0-521-63338-3.
    • Hardy, R.L., Multiquadric equations of topography and other irregular surfaces. Journal of Geophysical Research, 76(8):1905–1915, 1971.
    • Hardy, R.L., 1990, Theory and applications of the multiquadric-biharmonic method, 20 years of Discovery, 1968 1988, Comp. math Applic. Vol 19, no. 8/9, pp. 163 208
    • Press, WH; Teukolsky, SA; Vetterling, WT; Flannery, BP (2007),"Section 3.7.1. Radial Basis Function Interpolation" Numerical Recipes: The Art of Scientific Computing (3rd ed.), New York: Cambridge University Press, ISBN 978-0-521-88068-8
    • Sirayanone, S., 1988, Comparative studies of kriging, multiquadric-biharmonic, and other methods for solving mineral resource problems, PhD. Dissertation, Dept. of Earth Sciences,Iowa State University, Ames, Iowa.
    • Sirayanone S. and Hardy, R.L., "The Multiquadric-biharmonic Method as Used for Mineral Resources, Meteorological, and Other Applications," Journal of Applied Sciences and Computations Vol. 1, pp. 437–475, 1995.


    展开全文
  • 机器学习——径向基核函数

    千次阅读 2017-02-15 11:00:10
    所谓径向基函数 (Radial Basis Function 简称 RBF), 就是某种沿径向对称的标量函数。 通常定义为空间中任一点x到某一中心xc之间...最常用的径向基函数是高斯核函数 ,形式为 k(||x-xc||)=exp{- ||x-xc||^2/(2*σ)^2) }

    所谓径向基函数 (Radial Basis Function 简称 RBF), 就是某种沿径向对称的标量函数。 通常定义为空间中任一点x到某一中心xc之间欧氏距离的单调函数 , 可记作 k(||x-xc||), 其作用往往是局部的 , 即当x远离xc时函数取值很小。

    最常用的径向基函数是高斯核函数 ,形式为 k(||x-xc||)=exp{- ||x-xc||^2/(2*σ)^2) } 其中xc为核函数中心,σ为函数的宽度参数 , 控制了函数的径向作用范围。

    建议首选RBF核函数,因为:

    1. 能够实现非线性映射;( 线性核函数可以证明是他的一个特例;SIGMOID核函数在某些参数上近似RBF的功能。)
    2. 参数的数量影响模型的复杂程度,多项式核函数参数较多。
    3. the RBF kernel has less numerical difficulties.

    ———–那么,还记得为何要选用核函数么?———–

    对于这个问题,在Jasper’s Java Jacal博客《SVM入门(七)为何需要核函数》中做了很详细的阐述,另外博主对于SVM德入门学习也是做了很详细的阐述,有兴趣的可以去学习,丕子觉得这个文章写得相当好,特意转载了过来,留念一下。

    如果提供的样本线性不可分,结果很简单,线性分类器的求解程序会无限循环,永远也解不出来。这必然使得它的适用范围大大缩小,而它的很多优点我们实在不原意放弃,怎么办呢?是否有某种方法,让线性不可分的数据变得线性可分呢?

    例子是下面这张图:

    clip_image001

    我们把横轴上端点a和b之间红色部分里的所有点定为正类,两边的黑色部分里的点定为负类。试问能找到一个线性函数把两类正确分开么?不能,因为二维空间里的线性函数就是指直线,显然找不到符合条件的直线。

    但我们可以找到一条曲线,例如下面这一条:

    clip_image002

    显然通过点在这条曲线的上方还是下方就可以判断点所属的类别(你在横轴上随便找一点,算算这一点的函数值,会发现负类的点函数值一定比0大,而正类的一定比0小)。这条曲线就是我们熟知的二次曲线,它的函数表达式可以写为:

    clip_image002[5]

    问题只是它不是一个线性函数,但是,下面要注意看了,新建一个向量y和a:

    clip_image002[7]

    这样g(x)就可以转化为f(y)=<a,y>,你可以把y和a分别回带一下,看看等不等于原来的g(x)。用内积的形式写你可能看不太清楚,实际上f(y)的形式就是:

    g(x)=f(y)=ay

    在任意维度的空间中,这种形式的函数都是一个线性函数(只不过其中的a和y都是多维向量罢了),因为自变量y的次数不大于1。

    看出妙在哪了么?原来在二维空间中一个线性不可分的问题,映射到四维空间后,变成了线性可分的

    !因此这也形成了我们最初想解决线性不可分问题的基本思路——向高维空间转化,使其变得线性可分。

    而转化最关键的部分就在于找到x到y的映射方法。遗憾的是,如何找到这个映射,没有系统性的方法(也就是说,纯靠猜和凑)。具体到我们的文本分类问题,文本被表示为上千维的向量,即使维数已经如此之高,也常常是线性不可分的,还要向更高的空间转化。其中的难度可想而知。

    小Tips:为什么说f(y)=ay是四维空间里的函数?

    大家可能一时没看明白。回想一下我们二维空间里的函数定义
    g(x)=ax+b
    变量x是一维的,为什么说它是二维空间里的函数呢?因为还有一个变量我们没写出来,它的完整形式其实是
    y=g(x)=ax+b

    y=ax+b
    看看,有几个变量?两个,二维。
    再看看
    f(y)=ay
    里面的y是三维的变量,再加上f(y)成为四维的了。

    用一个具体文本分类的例子来看看这种向高维空间映射从而分类的方法如何运作,想象一下,我们文本分类问题的原始空间是1000维的(即每个要被分类的文档被表示为一个1000维的向量),在这个维度上问题是线性不可分的。现在我们有一个2000维空间里的线性函数

    f(x)=<w,x>+b

    注意向量的右上角有个 ’哦。它能够将原问题变得可分。式中的 w和x都是2000维的向量,只不过w是定值,而x是变量(好吧,严格说来这个函数是2001维的,哈哈),现在我们的输入呢,是一个1000维的向量x,分类的过程是先把x变换为2000维的向量x,然后求这个变换后的向量x与向量w的内积,再把这个内积的值和b相加,就得到了结果,看结果大于阈值还是小于阈值就得到了分类结果。

    你发现了什么?我们其实只关心那个高维空间里内积的值,那个值算出来了,分类结果就算出来了。而从理论上说, x是经由x变换来的,因此广义上可以把它叫做x的函数(有一个x,就确定了一个x,对吧,确定不出第二个),而w是常量,它是一个低维空间里的常量w经过变换得到的,所以给了一个w 和x的值,就有一个确定的f(x)值与其对应。这让我们幻想,是否能有这样一种函数K(w,x),他接受低维空间的输入值,却能算出高维空间的内积值<w,x>?

    如果有这样的函数,那么当给了一个低维空间的输入x以后,

    g(x)=K(w,x)+b

    f(x)=<w,x>+b

    这两个函数的计算结果就完全一样,我们也就用不着费力找那个映射关系,直接拿低维的输入往g(x)里面代就可以了(再次提醒,这回的g(x)就不是线性函数啦,因为你不能保证K(w,x)这个表达式里的x次数不高于1哦)。

    万幸的是,这样的K(w,x)确实存在(发现凡是我们人类能解决的问题,大都是巧得不能再巧,特殊得不能再特殊的问题,总是恰好有些能投机取巧的地方才能解决,由此感到人类的渺小),它被称作核函数(核,kernel),而且还不止一个,事实上,只要是满足了Mercer条件的函数,都可以作为核函数。核函数的基本作用就是接受两个低维空间里的向量,能够计算出经过某个变换后在高维空间里的向量内积值。几个比较常用的核函数,俄,教课书里都列过,我就不敲了(懒!)。

    回想我们上节说的求一个线性分类器,它的形式应该是:

    clip_image002[9]

    现在这个就是高维空间里的线性函数(为了区别低维和高维空间里的函数和向量,我改了函数的名字,并且给w和x都加上了 ’),我们就可以用一个低维空间里的函数(再一次的,这个低维空间里的函数就不再是线性的啦)来代替,

    clip_image002[11]

    又发现什么了?f(x’) 和g(x)里的α,y,b全都是一样一样的!这就是说,尽管给的问题是线性不可分的,但是我们就硬当它是线性问题来求解,只不过求解过程中,凡是要求内积 的时候就用你选定的核函数来算。这样求出来的α再和你选定的核函数一组合,就得到分类器啦!

    明白了以上这些,会自然的问接下来两个问题:

    1. 既然有很多的核函数,针对具体问题该怎么选择?

    2. 如果使用核函数向高维空间映射后,问题仍然是线性不可分的,那怎么办?

    第一个问题现在就可以回答你:对核函数的选择,现在还缺乏指导原则!各种实验的观察结果(不光是文本分类)的确表明,某些问题用某些核函数效果很 好,用另一些就很差,但是一般来讲,径向基核函数是不会出太大偏差的一种,首选。(我做文本分类系统的时候,使用径向基核函数,没有参数调优的情况下,绝 大部分类别的准确和召回都在85%以上,可见。虽然libSVM的作者林智仁认为文本分类用线性核函数效果更佳,待考证)

    对第二个问题的解决则引出了我们下一节的主题:松弛变量。

    ==================

    核函数有很多种,如线性核、多项式核、Sigmoid 核和 RBF(Radial Basis function)核。本文选定 RBF 核为 SVM 的核函数(RBF 核K(x, y) = exp(-γ || x -y ||的平方),γ > 0)。因为RBF 核可以将样本映射到一个更高维的空间,可以处理当类标签(Class Labels)和特征之间的关系是非线性时的样例。Keerthi 等[25]证明了一个有惩罚参数C 的线性核同有参数(C,γ )(其中C 为惩罚因子,γ 为核参数)的 RBF 核具有相同的性能。对某些参数,Sigmoid核同 RBF 核具有相似的性能[26]。另外,RBF 核与多项式核相比具有参数少的优点。因为参数的个数直接影响到模型选择的复杂性。非常重要的一点是0< Kij ≤1与多项式核相反,核值可能趋向无限(γxi xj + r >1)或者0 < γxi xj + r <1,跨度非常大。而且,必须注意的是Sigmoid 核在某些参数下是不正确的(例如,没有两个向量的内积)。

    用交叉验证找到最好的参数 C 和γ 。使用 RBF 核时,要考虑两个参数 C 和γ 。因为参数的选择并没有一定的先验知识,必须做某种类型的模型选择(参数搜索)。目的是确定好的(C,γ)使得分类器能正确的预测未知数据(即测试集数 据),有较高的分类精确率。值得注意的是得到高的训练正确率即是分类器预测类标签已知的训练数据的正确率)不能保证在测试集上具有高的预测精度。因此,通 常采用交叉验证方法提高预测精度。k 折交叉验证(k-fold cross validation)

    展开全文
  • 高斯核函数径向基函数)

    万次阅读 2014-02-26 11:20:47
    数学表示 所谓径向基函数 (Radial Basis Function 简称 RBF), 就是某种沿径向对称的标量函数。 通常定义为空间中任一点x到某一...最常用的径向基函数是高斯核函数 ,形式为 k(||x-xc||)=exp{- ||x-xc||^2/(2*σ)^2)
  • 核函数&径向基核函数 (Radial Basis Function)--RBF

    万次阅读 多人点赞 2016-05-26 21:47:44
    1.核函数 1.1核函数的由来 -----------还记得为何要选用核函数么?----------- 对于这个问题,在Jasper's Java Jacal博客《SVM入门(七)为何需要核函数》中做了很详细的阐述,另外博主对于SVM德入门学习也是做了很...
  • 高斯径向基函数(RBF)神经网络

    万次阅读 多人点赞 2019-04-03 00:53:52
    高斯径向基函数(RBF)神经网络 牛顿插值法-知乎 泰勒公式 径向基函数-wiki 径向基网络之bp训练 RBF网络逼近能力及其算法 线性/非线性,使用”多项式“逼近非线性,通过调节超参数来改善多项式参数进一步拟合真实非...
  • 基本的方法和径向基函数简介

    千次阅读 2021-10-19 08:49:12
    偏差-方差困境是机器学习方法的面临的主要问题。...方法就是通过将数据的输入空间映射到高维特征空间,在高维特征空间中可以训练简单的线性模型,从而得到高效、低偏差、低方差的模型。 这句话就是本文的写作目的。在
  • python实现径向基核函数

    千次阅读 2018-10-20 22:39:35
    高斯核函数,主要的作用是衡量两个对象的相似度,当两个对象越接近,即a与b的距离趋近于0,则高斯核函数的值趋近于1,反之则趋近于0,换言之: 两个对象越相似,高斯核函数值就越大 作用: 用于分类时,衡量各个...
  • 前面讲解了什么是核函数,以及有效核函数的要求,到这里基本上就结束了,很多博客也是如此,但是呢这些只是理解支持向量机的原理,如何使用它讲解的却很少,尤其是如何选择核函数更没有人讲,不讲也是有原因的,因为...
  • 关于SVM中的核函数的选择,比较简单应用比较广的是RBF。所谓径向基函数 (Radial Basis Function 简称 RBF), 就是某种沿径向对称的标量函数。通常定义为空间中任一点x到某一中心xc之间欧氏距离的单调函数 ,可记作k...
  • 1.核函数 1.1核函数的由来 -----------还记得为何要选用核函数么?----------- 对于这个问题,在Jasper's Java Jacal博客《SVM入门(七)为何需要核函数》中做了很详细的阐述,另外博主对于SVM德入门学习也是做了...
  • 高斯核函数 (Gaussian kernel),也称径向基 (RBF) 函数,就是某种沿径向对称的标量函数,用于将有限维数据映射到高维空间。通常定义为空间中任意一点到某一中心点之间的式距离的单调函数,可记作, 即当远离时函数...
  • 甚至具有协方差矩阵的高斯核也是径向的,该协方差矩阵是对角的并且具有恒定的方差。 在SVM中,RBF KernalGaussian Kernal可互换使用。 但正确的指定方式是 “高斯径向基函数”, 因为可以有其他RBF。 高斯RBF是...
  • 先讨论核函数是如何把数据映射到高维空间的,然后引入径向基函数作核函数,并特别说明高斯径向基函数的几何意义,以及它作为核函数时为什么能把数据映射到无限维空间。 2.提到了径向基函数,就继续讨论下径向基...
  • 一、核函数(Kernel Function)1)格式K(x, y):表示样本 x y,添加多项式特征得到新的样本 x'、y',K(x, y) 就是返回新的样本经过计算得到的值;在 SVM 类型的算法 SVC() 中,K(x, y) 返回点乘:x' . y' 得到的...
  • RBF高斯径向基核函数-libsvm

    万次阅读 2013-11-17 12:52:24
    r是半径(radial),这也是径向基核函数(radial basis function)名称的由来。 很容易,写出高斯RBF matlab代码: r = norm(XVec-YVec, 2); % L2范数嘛 或者: r = sum((XVec-YVec).^2)^(1/2); k = exp(-...
  • 由于球形高斯径向函数严格是正定的,因此本文中作者使用高斯核平移的线性组合对球上的分散数据进行插值。 鉴于目标函数通常在本机空间之外,并且必须解决大型线性方程组以获得插值函数的组合系数的问题,因此作者...
  • 首先分析了径向基函数核参数与数据集空间类间平均距之间的关系, 然后提出了依据单个特征对数据集的空间类间平均距的贡献大小进行特征重要性排序的算法, 最后用该算法SVM-RFE算法分别对8个UCI数据集进行了特征...
  • 高斯核函数

    2020-11-27 08:29:18
    最常用的径向基函数是高斯核函数,形式为: 其中xc为核函数中心,σ为函数的宽度函数,控制了函数的径向作用范围。 数学表示 || ||表示Norm运算,即取向量的度量,二维下常为距离函数。 计算机视觉中的应用 在...
  • RBF径向基函数

    万次阅读 多人点赞 2018-07-02 19:10:19
    常用的高斯径向基函数形如: 其中,可以看做两个特征向量之间的平方欧几里得距离。x’为核函数中心,是一个自由参数,是函数的宽度参数 , 控制了函数的径向作用范围。。一种等价但更为简单的定义是设一...
  • 先讨论核函数是如何把数据映射到高维空间的,然后引入径向基函数作核函数,并特别说明高斯径向基函数的几何意义,以及它作为核函数时为什么能把数据映射到无限维空间。 2.提到了径向基函数,就继续讨论下径向基...
  • 参数 σ 对具有高斯 RBF 的一类分类模型敏感。 这种 sigma 选择方法使用具有最先进目标函数的线搜索来找到最佳值。 矩阵是σ与模型之间的桥梁。 我们的目标不是直接找到一个好的模型,而是设计一个具有首选...
  • 径向基函数RBF.ppt

    2021-04-22 07:57:54
    径向基函数RBF2006-12-12 北京科技大学 付冬梅 * 例 建立一个径向基神经网络,对非线性函数y=sqrt(x)进行逼近,并作出网络的逼近误差曲线。 6-7 RBF网络的MATLAB函数及功能 2006-12-12 北京科技大学 付冬梅 * 误差...
  • 针对产品销售时序具有多维度,非线性的特征,通过设计了一种扩展的RBF核函数,将其应用于支持向量机中,得到一种扩展的RBF核支持向量机(ERBF-SVM: Expanded Radial Basis Function - Support Vector Machine);...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 4,906
精华内容 1,962
关键字:

径向基核函数和高斯核函数