精华内容
下载资源
问答
  • 核函数选择

    2019-09-17 23:10:23
    1. 当n少,m多时:应该增加特征数,然后再用逻辑回归或者SVM线性 2. 当n少,m中等时: 应采用SVM高斯 3. 当n大于m时:应采用逻辑回归或者SVM线性 总结: 特征数多了少了都用逻辑回归和SVM线性,正常情况...

    特征数:n,样本数:m

    1. 当n少,m多时:应该增加特征数,然后再用逻辑回归或者SVM线性核

    2. 当n少,m中等时: 应采用SVM高斯核

    3. 当n大于m时:应采用逻辑回归或者SVM线性核

    总结:   特征数多了少了都用逻辑回归和SVM线性核,正常情况用SVM高斯核

    展开全文
  • J. Tian、W. Yu 和 S. Xie 论文的 MATLAB 实现, “关于图像去噪的非局部滤波的核函数选择,”Proc。 国际。 会议。 关于机器学习和控制论,第 2964-2969 页,2008 年 7 月,中国昆明。
  • SVM+核函数选择

    2021-05-16 19:16:28
    SVM+核函数选择 一般用线性核和高斯核,也就是Linear核与RBF核 需要注意的是需要对数据归一化处理,很多使用者忘了这个小细节 然后一般情况下RBF效果是不会差于Linear 但是时间上RBF会耗费更多,其他同学也...

    SVM+核函数选择

    See the source image

    See the source image

    一般用线性核和高斯核,也就是Linear核与RBF核

    需要注意的是需要对数据归一化处理,很多使用者忘了这个小细节

    然后一般情况下RBF效果是不会差于Linear

    但是时间上RBF会耗费更多,其他同学也解释过了.

    下面是吴恩达的见解:

    1. 如果Feature的数量很大,跟样本数量差不多,这时候选用LR或者是Linear Kernel的SVM;

    2. 如果Feature的数量比较小,样本数量一般,不算大也不算小,选用SVM+Gaussian Kernel;

    3. 如果Feature的数量比较小,而样本数量很多,需要手工添加一些feature变成第一种情况;

    即:

    如果特征维数很高,往往线性可分(SVM 解决非线性分类问题的思路就是将样本映射到更高维的特征空间中),可以采用 LR 或者线性核的 SVM;

    • 如果样本数量很多,由于求解最优化问题的时候,目标函数涉及两两样本计算内积,使用高斯核明显计算量会大于线性核,所以手动添加一些特征,使得线性可分,然后可以用 LR 或者线性核的 SVM;
    • 如果不满足上述两点,即特征维数少,样本数量正常,可以使用高斯核的 SVM。

    看到别人的答案里提到了吴恩达给出的选择核函数的方法,关于那三点,我的理解是:

    (1)如果特征维数很高,往往线性可分(SVM解决非线性分类问题的思路就是将样本映射到更高维的特征空间中),可以采用LR或者线性核的SVM;

    (2)如果样本数量很多,由于求解最优化问题的时候,目标函数涉及两两样本计算内积,使用高斯核明显计算量会大于线性核,所以手动添加一些特征,使得线性可分,然后可以用LR或者线性核的SVM;

    (3)如果不满足上述两点,即特征维数少,样本数量正常,可以使用高斯核的SVM。

    6. SVM 核函数之间的区别

    一般选择线性核和高斯核,也就是线性核与 RBF 核。

    线性核:主要用于线性可分的情形,参数少,速度快,对于一般数据,分类效果已经很理想了。

    RBF 核:主要用于线性不可分的情形,参数多,分类结果非常依赖于参数。有很多人是通过训练数据的交叉验证来寻找合适的参数,不过这个过程比较耗时。

    如果 Feature 的数量很大,跟样本数量差不多,这时候选用线性核的 SVM。

    如果 Feature 的数量比较小,样本数量一般,不算大也不算小,选用高斯核的 SVM。

     

    参考+知乎:SVM 中常用核函数,及其选择

    参考+知乎:SVM的核函数如何选取?

    参考+知乎:SVM在线性不可分的情况下,利用核函数升维后就一定线性可分吗?

     

     

     

    展开全文
  • SVM核函数选择

    2020-08-06 17:19:05
    SVM支持向量机,一般用于二分类模型,支持线性可分和非线性划分。...n时,需要用线性核函数,因为此时考虑高斯核函数的映射后空间维数更高,更复杂,也容易过拟合,此时使用高斯核函数的弊大于利,选择使用线性核会更

    SVM支持向量机,一般用于二分类模型,支持线性可分和非线性划分。SVM中用到的核函数有线性核’linear’、多项式核函数pkf以及高斯核函数rbf。

    当训练数据线性可分时,一般用线性核函数,直接实现可分;

    当训练数据不可分时,需要使用核技巧,将训练数据映射到另一个高维空间,使再高维空间中,数据可线性划分,

    但需要注意的是,若样本n和特征m很大时,且特征m>>n时,需要用线性核函数,因为此时考虑高斯核函数的映射后空间维数更高,更复杂,也容易过拟合,此时使用高斯核函数的弊大于利,选择使用线性核会更好;

    样本n一般大小,特征m较小,此时进行高斯核函数映射后,不仅能够实现将原训练数据再高维空间中实现线性划分,而且计算方面不会有很大的消耗,因此利大于弊,适合用高斯核函数;

    样本n很大,但特征m较小,同样难以避免计算复杂的问题,因此会更多考虑线性核。

    在吴恩达的课上,也曾经给出过一系列的选择核函数的方法:

    如果特征的数量大到和样本数量差不多,则选用LR或者线性核的SVM;
    如果特征的数量小,样本的数量正常,则选用SVM+高斯核函数;
    如果特征的数量小,而样本的数量很大,则需要手工添加一些特征从而变成第一种情况。

    SVM分为:

    线性可分支持向量机。当训练数据线性可分时,通过硬间隔最大化,学习到的一个线性分类器。
    线性支持向量机。当训练数据近似线性可分时,通过软间隔最大化,学习到的一个线性分类器。
    非线性支持向量机。当训练数据线性不可分,通过使用核技巧及软间隔最大化,学习非线性支持向量机。

    展开全文
  • SVM 的核函数选择和调参

    千次阅读 2018-08-21 21:18:27
    请查看转载来源:SVM 的核函数选择和调参:https://blog.csdn.net/aliceyangxi1987/article/details/80617649 本文结构:  1. 什么是核函数  2. 都有哪些 & 如何选择  3. 调参 1. 什么是核函数 核函数...

    请查看转载来源:SVM 的核函数选择和调参:https://blog.csdn.net/aliceyangxi1987/article/details/80617649

    本文结构: 
    1. 什么是核函数 
    2. 都有哪些 & 如何选择 
    3. 调参


    1. 什么是核函数

    核函数形式 K(x, y) = <f(x), f(y)>,
    其中 x, y  为 n 维,f 为 n 维到 m 维的映射,<f(x), f(y)> 表示内积。

    在用SVM处理问题时,如果数据线性不可分,希望通过 将输入空间内线性不可分的数据 映射到 一个高维的特征空间内,使数据在特征空间内是线性可分的,这个映射记作 ϕ(x),

    之后优化问题中就会有内积 ϕi⋅ϕj, 
    这个内积的计算维度会非常大,因此引入了核函数, 
    kernel 可以帮我们很快地做一些计算, 否则将需要在高维空间中进行计算。


    2. 都有哪些 & 如何选择

    下表列出了 9 种核函数以及它们的用处和公式,常用的为其中的前四个:linear,Polynomial,RBF,Sigmoid

    核函数 用处 公式
    linear kernel 线性可分时,特征数量多时,样本数量多再补充一些特征时,linear kernel可以是RBF kernel的特殊情况
    Polynomial kernel image processing,参数比RBF多,取值范围是(0,inf)
    Gaussian radial basis function (RBF) 通用,线性不可分时,特征维数少 样本数量正常时,在没有先验知识时用,取值在[0,1]
    Sigmoid kernel 生成神经网络,在某些参数下和RBF很像,可能在某些参数下是无效的
    Gaussian kernel 通用,在没有先验知识时用
    Laplace RBF kernel 通用,在没有先验知识时用
    Hyperbolic tangent kernel neural networks中用
    Bessel function of the first kind Kernel 可消除函数中的交叉项
    ANOVA radial basis kernel 回归问题
    Linear splines kernel in one-dimension text categorization,回归问题,处理大型稀疏向量

    其中 linear kernel 和 RBF kernel 在线性可分和不可分的对比可视化例子如下:


    3. 调参

    在 sklearn 中可以用 grid search 找到合适的 kernel,以及它们的 gamma,C 等参数,那么来看看各 kernel 主要调节的参数是哪些:

    核函数 公式 调参
    linear kernel  
    Polynomial kernel -d:多项式核函数的最高次项次数,-g:gamma参数,-r:核函数中的coef0
    Gaussian radial basis function (RBF) -g:gamma参数,默认值是1/k
    Sigmoid kernel -g:gamma参数,-r:核函数中的coef0

    其中有两个重要的参数,即 C(惩罚系数) 和 gamma, 
    gamma 越大,支持向量越少,gamma 越小,支持向量越多。 
    而支持向量的个数影响训练和预测的速度。 
    C 越高,容易过拟合。C 越小,容易欠拟合。

    展开全文
  • svm核函数选择和调参

    2019-07-16 20:17:36
    核函数: 调参 核函数: 下表列出了 9 种核函数以及它们的用处和公式,常用的为其中的前四个:linear,Polynomial,RBF,Sigmoid 核函数 用处 公式 linear kernel 线性可分时,特征数量多时,...
  • 对于半正态探知函数,使用两个最佳带幅宽和六个属于相同的函数族、不同的核函数(其中3个是经常被使用、著名的核函数,另外3个是我们作成的核函数)来进行密度推定,通过计算机数值模拟产生测线调查样本;用统计量...
  • 支持向量机(SVM):超平面及最大间隔化、支持向量机的数学模型、软间隔与硬间隔、线性可分支持向量机、线性支持向量机、非线性支持向量机、核函数、核函数选择、SMO算法、SVM vs LR、优缺点 目录 支持向量机(SVM...
  • SVM核函数选择和调参

    千次阅读 2018-06-22 10:09:02
    https://www.csie.ntu.edu.tw/~cjlin/papers/guide/guide.pdfAndrew Ng给的建议:n:特征的维度m:训练集的条数1、n相对m很大时,如n=10000,m = 10,......,1000建议用逻辑回归或者SVM(不带核函数即线性核)2、n比较...
  • svmtrain和svmclassify参数细说_核函数选择

    万次阅读 多人点赞 2017-01-07 22:34:32
    (多项式核函数,默认是3阶,如果需要提升,在‘polyorder’进行参数设置)  'rbf'  - Gaussian Radial Basis Function  with default scaling factor 1. To  specify another scaling factor, use the '...
  • svm的核函数选择经验 & 调参经验

    千次阅读 2018-10-18 12:57:30
    参考知乎:https://www.zhihu.com/question/21883548 具体的待研究。
  • SVM核函数选择: 吴恩达老师老师的建议: 1、当样本特征数目远远大于样本数量时,特征维度已经够高,这个时候往往数据线性可分,可考虑使用线性核函数。 2、当样本数量一般,样本特征维度也不高...
  • svm常用核函数选择核函数的方法

    万次阅读 2018-11-14 19:59:22
    SVM核函数选择对于其性能的表现有至关重要的作用,尤其是针对那些线性不可分的数据,因此核函数选择在SVM算法中就显得至关重要。对于核技巧我们知道,其目的是希望通过将输入空间内线性不可分的数据映射到一个高...
  • 卷积核函数选择

    千次阅读 2018-02-09 13:53:53
    卷积核函数选择 卷积核函数的尺寸并没有一个严格的限制, 那么选择核函数有什么标准了?? 而且看到很多成熟的卷积网络经常使用1*1的卷积核函数,它的作用又是什么了? 1*1卷积核函数的作用 很多卷积...
  • SVM 核函数选择

    2016-11-09 01:14:00
    SVM 核函数选择 1、经常使用的核函数 核函数的定义并不困难,根据泛函的有关理论,只要一种函数K(xi,xj)满足Mercer条件,它就对应某一变换空间的内积.对于判断哪些函数是核函数到目前为止也取得了重要的突破,...
  • SVM核函数如何选择

    2020-07-12 15:42:01
    本文相关仅针对SVM的核函数如何选择这一问题做了相关总结,不涉及其他参数的选择。总结的情况仅供参考,实际情况中还是得结合经验和实验的实际结果来选择最合适的核函数,最好都试一遍,看哪个最符合自己的数据分布...
  • SVM核函数选择问题

    2019-10-08 18:34:44
    利用linear核函数也可以获得足够好的结果,此外,也只需寻找一个合适参数C,但是利用RBF核函数取得与线性核函数一样的效果的话需要寻找两个合适参数(C, γ)。  分三种情况讨论: 样本数量远小于特征数量:这种...
  • SVM核函数选择

    千次阅读 2018-08-26 20:27:45
    SVM核函数选择对于其性能的表现有至关重要的作用,尤其是针对那些线性不可分的数据,因此核函数选择在SVM算法中就显得至关重要。对于核技巧我们知道,其目的是希望通过将输入空间内线性不可分的数据映射到一个高...
  • SVM算法核函数选择

    2019-09-20 22:50:51
    SVM中用到的核函数有线性核'linear'、多项式核函数pkf以及高斯核函数rbf。 当训练数据线性可分时,一般用线性核函数,直接实现可分; 当训练数据不可分时,需要使用核技巧,将训练数据映射到另一个高维空间,使再...
  • SVM 核函数

    2018-07-26 16:54:52
    SVM核函数选择的时候,首选选择线性核,linearSVC 要比SVC(kernel=”linear”)这种写法要快很多,特别是训练集特别大的时候,当训练集不是很大的时候,使用高斯RBF,在大多数情况下,其变现较好。 其计算复杂度...
  • 支持向量机的核函数及其选择

    万次阅读 多人点赞 2018-07-26 21:55:54
     一、支持向量机与核函数 二、几种常用的核函数: 1.线性核(Linear Kernel) 2.多项式核(Polynomial Kernel) 3.径向基核函数(Radial Basis Function)/ 高斯核(Gaussian Kernel) 4.Sigmoid核(Sigmoid ...
  • 关于SVM核函数选择

    千次阅读 2017-10-17 21:35:09
    今天去面试的时候,面试官问了我一个问题:SVM的核函数如何选择?我说试试吧,答案可能也对,但这样会浪费时间。 上网搜索了一下,Andrew的说法是:  1.当样本的特征很多时,特征的维数很高,这是往往样本线性可...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 3,163
精华内容 1,265
关键字:

核函数选择