精华内容
下载资源
问答
  • SVM核函数选择

    2020-08-06 17:19:05
    SVM支持向量机,一般用于二分类模型,支持线性可分和非线性划分。...n时,需要用线性核函数,因为此时考虑高斯核函数的映射后空间维数更高,更复杂,也容易过拟合,此时使用高斯核函数的弊大于利,选择使用线性核会更

    SVM支持向量机,一般用于二分类模型,支持线性可分和非线性划分。SVM中用到的核函数有线性核’linear’、多项式核函数pkf以及高斯核函数rbf。

    当训练数据线性可分时,一般用线性核函数,直接实现可分;

    当训练数据不可分时,需要使用核技巧,将训练数据映射到另一个高维空间,使再高维空间中,数据可线性划分,

    但需要注意的是,若样本n和特征m很大时,且特征m>>n时,需要用线性核函数,因为此时考虑高斯核函数的映射后空间维数更高,更复杂,也容易过拟合,此时使用高斯核函数的弊大于利,选择使用线性核会更好;

    样本n一般大小,特征m较小,此时进行高斯核函数映射后,不仅能够实现将原训练数据再高维空间中实现线性划分,而且计算方面不会有很大的消耗,因此利大于弊,适合用高斯核函数;

    样本n很大,但特征m较小,同样难以避免计算复杂的问题,因此会更多考虑线性核。

    在吴恩达的课上,也曾经给出过一系列的选择核函数的方法:

    如果特征的数量大到和样本数量差不多,则选用LR或者线性核的SVM;
    如果特征的数量小,样本的数量正常,则选用SVM+高斯核函数;
    如果特征的数量小,而样本的数量很大,则需要手工添加一些特征从而变成第一种情况。

    SVM分为:

    线性可分支持向量机。当训练数据线性可分时,通过硬间隔最大化,学习到的一个线性分类器。
    线性支持向量机。当训练数据近似线性可分时,通过软间隔最大化,学习到的一个线性分类器。
    非线性支持向量机。当训练数据线性不可分,通过使用核技巧及软间隔最大化,学习非线性支持向量机。

    展开全文
  • svm核函数选择和调参

    2019-07-16 20:17:36
    核函数: 调参 核函数: 下表列出了 9 种核函数以及它们的用处和公式,常用的为其中的前四个:linear,Polynomial,RBF,Sigmoid 核函数 用处 公式 linear kernel 线性可分时,特征数量多时,...

    目录

    核函数:

    调参


     

    核函数:

    下表列出了 9 种核函数以及它们的用处和公式,常用的为其中的前四个:linear,Polynomial,RBF,Sigmoid

    核函数 用处 公式
    linear kernel 线性可分时,特征数量多时,样本数量多再补充一些特征时,linear kernel可以是RBF kernel的特殊情况

    Polynomial kernel image processing,参数比RBF多,取值范围是(0,inf)

    Gaussian radial basis function (RBF) 通用,线性不可分时,特征维数少 样本数量正常时,在没有先验知识时用,取值在[0,1]

    Sigmoid kernel 生成神经网络,在某些参数下和RBF很像,可能在某些参数下是无效的

    Gaussian kernel 通用,在没有先验知识时用

    Laplace RBF kernel 通用,在没有先验知识时用

    Hyperbolic tangent kernel neural networks中用

    Bessel function of the first kind Kernel 可消除函数中的交叉项

    ANOVA radial basis kernel 回归问题

    Linear splines kernel in one-dimension text categorization,回归问题,处理大型稀疏向量

    其中 linear kernel 和 RBF kernel 在线性可分和不可分的对比可视化例子如下:

      linear kernel RBF kernel
    线性可分

    线性不可分


    调参

    在 sklearn 中可以用 grid search 找到合适的 kernel,以及它们的 gamma,C 等参数,那么来看看各 kernel 主要调节的参数是哪些:

    核函数 公式 调参
    linear kernel

     
    Polynomial kernel

    -d:多项式核函数的最高次项次数,-g:gamma参数,-r:核函数中的coef0
    Gaussian radial basis function (RBF)

    -g:gamma参数,默认值是1/k
    Sigmoid kernel

    -g:gamma参数,-r:核函数中的coef0

    其中有两个重要的参数,即 C(惩罚系数) 和 gamma,
    gamma 越大,支持向量越少,gamma 越小,支持向量越多。
    而支持向量的个数影响训练和预测的速度。
    C 越高,容易过拟合。C 越小,容易欠拟合。


    https://www.jianshu.com/p/0a24eafda4ff

    展开全文
  • SVM核函数选择和调参

    千次阅读 2018-06-22 10:09:02
    https://www.csie.ntu.edu.tw/~cjlin/papers/guide/guide.pdfAndrew Ng给的建议:n:特征的维度m:训练集的条数1、n相对m很大时,如n=10000,m = 10,......,1000建议用逻辑回归或者SVM(不带核函数即线性核)2、n比较...

    https://www.csie.ntu.edu.tw/~cjlin/papers/guide/guide.pdf


    Andrew Ng给的建议:

    n:特征的维度

    m:训练集的条数

    1、n相对m很大时,如n=10000,m = 10,......,1000

    建议用逻辑回归或者SVM(不带核函数即线性核)

    2、n比较小,m居中,如n=1-1000,m=10,......,10000

    建议使用带高斯核(rbf,径向基函数)的SVM

    我这边n比较小,m在十几万的样子,又没法增加标签做到线性可分,所以用第二个,高斯核

    3、n比较小,m很大,如n=1-1000,m=50000+

    新增更多的特征,然后使用逻辑回归或SVM(不带核函数即线性核)

        Apparently, when the number of features is very large, one may not need to map the data.That is, the nonlinear mapping does not improve the performance.Using the linear kernel is good enough, and one only searches for the parameter C.

    展开全文
  • SVM核函数选择: 吴恩达老师老师的建议: 1、当样本特征数目远远大于样本数量时,特征维度已经够高,这个时候往往数据线性可分,可考虑使用线性核函数。 2、当样本数量一般,样本特征维度也不高...

    核函数:

    实际应用中,我们经常遇到数据线性不可分问题,可将数据从低维空间映射到高维空间,使数据在高维空间线性可分,之后在优化时需要计算内积,复杂度很高。这个时候就可以使用核函数,而核函数准确地说是一种核技巧,它也是从低维到高维的一种转换,但是却避免了直接在高维空间中进行复杂计算,可以在低维上进行计算,但实质上却能将分类效果表现在高维上,从而能够简便地解决非线性问题。

    SVM核函数的选择:

    吴恩达老师老师的建议:
    1、当样本特征数目远远大于样本数量时,特征维度已经够高,这个时候往往数据线性可分,可考虑使用线性核函数。
    2、当样本数量一般,样本特征维度也不高时,可以考虑高斯核
    3、当样本数量较多,样本特征较少时,可考虑人工增加一些特征,使样本线性可分,然后再考虑使用线性核函数的SVM或者LR.

    展开全文
  • SVM 核函数

    2018-07-26 16:54:52
    SVM核函数选择的时候,首选选择线性核,linearSVC 要比SVC(kernel=”linear”)这种写法要快很多,特别是训练集特别大的时候,当训练集不是很大的时候,使用高斯RBF,在大多数情况下,其变现较好。 其计算复杂度...
  • SVM核函数

    2017-05-25 09:21:37
    SVM核函数
  • SVM核函数如何选择

    2020-07-12 15:42:01
    本文相关仅针对SVM核函数如何选择这一问题做了相关总结,不涉及其他参数的选择。总结的情况仅供参考,实际情况中还是得结合经验和实验的实际结果来选择最合适的核函数,最好都试一遍,看哪个最符合自己的数据分布...
  • SVM核函数选择

    千次阅读 2018-08-26 20:27:45
    SVM核函数选择对于其性能的表现有至关重要的作用,尤其是针对那些线性不可分的数据,因此核函数的选择在SVM算法中就显得至关重要。对于核技巧我们知道,其目的是希望通过将输入空间内线性不可分的数据映射到一个高...
  • svm核函数的理解和选择

    万次阅读 多人点赞 2018-08-07 19:28:40
     咱们首先给出核函数的来头:在上文中,我们已经了解到了SVM处理线性可分的情况,而对于非线性的情况,SVM 的处理方法是选择一个核函数 κ(⋅,⋅) ,通过将数据映射到高维空间,来解决在原始空间中线性不可分的问题...
  • 关于SVM核函数选择

    千次阅读 2017-10-17 21:35:09
    今天去面试的时候,面试官问了我一个问题:SVM核函数如何选择?我说试试吧,答案可能也对,但这样会浪费时间。 上网搜索了一下,Andrew的说法是:  1.当样本的特征很多时,特征的维数很高,这是往往样本线性可...
  • SVM 核函数选择

    2017-07-17 18:38:18
    1、经常使用的核函数 核函数的定义并不困难,根据泛函的有关理论,只要一种函数K(xi,xj)满足Mercer条件,它就对应某一变换空间的内积.对于判断哪些函数是核函数到目前为止也取得了重要的突破,得到Mercer定理和...
  • SVM核函数概述

    万次阅读 多人点赞 2019-03-27 08:55:53
    咱们首先给出核函数的来头:在上文中,我们已经了解到了SVM处理线性可分的情况,而对于非线性的情况,SVM 的处理方法是选择一个核函数 κ(⋅,⋅) ,通过将数据映射到高维空间,来解决在原始空间中线性不可分的问题...
  • svm核函数及参数优化

    2015-11-22 17:04:47
    svm核函数及参数优化,实现多类分类并进行参数优化
  • SVM核函数的分类

    千次阅读 2017-10-27 11:28:21
    下列不是SVM核函数的是:多项式核函数logistic核函数径向基核函数Sigmoid核函数这道题的答案是logistic核函数。不要把这里的sigmoid和logistic混淆了,为什么?看下面解释:支持向量机是建立在统计学习理论基础之上...
  • svm核函数

    千次阅读 2018-07-14 23:00:04
    svm的分类 根据数据可分的情况,svm分为3种: - 线性可分支持向量机(没有噪音和异常数据,分隔超平面...上面三种svm由简到繁,其实所有的svm都可以可以统一写为带核函数的推理形式。前两种情况下可以选择不用核...
  • 支持向量机SVM核函数选择(七)

    万次阅读 2016-04-04 10:05:08
    要构造出一个具有良好性能的SVM核函数选择是关键也是最重要的一步.通常来讲核函数选择包括两部分工作:一是核函数类型的选择,二是确定核函数类型后相关参数的选择。如何根据具体的数据选择恰当的核函数SVM...
  • SVM核函数总结

    千次阅读 2016-04-17 16:27:41
    SVM引入核函数有两个方面的原因,一是为了更好的拟合数据,另一个重要的原因是实现数据的线性可分。 由于一些数据集在低维空间是线性不可分的,SVM通过引入核函数实现了把特征集从低维空间到高维空间的映射。这样在...
  • 【模式识别】SVM核函数

    万次阅读 多人点赞 2014-06-30 14:40:11
    以下是几种常用的核函数表示: 线性核(Linear Kernel) 多项式核(Polynomial Kernel) 径向基核函数(Radial Basis Function) 也叫高斯核(Gaussian Kernel),因为可以看成如下核函数的领一个种形式:...
  • opencv SVM核函数模型选择

    万次阅读 2013-09-26 09:57:08
    SVM模型类型枚举 enum { C_SVC, NU_SVC, ONE_CLASS, EPSILON_SVR, NU_SVR }; C_SVC:C表示惩罚因子,C越大表示对错误分类的惩罚越大 NU_SVC:和C_SVC相同。 ONE_CLASS:不需要类标号,用于支持向量的密度估计和聚类. ...
  • 【转载】SVM核函数

    2018-03-30 12:35:26
    链接:...amp;tagId=0&orderByHotValue=1下列不是SVM核函数的是:A.多项式核函数B.logistic核函数C.径向基核函数D.Sigmoid核函数选B;支持向量机是建立在统计学习理论基础之上的新一代机器...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 34,339
精华内容 13,735
关键字:

svm核函数选择