精华内容
下载资源
问答
  • 支持向量机(SVM)的参数取值决定了其学习性能和泛化能力.对此,将SVM参数选取看作参数的组合优化,建立组合优化的目标函数,采用变尺度混沌优化算法来搜索最优目标函数值.混沌优化算法是一种全局搜索方法, 在选取SVM ...
  • 研究了遗传算法在回归型支持向量机参数选择中的应用:首先,分析了支持向量机的几个参数对其预报能力的影响,发现参数选取不当,会导致支持向量机出现过学习或欠学习现象;在此基础上提出利用遗传算法来解决回归型...
  • 针对支持向量回归SVR的拟合精度和泛化能力取决于相关参数选取,提出了基于改进FS算法的SVR参数选择方法,并应用于交通流预测的研究。FS(free search)算法是一种新的进化计算方法,提出基于相对密集度的灾变策略...
  • 以43个典型岩移观测站的实测数据作为训练和测试样本,以十折交叉验证的方法选取支持向量机参数,采用MSE、MAPE和WIA准则评定模型的精度和预测能力。应用该模型计算4个测试样本的概率积分法参数,所有计算结果误差均小于...
  • 提出一种小波包分析与最小二乘支持向量机相结合的汽轮机故障诊断模型.对故障信号功率谱进行小波分解,简化了故障特征向量的提取.用二次损失函数取代支持向量机中的不敏感损失函数,将不等式约束条件变为等式约束,从而...
  • 为有效预防冲击地压灾害发生,解决人为选取支持向量机参数泛化能力差的问题,引入粒子群算法,将声发射特征信号和煤岩抗压强度作为输入,以综合危险指数作为输出,建立煤岩冲击地压预测模型,通过粒子群算法优化支持向量机...
  • 12.支持向量机 觉得有用的话,欢迎一起讨论相互学习~Follow Me 参考资料 斯坦福大学 2014 机器学习教程中文笔记 by 黄海广 12.5 SVM参数细节 标记点选取 标记点(landmark)如图所示为l(1),l(2),l(3)l(1...

    12.支持向量机

    觉得有用的话,欢迎一起讨论相互学习~

    我的微博我的github我的B站

    吴恩达老师课程原地址

    参考资料 斯坦福大学 2014 机器学习教程中文笔记 by 黄海广

    12.5 SVM参数细节

    标记点选取

    1. 标记点(landmark)如图所示为l(1),l(2),l(3)l^{(1)},l^{(2)},l^{(3)},设核函数为 高斯函数 ,其中设预测函数y=1 if θ0+θ1f1+θ2f2+θ3f30\theta_0+\theta_{1}f_1+\theta_{2}f_2+\theta_{3}f_3\ge0
    2. 在实际中需要用 很多标记点 ,那么如何选取 标记点(landmark)即使用训练集中的样本作为标记点 ,假设有一个样本为 x(1)x^{(1)} ,则在相同的位置可以设置标记点 l(1)l^{(1)} , 此时可以得到m个标记点与训练集中样本数一致,且每一个标记点的位置都与每一个样本的位置一致。 因为这说明特征函数基本上是在描述每一个样本距离与样本集中其他样本的距离
    3. 样本集(不仅仅是训练集,而是所有样本) 中的样本作为标记点.
    4. 然后使用 相似度 函数计算 每个样本和标记点之间的特征fnf_n ,并且将所有的 fnf_n 集合成 特征向量f .并且将默认的特征(截距)f0f_0设为1,如下图所示:
    5. 示例 假设训练集中有样本 x(i)x^{(i)} ,则可以通过相似度函数计算出其与各个标记点的特征值从而组成特征向量 f(i)f^{(i)}

      对于第i个标记点,由于有定义x(i)=l(i)x^{(i)}=l^{(i)},所以有 fi(i)=sim(x(i),l(i))=exp(02σ2)=1f_i^{(i)}=sim(x^{(i)},l^{(i)})=exp(-\frac{0}{2\sigma^{2}})=1 ,而定义有 截距特征 为1,则有以下结果:

    应用SVM

    • 如果已经学到了参数 θ\theta ,再给定x的值,并对y做预测,首先要重新计算特征f,并且要满足式子 "y=1"if θTf0"y=1" if\ \theta^{T}f\ge 0 .其中θ\theta 也是一个m+1维的向量,m是训练集的数量
    • 此时需要最小化的损失函数如下:
    • 在具体实施过程中,我们还需要对最后的归一化项进行些微调整,在计算j=1nθj2=θTθ\sum^{n}_{j=1}\theta^{2}_{j}=\theta^{T}\theta时,我们用θTMθ\theta^{T}M\theta代替θTθ\theta^{T}\theta其中 M 是根据我们选择的核函数而不同的一个矩阵。这样做的原因是为了简化计算
    • 理论上讲,我们也可以在逻辑回归中使用核函数,但是上面使用 M 来简化计算的方法不适用与逻辑回归,因此计算将非常耗费时间
    • 在此,我们不介绍最小化支持向量机的代价函数的方法,你可以使用现有的软件包(如liblinear,libsvm 等)。在使用这些软件包最小化我们的代价函数之前,我们通常需要编写核函数,并且如果我们使用高斯核函数,那么在使用之前进行特征缩放是非常必要的。
    • 另外,支持向量机也可以不使用核函数,不使用核函数又称为线性核函数(linear kernel),当我们不采用非常复杂的函数,或者我们的训练集特征非常多而实例非常少的时候,可以采用这种不带核函数的支持向量机

    SVM参数

    正则化参数C

    • 正则化参数C和神经网络正则化参数λ\lambda的倒数1λ\frac{1}{\lambda}类似
      • 大的C对应于小的λ\lambda,这意味着不使用正则化,会得到一个低偏差(bias),高方差(variance)的模型,则会更加倾向于 过拟合
      • 小的C对应于大的λ\lambda,这意味着更多的正则化,会得到一个高偏差(bias),低方差(variance)的模型,则会更加倾向于 欠拟合

    高斯核函数σ2\sigma^{2}

    • 如果σ\sigma较大时,曲线较为平滑,会下降地更为 平缓 ,会得到一个高偏差(bias),低方差(variance)的模型,则会更加倾向于 欠拟合
    • 如果σ\sigma较小时,曲线较为陡峭,会下降地更为 迅速 ,会得到一个低偏差(bias),高方差(variance)的模型,则会更加倾向于 过拟合
    展开全文
  • 导出隐空间光滑支持向量机,以粒子群算法选取参数
  • 能够同时对多种属性进行训练,具有优秀推广能力的支持向量机(Support Vector Machine,简称SVM)方法是进行高精度地震参数预测的有力保障。然而,支持向量机中用于构建回归估计函数的参数最优解很难确定。针对该问题,...
  • 支持向量机是一种基于小样本学习的有效工具,作为分类器被认为具有很高的推广性能,无需先验知识...但是参数选取支持向量机的识别性能是相关的,核函数参数σ2 和惩罚因子C 对支持向量机识别性能会产生很大的影响。
  • 为更好地解决支持向量机(SVM)核参数和惩罚因子的取值对煤层底板突水量等级预测精度的影响问题,提出利用全局搜索能力较强的粒子群优化(PSO)算法优化支持向量机参数选取含水层水压、隔水层厚度、岩溶发育程度、断层...
  • 与粒子群优化参数支持向量回归(PSO-SVR)模型、广义回归神经网络(GRNN)模型进行比较,IPSO-SVR模型预测效果明显优于PSO-SVR和GRNN模型,可用于瓦斯涌出量的实际预测,表明所提出的IPSO算法是选取SVR参数的有效方法。
  • 基于改进混沌粒子群算法的最小二乘支持向量机短期负荷预测,李劲秋,王韶,针对目前采用最小二乘支持向量机进行电力系统短期负荷预测时,运用混沌粒子群算法选取参数不能完全解决早熟,导致精度下降的问题
  • 感知机和支持向量机

    2017-08-31 10:08:00
    感知模型  1、感知学习的目的: 求得一个能够将... 4、感知学习的策略: 在假设空间中选取使损失函数式最小的模型参数w和b,即感知模型。  5、感知学习算法: 感知学习算法是误分类驱动的,即当一...

    感知机模型

    18164451.jpg

      1、感知机学习的目的: 求得一个能够将训练集正实例点和负实例点完全正确分开的分离超平面 ,该平面不唯一。
      2、使用的决策函数: f(x) = sign(w · x + b)
      3、使用的最优化方法: 随机梯度下降法。
      4、感知机学习的策略: 在假设空间中选取使损失函数式最小的模型参数w和b,即感知机模型。
      5、感知机学习算法: 感知机学习算法是误分类驱动的,即当一个实例点被误分类,也就是位于超分离平面的错误一侧时,则调整w和b的值,使分离超平面向该误分类点的一侧移动,以减少该误分类点与超平面间的距离,直至超平面越过该误分类点使其被正确分类。算法分为原始形式对偶形式

    线性可分支持向量机(硬间隔最大化)

    35949570.jpg

      1、学习的目标: 一般地,当训练数据集线性可分时,存在无穷个分离超平面可将两类数据正确分开。感知机 利用误分类最小的策略,求得分离超平面,不过这时的解有无穷多个。线性可分支持向量机利用间隔最大化求最优分离超平面,这时解是唯一的。
      2、学习策略: 硬间隔最大化
      3、学习算法: 求解凸二次规划的最优化解法,对应于感知机,算法也分为原始形式和对偶形式。

    线性支持向量机(软间隔最大化)

    66670789.jpg

      线性可分问题的支持向量机学习方法,即线性可分支持向量机 ,对线性不可分训练数据是不适用的,因此在线性可分支持向量机方法中的不等式约束并不能都成立。怎样才能将它扩展到线性不可分问题呢?这就需要修改硬间隔最大化 ,使其成为软间隔最大化
      1、学习目标: 寻找一个间隔尽量大,同时使误分类点的个数尽量小的超分离平面。
      2、学习策略: 软间隔最大化
      3、学习算法: 凸二次规划
      4、损失函数: 合页损失函数

    非线性支持向量机(核函数)

    47487717.jpg

      非线性分类问题是指通过利用非线性模型才能良好地进行分类的问题,由上图可见,无法用直线(线性模型)将正负实例正确分开,但可以用一条椭圆曲线(非线性模型)将它们正确分开。非线性问题往往不好求解,所以希望能用解线性分类问题的方法来解决这个问题。所采用的方法是进行一个非线性变换 ,将非线性问题变换为线性问题,通过解变换后的线性问题的方法求解原来的非线性问题。
      1、用线性分类方法求解非线性分类问题分为两步: 首先使用一个变换将原空间的数据映射到新空间;然后在新空间里用线性分类学习方法从训练数据中学习分类模型。核技巧 就属于这样的方法。

    转载于:https://www.cnblogs.com/xipuhu/p/7456836.html

    展开全文
  • 利用遗传算法以全局并行搜索方式来搜索优化群体中的最优个体的特点,获得了支持向量机参数的最佳值,建立了遗传-支持向量机模型(GA-SVR).有效反映了采空区长度、抗压强度和采厚等因素与煤层顶板导水断裂带高度的非线性...
  • 在该模型中,用二次损失函数取代支持向量机中的不敏感损失函数,将不等式约束条件变为等式约束,从而将二次规划问题转换为线性方程组的求解,并提出对核函数的σ参数进行动态选取。仿真结果表明:该模型可以取得较高...
  • 选取表土层厚度、底板含水层厚度、底板含水层水位速降、井筒外径、井壁厚度、井筒投入使用时间6个立井井筒非采动破裂的特征属性作为判别因子,以工程实测数据作为学习样本,利用遗传算法优化支持向量机参数,建立了煤矿...
  • 针对支持向量机预测模型,提出了两阶段确定模型参数的方法,首先直接确定不敏感损失参数ε,再通过遗传算法寻找最优核参数p和正则化参数C,以提高参数ε选取范围设置较大时的预测精度。实例测试结果表明,日负荷预测...
  • 该方法首先利用网格法对支持向量机进行参数寻优,然后选取分类率较高的若干组支持向量机参数,在这些参数下训练支持向量机,最后对训练得到的支持向量机进行综合,实现电力系统暂态稳定评估。对仿真系统的分析表明,...

    《基于多支持向量机综合的电力系统暂态稳定评估》总结

    论文作者:戴远航等

    背景 

             随着电网互联范围的扩大以及大规模可再生能源的接入,电力系统的安全稳定分析与调度运行面临着很大的挑战,传统的“人工+设备+经验”的调度方式已经不能很好地满足调度运行的需求。同时,广域测量技术的发展和大数据的兴起为大电网的在线安全评估和预防控制带来了新的机遇和挑战。

    研究现状 

            基于数据挖掘技术的暂态稳定评估,其步骤一般为:一、构建原始特征空间;二、进行特征选择或者特征抽取;三、利用分类器对特征空间和稳定结果构建映射关系。进行安全稳定分析一般有两种思路:一、这种方法称之为稳定域方法,选取故障前、故障时、故障后的输入特征空间,其稳定评估独立于扰动形式和扰动地点;二、第二种方法称之为安全域方法,在故障形式确定的情况下,以系统的潮流量(节点功率注入、线路潮流等)作为输入特征空间,建立潮流方式与稳定状态之间的关系。上述两种思路比较可以发现,稳定域方法不能指出影响稳定水平的因素,且同时因为它需要用到故障后的状态量,一旦判断失稳,只能采取措施进行紧急控制,代价很大,但是它的状态空间能够最大程度代表电力系统的状态空间;安全域分析方法采用故障前的潮流量进行稳定评估,可以明确影响稳定水平的因素,同时判断失稳则可以采取预防控制措施进行调整,但是代表的状态空间范围较小

    本文思路 

          概念定义:“误判样本”为本来是不稳定的样本判断成稳定,“漏判样本”为本来是稳定的样本判断为不稳定。一般而言,前者造成的损失是最大的,因为这样会误导调度员,在系统不稳定的情况下认为是稳定而不采取措施造成严重的后果。本文采用安全域方法进行暂态稳定评估,首先对输入特征进行特征选择,考虑到单个支持向量机(SVM)因为样本“重叠区域”的存在而无法解决“误判样本”的问题,通过采用不同参数的多个SVM进行样本训练,保证每个SVM确定的稳定域具有较大的区别,只有所有的SVM判断样本为稳定结果才为稳定从而减小误判样本。

    论文论点优缺点

          优点:1.创新性地引入了安全域分析的方法,有利于调度员对影响稳定水平的分析;2.多SVM方法进行暂态稳定评估有利于减小误判样本

    缺点:1.本文提出的方法是以增加漏判样本的代价来减小误判样本的,因此总体正确率没有明显提高;2.本文思路基于稳定域方法由于状态空间的范围较小,因此适用性不广,人们只能基于特定的故障进行分析,而实际中是可能发生多种形式的故障的。

    展开全文
  • 支持向量机(support vector machines)是一种建立在统计学习理论基础之上的机器学习方法。基于支持向量机在处理小 样本、高维数及泛化能力强等方面的优势,该文提出了一种根据结构风险最小化原则基于支持向量机的...
  • 当我们在已知参数的情况下,如何用带有核函数的支持向量机(SVM)去训练假设函数呢?首先我们将样本做为标记:对于每一个 x,都要计算出它的特征 f,f 为一个向量:如果下式成立,就可以预测 y 等于 1,也就是为正...

    579cb4acf4a346aa83ab29e641130445.png

    当我们在已知参数的情况下,如何用带有核函数的支持向量机(SVM)去训练假设函数呢?

    首先我们将样本做为标记:

    d2fe4ba367655c2aa4945cdc3dd13f7a.png

    对于每一个 x,都要计算出它的特征 f,f 为一个向量:

    457ee1109628c7d1b714d9135acb740a.png

    如果下式成立,就可以预测 y 等于 1,也就是为正样本:

    393508f79567a507c56164c5afc68c1a.png

    但是如何选取参数呢?我们最小化下面这个函数的时候,就可以得到参数向量:

    a657e138a8ffc3b0584d0186b3373b29.png

    现在还有两个系数没有选择,C 和 σ^2 。C 相当于 1/λ,之前我们学过,λ 的变化会影响高偏差或高方差。因此按照 1/λ 对高偏差或高方差的影响表现选取即可。

    现在我们用数据实际观察一下 C 对 SVM 的影响。当 C 很小时,对于下列数据的决策边界如下:

    588873d23674c614e155af346a2070e7.png

    如果将 C 换成 100,我们再来看此时的决策边界:

    cd5f4dc640391bc9a7d5de62597ffea8.png

    现在你对 C 是不是有一个直观的认识了呢?

    σ^2 很大时,图像为:

    6d3b7b42fd7c90e523fb78105f3f56bb.png

    特征 f 变化平滑,因此表现为高偏差,低方差。σ^2 很小时,图像为:

    9845430a5158fb1276ae5685245641d0.png

    特征 f 变化激烈,因此表现为高方差,低偏差。

    这样,一个完整的利用核函数的支持向量机算法就算是完成了。

    如何选择使用逻辑回归或者SVM

    如果特征的数量远大于样本数,就要用逻辑回归或者线性核函数(不带核函数的SVM)。

    如果特征的数量比较小,而样本的数目正好合适,就用高斯核函数。

    如果特征的数量比较小,而样本的数目非常大,就要用逻辑回归或者线性核函数(不带核函数的SVM)。

    ps. 本篇文章是根据吴恩达机器学习课程整理的学习笔记。如果想要一起学习机器学习,可以关注微信公众号「SuperFeng」,期待与你的相遇。

    680390ac951208892d07c8ded3be0b50.png
    展开全文
  • OpenCV中集成了多种机器学习算法供我们方便使用,如果我们要训练数据进行...插句题外话,训练数据的好坏是一个分类器成功与否的决定性条件,数据选取永远凌驾于分类器算法选取之上,如果训练数据选取得当,无论使用任
  • 支持向量机是机器学习中常见的一种算法,特别是软间隔的支持向量机在解决非线性的分类与回归问题时特别常见,其相比硬间隔的支持向量机而言,增添了松弛变量,能够允许一些错误的发生,通过参数惩罚因子c衡量松弛...
  • 提出使用最小二乘支持向量机(is—s、rIⅥ)建立模型并对刀具磨损进行预测:首先引入最小二乘支持向量机建立刀具磨损模型,然后针对具体实验数据,采用交叉验证的办法,选取优化的核参数。实验和仿真结果表明:该模型...
  • 基于径向基核函数的最小二乘支持向量机参数主要涉及惩罚因子和核函数参数,这两个参数的选择将直接影响最小二乘支持向量机的学习和泛化能力。为了提高最小二乘支持向量机的预测结果,文章用灰狼优化算法对其参数寻优...
  • 支持向量机(以下简称SVM)的核函数中,高斯核(以下简称RBF)是最常用的,从理论上讲, RBF一定不比线性核函数差,但是在实际应用中,却面临着几个重要的超参数的调优问题。如果调的不好,可能比线性核函数还要差。...
  • 基于径向基核函数的最小二乘支持向量机参数主要涉及惩罚因子和核函数参数,这两个参数的选择将直接影响最小二乘支持向量机的学习和泛化能力。为了提高最小二乘支持向量机的预测结果,文章用灰狼优化算法对其参数寻优...

空空如也

空空如也

1 2 3 4 5 6
收藏数 107
精华内容 42
关键字:

支持向量机参数选取