精华内容
下载资源
问答
  • 最小二乘支持向量机

    2018-06-16 16:24:43
    最小二乘支持向量机的编写程序,很值的大家参考,谢谢
  • 基于Matlab的最小二乘支持向量机的工具箱及其应用-基于Matlab的最小二乘支持向量机的工具箱及其应用[1].pdf Matlab的最小二乘支持向量机的工具箱及其应用,欢迎访问下载, Figure13.jpg
  • 最小二乘支持向量机(LSSVM)简述

    万次阅读 多人点赞 2015-06-29 15:23:22
    最小二乘支持向量机(LSSVM)简述

    最小二乘支持向量机简述

    先说LSSVM分类,LSSVM和SVM的区别就在于,LSSVM把原方法的不等式约束变为等式约束,从而大大方便了Lagrange乘子alpha的求解,原问题是QP问题,而在LSSVM中则是一个解线性方程组的问题。

    对于SVM问题,约束条件是不等式约束:
    KaTeX parse error: No such environment: align at position 8: \begin{̲a̲l̲i̲g̲n̲}̲ min_{w,b,\xi}J…
    对于LSSVM,原问题变为等式约束:
    KaTeX parse error: No such environment: align at position 8: \begin{̲a̲l̲i̲g̲n̲}̲ min_{w,b,e}J\l…
    原SVM问题中的 ξ\xi 是一个松弛变量,它的意义在于在支持向量中引入离群点。而对于LSSVM的等式约束,等式右侧的 ee 和SVM的 ξ\xi 的意义是类似的,最后的优化目标中也包含了 ee 。我个人理解成:在LSSVM中,所有的训练点均为支持向量,而误差 ee 是我们的优化目标之一。

    另外,在LSSVM中 γ\gamma 和SVM中 cc 的意义是一样的,一个权重,用于平衡寻找最优超平面和偏差量最小。

    接下来,和SVM类似,采用 LagrangeLagrange 乘数法把原问题转化为对单一参数,也就是 α\alpha 的求极大值问题。新问题如下:
    L(w,b,e;α)=J(w,e)k=1Nαk{yk[wTφ(xk)+b]1+ek} L\left(w,b,e;\alpha \right)=J\left(w,e\right)-\sum^{N}_{k=1}\alpha_{k}\left\{y_{k}\left[w^{T}\varphi(x_{k})+b\right]-1+e_k\right\}

    分别对 wbekαkw,b,e_k,\alpha_k 求导=0,有:

    KaTeX parse error: No such environment: align at position 8: \begin{̲a̲l̲i̲g̲n̲}̲ \dfrac {\parti…
    接下来,根据这四个条件可以列出一个关于 α\alphabb 的线性方程组:
    [0yTyΩ+I/y][bα]=[01v] \begin{bmatrix} 0 & y^T\\ y & \Omega+I/y \\ \end{bmatrix} \begin{bmatrix} b\\ \alpha \\ \end{bmatrix}= \begin{bmatrix} 0\\ 1_v\\ \end{bmatrix}

    其中 Ω\Omega 被称作核矩阵:
    KaTeX parse error: No such environment: align at position 8: \begin{̲a̲l̲i̲g̲n̲}̲ \Omega _{kl}&=…
    解上述方程组可以得到一组 α\alphabb

    最后得到LSSVM分类表达式:
    y(x)=sign[k=1NαkykK(x,xk)+b] y(x)=sign\left[ \sum^N_{k=1}\alpha_k y_kK(x,x_k)+b\right]

    那么对比SVM,LSSVM的预测能力究竟怎么样呢,简单说来,由于是解线性方程组,LSSVM的求解显然更快,但标准基本形式的LSSVM的预测精准度比SVM稍差一些。

    接下来说回归。
    如果说分类是用一个超平面将两组数据分开的话,个人理解LSSVM回归就是用一个超平面对已知数据进行拟合,问题如下:
    KaTeX parse error: No such environment: align at position 8: \begin{̲a̲l̲i̲g̲n̲}̲ min_{w,b,e}J\l…

    这里的 yky_k 不再是表明类别的标签,而是我们需要估计函数中 y=f(x)y=f(x) 中的 yy ,同样的,首先采用 LagrangeLagrange 乘数法:

    L(w,b,e;α)=J(w,e)k=1Nαk{wTφ(xk)b+ekyk} L\left(w,b,e;\alpha \right)=J\left(w,e\right)-\sum^{N}_{k=1}\alpha_{k}\left\{w^{T}\varphi(x_{k})-b+e_k-y_k\right\}

    进一步推导:
    KaTeX parse error: No such environment: align at position 8: \begin{̲a̲l̲i̲g̲n̲}̲ \dfrac {\parti…
    最后化为解下列线性方程组:
    [01vT1vΩ+I/γ][bα]=[0y] \begin{bmatrix} 0 & 1_v^T\\ 1_v & \Omega+I/\gamma\\ \end{bmatrix} \begin{bmatrix} b\\ \alpha \\ \end{bmatrix}= \begin{bmatrix} 0\\ y\\ \end{bmatrix}
    有核矩阵如下:
    KaTeX parse error: No such environment: align at position 8: \begin{̲a̲l̲i̲g̲n̲}̲ \Omega _{kl}&=…
    解上述方程组得到LSSVM回归函数:
    y(x)=k=1NαkK(x,xk)+b y(x)=\sum^N_{k=1}\alpha_k K(x,x_k)+b

    展开全文
  • 基于移动最小二乘逐点逼近思想,移动权被引入到最小二乘支持向量机的误差变量中,得到新算法的模型.此外,证明了用移动最小二乘支持向量机作函数估计与在特征空间中用移动最小二乘法得到的解是一致的,揭示了移动最小...
  • 介绍和比较了支持向量机分类器和最小二乘支持向量机分类器的算法。并将支持向量机分类 器和最小二乘支持向量机分类器应用于心脏病诊断, 取得了较高的准确率。所用数据来自 UCI bench- mar k 数据集。实验...
  • 最小二乘支持向量机论文打包-支持向量机.rar 收集的最小二乘支持向量机相关论文,打包分享~~~
  • 斜坡损耗最小二乘支持向量机
  • 粒子群优化最小二乘支持向量机 粒子群优化最小二乘支持向量机
  • 粒子群优化最小二乘支持向量机粒子群优化最小二乘支持向量机
  • 本软件为基于最小二乘支持向量机预测,matlab源代码,内有详细使用教程,特别容易学,使用也简单,结果精度也较高,适合做研究用
  • 最小二乘支持向量机 一种新的最小二乘支持向量机算法
  • 最小二乘支持向量机工具箱
  • 提出利用最小二乘支持向量机方法进行矿用胶带机滚动轴承故障识别方法,利用小波包的分解方法提取检测信号的故障信息,并将其作为最小二乘支持向量机的输入量,将样本的常见故障类型作为输出量,对样本的输入量和输出量...
  • 最小二乘支持向量机的预算在线学习算法
  • 代价约束多核最小二乘支持向量机及其应用
  • 基于度量学习的改进最小二乘支持向量机
  • 基于优化最小二乘支持向量机的负荷预测
  • 最小二乘支持向量机(LSSVM)matlab相关代码 最小二乘支持向量机(LSSVM)matlab相关代码
  • 最小二乘支持向量机 一种新的最小二乘支持向量机算法
  • 为抵消信道时变多径传播特性引起的码间干扰、准确地识别数字通信系统中的发送信号,满足信道均衡的实时性要求,采用最小二乘支持向量机回归算法对信道进行均衡。首先,分析了最小二乘支持向量机算法应用于信道均衡的...
  • 将模糊隶属度概念引入最小二乘支持向量机, 提出一种基于支持向量数据域描述的模糊隶属度函数模型, 将输入空间中的样本映射到一个高维的特征空间; 然后根据其偏离数据域的程度赋予不同的隶属度. 该方法提高了...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 633
精华内容 253
关键字:

最小二乘支持向量机