精华内容
下载资源
问答
  • svm的推导
    2020-04-11 17:53:44

    参考:推导SVM的详细过程

    对偶问题:
    对偶问题

    更多相关内容
  • SVM推导过程

    2018-03-26 11:08:12
    线性可分支持向量机 线性支持向量机 数据近似线性可分 非线性支持向量机 数据线性不可分
  • AI面试之SVM推导

    千次阅读 2020-07-22 01:45:41
    SVM现在主流的有两个方法。一个是传统的推导,计算支持向量求解的方法,一个是近几年兴起的梯度下降的方法。 梯度下降方法的核心是使用了hinge loss作为损失函数,所以最近也有人提出的深度SVM其实就是使用hinge ...

    SVM现在主流的有两个方法。一个是传统的推导,计算支持向量求解的方法,一个是近几年兴起的梯度下降的方法。 梯度下降方法的核心是使用了hinge loss作为损失函数,所以最近也有人提出的深度SVM其实就是使用hinge loss的神经网络。

    本文的目的是讲解传统的推导。

    SVM的超平面

    SVM模型的基本原理,就是寻找一个合适的超平面,把两类的样本正确分开。单个SVM只能处理二分类,多分类需要多个SVM

    【什么是超平面?】
    超平面就是n维度空间的n-1维度的子空间。换成人话就是2维空间中的1维度的线,三维立体空间的二维平面。


    图中总共有5个超平面,那么哪一个是最好的呢?我们认为中间的那个是最好的。因为他对两侧的间隔较大。

    SVM基本型

    超平面我们可以用这个方程来表示:
    w T x + b = 0 \bm{w^Tx}+b=0 wTx+b=0

    空间中任意一个点x到这个超平面的垂直距离为:
    d = ∣ w T x + b ∣ ∣ ∣ w ∣ ∣ d = \frac{|\bm{w^Tx}+b|}{||\bm{w}||} d=wwTx+b

    这里不得不提到一下逻辑回归,对于逻辑回归来说:

    就是在超平面一侧的样本,逻辑回归给出的预测类别是1,另外一侧就是0.

    但是SVM觉得这样有一些过于绝对了,所以:

    不仅仅要一个样本在平面的一侧,还要在平面的这一侧足够远的地方,才能算作某一类的样本。


    从图中可以看到,两条虚线之外的点,才是SVM能确定是正样本还是负样本的点。

    【什么是支持向量?】
    图中距离超平面最近的几个训练样本,并且这几个训练样本可以让上式的等号成立。这个点就是支持向量。

    【什么是SVM的间隔】
    两个不同类别的支持向量到超平面的最小距离之和。其实也就是 2 ∣ ∣ w ∣ ∣ \frac{2}{||w||} w2


    到这里,我们可以隐隐约约的发现,寻找最优的超平面其实等价于寻找一个最大的间隔,或者说让间隔最大化。所以可以得到:
    max ⁡ w , b 2 ∣ ∣ w ∣ ∣ \max_{w,b} \frac{2}{||\bm{w}||} maxw,bw2
    这个的约束条件就是:让SVM给正样本的打分大于1,给负样本的打分小于-1,也就是:

    简化一下这个约束条件,可以得到:
    y i ( w T x i + b ) > = 1 y_i(\bm{w^Tx_i}+b)>=1 yi(wTxi+b)>=1

    一般我们都是求取最小化问题,所以把最大化max问题取倒数,变成最小化问题:
    min ⁡ w , b ∣ ∣ w ∣ ∣ 2 \min_{w,b} \frac{||\bm{w}||}{2} minw,b2w
    这里为了后续的计算方便,最小化 ∣ ∣ w ∣ ∣ ||w|| w等价于最小化 ∣ ∣ w ∣ ∣ 2 ||w||^2 w2,所以得到:
    min ⁡ w , b ∣ ∣ w ∣ ∣ 2 2 \min_{w,b} \frac{||\bm{w}||^2}{2} minw,b2w2

    总之SVM的基本型就是:

    SVM求解

    现在求得了基本型。现在可以来进一步优化这个最小化问题。但是首当其冲的问题便是,如何处理这个约束条件。这里用到的方法是拉格朗日乘子法。将约束条件以 α i \alpha_i αi的权重加入到优化问题中,所以可以得到:
    L o s s ( w , b , α ) = 1 2 ∣ ∣ w ∣ ∣ 2 + ∑ i = 1 m α i ( 1 − y i ( w T x i + b ) ) Loss(\bm{w},b,\bm{\alpha})=\frac{1}{2}||w||^2+\sum^m_{i=1}\alpha_i(1-y_i(w^Tx_i+b)) Loss(w,b,α)=21w2+i=1mαi(1yi(wTxi+b))

    • 这里的loss就是我们要最小化的对象;
    • 这里的m就是支持向量的数量。

    为了最小化这个问题,对w和b求偏导数,可以得到:
    w = ∑ i = 1 m α i y i x i w = \sum^m_{i=1}{\alpha_iy_ix_i} w=i=1mαiyixi
    0 = ∑ i = 1 m α i y i 0 = \sum^m_{i=1}{\alpha_iy_i} 0=i=1mαiyi

    然后把这两个公式代入到:
    L o s s ( w , b , α ) = 1 2 ∣ ∣ w ∣ ∣ 2 + ∑ i = 1 m α i ( 1 − y i ( w T x i + b ) ) Loss(\bm{w},b,\bm{\alpha})=\frac{1}{2}||w||^2+\sum^m_{i=1}\alpha_i(1-y_i(w^Tx_i+b)) Loss(w,b,α)=21w2+i=1mαi(1yi(wTxi+b))

    可以消掉w和b,得到:

    约束条件为:

    从而根据这个计算出 α i \alpha_i αi的取值,然后得到w和b的取值。

    【到底如何求解 α \alpha α?】
    上面说的最后一部求解alpha,都是理论可以求解,但是实际中如何做到呢?其实这里如何求解 α \alpha α要用到另外一个条件。

    就是上述过程要满足一个叫做KKT的条件(KKT具体是什么有点复杂,就不多说了):

    • 想要第三个公式成立,要么 α i \alpha_i αi等于0,要么 y i f ( x i ) − 1 = 0 y_if(x_i)-1=0 yif(xi)1=0.如果alpha=0,那么意味着这个样本不是支持向量,不应该对SVM超平面起到任何影响,所以是不可能的。所以只有 y i f ( x i ) − 1 = 0 y_if(x_i)-1=0 yif(xi)1=0

    加上了这个条件,我们可以求解出来 α i \alpha_i αi的具体数值,然后求解w和b的数值。

    假设有3个支持向量,那么就会有三个 α 1 , α 2 , α 3 \alpha_1, \alpha_2, \alpha_3 α1,α2,α3 ,然后根据 y i f ( x i ) − 1 = 0 y_if(x_i)-1=0 yif(xi)1=0可以列出3个关于 α 1 , α 2 , α 3 \alpha_1,\alpha_2,\alpha_3 α1,α2,α3的三元一次方程组,然后得到唯一解。



    展开全文
  • 大学生
  • SVM推导过程.pptx

    2020-05-21 14:18:41
    SVM支持向量机(support vector machines, SVM)是一种二分类模型,它的基本模型是定义在特征空间上的间隔最大的线性分类器,间隔最大使它有别于感知机;SVM还包括核技巧,SVM的的学习算法就是求解凸二次规划的最...
  • SVM 推导

    2018-02-26 17:18:21
    参考 http://www.cnblogs.com/jerrylead/archive/2011/03/13/1982639.html http://blog.csdn.net/sinat_22594309/article/details/61615946 ... 理解SVM...

    参考

    http://www.cnblogs.com/jerrylead/archive/2011/03/13/1982639.html
    http://blog.csdn.net/sinat_22594309/article/details/61615946
    http://blog.csdn.net/v_july_v/article/details/7624837

    理解SVM

    函数间隔->几何间隔->拉格朗日算子->KTT条件


    函数间隔

    这里写图片描述

    全局样本上的函数间隔
    这里写图片描述


    几何间隔

    这里写图片描述

    全局样本上的几何间隔
    这里写图片描述


    拉格朗日对偶

    有不等式约束的极值问题求法

    这里写图片描述
    这里写图片描述

    KKT条件


    最优化间隔分类器

    目标:最大化几何间隔

    这里写图片描述

    求最小的那一项里就是我们的函数间隔,函数间隔有什么性质?可控可变乖巧听话,所以我们令所有样本的函数间隔都大于等于1,这样后面一项就变成1了,那么优化目标就变成

    这里写图片描述

    可以把优化问题变成一个带约束的最小化问题,利用拉格朗日乘子法,构建拉格朗日函数

    这里写图片描述

    求这个函数的最大值,由于alpha始终大于等于0,[若alpha取小于0,那么最大值为无穷大]。所以对于函数间隔不是1的点而言,其对应的alpha一定等于0才能取到最大值,因此我们就有了拉格朗日函数的最大值就是第一项,我们想优化的目标函数,因此优化目标变成了
    这里写图片描述

    这里根据拉格朗日对偶性将这个极小极大问题转换成极大极小问题,也就是先对w,b求最小值,再求对alpha的最大值。极小问题就转化成求偏导为0,也就是

    这里写图片描述

    有了这两个等式,我们再把他们回代到拉格朗日函数当中,有

    这里写图片描述

    这里写图片描述

    这里写图片描述

    现在拉格朗日函数中需要优化的参数变成了alpha一个,现在只要求得了alpha的最佳值就解决了我们一开始的优化问题,也就是最后需要我们做的工作就是

    这里写图片描述

    实际的应用中,当我们解决了上述最优问题之后,我们再回过来求w,b的最优值。W的值很明显,根据上面求导所得的公式进行计算就成,但b的取值怎么求呢?这需要我们回到梦开始的地方,一开始我们就做了一个约束,要求对所有的样本函数间隔都大于等于1,一会儿就要用到这个。首先,alpha不可能全为0,假如alpha全为0则w也为0,我们知道样本有正负两类,这样y(wx+b)=yb不能保证始终大于1,所以必有不等于0的alpha,而对于不等于0的alpha对应的函数间隔必然为1能保证拉格朗日函数的极大值与我们一开始的优化目标等价,所以通过找到一个支持向量,使用 b=yi−wxi
    这里写图片描述
    我们来观察一下上面这个式子,alpha中大部分都是0的,只在少数函数间隔为1的样本处不为0,那么这样的话w,b的取值就只和这些样本有关,其他的样本根本没有地位啊,为了突出这些样本与众不同的地位,我们把它们称为支持向量,超平面的选择之和他们有关~

    展开全文
  • SVM推导-draco.docx

    2019-05-13 11:36:42
    SVM的公式推导和自己的一些见解,另外还有一些辅助的图片。
  • svm推导

    2017-05-13 14:14:32
    自己推一遍才印象深刻,CSDN对公式的支持很不好,所以在本地用latex写,并转换成了图片上传

    自己推一遍才印象深刻,CSDN对公式的支持很不好,所以在本地用latex写,并转换成了图片上传

    这里写图片描述这里写图片描述这里写图片描述这里写图片描述这里写图片描述这里写图片描述

    展开全文
  • SVM推导过程浅析

    千次阅读 2019-03-01 16:29:17
    转载请注明出处,原文地址 前言 ...SVM推导过程 如图,我们有些红色与蓝色点分部在平面中,我们设蓝点为正红点为负。SVM的任务就是找到一条线,将红点和蓝点分割开来,这条线可能会有很多种可能,...
  • svm 推导资料

    2018-08-27 08:42:48
    点到平面的距离[链接](https://www.cnblogs.com/graphics/archive/2010/07/10/1774809.html) 对偶最优化理解[链接](https://blog.csdn.net/The_lastest/article/details/78461566) 3.
  • SVM 原理详细推导

    千次阅读 2022-03-21 20:28:54
    SVM 是一个分类模型,如果训练数据可以完全用一个超平面分开,则称数据集为完全线性可分的,这时可以采用硬间隔最大化建立带约束问题的最优化,此优化为凸二次规划,凸二次规划问题可以通过拉格朗日对偶性转为...
  • SVM推导

    2020-12-31 14:51:34
    SVM推导 主要介绍SVM的推导过程 待续
  • SVM推导过程详解

    2018-07-30 23:47:55
    详情见我的个人博客: SVM详解(一)  SVM详解(二)
  • SVM推导过程注解(一)

    千次阅读 2017-08-06 12:01:03
    前言支持向量机(Support Vector Machine)的原理其实比较简单,书本以及网上...故我结合学习过程将详细的对偶问题以及KKT条件的推导整理写出来,权当SVM推导过程的相关注解。希望对大家有所帮助,不对之还处望大家指正。
  • svm原理详细推导

    万次阅读 多人点赞 2018-10-29 17:50:54
    笔者在查阅了大量资料和阅读大佬的讲解之后,终于对svm有了比较深一点的认识,先将理解的推导过程分享如下: 本文主要从如下五个方面进行介绍:基本推导,松弛因子,核函数,SMO算法,小结五个方面以%%为分隔,同时...
  • SVM的基本推导

    千次阅读 2019-03-14 00:02:45
    1、SVM的作用 对于给定的训练样本集D={(x1,y1), (x2,y2),… (xn,yn)},yi属于{-1,+1},希望能找出一个超平面,把不同类别的数据集分开,对于线性可分的数据集来说,这样的超平面有无穷多个,而最优的超平面即是...
  • svm推导详解

    2021-10-21 19:59:58
    见深入理解SVM---从头到尾详细推导(软硬间隔、KKT条件、核技巧)_Cyril_KI的博客-CSDN博客
  • SVM推导(一)

    2021-09-05 23:09:46
  • 本文将从如下几个点出发,讨论支持向量机,同时会给出公式的简单的推导推导的过程中会运用到的数学基础不会超过于本科所学的内容。 1.支持向量机本质 支持向量机本质上是在数据样本点中找到一个超平面将其划分的...
  • SVM 公式推导

    2019-08-22 18:13:07
    1、SVM思想 (1)SVM算法的依据就是分类器B的分类间隔比分类器C的分类间隔大。这里涉及到第一个SVM独有的概念”分类间隔”。在保证决策面方向不变且不会出现错分样本的情况下移动决策面,会在原来的决策面两侧找到两...
  • SVM是一种无监督机器学习方法,常用于二分类问题。其相较于逻辑回归,引入了核函数的概念,对非线性关系有更好的分类效果;同时由于对偶问题的引入,...其推导过程为: (1)列出原始目标函数和约束条件。 目标函数
  • SVM 原理推导

    2020-02-22 19:35:24
    这篇博文写一些SVM的东西,首先的先对SVM原理做一个概述,之后对整个证明过程做一个梳理 SVM 原理 SVM旨在解决一系列分类问题。我们从几何意义来考虑分类问题的话,首先每一类都是多维空间的一个点,分类器就是在这...
  • 支持向量机SVM推导及求解过程 支持向量机是属于原创性、非组合的具有明显直观几何意义的分类算法,具有较高的准确率。  使用SVM算法的思路:(1)简单情况,线性可分情况,把问题转化为一个凸优化问题,可以用...
  • SVM推导和Hessian矩阵

    2020-08-01 09:14:32
    https://www.cnblogs.com/hyb221512/p/9297688.html
  • 1. Fisher判别分析 2 Logistic 推导(二分类) 3 支持向量机推导(硬间隔) 转载于:https://www.cnblogs.com/zfc888/p/10274434.html

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 16,420
精华内容 6,568
关键字:

svm的推导

友情链接: C++扫雷.zip