精华内容
下载资源
问答
  • 最优间隔分类器

    2018-11-04 16:24:00
    最优间隔分类器 最优间隔分类器 对于一个给定的数据集,目前有一个很现实的需求就是要找到一个合适的决策边界,使得样本中的最小间隔(几何间隔)最大,而且这样的分类器能够使得分割的训练样本集之间的间隔(gap...

    最优间隔分类器

    1. 最优间隔分类器

    对于一个给定的数据集,目前有一个很现实的需求就是要找到一个合适的决策边界,使得样本中的最小间隔(几何间隔)最大,而且这样的分类器能够使得分割的训练样本集之间的间隔(gap)最大。现在,我们假设训练集合线性可分,即可以找一条超平面把正样本和负样本分割开来。那么我们如何找到一个超平面来最大化几何间隔呢?我们得到了如下的优化问题:

    maxγ,w,b γ

    s.t. y(i)(wTx(i)+ b) ≥ γ, i = 1, . . . , m

    ||w|| = 1

    也就是说,我们希望最大化γ,其中对于每一个样本而言,每一个函数间隔值都不小于γ。其中,设定||w|| 固定为 1,能够保证函数间隔等于几何间隔,也能保证几何间隔最小可达到γ。因此,解决这个优化问题后就可以得到该训练集合的最大可能几何间隔。

    但是很难解决上面的优化问题,因为||w|| = 1是非凸优化,这就无法使用标准优化软件去解决这个优化问题。因此,我们把这个优化问题转化成相对简单的问题,如下:

    maxγ,w,b ˆγ/||w||

    s.t. y(i)(wTx(i)+ b) ≥ ˆγ, i = 1, . . . , m

    这里我们将要最大化ˆγ/||w||,约束条件是函数间隔最小达到ˆγ。因为几何间隔和函数间隔存在关系γ = ˆγ/||w||,这将给我们想要的答案。此外,我们也摆脱了||w|| = 1的限制。但是依然存在的问题是我们要最优化的ˆγ/||w||仍然是一个非凸函数,也就是说我们仍然不能通过常规的优化软件进行优化。

    回想一下之前的讨论,我们通过缩放wb的值并不影响最终的结果,这一点很关键。我们将通过介绍如何去缩放wb,使得训练集合的函数间隔一定是1,即ˆγ = 1。因此wb乘以一个常数之后,得到的函数间隔也会相应的乘以该常数。这是一个比例约束,可以通过缩放wb来满足。把这一点加入我们上面的优化问题,可以得到最大化ˆγ/||w|| = 1 / ||w|| 与最小化||w||2是一样的效果(这里已经没有了 ||w|| = 1的限制)。因此,我们得到了如下的优化问题:

    minγ,w,b ½ * ||w||2

    s.t. y(i)(wTx(i)+ b) ≥ 1, i = 1, . . . , m

    我们现在已经把之前的问题转化成一个相对容易解决的问题了。上面的优化是一个凸二次优化问题,而且是线性约束。该结果给出的是最优化间隔分类器。此外,该优化问题可以用商业二次规划(quadratic programming,程序)程序来求解。

    在解决这个优化问题之前,我们插入一段关于拉格朗日对偶(Lagrange duality)的介绍。这将使我们进入优化问题的对偶形式,这在后面提到的用核方法来优化最大间隔分类器中起到很重要的作用,能够使该分类器在高维数据中更有效率的工作。此外,对偶形式能够使我们比普通的QP代码更有效率的解决上面的优化问题。

    1. 拉格朗日对偶

    我们先把SVM和最大间隔分类放在一边,这里主要讨论一下如何求解约束优化问题。考虑如下形式的问题:

    minw f (w)

    s.t. hi(w) = 0, i = 1, . . . , l.

    在这里我们将介绍拉格朗日乘子法(Lagrange multipliers)。在该方法中,我们定义拉格朗日算符(Lagrangian)如下:

    L(w, β) = f (w) +

    这里的βi称之为拉格朗日乘子(Lagrange multipliers)。求解该式的最优解,只需要使得L βi wi 的偏微分为0即可,如下:

    之后只要求解出w β 即可。

    在这部分,我们将把这个问题扩展到约束优化问题中,即找到约束优化中不等式来代替拉格朗日乘子法中的等式约束。这里不再讲解拉格朗日对偶理论和详细的证明,但是仍将给出主要的方法和结果,以便我们能够把该方法应用到最优间隔分类器的优化问题上。

    考虑如下问题,我们称之为原始优化问题(primal optimization problem)

    minw f (w)

    s.t. gi(w) ≤ 0, i = 1, . . . , k

    hi(w) = 0, i = 1, . . . , l.

    为了解决该问题,我们开始定义广义拉格朗日(generalized Lagrangian)

    L(w, α, β) = f (w) + +

    这里,αi βi都是拉格朗日乘子。考虑下式:

    θP(w) = maxα,β : αi≥0 L(w, α, β)

    这里下标P表示原始的(primal)。现在我们赋一些值给w。如果w违反了原始限制(如对于某些igi(w) > 0 或者 hi(w) = 0),那么我们将得到:

    θP(w) = max f (w) + + = ∞

    相反的,如果对于某个w,约束条件能够很好的满足,那么θP(w) = f(w),因此有:

    θP(w) =

    因此,对于所有满足原始约束条件的wθP取得相同的值作为我们问题的目标。如果不满足约束条件,则θP结果为正无穷大。因此,考虑最小优化问题:

    minw θP(w) = minw maxα,β : αi≥0 L(w, α, β)

    我们可以看到这和原始优化问题是相同(具有相同的解)。为了后面的使用,我们定义最优目标值为p= minw θP(w) ,称之为原始问题解。

    现在我们考虑一个稍微不同的问题,定义θD(α, β) = minw L(w, α, β),这里的下标D表示对偶(dual)。注意这里与θP不同,θP是针对α, β的最优化函数,而θD是针对w的最优化函数。现在,我们可以得到对偶优化问题:

    maxα,β:αi ≥0 θD(α, β) = maxα,β:αi ≥0 minw L(w, α, β)

    这恰好和原始问题一样,只是我们改变了最大化和最小化的顺序。我们定义该对偶问题的最优化值为d= maxα,β : αi ≥0 θD(w)。那么原始问题和该对偶问题有什么联系呢?很容易看出:d= maxα,β:αi ≥0 minw L(w, α, β) ≤ minw maxα,β:αi≥0 L(w, α, β) = p

    当然,在某些情况下,存在d= p。因此,我们可以通过解决对偶问题替换原始问题。我们来看看能够替代的情况有哪些。

    假设fg是凸函数,而且hi是仿射(Affine,类似于线性,但是允许截距项的存在)函数。此外,我们认为gi是可行的,即对于所有的i,存在w使得gi(w)<0 。针对该假设,一定存在w∗, α∗, β∗使得w∗为原始问题的解, α∗, β∗是对偶问题的解,而且p= d= L(w, α, β)。此外,w, α, β还满足KKT条件(Karush-Kuhn-Tucker),如下所示。

    此外,如果存在w, α, β满足KKT条件,那么这也是原始问题和对偶问题的解。对于条件中αigi(w) = 0, i=1, ... ,k,称之为KKT对偶互补条件(dual complementarity condition)。特别的,这里暗含着如果αi>0,那么gi(w) =0。之后,这在SVM中的支持向量(support vectors)起到关键作用。此外,KKT对偶互补条件也将在我们SMO的收敛测试中用到。

    1. 最优间隔分类器

    之前我们讨论了如下优化问题(即原始优化问题)来求得最优间隔分类器。

    minγ,w,b ½ * ||w||2

    s.t. y(i)(wTx(i)+ b) ≥ 1, i = 1, . . . , m

    我们可以把约束条件表示成如下形式:

    gi(w) = −y(i)(wTx(i)+ b) + 1 ≤ 0

    针对每一个样本,我们都存在该约束条件。根据KKT对偶互补条件αigi(w) = 0,我们知道仅对于训练集合中函数间隔恰好等于1的样本,才存在线性约束前面的系数αi > 0,也就是说这些约束式gi(w) = 0。对于其他不在线上的点(gi(w)<0),极值不会在他们所在的范围内取得,αi = 0

    看下面的图:实线是最大间隔超平面,假设×号的是正例,圆圈的是负例。在虚线上的点就是函数间隔是1的点,那么他们前面的系数αi > 0,其他点都是αi = 0。这三个点称作支持向量。一般而言,支持向量数量相对于整个训练集合而言是非常少的,之后我们会发现这是非常有用的。

        之后,得到了我们优化问题的拉格朗日形式,如下:

    注意到这里只有αiβi,因为原问题中没有等式约束,只有不等式约束。接下来我们需要寻找该问题的对偶式。首先,对于给定的αiL(w, b, α)仅受wb影响,我们需要最小化L(w, b, α),只需要让Lwb的偏微分为0。对w求偏微分如下:

    由此得到w = ,之后对b求偏微分得到:

    我们把得到的w值带回到构造的拉格朗日函数中,化简如下:

    由于 = 0,因此最终得到:

    这里我们把向量内积 (x(i))Tx(j)表示为<(x(i)), x(j)>。此时的拉格朗日函数只包涵了变量αi,求解出αi之后即可以得到wb。根据对偶问题的求解,我们得到了如下的最大化问题:

    这里我们需要考虑p = d的条件,即KKT条件。因为目标函数和线性约束都是凸函数,而这里不存在等式约束h,存在w使得对于所有的i,使得gi(w) <= 0,因此存在w* a*使得w*是原问题的解, a*是对偶问题的解。这里求解的aia*如果求解出了ai,根据w = 即可以求解出w(也就是w*,原问题的解)。同样根据下式得到b

    求解得到b,即距离超平面最近的正的函数间隔要等于距离超平面最近的负的函数距离。关于上面的对偶问题如何求解,在下一讲中我们将采用SMO算法来阐明。

    此外,我们额外考虑一下w的求解公式。假设我们已经通过训练集合得到了模型的各个参数,现在要预测一个新的输入x,我们需要计算wT+b ,如果得到的值大于0,那么y=1。这里我们把w = 考虑进去,得到如下结果,

    由此可以看出,与之前计算wT+b不同,这里只要计算新的样本和训练样本的内积即可。当然,从前面的KKT条件中知道,只有支持向量的ai > 0,其他情况ai = 0,其他情况下ai=0。因此,我们只需要进算新的样本和支持向量的内积就可以。

    通过优化问题的对偶形式,我们更深入的看到了需要优化问题的结构,并且找到了能够适合于特征向量内积的算法。在下一讲,我们会讨论核方法在高维数据中使用以及求解支持向量机的算法。

     
     
     
    展开全文
  • 支持向量机之最优间隔分类器

    通过前三章的讨论,当我们拿到一给定数据集时第一要务是寻找一条分界线时分界线两边的点到线的(几何)间隔最大,达到这一要求即认为这是个好的分类器。这样的分类器会在正负样本间画出一个断层(几何间隔)。

    这里写图片描述

    现在我们又一个线性可分的训练集(即存在一超平面将正负样本分开),如何找到有最大几何间隔的分类器呢?用数学语言描述该问题:

    maxγ,w,bs.t.γy(i)(wTx(i)+b)γ,i=1,,mw=1.

    我们要最大化数据集的最小几何间隔γ,该间隔小于等于数据集中所有点几何间隔。解决这个问题就是确定一组(w,b)使得几何间隔最大。需要注意w=1是一个非凸约束,标准的最优化方法难以解决,我们需要转换成更易求解的形式:

    maxγ,w,bs.t.γ^wy(i)(wTx(i)+b)γ^,i=1,,m

    现在我们要优化这个参数γ^/w,且保证所有样本函数间隔都小于γ^。通过公式转化我们摆脱了w=1的条件要求,但是γ^/w依然是一个非凸目标函数还需继续转换。之前我们提到通过缩放(w,b)可以改变γ^的值,我们现在令γ^=1,那么γ^/w=1/w,又1/w的最大值就是w2的最小值,公式改写为:

    maxγ,w,bs.t.12w2y(i)(wTx(i)+b)1,i=1,,m

    至此问题转化为一个凸二次目标函数在线性约束下的求解问题。求解的结果就是最优间隔分类器。最优分类器的第一部分即到此为止,接下来我们会讨论拉格朗日对偶性,这可以帮助推导问题的对偶形式,转化为对偶形式后就可使用核方法将样本映射到高维空间,大大提高模型的可用性。

    展开全文
  • 最优间隔分类器与SVM

    2015-11-24 23:20:02
    从优化角度看最优间隔分类器

    最优间隔分类器问题可以表述为


    其中,ε为到平面的距离,w=[w1,w2...wn,b]' ,x=[x1,x2...xn,1]' ,S1和S2表示两类

    上式等价于


    令K=[w ε]'得



    展开全文
  • 最优间隔分类器问题

    千次阅读 2014-04-14 11:34:52
    最优间隔分类器问题 本次课程大纲: 1、 最优间隔分类器 2、 原始优化问题&对偶优化问题(KKT条件) 3、 SVM对偶问题 4、 核方法(下一讲)   复习: 支撑向量机中改动的符号: ...

    最优间隔分类器问题

    本次课程大纲:

    1、 最优间隔分类器

    2、 原始优化问题&对偶优化问题(KKT条件)

    3、 SVM对偶问题

    4、 核方法(下一讲)

     

    复习:

    支撑向量机中改动的符号:

    输出y{-1,+1}

    h输出的假设值也改为{-1,+1}

    g(z) = { 1 , 如果z>=0;  -1, 如果z<0}

    hw.b(x)=g(wTx+b),这里的b相当于原来的θ0w相当于原来θ除去θ0剩余部分,长度为n维。将截距b单提出来,方便引出支撑向量机。

     

    函数间隔

    一个超平面(w,b)和某个特定训练样本(x(i),y(i))对应的函数间隔定义为:

    参数(w,b)定义了一个分类器,例如定义了一个线性分界线。

    如果y(i)=1,为了获得较大的函数间隔,需要令wTx(i)+b >> 0

    如果y(i)=-1,为了获得较大的函数间隔,需要令wTx(i)+b << 0

    如果y(i)(wTx(i)+b) > 0,意味着分类结果正确

     

    一个超平面(w,b)和整个训练集的函数间隔定义为:

    即相对于整个训练集的函数间隔定义为所有相对于样本的函数间隔的最坏情形(上述讲到,分界线距离样本越远效果越好)。

     

    几何间隔:

    几何间隔定义为:

    这个定义和函数间隔很相似,不同点是对向量w进行了标准化。同样,希望几何间隔也是越大越好。

     

    结论:如果||w||=1,函数间隔等于几何间隔。更一般的,几何间隔等于函数间隔除以||w||

     

    一个超平面(w,b)和整个训练集的几何间隔定义为:

    和函数间隔类似,取样本中最小的几何间隔。

     

    性质:可以任意比例缩放wb,因为任意缩放wb都不会改变超平面wTx+b=0的位置。这一性质在后续讨论中带来很大便利。

     

     

    1、 最优间隔分类器

    最优间隔分类器可以看做是支撑向量机的前身,是一种学习算法,选择特定的wb,使几何间隔最大化。最优分类间隔是下述这样的优化问题:

    即选择γ,wb使γ最大,同时满足条件:所选取的最大几何间隔必须保证每个样本的几何间隔至少为γ。即,找到一个超平面,在将正负样本分开的同时,使超平面到正负样本间的距离尽可能大。

     

    由于wb可随意缩放,约束条件||w||=1,使得函数间隔等于几何间隔。但是这个约束本身是一个非常糟糕的非凸性约束。要求解的参数w在一个球体表面,如果想得到一个凸优化问题,必须保证如梯度下降算法这种局部最优值搜索算法不会找到局部最优值,而非凸性约束不能满足这个条件,所以需要改变优化问题。

     

    为了解决上述问题,提出下面的最优化问题:

    即将函数间隔除以||w||的值最大化,而这个值其实就是几何间隔,只是上一个优化问题的另一种表述。最优化目标是,最大化几何间隔,同时保证函数间隔不小于γ^,即求最大的γ^,但是γ^上限是最小的函数间隔的值。

     

    w添加约束条件:γ^ = 1,即函数间隔为1,即使式子的最小值为1。这个一个隐含的缩放条件。将这个约束加入到第二个最优化问题中,得到最终的最优间隔分类器

    这是一个凸优化问题,且没有局部最优值,可以通过梯度下降找到全局最优值。

     

    2、 原始优化问题&对偶优化问题(KKT条件)

    原始问题

     

    如要求下式的值:

    即最小化函数f(w),并满足约束条件hi(w)=0,可以将hi写成0向量。

     

    创建拉格朗日算子:

    即等于原始目标函数加限制函数的线性组合,其中参数β称为拉格朗日乘数。

     

    则,如果对下式求偏导数置为0,即可求出解:

    对上述两个偏导数方程求解,检查得到的解是否为最小值即可。

     

    拉格朗日乘数法的一般形式,也称为原始问题

    此时,拉格朗日算子为:

    此时α和β为拉格朗日乘数,定义:

    上式中的p表示原始问题(primal),

    如果w违反了约束条件,即gi(w)>0hi(w)!=0,那么上式变成:

    上式中从(1)到(2)的解释为:若gi(w)>0,那么只要使αi无穷大,θp(w)就会无穷大;同理,若hi(w)!=0,只要使βi相应取无穷大(hi(w)>0)或无穷小(hi(w)<0),θp(w)也会无穷大。

     

    反之,若w满足约束条件,那么θp(w) = f(w),所以可得:

    那么,求min f(w)就是求下式的值,定义为p*

     

    对偶问题

     

    定义:

    对其取最大值,即给出对偶优化问题,定义为d*

    从公式上看,对偶问题就是把原始问题中的minmax换了顺序。

     

    可得:

     

    原始问题和对偶问题获得相同解的条件:

     

    f为凸函数(凸函数的hessian 矩阵是半正定的,H>=0,即开口朝上的碗状函数)

    假设hi为仿射函数,即

    假设gi是严格可执行的,即存在w,使得对于所有igi(w)<0

    在上述条件下,存在w*,α*,β*,其中w*是原始问题的解,α*,β*是对偶问题的解,并且:

    此外,还要满足条件:

    这些条件被称为KKT互补条件

     

    KKT中的隐含条件:

    如果αi>0 => gi(w*)=0,但是一般来说αi>0 <=> gi(w*)=0

    gi(w*)=0,称gi(w*)为活动约束。

     

    3、 SVM对偶问题

     

    最优间隔分类器:

    将约束改写为:

    又通过KKT条件,αi>0 => gi(w,b)=0,即活动约束

    gi(w,b)=0 <=> y(i)(wTx(i)+b)=1,即函数间隔为1

     

    给出例子如下图:

    图中的圈和叉即正负样本,实线即w,b确定的分隔线,虚线即函数间隔为1的点所构成的线。看出有三个样本的函数间隔为1,其他样本的函数间隔大于1

     

    通过KKT条件,这些函数间隔为1的样本对应的拉格朗日乘数一般不等于0,即αi>0。这个函数间隔为1的样本称为支撑向量。支撑向量数量很少,所以多数的αi=0,那么反推可得,αi=0,对应的样本不是支撑向量。

     

    对最优间隔优化问题建立拉格朗日算子:

    由于这个问题只有不等式约束,所以没有β。

     

    为了使拉格朗日算子最小,因为它是wb的函数,对wb求偏导数并设为0

    推出:

    w就是输入特征向量的线性组合。对b求偏导:

    w代入拉格朗日算子,即代入||w||=wTw,化简后得到:

    根据对b求偏导的结果,最后一项为0,得到:

    将上式表示为W(α),对偶问题就是:

    所有优化问题都是针对w进行了,b只是一个参数。

     

    为了解决上述对偶问题,求出参数α*,而求出α,即可通过上面w的公式求出w,求出α和w后,容易求出b,因为w决定了超平面的斜率,那么根据最优间隔,将α和w代入原始问题,就容易求出b了,如下式:

    这个公式的直观理解就是,找到最差的样本(离得最近的正负样本),根据它们的位置,可求出超平面的位置。

     

    4、 核方法

     

    可以将上面整个算法表示成内积的形式:

    x(i)Tx表示为新输入的x和训练样本x的内积的和。

     

    SVM特征空间中,由于训练样本的维数可能会很高,核方法可以高效计算内积的表示方法,但是仅对一些特定的特征空间成立。

     

    浏览整个SVM计算过程,所有步骤都可以不直接计算x(i),而通过计算特征向量的内积得到结果,所以核方法被引入。

     

    该算法另一个性质就是,由于函数间隔为1的样本只占训练集的一小部分,大多数αi=0,计算w时计算量小。

    展开全文
  • 最优间隔分类器-SVM

    2016-12-17 23:05:06
    本讲大纲: 1.最优间隔分类器(optimal margin classifier)  2.原始/对偶优化问题(KKT)(primal/dual optimization problem)  3.SVM对偶(SVM dual)  4.核方法(kernels)(简
  • 机器学习数学原理(6)——最优间隔分类器这一篇博文主要起一个承上启下的作用,即需要上一篇博文所说的泛化拉格朗日定理方面的知识(建议读者先阅读上一篇博文《机器学习数学原理(5)——广泛拉格朗日乘子法》),...
  • 1.Optional margin classifier(最优间隔分类器) 2.primal/dual optimization(原始优化问题和对偶优化问题)KKT conditions(KKT条件) 3.SVM dual (SVM的对偶问题) 4.kernels (核方法) 1.最优间隔分类...
  • 1.最优间隔分类器 2.原始/对偶问题 3.svn的对偶问题  在上篇中,我们提到了函数间隔与几何间隔,这两个定义是 svm 的基本定义,因为svn比较复杂,这里先简要介绍一下svn的几个部分。首先是函数间隔与几何间隔,由...
  • Andrew Ng - SVM【1】最优间隔分类器

    千次阅读 2015-04-12 15:36:19
    Andrew Ng - SVM 对函数间隔和几何间隔以及最优间隔分类器的讲解
  • 最优间隔分类器理论 之前我们提到在支持向量机中,我们的目标是寻找一个超平面,使得离超平面比较近的点能有更大的间距,也就是说我们不必考虑所有的点都必须远离超平面,我们关心求得的超平面能够让所有点中离它...
  • 最优间隔分类器 定义目标函数: hw,b=g(wTx+b)h_{w,b}=g(w^Tx+b),g(z)={10z≥0z(z)=\begin{cases} 1&z\geq0 \\ 0&z \end{cases},y∈{−1,1}y\in \lbrace-1,1\rbrace 定义函数间隔: Υ−i=yi(wTxi+b)...
  • 第七集 最优间隔分类器问题

    千次阅读 2015-08-22 16:27:15
    本课首先提出了原始的优化问题:最优间隔分类器问题,之后介绍了对偶问题的概念和KKT条件,之后基于原始优化问题的对偶问题的分析,介绍了SVM算法。课程的最后对SVM算 法进行了评价,以引出下节课对核方法的介绍。 ...
  • 1. 将最优间隔分类器的定义转化为拉格朗日方程,通过求偏导得到法向量和截距与拉格朗日乘子的关系; 2. 回带至拉格朗日方程中得到原始问题的对偶问题。经检验满足KKT补充条件,此次最优化求解中对偶问题与原始问题同...
  • 本文从理论上详细介绍了硬间隔的最优间隔分类器,即硬间隔SVM。后续文章将会介绍软间隔SVM及其实现。
  • 最优间隔分类器问题本次课程大纲:1、 最优间隔分类器2、 原始优化问题&amp;对偶优化问题(KKT条件)3、 SVM对偶问题4、 核方法(下一讲) 复习:支撑向量机中改动的符号:输出y∈{-1,+1}h输出的假设值也改...
  • 最优间隔分类器(optimal margin classifier) 2.原始/对偶优化问题(KKT)(primal/dual optimization problem) 3.SVM对偶(SVM dual) 4.核方法(kernels)(简要,下一讲详细)1.最优间隔分类器假设给我们的数据集是...
  • 最优间隔分类器问题 本次课程大纲: 1、最优间隔分类器 2、原始优化问题&对偶优化问题(KKT条件) 3、SVM对偶问题 4、核方法(下一讲) 复习: 支撑向量机中改动的符号: 输出y∈{-1,+1} h输出的假设...
  • 最优间隔分类器问题 本次课程大纲: 1、 最优间隔分类器 2、 原始优化问题&对偶优化问题(KKT条件) 3、 SVM对偶问题 4、 核方法(下一讲)   复习: 支撑向量机中改动的符号: ...
  • 这课的核心就在于如何确定最佳的分隔超平面,即最优间隔分类器。 首先我们要介绍其中的数学推理,然后介绍最优间隔分类器。 1、凸优化问题  选取一个函数里的两个点,连接两个点成一条直线,两点间的函数点都在这条...
  • 本篇笔记针对ML公开课的第七个视频,主要内容包括最优间隔分类器(Optimal Margin Classifier)、原始/对偶问题(Primal/Dual Problem)、svm的对偶问题,都是svm(support vector machine,支持向量机)的内容。
  • 最优间隔分类问题 一.几何间隔和函数间隔 几何间隔就是函数间隔除以w的模。 优化问题就是使他们足够大,可以通过对w,b加倍的方法增加函数间隔。 需要三个定义 1.使函数间隔最大 2.使几何间隔最大 3....
  • 支持向量机SVM的推倒:从logistic回归,到函数间隔,集合间隔,到寻找最优间隔分类器

空空如也

空空如也

1 2 3 4 5 ... 10
收藏数 186
精华内容 74
热门标签
关键字:

最优间隔分类器