精华内容
下载资源
问答
  • 则正常对偶非正常问题,则不正常处理对偶理论对偶单纯型法对偶单纯型法不是求解对偶问题的,而是原问题的灵敏度分析对于某些数据发生变化时,最优解(最大值或最小值)将如何改变的问题? 如何快速写出对偶问题 ...

    如何快速写出对偶问题

    正常问题,则正常对偶

    1. maxmax\leqslantminmin\geqslant
    2. 目标函数检验数与右端项调换
    3. 系数转置

    非正常问题,则不正常处理

    1. maxmax\leqslantminmin\geqslant
    2. 目标函数检验数与右端项调换
    3. 系数转置

    (约束,系数对偶)

    1. 新变量系统正负判别(根据原约束条件,判别新变量的正负号)
    2. 约束不等号方向判别(根据原变量系统,进行判别新约束不等号的方向)

    对偶理论

    • 对称性

      对偶问题的对偶是原问题

    • 弱对偶性

      原问题的任一目标值(maxmax,可行),则不超过对偶问题的任一目标值(minmin,可行)

    • 无界性

      原问题无界,则对偶问题不可行

      原问题不可行,则对偶问题不确定(可能是无界,也可能是不可行)

    • 原问题有最优值,则对偶问题也有最优值,且最优值相同

      原问题的某个解对应的目标值与对偶问题的某个解对应的目标值相同,,则这些解都是最优解

    • 松紧定理(互补松弛性)

      紧约束,松约束

      原变量*松弛变量=0

      约束为松,则它的对偶变量为0;对偶变量$>$0,则对应紧约束

    对偶单纯型法

    对偶单纯型法不是求解对偶问题的,而是求原问题的

    1. 原始单纯型法保证解的可行性,从解不是最优迭代到最优
    2. 对偶单纯型法保证最优性,保证解的不可行迭代到可行

    灵敏度分析

    对于某些数据发生变化时,最优解(最大值或最小值)将如何改变的问题?

    参考自:https://www.bilibili.com/video/BV1f7411M7mT?p=4

    展开全文
  • 对偶问题具体如何转换【草稿】

    万次阅读 2018-12-12 10:45:37
    一因此当原问题不好解就会转为对偶问题。这种转换可以单纯依靠符号逻辑来做,建议参考 https://tv.sohu.com/v/cGwvNjU1NTg1NC82NTQ0NDY1MS5zaHRtbA==.html 简单来说,有原问题如下: min⁡CTX \min_{} \quad C...

    每一个线性规划问题都存在一个与其对偶的问题,两者的解一致。因此当原问题不好解就会转为求其对偶问题。
    这种转换可以单纯依靠符号逻辑来做,建议参考
    https://tv.sohu.com/v/cGwvNjU1NTg1NC82NTQ0NDY1MS5zaHRtbA==.html
    https://wenku.baidu.com/view/fc5ac232a88271fe910ef12d2af90242a895abfa.html
    https://blog.csdn.net/nciaebupt/article/details/8252056
    简单来说,对于其中一种形式,有原问题如下:
    minxATX \min_{x} \quad A^TX s.t. BX<=C \qquad \qquad s.t. \ BX<=C   X>=0 \qquad \qquad \,\, X>=0

    其对偶问题为:
    maxyCTY \max_{y} \quad C^TY s.t. BTY>=C \qquad \qquad s.t. \ B^TY>=C   Y>=0 \qquad \qquad \,\, Y>=0


    来讲讲具体转换方法。在下面的例子中我们需要将下列问题转为其对偶问题:

    max     W=10y1+   8y2+6y3max \ \ \ \ \ W = 10y_1+\ \ \ 8y_2+6y_3       ()\qquad \qquad \ \ \ \ \ \ \ (目标函数)

    s.t.{   1y1+   2y2+0y3>=   3   1y1+   0y2+1y3<=   23y1+   2y2+1y3<=4   1y1+1y2+1y3   =   1\qquad \quad s.t.\begin{cases} \ \ \ 1y_1 +\ \ \ 2y_2+0y_3>=\ \ \ 3 \\ \ \ \ 1y_1+\ \ \ 0y_2+1y_3<=\ \ \ 2\\ -3y_1+\ \ \ 2y_2+1y_3 <=-4\\ \ \ \ 1y_1+-1y_2+1y_3 \ \ \ = \ \ \ 1 \end{cases} ()\qquad (约束方程)

    s.t.{   y10,y20,y3\qquad \quad s.t.\begin{cases} \ \ \ y_1\geq 0, y_2\leq 0, y_3无约束 \\ \end{cases}    ()\qquad \ \ \ (决策变量)

    假设已经化为了标准形式,原问题和对偶问题都可以分为三个部分,分别是目标函数,等式约束,决策变量(瞎起的),在互相转换的过程中两者步骤大致相似,只有在处理大于小于号的时候有不一致。
    我们按照目标函数–>约束变量–>决策变量的顺序一个个来转换。

    第一步,这是max问题转为min问题,那么就要注意,在第四步中,max问题的约束方程转为min问题的决策变量时,大小于反号。我称之为‘大约’
    第二步,求min问题的目标函数。max问题有4个约束等式,那么首先生成min问题的变量x1~x4。然后与约束等式最右侧的常数项对应相乘再相加。
    s.t.{   1y1+   2y2+0y3>=   3      x1   1y1+   0y2+1y3<=   2      x23y1+   2y2+1y3<=4      x3   1y1+1y2+1y3   =   1      x4\qquad \quad s.t.\begin{cases} \ \ \ 1y_1 +\ \ \ 2y_2+0y_3>=\ \ \ 3 \ \ \ \ \ \ \color{red}{x_1 }\\ \ \ \ 1y_1+\ \ \ 0y_2+1y_3<=\ \ \ 2 \ \ \ \ \ \ \color{red}{x_2 }\\ -3y_1+\ \ \ 2y_2+1y_3 <=-4 \ \ \ \ \ \ \color{red}{x_3 }\\ \ \ \ 1y_1+-1y_2+1y_3 \ \ \ = \ \ \ 1 \ \ \ \ \ \ \color{red}{x_4 } \\ \end{cases} ()\qquad (约束方程)
    得到目标函数:

    min   Z=3x1+2x24x3+x4min \ \ \ Z= 3x_1+2x_2-4x_3+x4

    第三步,求min问题的约束方程。变量还是x1~x4,但是参与构成其中一个新约束方程的其余变量有6个,分别是[10,1,1,-3,1,\geq ]T^T,包括最下面的大于等于号。中间四个变量作为原非齐次方程组的一组系数与x1~x4对应相乘再相加,上下两个变量[10,\geq]构成的是常数项与关系。这里大于小于号不变,无约束则为等于。

    max     W=10y1+   8y2+6y3max \ \ \ \ \ W ={\color{red}{10}}y_1+\ \ \ 8y_2+6y_3         ()\qquad \qquad \ \ \ \ \ \ \ \ \ \quad \quad (目标函数)
    s.t.{   1y1+   2y2+0y3>=   3      x1   1y1+   0y2+1y3<=   2      x23y1+   2y2+1y3<=4      x3   1y1+1y2+1y3   =   1      x4\qquad \quad s.t.\begin{cases} \ \ \ {\color{red}{1}}y_1 +\ \ \ 2y_2+0y_3>=\ \ \ 3 \ \ \ \ \ \ \color{red}{x_1 } \\ \ \ \ {\color{red}{1}}y_1+\ \ \ 0y_2+1y_3<=\ \ \ 2 \ \ \ \ \ \ \color{red}{x_2 }\\ {\color{red}{-3}}y_1+\ \ \ 2y_2+1y_3 <=-4 \ \ \ \ \ \ \color{red}{x_3 }\\ \ \ \ {\color{red}{1}}y_1+-1y_2+1y_3 \ \ \ = \ \ \ 1 \ \ \ \ \ \ \color{red}{x_4 }\\ \end{cases} ()\qquad (约束方程)

    s.t.{   y10,y20,y3\qquad \quad s.t.\begin{cases} \ \ \ y_1{\color{red}{\geq}} 0, y_2\leq 0, y_3无约束 \\ \end{cases}    ()\qquad \qquad \quad \ \ \ (决策变量)
    本次变换得到min问题的一个约束方程: x1+x23x3+x410x_1+x_2-3x_3+x_4 \geq 10
    依次做变换进而可得

    s.t.{   1x1+1x23x3+1x410   2x1+0x2+2x31x48   0x1+1x2+1x3+1x4=6\qquad \quad s.t.\begin{cases} \ \ \ 1x_1+1x_2-3x_3+1x_4 \geq 10 \\ \ \ \ 2x_1+0x_2+2x_3-1x_4 \leq 8\\ \ \ \ 0x_1+1x_2+1x_3+1x_4 =6\\ \end{cases} ()\qquad (约束方程)

    第四步,求min问题的决策变量。在第一步中已经说过了,这一步等式关系反号。和哪个等式呢?
    s.t.{   1y1+   2y2+0y3     3      x1   1y1+   0y2+1y3     2      x23y1+   2y2+1y3  4    x3   1y1+1y2+1y3  =   1      x4\qquad \quad s.t.\begin{cases} \ \ \ 1y_1 +\ \ \ 2y_2+0y_3 \ \ {\color{red}{\geq}}\ \ \ 3 \ \ \ \ \ \ \color{red}{x_1 }\\ \ \ \ 1y_1+\ \ \ 0y_2+1y_3\ \ {\color{red}{\leq}} \ \ \ 2 \ \ \ \ \ \ \color{red}{x_2 }\\ -3y_1+\ \ \ 2y_2+1y_3 \ \ {\color{red}{\leq}} -4 \ \ \ \ \color{red}{x_3 }\\ \ \ \ 1y_1+-1y_2+1y_3 \ \ {\color{red}{=}} \ \ \ 1 \ \ \ \ \ \ \color{red}{x_4 } \\ \end{cases} ()\qquad (约束方程)

    就酱:

    s.t.{x10x20x30x4\qquad \quad s.t.\begin{cases} x_1\leq0 \\ x_2\geq0\\ x_3\geq0\\ x_4 无约束 \end{cases} ()\qquad (决策变量)

    综合一下:

    min   Z=3x1+2x24x3+x4min \ \ \ Z= 3x_1+2x_2-4x_3+x4
    s.t.{   1x1+1x23x3+1x410   2x1+0x2+2x31x48   0x1+1x2+1x3+1x4=6\qquad \quad s.t.\begin{cases} \ \ \ 1x_1+1x_2-3x_3+1x_4 \geq 10 \\ \ \ \ 2x_1+0x_2+2x_3-1x_4 \leq 8\\ \ \ \ 0x_1+1x_2+1x_3+1x_4 =6\\ \end{cases} ()\qquad (约束方程)
    s.t.{x10x20x30x4\qquad \quad s.t.\begin{cases} x_1\leq0 \\ x_2\geq0\\ x_3\geq0\\ x_4 无约束 \end{cases} ()\qquad (决策变量)

    min转max的问题与上述步骤类似,但是处理不等式关系反转的环节出现在第三步时(max转min是第四步)。

    展开全文
  • 对于基本优化目标的公式如何转化为对偶问题。 转化为对偶问题后对拉格朗日因子的求解,也就是SMO算法。 因此,本文分为三个部分来讲述SVM算法。 SVM【上】之形成优化目标 SVM【中】之转化对偶问题 SVM【下】之SMO...

    本文总结一下SVM(support vector machine)算法。

    学习SVM算法主要有三个难点:

    • 如何推导出基本的优化目标。(其中包括理解函数距离与几何距离)
    • 对于基本优化目标的公式如何转化为对偶问题。
    • 转化为对偶问题后对拉格朗日因子的求解,也就是SMO算法。

    因此,本文分为三个部分来讲述SVM算法。

    这是SVM【中】之转化对偶问题,重点理解对偶问题的转化.

    问题描述

    这节主要是对上节中的优化目标函数进行求解转化。上一节的优化问题为
    minw,b 12w2s.t.yi(wTxi+b)1 \underset{w,b}{\min}\ \frac{1}{2} ||w||^2\\ s.t.\quad y_i(w^Tx_i+b) \ge 1
    也就是在约束条件yi(wTxi+b)1y_i(w^Tx_i+b) \ge 1下,求使得minw,b 12w2\underset{w,b}{\min}\ \frac{1}{2} ||w||^2最小的参数w,bw,b. 注意是求参数w,bw,b,最小值是多少并不关心。

    广义拉格朗日函数

    对于求解如下约束的最优化问题即
    minx f(x)s.t.g(x)0 \underset{x}{\min}\ f(x)\\ s.t.\quad g(x) \le 0
    一般采用广义拉格朗日函数来求解,这里简单说明下广义拉格朗日函数。

    定义拉格朗日函数为
    L(x,λ)=f(x)+λg(x)(λ0) L(x,\lambda)=f(x)+\lambda g(x) \quad (其中\lambda \ge 0)
    对于我们的原最优化问题可以这样转化:
    minx f(x)s.t. g(x)0 minxmaxλ,λ0 L(x,λ) \underset{x}{\min}\ f(x)\quad s.t.\ g(x) \le 0\Leftrightarrow\ \underset{x}{\min}\underset{\lambda ,\lambda\ge0}{\max}\ L(x,\lambda)
    为什么呢?简单说明一下。

    首先再强调一下,原问题目标是f(x)f(x)的最小值,但它有个g(x)g(x)这个约束。必须是在这个约束下求最值。

    那么,

    1. 第一种情况是在L(x,λ)L(x,\lambda)中的g(x)g(x)不满足约束,即g(x)>0g(x) \gt 0.对于maxλ,λ0 L(x,λ)\underset{\lambda ,\lambda\ge0}{\max}\ L(x,\lambda) 这个式子,注意,这里xx当作常量,λ\lambda才是变量。它的最大值maxλ,λ0 L(x,λ)=+\underset{\lambda ,\lambda\ge0}{\max}\ L(x,\lambda)=+\infty. 然后对于任意xx是没有最小值的。反过来也就是说,如果求得了一个最小值,那它必然是满足约束条件g(x)g(x)的。
    2. 第二种情况是在L(x,λ)L(x,\lambda)中的g(x)g(x)满足约束条件,即g(x)0g(x) \le 0. 对于maxλ,λ0 L(x,λ)\underset{\lambda ,\lambda\ge0}{\max}\ L(x,\lambda) 这个式子,依然将xx看作常数,maxλ,λ0 L(x,λ)=f(x)+maxλ,λ0 λg(x)\underset{\lambda ,\lambda\ge0}{\max}\ L(x,\lambda)=f(x)+\underset{\lambda ,\lambda\ge0}{\max}\ \lambda g(x).其中因为λ0,g(x)0\lambda \ge 0,g(x) \le 0,所以maxλ,λ0 λg(x)=0\underset{\lambda ,\lambda\ge0}{\max}\ \lambda g(x)=0.即maxλ,λ0 L(x,λ)=f(x)\underset{\lambda ,\lambda\ge0}{\max}\ L(x,\lambda)=f(x).此时再两边将xx看作变量求最小值是相等的,也就是minxmaxλ,λ0 L(x,λ)=minxf(x)\underset{x}{\min}\underset{\lambda ,\lambda\ge0}{\max}\ L(x,\lambda)=\underset{x}{\min}f(x).

    一句话总结一下,对于minxmaxλ,λ0 L(x,λ)\underset{x}{\min}\underset{\lambda ,\lambda\ge0}{\max}\ L(x,\lambda)求得的最小值必然就是原问题满足约束的最小值

    对偶转化

    对于minxmaxλ,λ0 L(x,λ)\underset{x}{\min}\underset{\lambda ,\lambda\ge0}{\max}\ L(x,\lambda)问题,可以简单地看作是一个二元函数,先对其中一个自变量求最大值,再对另一个自变量求最小值。我们先不加证明的给出结论(左边是原始问题,右边是对偶问题):
    minxmaxλ,λ0 L(x,λ)maxλ,λ0minx L(x,λ) \underset{x}{\min}\underset{\lambda ,\lambda\ge0}{\max}\ L(x,\lambda) \ge \underset{\lambda ,\lambda\ge0}{\max}\underset{x}{\min}\ L(x,\lambda)
    啰嗦一句,(1)minxmaxλ,λ0 L(x,λ)\underset{x}{\min} \underset{\lambda ,\lambda\ge0}{\max}\ L(x,\lambda)是从右向左算,先算最大再算最小。(2)注意min或max下面对应变量才是自变量,其余变量在计算此时的最大或最小时可以看作常量。

    下面简单证明一下

    令原始问题的最优解为x0,λ0x_0,\lambda_0,即L(x0,λ0)=minxmaxλ,λ0 L(x,λ)L(x_0,\lambda_0)=\underset{x}{\min}\underset{\lambda ,\lambda\ge0}{\max}\ L(x,\lambda).

    令对偶问题的最优解为x1,λ1x_1,\lambda_1,即L(x1,λ1)=maxλ,λ0minx L(x,λ)L(x_1,\lambda_1)=\underset{\lambda ,\lambda\ge0}{\max}\underset{x}{\min}\ L(x,\lambda).

    因为L(x0,λ0)L(x_0,\lambda_0)是关于λ\lambda的最大值,所以对于任意λ\lambda,都有L(x0,λ0)L(x0,λ)L(x_0,\lambda_0) \ge L(x_0,\lambda). 那么L(x0,λ0)L(x0,λ1)L(x_0,\lambda_0) \ge L(x_0,\lambda_1).

    因为L(x1,λ1)L(x_1,\lambda_1)是关于xx的最小值,所以对于任意xx,都有L(x1,λ1)L(x,λ1)L(x_1,\lambda_1) \le L(x,\lambda_1). 那么L(x1,λ1)L(x0,λ1)L(x_1,\lambda_1) \le L(x_0,\lambda_1).

    所以,L(x0,λ0)L(x0,λ1)L(x1,λ1)L(x_0,\lambda_0) \ge L(x_0,\lambda_1) \ge L(x_1,\lambda_1).因此原始问题最值\ge对偶问题最值。

    可是,这里是\ge啊!又不是==.这又不完全等价转化。

    这里,不加证明地说明,只要满足KKT条件,那就可以完全转化,原始问题==对偶问题.那KKT条件是什么呢?KKT条件就是之前的约束都满足。即
    g(x)0λg(x)=0λ0 g(x) \le 0\\\lambda g(x)=0\\ \lambda \ge 0
    所谓转化为对偶问题,也即是转化为满足KKT条件的对偶问题,否则是不能完全等价转化的。

    回到SVM原始目标的转化上来

    我们定义拉格朗日函数
    L(w,b,α)=12w2+i=1mαi[1yi(wTxi+b)](αi0) L(w,b,\alpha)=\frac{1}{2}||w||^2+\sum_{i=1}^{m}\alpha_i[1-y_i(w^Tx_i+b)] \quad (其中\alpha_i \ge 0)
    其中,m是样本数量,这里就有m个约束,当然也就有m个拉格朗日因子。现在SVM原始目标转化为
    minw,bmaxα,α0 L(w,b,α) \underset{w,b}{\min}\underset{\alpha ,\alpha\ge0}{\max}\ L(w,b,\alpha)
    再转化为满足KKT条件的对偶问题(这里就直接写等号了)
    minw,bmaxα,α0L(w,b,α)=maxα,α0minw,bL(w,b,α)=maxα,α0minw,b12w2+i=1mαi[1yi(wTxi+b)] \underset{w,b}{\min}\underset{\alpha ,\alpha\ge0}{\max} L(w,b,\alpha)= \underset{\alpha ,\alpha\ge0}{\max} \underset{w,b}{\min} L(w,b,\alpha)= \underset{\alpha ,\alpha\ge0}{\max} \underset{w,b}{\min} \frac{1}{2}||w||^2+\sum_{i=1}^{m}\alpha_i[1-y_i(w^Tx_i+b)]
    KKT条件:
    αi01yi(wTxi+b)0αi[1yi(wTxi+b)]=0 \alpha_i \ge 0\\ 1-y_i(w^Tx_i+b) \le 0\\ \alpha_i[1-y_i(w^Tx_i+b)] = 0
    对于minw,b12w2+i=1mαi[1yi(wTxi+b)]\underset{w,b}{\min} \frac{1}{2}||w||^2+\sum_{i=1}^{m}\alpha_i[1-y_i(w^Tx_i+b)].这里将αi\alpha_i看作常量,可以通过求导令导数为0来算出极值点。(这也是为什么要转化为对偶问题,因为这里可以通过求导算极值点)。

    ww求导:
    w=wi=1mαiyixi=0w=i=1mαiyixi \nabla_w=w-\sum_{i=1}^{m}\alpha_iy_ix_i=0 \Rightarrow w^*=\sum_{i=1}^{m}\alpha_iy_ix_i
    bb求导:
    b=i=1mαiyi=0 \nabla_b=\sum_{i=1}^{m}\alpha_iy_i=0
    这里先将αi\alpha_i看作常量,假设我们已经求得了最终的αi\alpha_i,那么求得的ww^*就可以算出来了,因为αi,yi,xi\alpha_i,y_i,x_i都已知。如何求bb呢?注意到第三个KKT条件,当αi>0\alpha_i \gt 0时,(对应这个xix_i就是所谓的支持向量)那么ys(wTxs+b)=1y_s(w^Tx_s+b)=1.这里w已求出,只有b未知,所以bs=yswxs=ysi=1SαiyixiTxsb_s=y_s-w^*x_s=y_s-\sum_{i=1}^{S}\alpha_iy_ix_i^Tx_s.理论上,任意一个支持向量xsx_s都应该算出一样的b.但是这里一般求所以支持向量算出的bsb_s的平均值来表示最终的bb^*.即b=1Si=1Sbsb^*=\frac{1}{S}\sum_{i=1}^{S}b_s.(S表示共S个支持向量)。至于为什么呢?简单地说就是主要是求得的α\alpha并不是准确值,这得参考下一节用SMO来求解α\alpha的过程。

    我们将求得的ww^*带入maxα,α0minw,b12w2+i=1mαi[1yi(wTxi+b)]\underset{\alpha ,\alpha\ge0}{\max} \underset{w,b}{\min} \frac{1}{2}||w||^2+\sum_{i=1}^{m}\alpha_i[1-y_i(w^Tx_i+b)]中得到
    maxα,α0i=1mαi12i=1mj=1mαiαjyiyjxiTxj \underset{\alpha ,\alpha\ge0}{\max} \sum_{i=1}^{m}\alpha_i-\frac{1}{2}\sum_{i=1}^{m}\sum_{j=1}^{m}\alpha_i\alpha_jy_iy_jx_i^Tx_j
    转化为求最小,再将上面的约束加上,得到最终的优化问题(这个优化问题是由SMO算法来解决)
    minα,α012i=1mj=1mαiαjyiyjxiTxji=1mαis.t.i=1mαiyi=00αi \underset{\alpha ,\alpha\ge0}{\min} \frac{1}{2}\sum_{i=1}^{m}\sum_{j=1}^{m}\alpha_i\alpha_jy_iy_jx_i^Tx_j- \sum_{i=1}^{m}\alpha_i\\ s.t. \quad \sum_{i=1}^{m}\alpha_iy_i=0\\ 0 \le \alpha_i

    参考

    广义拉格朗日函数的理解

    简易解说拉格朗日对偶(Lagrange duality)

    展开全文
  • 我们很容易想到对f(w) 进行求导来解, 但是现在有约束条件,我们想到在高数中学习过带条件的极值该如何求,它是通过定义拉格朗日函数来求的。 构造拉格朗日函数为 考虑 x的函数 如果存在一个x,x不满足约束条件,...

    拉格朗日函数

    在这里插入图片描述

    原始问题

    在这里插入图片描述

    如果只是求
    在这里插入图片描述
    我们很容易想到对f(w) 进行求导来解, 但是现在有约束条件,我们想到在高数中学习过带条件的极值该如何求,它是通过定义拉格朗日函数来求的。

    构造拉格朗日函数为

    在这里插入图片描述在这里插入图片描述
    考虑 x的函数

    在这里插入图片描述
    如果存在一个x,x不满足约束条件,即存在 i 使 ci(x)>0 或者存在j使 hj(x) 不等于0 ,那么当 ci(x)>0时,我们可以使ai->+ ∞ ,或者hj(x) 不等于0时使βjhj(x)->+ ∞ 将其余的aij均取为0 那么就有
    在这里插入图片描述而如果所有的x都满足约束条件那
    在这里插入图片描述
    因为
    在这里插入图片描述在x满足约束条件的情况下 ,下面这一项为0
    在这里插入图片描述而所有的ci(x) 都小于 0 ,所有的 ai 都大于0
    在这里插入图片描述这一项是负数,我们通过调整ai来尽量使这一项趋近于0,那这时 L(x,a,β) 最大 等于 f(x).

    因此
    在这里插入图片描述
    所以如果考虑极小化问题

    在这里插入图片描述它是与原始最优化问题 等价的,即它们有相同的解。

    所以原始问题就转换为了

    在这里插入图片描述
    对偶问题

    在这里插入图片描述
    在这里插入图片描述
    原始问题与对偶问题的关系

    定理 若原始问题和对偶问题都有最优值 ,那么

    在这里插入图片描述证明如下
    在这里插入图片描述
    在这里插入图片描述由于原始问题和对偶问题均有最优值,则
    在这里插入图片描述所以

    在这里插入图片描述由上面我们可以得到原始问题的最优值 大于等于对偶问题的最优值。但是我们要通过对偶问题来求解原始问题,就必须使得原始问题的最优值与对偶问题的最优值相等,于是可以得出下面的推论

    设 x* 和 α* 和 β* 分别是原始问题 和对偶问题的可行解,并且 d* = p* , 则 x* 和 α* 和β* 分别是原始问题和对偶问题的最优解

    当原始问题和对偶问题的最优值相等: d* = p* 时,可以用求解对偶问题来求解原始问题。那么什么情况时 p* =d*?

    下面介绍两个定理

    定理 C.2 考虑原始问题和对偶问题 。假设函数 f(x) 和 ci(x) 是凸函数, hj(x) 是仿射函数;并且假设不等式约束 ci(x)是严格可行的, 即存在 x, 对所有 i 有 ci(x)<0 , 则存在 x* ,a* , β * , 使 x* 是原始问题的解, α*, ß* 是 对偶问题的解, 并且 p* =d* = L(x* , a* ,β*)

    定理 C.3 对原始问题 和对偶问题,假设函数 f(x) 和 ci(x)是凸函数,hj(x)是仿射函数,并且不等式约束ci(x) 是严格可行的,则 x* 和 α*,ß* 分别是原始问题和对偶问题的解的充分必要条件是 x* ,a* ,ß* 满足下面的 Karush-Kuhn-Thcker (KKT) 条件:
    在这里插入图片描述

    展开全文
  • 因为这里公式编辑不方便,为严谨,写在word上截图,图片边缘缺失的字,下面补上。 需要满足的条件。  线性组合。两个拉格朗日乘子不同的地方在于 ...如果反过来,如何对偶对偶回原来的目标式?
  • 约束条件下目标函数如何求最优化。比如两条线的拟合,比如分类。 这跟对偶啥关系呢? 对偶就是 min(max..)==max(min..) 这是强对偶,min(max..)>= max(min..)这是弱对偶。 最优不就是max 或者min,有时求...
  • ============================================== 本文根据Andrew NG的课程来梳理一下svm的思路。... 上小节,我们说到如何求该凸优化问题,高数中我们学过,可以利用拉格朗日乘子法,来求解有约束的问题。原问题
  • 一起学西瓜书06 支持向量机(对偶) 如何理解拉格朗日乘子法和KKT条件,可以看这篇文章 拉格朗日乘子法的简单介绍 ...除此之外,我们还需要知道一下极值点的求解,比如下面的问题方程与原点的最短距离 很明显,
  • 题意题解题意其实就是最小割。但是发现点数和边数都特别大,直接上最大流肯定T了。那么如何转换呢? 对于可以画在一个平面且没有边相交的图,我们称之为平面图。平面图中的边把平面分割为一个一个面,本题的面即...
  • 这样的问题的,那么如何解决呢,我觉得这篇知乎上的帖子写的很好,直接搬运过来了: 我们直接给出线性规划的标准型: ①初始基可行解的确定:先写出系数矩阵为 ,(非负条件不写在内)可见这个矩阵是53维的,根据上...
  • SVM 面试常见问题

    2020-06-03 10:10:35
    SVM 推导 SVM 原理 LR和SVM的差别 SVM的代价函数是什么 SVM有哪些降低模型复杂度的方法 SVM怎么分类的,有哪些核函数,如何优化SVM? svm常用核方法,并写出计算... svm中对偶以后用SMO,为什么不用梯度 ...
  • 上一篇:感知机模型原理和对偶形式与二分类问题及python实现 一元线性回归 对于一条直线y = kx + b来说,如果有两个已知的在直线上的数据点,那么我们可以直接用代数的方法(比如待定系数法)出直线的解析式。但是在...
  • 目录 什么是SVM 什么是间隔 线性可分SVM的学习思想 拉格朗日对偶性 学习的对偶算法 快捷键 Markdown及扩展 ...是一种分类模型,一个能使两类点分布在超平面两侧且间隔最大化的平面。...那么如何...
  • 支持向量机之核函数(三)

    千次阅读 2018-11-25 18:59:40
    在前两节中,我们探讨了线性可分情况...在求解对偶问题的过程中,将w,b转化为对对偶变量a的求解,下一节我们将探讨如何用SMO算法求解a。 但是在讲解SMO算法之前,我们将在本节中探讨SVM的精髓所在——核函数。 ...
  • SVM 复盘总结

    2018-11-01 17:09:49
    对偶问题求最最优: 怎么的SMO算法如何实现,先等着? 对α的解为: 根据KKT条件,求得w∗w^*w∗ 和b∗b^*b∗: KKT条件: 关注互补对偶条件如何得到的? 根据KKT条件,求得w∗w^*w...
  • 支持向量机—KKT条件 (二)

    千次阅读 2018-11-24 12:46:41
    在上一节支持向量机公式推导中,我们有一些公式只是给出了结果,却没有解释如何得来的,这一节我们将探讨在KKT条件下如何将原始问题转为对偶问题。 1、KKT条件 对于下图所示的不等式约束优化问题, 其KKT条件如...
  • 拉格朗日乘子法

    2018-10-24 12:01:10
    求解无约束的最优化问题,通常考虑的是,对其导数,比如梯度下降的梯度(沿反梯度方向下降最快),但是有时候我们会遇到有约束的最优化问题,我们该如何有效解决。**拉格朗日乘子法,就是通过将有约束的原问题转化为...
  • 支持向量机

    2020-06-28 01:09:56
    支持向量机 支持向量机(Support Vector Machine)是一种...对偶问题取最大间隔等价于怎样的对偶问题?KKT条件揭示出支持向量机的什么性质?如何用SMO算法进行高效求解?为什么SMO算法能高效求解? 核函数:如何处理
  • 前文已经推导出了原问题的对偶问题,那么如何求解它呢?比较好的方法就是利用SMO算法。 SMO 的基本思路是先固定向之外的所有参数,然后上的极值。由于存在约束条件,若固定以外的其它变量,则可由其它变量导出。...
  • 文章目录1.初探-SVM概念2....因为理解SVM牵涉的内容实在是太多了:分类函数,最大化分类间隔,凸二次规划,拉格朗日乘数法、原始问题与对偶问题的转换,KKT条件,SMO算法等等。。。这些内容其实可归为最优...
  • 一、间隔与支持向量 1、掌握公式 的推导过程: 2、什么是支持向量; 解:距离超平面最近的训练样本点使上式的等号成立,它们被称为“支持向量” ...解:利用拉格朗日乘子法得到其对偶问题,利用...
  • 首先把网格图按(i+j)%2黑白染色,连成二分图。则答案要求的就是此图的最大点...其实二分图最大点权独立集是二分图最小点权覆盖集的对偶问题。即是总权值-二分图最小点权覆盖集。 那么如何求二分图最小点权覆盖集呢?我
  • 微积分与线性代数小结1 微积分专题1.1 线性组合和复合函数的求导1.2 基本函数1.2 隐函数求导1.3 极限导数和原函数1.4 高阶多项式导数--...等价于求函数图形下的面积------》如何求各种函数图形下的面积? dx: 先理解
  • SVM——(四)目标函数求解

    千次阅读 2017-11-18 15:37:37
    在之前的两篇文章中[1][2]分别用两种方法介绍了如何求得目标优化函数,这篇文章就来介绍如何用拉格朗日对偶(Lagrange duality)问题以及SMO算法求解这一目标函数,最终得到参数。本文主要分为如下部分: 1.构造广义...
  • 接下来,我会讲一下,如何防止过拟合。所谓的过拟合即是由于设计的模型过于...要得到这个表达式,必须用拉格朗日对偶问题解出来。或者我们用另一个表达形式写出来解法:最后,还可以用奇异值分解的方法来表达这个the...
  • 问题 对一个平面无向图,最小割。 通俗理解 因为这是平面图,没有边相交,所以它的最小割,一定可以用铅笔画一条线,把图的S,T两点分在两边,使得铅笔线穿过的边权值最小。 于是可以建立把原图分为上下两...
  • **方展鹏 -《浅谈如何解决不平等博弈问题》** 姜碧野 -《SPFA算法的优化及应用》 **毛杰明 -《母函数的性质及应用》** 董华星 -《浅析字母树在信息学竞赛中的应用》 梅诗珂 -《信息学竞赛中概率问题求解初探》 ...

空空如也

空空如也

1 2 3
收藏数 44
精华内容 17
关键字:

如何求对偶问题