历经一个月，终于搞定了SVM(支持向量机)-附源代码解析

前言

其实整体算下来，断断续续的也得有快两个月了(原谅博主比较笨)。中间也有好几次放弃，不想写这篇总结了，但是之前立下的誓言，要将学习到的每一个机器学习算法写成博客总结，一方面呢，检验自己是否真的明白了，另一方面，也希望自己的理解能够帮助到一些人。
源码已上传到GitHub上，有需要的小伙伴自取：源码地址，如果有帮到你，不要吝啬你的小⭐⭐

随便唠唠

1.支持向量机名字由来

因为这个算法的关键点就是支持向量，那么，什么叫支持向量呢？ 就是离分割超平面(在二维中叫做分割线)最近的那些点。

看上面这个图，中间的实线就是分割超平面，两个虚线所经过的点就是支持向量。这时候大家可能又有疑问了，图b 和图c有什么区别呢？ 我们可以看到，图b分割虚线和实线之间的距离比较大，而图c分割虚线和实线之间的距离比较小。SVM要找的就是使间隔最大。

2. 为什么很多书籍和老师都说支持向量机比较难呢？

原理我们从面上很好理解，就是找到使支持向量与分割超平面距离最大的实线即可。但是具体的数学推导，就需要大量的数学方面的知识，比如拉格朗日函数、凸优化、KKT条件、对偶函数。这些知识本身不算太难，但是难点就在于你能不能完整的从头到尾将这个思路理下来，这里我指的是用笔把公式推导下来。我认为还是挺难的，最起码对我来说。之前跟着博客大佬推了一遍公式，两天没看，第三天就立刻忘记了推到思路了，以及里面的一些步骤为什么那么做。

网络上有很多真大佬，写的非常详细，推导过程，以及使用的理论讲的非常清楚，但是，我看完之后，我觉得，这种方式对我这种水平比较低的人来说，不太友好，来来回回看了不下五遍，愣是没有形成一个完整的思路。

所以，在这篇文章中，我想以我的角度，去给有同样困惑的人带来一些帮助。这篇文章不会给你解释数学原理，但是我会在文末给你提供相应知识的链接。

3. 读懂源代码对我们的理解帮助非常巨大

我之前在学习K-mean算法和逻辑回归的时候，认为只要懂算法思想就可以了，并且这些算法思想本身也不复杂。

但是在我学习SVM的时候，我发现，源代码对我的帮助太大了。我当时遇到的问题是，我能够将公式推导完毕，但是不知道如何将数学公式理论和实际代码工程相结合，我相信这不仅是我薄弱的地方，也是许多新人薄弱的地方。也许文字对于算法思路的描述能够让我们感受到原来如此，那么，源代码对于算法思路的描述，能够让我们恍然大悟。这篇文章，我就主要带大家关联源代码和数学公式。

4. 学习机器学习算法是不是只明白思想就行，需不需要动手去写代码实现一下？

很多人跟我的答案肯定是一样的，那就是需要去实现一下。

原因大概有两点：其一，我们需要更加深入的了解算法原理。我们学习算法的目的我们得搞清楚，也许我们是做工程，需要了解大量得算法，在具体项目中选择合适的算法；也许我们是做研究，需要了解算法思想以及其优缺点，对算法进行二次开发改进；再或许我们只是为了了解思想，利用这个思想去思考这个世界，无论你属于哪一个，都需要对算法有一个更加深入的了解。现在有很多现成的机器学习工具包，使用起来非常方便，如果你对实现细节不清楚的话，对于特殊问题，就无法根据现有的算法接口进行定制化修改。

其二，提高我们的工程能力。所谓的工程能力，就是从原来一个想法，到最终实现的一个过程。有人说，我是搞研究的，只需要明白原理，不用写太多。那你告诉我，为什么公司招的都是算法工程师呢？即便是你去研究所工作，没有一定的工程能力，也是会有很大劣势的。

支持向量机公式推导

一、推导

我们单独拿出来图b

我们前面也说过了，我们需要找的就是使d值最大的的分割超平面。

首先超平面公式[见参1]：

w 为法向量，b为截距，法向量指向的一侧为正类，另一侧为负类。

分类决策函数公式：

函数间隔公式[见参2]：

函数间隔体现的是分类的正确性，如果h>0,表示分类正确，如果h<0，表示分类错误。同时也体现着数据点到超平面的远近。

几何间隔公式[见参2]：

几何间距体现的点到超平面的距离，这里和图中支持向量到超平面距离d的一样的。

我们同时将w和b等比例变化，超平面并没有发生改变。比如3w和3b。此时函数间隔也会相应的扩大3倍，但是对于几何间隔来讲，并没有发生改变。

我们要获得最大间隔，就需要几何间距达到最大：

前面我们提到，等比例变换w和b，超平面并不会发生改变，但是函数间隔会发生改变。此时，我们令函数间隔h=1，此时公式变为：

等价于：

等价的原因是求解这两个式子的目标都是一样的。

2. 推导

在推导1中，我们推导出了需要求解的公式，除了公式，它还有一些限定条件：

这里限定条件为函数间隔要≥1.原因是当函数间隔=1时，当前的数据点是距离超平面最近的点，这些点就是支持向量。所以，我们的数据点要满足，所有点的函数距离要≥1，也就是我们前面给定的1.。

如何把条件和公式结合在一块呢？这里用到了拉格朗日函数。我们使用拉格朗日乘子将条件和公式写到一起：

λ为拉格朗日乘子，λ≥0.

这里拉格朗日函数有一个性质，就是对偶性，根据对偶性，原始问题L的对偶问题为其极大极小问题

即 ：

接下来我们对

进行计算：

将计算结果带入到式子中：

接下来计算

我们上面的计算先放在这里，我们先说一下KKT条件

前面我们使用了对偶函数来求解问题的解，但是原问题和对偶问题需要满足一定的条件才能等价，这个条件，就叫做KKT条件

上述公式用在我们这里应该是这样的：

我们将上面的式子整理一下：

接着我们重写之前的分类决策公式**【源代码公式1】**：

3.推导-引入松弛变量

为什么要引入松弛变量？

答：很多数据集都是线性不可分的数据集，这意味着我们无法通过一个线性分类器(超平面)去实现数据的分类。同时，也就不能满足函数间隔大于等于1的约束条件（这个条件的前提数据是线性可分的），于是我们引入一个变量，这个变量就叫所松弛变量，去解决这个问题，具体解决办法看下面的公式。

我们令松弛变量为ε。

我们的公式约束函数和公式可修改为：

这里C称之为惩罚参数，当C的值很大时，对误分类的惩罚就越大。

然后改进后的拉格朗日函数是：

紧接着我们进行极大极小对偶问题处理：

最终化简形式为：

4. 推导3-SMO算法

SMO算法是现在运行速度非常快的强大算法，用于训练SVM。

它的主要思路：

1. 每次循环中选择两个λ进行优化处理，一旦找到一对满足条件的λ，那么就增大其中一个同时减小另外一个。
2. 这里的条件指的是 两个λ在间隔边界之外，而第二个条件是两个λ没有进行过处理。

根据条件，我们可写出下面的式子：

当y1≠y2,λ1+λ2=d

当y1=y2,λ1-λ2=d

由此我们可以先画出一个图：

由于我们不知道d的取值，所以，有我们画出了两条线，分别对应着d>0和d<0的情况。

我们设初始可行解为
，,最优解为

，
我们需要对

进行条件约束，根据不等式条件和图中两种不同的等式条件。

我们设

，由此可得出以下两种范围**【源代码公式2】**：

可能大家不理解为什么能写成这样，下面我用一张图来解释一下：

图中我们能够看到，由于我们不知道d的值的正负，所以会出现图中的情况。

对于y1≠y2：

三个绿圈是我们可以取的值，但是为了满足这两种情况和不等式条件的要求，我们取这两种情况的交集，所以，针对下限L，我们取绿点中最大的即

对于上限H，我们取灰色点中的最小值，即

对于y1=y2，同理，这里我就不拿图来再次说明了，直接给出结论了：

对于下限L，我们的取值范围是

对于上限H，我们的取值范围是

接下来，又到了公式推导的时候了，大家挺住！

我们前面选出了两个λ，进行修改，那么，对于相对于这两个λ来讲，其他的λ就是常数了，我们可以对下面公式进行二次推导：

接下来，我们根据λ1和λ2的等式关系，消除掉λ1：

为了方便，我们令y1d=a,y1y2=b

此时，

（这个b和前面决策函数式子中得b不是一回事，我的一个失误，所以，将前面得b在后面以b*的形式出现，大家见谅。）

将我们上面得到的关系带入到w公式中：

还记得我们前面的任务吗？

所以，此时我们对

进行求导：

紧接着，我们根据这个等式可以提出来lλ2：

接着，我们先设几个数(你要是问我为什么设，我只能告诉你是半猜的，根据式子的形式)【源代码公式3】：

然后，我们对λ2的等式进行带入化简**【源代码公式4】**：

之后呢，我们对它进行修剪，使用我们之前设定了L和H**【源代码公式5】**：

接着，我们根据来求解λ1的新值**【源代码公式6】**：

求出来了λ之后，我们接下来要求解b*。

根据KKT条件，我们能够得出以下结论：

在我们完成两个变量的更新之后，当λ满足第二种条件时，则有**【源代码公式7】**：

由于我们对于λ满足条件也是假设，所以对于b也会进行一些处理**【源代码公式8】**：

好了，到这里，整个公式全部推导完毕，终于完事了。如果大家有什么问题，欢迎博客底下留言。

支持向量机源代码分析

我们先来看一张源代码输出得图片：

中间蓝线就是分割超平面，图中带有红圈得是支持向量，也就是距离超平面最近得数据点。

注：代码中使用得alphas来替代λ

1. 随机选择另一个alphas

def selectJrand(i, m):
    j = i                                 #选择一个不等于i的j
    while (j == i):
        j = int(random.uniform(0, m))
    return j

这里我们通过随机数得方式，选取一个与i不相等得数。

2. 修剪λ

def clipAlpha(aj,H,L):
    if aj > H:
        aj = H
    if L > aj:
        aj = L
    return aj

3. 主函数

def smoSimple(dataMatIn, classLabels, C, toler, maxIter):#
    #转换为numpy的mat存储
    dataMatrix = np.mat(dataMatIn); labelMat = np.mat(classLabels).transpose()#转置成列向量
    #初始化b参数，统计dataMatrix的维度
    b = 0; m,n = np.shape(dataMatrix)# m=100,n=2
    #初始化alpha参数，设为0
    alphas = np.mat(np.zeros((m,1)))# 100个alpha
    #初始化迭代次数
    iter_num = 0
    #最多迭代matIter次
    while (iter_num < maxIter):
        alphaPairsChanged = 0 #用于记录alpha是否已经进行优化
        for i in range(m):
            #步骤1：计算误差Ei
            #此公式为分类决策公式
            fXi = float(np.multiply(alphas,labelMat).T*(dataMatrix*dataMatrix[i,:].T)) + b
            #print("fXi:",fXi)
            Ei = fXi - float(labelMat[i])#误差
            #优化alpha，更设定一定的容错率。
            if ((labelMat[i]*Ei < -toler) and (alphas[i] < C)) or ((labelMat[i]*Ei > toler) and (alphas[i] > 0)):
                #随机选择另一个与alpha_i成对优化的alpha_j
                j = selectJrand(i,m)
                #步骤1：计算误差Ej
                fXj = float(np.multiply(alphas,labelMat).T*(dataMatrix*dataMatrix[j,:].T)) + b
                Ej = fXj - float(labelMat[j])
                #保存更新前的aplpha值，使用深拷贝
                alphaIold = alphas[i].copy(); alphaJold = alphas[j].copy();
                #步骤2：计算上下界L和H
                if (labelMat[i] != labelMat[j]):
                    L = max(0, alphas[j] - alphas[i])
                    H = min(C, C + alphas[j] - alphas[i])
                else:
                    L = max(0, alphas[j] + alphas[i] - C)
                    H = min(C, alphas[j] + alphas[i])
                if L==H: print("L==H"); continue

                #步骤3：计算eta，即η。
                eta = dataMatrix[i,:]*dataMatrix[i,:].T +dataMatrix[j,:]*dataMatrix[j,:].T-2.0 * dataMatrix[i,:]*dataMatrix[j,:].T
                if eta == 0: print("eta=0"); continue
                #步骤4：更新alpha_j
                alphas[j] += labelMat[j]*(Ei - Ej)/eta
                #步骤5：修剪alpha_j
                alphas[j] = clipAlpha(alphas[j],H,L)
                #abs 函数  返回数字的绝对值
                if (abs(alphas[j] - alphaJold) < 0.00001): print("alpha_j变化太小"); continue
                #步骤6：更新alpha_i
                alphas[i] += labelMat[j]*labelMat[i]*(alphaJold - alphas[j])
                #步骤7：更新b_1和b_2
                b1 = b - Ei- labelMat[i]*(alphas[i]-alphaIold)*dataMatrix[i,:]*dataMatrix[i,:].T - labelMat[j]*(alphas[j]-alphaJold)*dataMatrix[i,:]*dataMatrix[j,:].T
                b2 = b - Ej- labelMat[i]*(alphas[i]-alphaIold)*dataMatrix[i,:]*dataMatrix[j,:].T - labelMat[j]*(alphas[j]-alphaJold)*dataMatrix[j,:]*dataMatrix[j,:].T
                #步骤8：根据b_1和b_2更新b
                if (0 < alphas[i]) and (C > alphas[i]): b = b1
                elif (0 < alphas[j]) and (C > alphas[j]): b = b2
                else: b = (b1 + b2)/2.0
                #统计优化次数
                alphaPairsChanged += 1
                #打印统计信息
                print("第%d次迭代 样本:%d, alpha优化次数:%d" % (iter_num,i,alphaPairsChanged))
        #更新迭代次数
        if (alphaPairsChanged == 0): iter_num += 1
        else: iter_num = 0
        print("迭代次数: %d" % iter_num)
    return b,alphas

看着特别长，没关系，咱们慢慢说：

1. 方法参数分别为数据集、类别标签、常数C、容错率、最大循环数
2. 首先我们初始化alphas和b。
3. 接下来一个while循环，循环最大次数就是参数maxIter
4. 然后我们使用一个变量alphaPairsChanged来控制alphas是否进行优化
5. fXi为分类决策公式，对应得公式为【源代码公式1】
6. 接着我们求解误差E，对应公式为【源代码公式2】
7. 通过我们设定得条件，误差值得绝对值是否大于我们参数中得容错率和alpha的取值
8. 随机选择一个不等于i的数j
9. 接着往下，通过if语句，来对下限L和上限H进行赋值
10. 计算eta，也就是我们公式中的η，对应的是公式为【源代码公式3】
11. 更新alpha[ j ],对应的公式为【源代码公式4】
12. 紧接着对alpha[ j ]进行修剪，对应【源代码公式5】
13. 更新alpha[ i ]的值，对应公式为【源代码公式6】
14. 更新b1、b2的值，对应公式为【源代码公式7】
15. 根据b1、b2更新b，对应公式为【源代码公式8】

基本上到这里就全部结束了，非常感谢大家能够耐心的看完，如果有需要完整源代码，请在博客底下留言。第一次写这么长的文章，如哪里有不合适的地方，欢迎大家批评指正。

参考资料：

1. 超平面公式推导
2. 《统计学习方法 第二版》 p133
3. 支持向量机原理篇之手撕线性SVM
4. 如何理解超平面？
5. 《机器学习实战》

支持向量机(support vector machine, SVM)：是监督学习中最有影响力的方法之一。类似于逻辑回归，这个模型也是基于线性函数w^Tx+b的。不同于逻辑回归的是，支持向量机不输出概率，只输出类别。当w^Tx+b为正时，支持向量机预测属于正类。类似地，当w^Tx+b为负时，支持向量机预测属于负类。

支持向量机的一个重要创新是核技巧(kernel trick)。核技巧观察到许多机器学习算法都可以写成样本间点积的形式。例如，支持向量机中的线性函数可以重写为：

其中，x⁽ⁱ⁾是训练样本，α是系数向量。学习算法重写为这种形式允许我们将x替换为特征函数Ø(x)的输出，点积替换为被称为核函数(kernel function)的函数k(x,x⁽ⁱ⁾)= Ø(x)•Ø(x⁽ⁱ⁾)。运算符•表示类似于Ø(x)^TØ(x⁽ⁱ⁾)的点积。对于某些特征空间，我们可能不会书面地使用向量内积。在某些无限维空间中，我们需要使用其他类型的内积，如基于积分而非加和的内积。

使用核估计替换点积之后，我们可以使用如下函数进行预测：

这个函数关于x是非线性的，关于Ø(x)是线性的。α和f(x)之间的关系也是线性的。核函数完全等价于用Ø(x)预处理所有的输入，然后在新的转换空间学习线性模型。

核技巧十分强大有两个原因：首先，它使我们能够使用保证有效收敛的凸优化技术来学习非线性模型(关于x的函数)。这是可能的，因为我们可以认为Ø是固定的，仅优化α，即优化算法可以将决策函数视为不同空间中的线性函数。其二，核函数k的实现方法通常比直接构建Ø(x)再算点积高效很多。

在某些情况下，Ø(x)甚至可以是无限维的，对于普通的显示方法而言，这将是无限的计算代价。在很多情况下，即使Ø(x)是难算的，k(x,x’)却会是一个关于x非线性的、易算的函数。

支持向量机不是唯一可以使用核技巧来增强的算法。许多其他的线性模型也可以通过这种方式来增强。使用核技巧的算法类别被称为核机器(kernel machine)或核方法(kernel method)。

核机器的一个主要缺点是计算决策函数的成本关于训练样本的数目是线性的。因为第i个样本贡献α_ik(x,x⁽ⁱ⁾)到决策函数。支持向量机能够通过学习主要包含零的向量α，以缓和这个缺点。那么判断新样本的类别仅需要计算非零α_i对应的训练样本的核函数。这些训练样本被称为支持向量(support vector)。

当数据集很大时，核机器的计算量也会很大。

在机器学习中，支持向量机(support vector machine，常简称为SVM，又名支持向量网络)是在分类与回归分析中分析数据的监督式学习模型与相关的学习算法。给定一组训练实例，每个训练实例被标记为属于两个类别中的一个或另一个，SVM训练算法创建一个将新的实例分配给两个类别之一的模型，使其成为非概率二元线性分类器。SVM模型是将实例表示为空间中的点，这样映射就使得单独类别的实例被尽可能宽的明显的间隔分开。然后，将新的实例映射到同一空间，并基于它们落在间隔的哪一侧来预测所属类别。

除了进行线性分类之外，SVM还可以使用所谓的核技巧有效地进行非线性分类，将其输入隐式映射到高维特征空间中。

当数据未被标记时，不能进行监督式学习，需要用非监督式学习，它会尝试找出数据到簇的自然聚类，并将新数据映射到这些已形成的簇。将支持向量机改进的聚类算法被称为支持向量聚类，当数据未被标记或者仅一些数据被标记时，支持向量聚类经常在工业应用中用作分类步骤的预处理。

动机：分类数据是机器学习中的一项常见任务。 假设某些给定的数据点各自属于两个类之一，而目标是确定新数据点将在哪个类中。对于支持向量机来说，数据点被视为p维向量，而我们想知道是否可以用(p-1)维超平面来分开这些点。这就是所谓的线性分类器。可能有许多超平面可以把数据分类。最佳超平面的一个合理选择是以最大间隔把两个类分开的超平面。因此，我们要选择能够让到每边最近的数据点的距离最大化的超平面。如果存在这样的超平面，则称为最大间隔超平面，而其定义的线性分类器被称为最大间隔分类器，或者叫做最佳稳定性感知器。

定义：更正式地来说，支持向量机在高维或无限维空间中构造超平面或超平面集合，其可以用于分类、回归或其他任务。直观来说，分类边界距离最近的训练数据点越远越好，因为这样可以缩小分类器的泛化误差。尽管原始问题可能是在有限维空间中陈述的，但用于区分的集合在该空间中往往线性不可分。为此，有人提出将原有限维空间映射到维数高得多的空间中，在该空间中进行分离可能会更容易。为了保持计算负荷合理，人们选择适合该问题的核函数 k(x,y)来定义SVM方案使用的映射，以确保用原始空间中的变量可以很容易计算点积。高维空间中的超平面定义为与该空间中的某向量的点积是常数的点的集合。定义超平面的向量可以选择在数据基中出现的特征向量x_i的图像的参数α_i的线性组合。通过选择超平面，被映射到超平面上的特征空间中的点集x由以下关系定义：Σ_iα_ik(x_i,x)=constant。注意，如果随着y逐渐远离x，k(x,y)变小，则求和中的每一项都是在衡量测试点x与对应的数据基点x_i的接近程度。这样，上述内核的总和可以用于衡量每个测试点相对于待分离的集合中的数据点的相对接近度。

应用：(1)、用于文本和超文本的分类，在归纳和直推方法中都可以显著减少所需要的有类标的样本数；(2)、用于图像分类。实验结果显示：在经过三到四轮相关反馈之后，比起传统的查询优化方案，支持向量机能够获取明显更高的搜索准确度。这同样也适用于图像分区系统，比如使用Vapnik所建议的使用特权方法的修改版本SVM的那些图像分区系统；(3)、用于手写字体识别；(4)、用于医学中分类蛋白质，超过90%的化合物能够被正确分类。基于支持向量机权重的置换测试已被建议作为一种机制，用于解释的支持向量机模型。支持向量机权重也被用来解释过去的SVM模型。

线性SVM：考虑以下形式的n点测试集：(x’₁,y₁),…,(x’_n,y_n)，其中y_i是1或者-1，表明点x’_i所属的类。x’₁中每个都是一个p维实向量。我们要求将y_i=1的点集x’₁与y_i=-1的点集分开的”最大间隔超平面”，使得超平面与最近的点x’_i之间的距离最大化。任何超平面都可以写作满足下面方程的点集x’：w’•x’-b=0，其中w’(不必是归一化的)是该法向量。参数b/‖w’‖决定从原点沿法向量w’到超平面的偏移量。

硬间隔：如果这些训练数据是线性可分的，可以选择分离两类数据的两个平行超平面，使得它们之间的距离尽可能大。在这两个超平面范围内的区域称为”间隔”，最大间隔超平面是位于它们正中间的超平面。这些超平面可以由方程族：w’•x’-b=1或是w’•x’-b=1来表示。通过几何不难得到这两个超平面之间的距离是2/‖w’‖，因此要使两平面间的距离最大化，我们需要最小化‖w’‖。同时为了使得样本数据点都在超平面的间隔区以外，我们需要保证对于所有的i满足其中的一个条件：w’•x’-b≥1,若y_i=1 或是 w’•x’-b≤1, 若y_i=-1。这些约束表明每个数据点都必须位于间隔的正确一侧。这两个式子可以写作：y_i(w’•x’-b) ≥1, for all 1≤i≤n。可以用这个式子一起来得到优化问题：”在y_i(w’•x’-b)≥1条件下，最小化‖w’‖，对于i=1,…,n”。这个问题的解w’与b决定了我们的分类器x’→sgn(w’•x’-b)。此几何描述的一个显而易见却重要的结果是，最大间隔超平面完全是由最靠近它的那些x’_i确定的，这些x’_i叫做支持向量。

软间隔：为了将SVM扩展到数据线性不可分的情况，我们引入铰链损失函数：max(0,1- y_i(w’•x’-b))。当约束条件y_i(w’•x’-b)≥1, for all 1≤i≤n满足时(也就是如果x’_i位于边距的正确一侧)此函数为零。对于间隔的错误一侧的数据，该函数的值与距间隔的距离成正比。然后我们希望最小化：

其中参数λ用来权衡增加间隔大小与确保x’_i位于间隔的正确一侧之间的关系。因此，对于足够小的λ值，如果输入数据是可以线性分类的，则软间隔SVM与硬间隔SVM将表现相同，但即使不可线性分类，仍能学习出可行的分类规则。

用于找到SVM分类器的最近的算法包括次梯度下降和坐标下降。当处理大的稀疏数据集时，这两种技术已经被证明有着显着的优点：当存在许多训练实例时次梯度法是特别有效的，并且当特征空间的维度高时，坐标下降特别有效。

SVM属于广义线性分类器的一族，并且可以解释为感知器的延伸。它们也可以被认为是提克洛夫规范化的特例。它们有一个特别的性质，就是可以同时最小化经验误差和最大化几何边缘区;因此它们也被称为最大间隔分类器。

参数选择：SVM的有效性取决于核函数、核参数和软间隔参数C的选择。通常会选只有一个参数γ的高斯核。C和γ的最佳组合通常通过在 C 和γ为指数增长序列下网格搜索来选取。通常情况下，使用交叉验证来检查参数选择的每一个组合，并选择具有最佳交叉验证精度的参数。或者，最近在贝叶斯优化中的工作可以用于选择C和γ，通常需要评估比网格搜索少得多的参数组合。或者，贝叶斯优化的最近进展可以用于选择C和γ，通常需要计算的参数组合比网格搜索少得多。然后，使用所选择的参数在整个训练集上训练用于测试和分类新数据的最终模型。

SVM的潜在缺点包括以下方面：需要对输入数据进行完全标记、未校准类成员概率、SVM仅直接适用于两类任务，因此，必须应用将多类任务减少到几个二元问题的算法；解出的模型的参数很难理解。

多元分类支持向量机：SVM算法最初是为二值分类问题设计的，实现多分类的主要方法是将一个多分类问题转化为多个二分类问题。常见方法包括”一对多法”和”一对一法”，一对多法是将某个类别的样本归为一类,其他剩余的样本归为另一类，这样k个类别的样本就构造出了k个二分类SVM；一对一法则是在任意两类样本之间设计一个SVM。

实现：最大间隔超平面的参数是通过求解优化得到的。有几种专门的算法可用于快速解决由SVM产生的QP(Quadratic programming,二次规划)问题，它们主要依靠启发式算法将问题分解成更小、更易于处理的子问题。另一种方法是使用内点法，其使用类似牛顿法的迭代找到卡罗需-库恩-塔克条件下原型和对偶型的解。这种方法不是去解决一系列分解问题，而是直接完全解决该问题。为了避免求解核矩阵很大的线性系统，在核技巧中经常使用矩阵的低秩近似。另一个常见的方法是普莱特的序列最小优化算法(SMO)，它把问题分成了若干个可以解析求解的二维子问题，这样就可以避免使用数值优化算法和矩阵存储。

线性支持向量机的特殊情况可以通过用于优化其类似问题逻辑回归的同类算法更高效求解；这类算法包括次梯度下降法和坐标下降法。

一般的核SVM也可以用次梯度下降法更快求解，在允许并行化时求解速度尤其快。

支持向量机(SVM)是一项功能强大的分类和回归技术，可最大化模型的预测准确度，而不会过度拟合训练数据。SVM特别适用于分析预测变量字段非常多的数据。

SVM的工作原理是将数据映射到高维特征空间，这样即使数据不是线性可分，也可以对该数据点进行分类。找到类别之间的分隔符，然后以将分隔符绘制成超平面的方式变换数据。之后，可用新数据的特征预测新记录所属的组。除了类别之间的分隔线，分类SVM模型还会查找用于定义两个类别之间的空间的边际线。位于边距上的数据点称为支持向量。两个类别之间的边距越宽，模型在预测新记录所属的类别方面性能越佳。为了增加边界的宽度，可以接受少量的误分类。

支持向量机是基于统计学习理论和结构风险最小化(Structual Risk Minimization, SRM)原则发展出的一种新的通用学习方法。支持向量机使用间隔最大化的学习策略，通过寻找定义的特征空间中的最大的分类间隔，实现对不同类别的准确分类。对于非线性情况，可以通过核函数映射的方式将其转化为线性分类。相比其它传统学习算法，SVM算法能够有效避免局部最优解和维数灾难的问题。

SVM是在统计学习理论基础上提出的机器学习方法，它建立在VC维理论(Vapnik-Chervonenkis Dimension，在统计学习理论中，VC维反映了函数集的实际学习能力，VC维越大，则学习机器越复杂。另外，VC维还影响学习机的泛化能力)和结构风险最小化原理基础上，且根据有效样本信息寻求在模型复杂度与学习能力之间的最佳折中，达到最小的实际风险。通过引入核函数，其能很好的解决线性不可分的问题，从而对不同数据集都有很好的效果。

若超平面可以直接将训练集中的样本分开，则这种分类问题为线性可分问题。在分类器中，样本分别位于超平面的两边，不会出现混叠，这样得到的SVM分类器被称之为硬间隔(hardmargin)线性支持向量机。当面对非线性的情况时，支持向量机处理的方法是选择核函数，通过核函数将其训练样本映射到高维空间中，从而在高维空间中求得最佳的超平面。使用核函数的好处是，在获得最优超平面的同时，其计算量并没有比原来复杂很多。

非线性分类中常见的核函数包括：齐次多项式、非齐次多项式、双曲正切、高斯核(Gaussiankernel)、线性核、径向基函数(radialbasis function, RBF)核和、Sigmoid核。

SVM算法在对非线性、小样本、高维数的问题解决上有较大的优势。

核函数的机理就是将原始非线性的样本通过非线性映射映射至高维特征空间，使得在新的空间里样本线性可分，进而可用线性样本的分类理论解决此类问题。

OpenCV和libsvm库中都提供了支持SVM的相关接口。

以上内容主要摘自：《深度学习中文版》 和  维基百科 

GitHub：https://github.com/fengbingchun/NN_Test