机器学习正则化笔记概要

正则化（regularization）是用于抑制过拟合的方法的统称，它通过动态调整估计参数的取值来降低模型的复杂度，以偏差的增加为代价来换取方差的下降。

在线性回归里，最常见的正则化方式就是在损失函数（loss function）中添加正则化项（regularizer），而添加的正则化项 R(λ) 往往是待估计参数的 p- 范数。将均方误差和参数的范数之和作为一个整体来进行约束优化，相当于额外添加了一重关于参数的限制条件，避免大量参数同时出现较大的取值。由于正则化的作用通常是让参数估计值的幅度下降，因此在统计学中它也被称为系数收缩方法（shrinkage method）。

总结起来:利用贝叶斯概率来确定最优参数的步骤可以归纳如下：求解的对象是已知训练数据时，测试数据的条件概率 p(y∗|y)，要计算这个条件概率就要对所有未知的参数和超参数进行积分，以消除这些变量。

而在已知的数据和未知的超参数之间搭起一座桥梁的，正是待估计的参数 w，它将 p(y∗|y) 的求解分解成两部分，一部分是根据已知数据推断参数，另一部分是根据参数推断未知数据。

而在根据已知数据推断参数时，又要先推断超参数，再利用超参数和数据一块儿推断参数。对超参数的推断则可以通过边际似然概率简化。

正则化的作用是抑制过拟合，通过增加偏差来降低方差，提升模型的泛化性能；

正则化项的作用是对解空间添加约束，在约束范围内寻找产生最小误差的系数；

频率视角下的正则化与贝叶斯视角下的边际化作用相同；

边际化对未知的参数和超参数进行积分以消除它们的影响，天然具有模型选择的功能。

5.7正则化

上次我们提到模型对训练数据过度的优化拟合，使模型能够很好的对训练数据进行拟合，但却对测试数据的预测或者分类效果很差，这种状态被称为过拟合。一般过度增加函数的次数会导致过拟合的情况。我们有哪些方法可以避免过拟合的情况呢？一般情况下：

1. 增加全部训练数据的训练量
2. 使用简单的模型
3. 正则化

我们知道机器学习是从数据中学习的，所以足够的训练数据最重要。其次简单的模型也有助于防止过拟合的情况。我们现在需要着重介绍的是正则化的方法：

首先我们要理解使用正则化产生的效果。我们知道无论回归还是分类，参数θ是对模型的拟合产生影响的最主要因素，一般模型的过拟合就是由于参数的影响过大。而正则化的效果就是防止参数的影响过大，在训练时对参数施加的一些“惩罚”，让参数对模型的影响变小一点，从而达到防止过拟合的效果。

5.7.1回归的正则化

我们现在对这个新的目标函数进行最小化，这种方法称为正则化。正则项里的m表示正则化的对象参数的个数，θ0被称为偏置项，一般不对θ0正则化，所以j的取值是从1开始的。举个例子，假设预测函数的表达式为f(x)=θ0+θ1x+θ2x2,那么m=2就是表示正则化的对象参数为θ1和θ2。而λ是决定正则化影响程度的正的常数，这个值需要我们根据情况自己决定，后面会再提及。

只看表达式不容易理解正则化是如何防止过拟合的，我们可以结合图来理解：

我们首先把新组合成的目标函数拆开：

我们将这两个函数分别画出来后再加起来看看，不过参数过多的话就画不出图来了，所以假设f(x)=θ0+θ1x，而且为了方便理解，先不考虑λ，或令λ＝1。在将回归的时候我们提到过这个目标函数C(θ)开口向上，所以我们假设一个开口向上的函数即可，R(θ)是一个标准的二次函数表达式1/2*θ12。则将两个函数的图形画出，如图5-7-2所示：

 

图5-7-2

新的目标函数是这两个函数之和E(θ)=C(θ)+R(θ)，如何画出E(θ)的图形呢？我们这里只需要将C(θ)和R(θ)在横坐标θ1上各点的值相加映射到坐标轴上即可，如图5-7-3所示：

 

图5-7-3

本来目标函数在θ1=4.5处最小，加上正则项后，现在θ1=0.9处最小，我们可以发现θ1跟接近0了。这个就是正则化的效果，它可以防止参数变得过大，有助于参数接近最小的值。虽然我们只考虑了θ1，但是其它θj参数的情况也是类似的。参数的值变小了，那么意味着该参数的影响也会相应的变小。比如有这样的一个预测函数f(x)=θ0+θ1x+θ2x2。极端一点，假设θ2=0了，那么表达式就从二次变成了一次了。这正是通过减小不需要的参数的影响，将复杂的模型替换为简单的模型来防止过拟合的方式。之前提到的λ就是控制正则化惩罚强度的一个正的常数，是根据实际情况来决定的，如λ=0时相当于不使用正则化，反过来λ越大正则化的惩罚就越厉害。

5.7.2分类的正则化

分类的正则化与回归的正则化类似，就是在目标函数的基础上增加正则项。我们之前提到过逻辑回归的目标函数是对数似然函数：

 

我们只需要在这个目标函数的基础上增加正则项就可以了，但是对数似然函数是以最大化为目标，我们要把它变成和回归的目标函数一样处理最小化问题，所以前面加一个负号即可：

5.7.3 包含正则项表达式的微分

刚才我们把回归的目标函数分成C(θ)和R(θ)。这是新的目标函数的形式，我们要对它进行微分：E(θ)=C(θ)+R(θ)。由于是加法，所以我们对各部分进行偏微分：

 

首先对第一部分进行微分，具体微分步骤如下图5-7-4。

图5-7-4

所以，第一部分微分表达式如下：

先对第一个部分即原目标函数进行微分，微分具体步骤如图5-7-5：

图5-7-5

之前提到考虑的是最小化问题，所以在前面加上负号，所以将括号内的数进行反转：

 

刚才我们已经求过R(θ)的微分了，直接使用即可。与回归的正则化一样，θ0不参与正则化，所以要将参数的更新表达式“分段”：

 

这就是我们要求的逻辑回归正则化的参数更新表达式了。

我们这里讲的正则化方法其实叫L2正则化，除了L2正则化，还有一个叫L1正则化，L1正则化项是这样的：

 

虽然有两种正则化方法，但是我们可以根据实际情况来进行选择。L1正则化的特征是被判定为不需要的参数会变为0，从而减少变量的个数，而L2正则化不会把参数变为0。换句话说，L2正则化会抑制参数，使变量影响不会太大，而L1会直接去除不要的变量。

既然知道了正则化的表达式，我们就很好理解代码了，下面是应用正则化和没有使用正则化的对比：

import numpy as np

import matplotlib.pyplot as plt

# 真正的函数

def g(x):

    return 0.1 * (x ** 3 + x ** 2 + x)

# 随意准备一些向真正的函数加入了一点噪声的训练数据

train_x = np.linspace(-2, 2, 8)

train_y = g(train_x) + np.random.randn(train_x.size) * 0.05

# 标准化

mu = train_x.mean()

sigma = train_x.std()

def standardize(x):

    return (x - mu) / sigma

train_z = standardize(train_x)

# 创建训练数据的矩阵

def to_matrix(x):

    return np.vstack([

        np.ones(x.size),

        x,

        x ** 2,

        x ** 3,

        x ** 4,

        x ** 5,

        x ** 6,

        x ** 7,

        x ** 8,

        x ** 9,

        x ** 10

    ]).T

X = to_matrix(train_z)

# 参数初始化

theta = np.random.randn(X.shape[1])

# 预测函数

def f(x):

    return np.dot(x, theta)

# 目标函数

def E(x, y):

    return 0.5 * np.sum((y - f(x)) ** 2)

# 正则化常量

LAMBDA = 0.5

# 学习率

ETA = 1e-4

# 误差

diff = 1

# 重复学习（不应用正则化）

error = E(X, train_y)

while diff > 1e-6:

    theta = theta - ETA * (np.dot(f(X) - train_y, X))

    current_error = E(X, train_y)

    diff = error - current_error

    error = current_error

theta1 = theta

# 重复学习（应用正则化）

theta = np.random.randn(X.shape[1])

diff = 1

error = E(X, train_y)

while diff > 1e-6:

    reg_term = LAMBDA * np.hstack([0, theta[1:]])

    theta = theta - ETA * (np.dot(f(X) - train_y, X) + reg_term)

    current_error = E(X, train_y)

    diff = error - current_error

    error = current_error

theta2 = theta

# 绘图确认

plt.plot(train_z, train_y, 'o')

z = standardize(np.linspace(-2, 2, 100))

theta = theta1 # 未应用正则化

plt.plot(z, f(to_matrix(z)), linestyle='dashed')

theta = theta2 # 应用正则化

plt.plot(z, f(to_matrix(z)))

plt.show()

运行结果如下：

 

截图和代码引自《白话机器学习的数学》

 

1  正则化

正则化（regularization）是结构风险最小化策略的实现，是在经验风险上加一个正则化项（regularizer）或罚项(penalty term)。正则化项一般是模型复杂度的单调递增函数，模型越复杂，正则化值就越大。比如，正则化项可以是模型参数向量的范数。

正则化一般具有如下形式：                     

                

其中，第一项是经验风险，第二项是正则化项，λ是调整经验风险和正则化间的系数，称为正则化系数。

正则化项可以取不同的形式。例如，回归问题中，损失函数是平方损失，正则化项可以是参数向量的L2范数：

这里，||w||2表示参数向量w的L2范数，L2范数为向量w中各个元素的平方和。

正则化项也可以是参数向量的L1范数：

这里， ||w||1表示参数向量w的L1范数，L1范数为数向量w中各个元素的绝对值之和。

第1项的经验风险较小的模型可能较复杂（有多个非零参数），这时第2项的模型复杂度会较大。正则化的作用是选择经验风险与模型复杂度同时较小的模型。

正则化符合奥卡姆剃刀（Occam's razor）原理。奥卡姆剃刀原理应用于模型选择时变为以下想法：在所有可能选择的模型中，能够很好地解释已知数据并且十分简单才是最好的模型，也就是应该选择的模型。从贝叶斯估计的角度来看，正则化项对应于模型的先验概率。可以假设复杂的模型有较小的先验概率，简单的模型有较大的先验概率。

      在机器学习回归问题中如果我们的模型是：         

可以从之前的事例中看出，正是那些高次项导致了过拟合的产生，所以如果我们能让这些高次项的系数接近于0的话，我们就能很好的拟合了。

1.1     正则化项参数λ的选择

在训练模型的过程中，一般会使用一些正则化方法来防止过拟合。但是我们可能会正则化的程度太高或太小了，即我们在选择λ的值时也需要思考与选择多项式模型次数类似的问题。

选择一系列的想要测试的λ值，通常是0-10之间的呈现2倍关系的值(如：0,0.01、0.02、0.04、0.08、0.15、0.32、0.64、1.28、2.56、5.12、0共12个)。把数据分为训练集、交叉验证集和测试集。

选择λ的方法为：

1、 使用训练集训练出12个不同程度正则化的模型；

2、 用12个模型分别对交叉验证集计算得到交叉验证误差；

3、  选择交叉验证误差最小的模型；

4、运用步骤3中选出模型对测试集计算得出推广误差，我们也可以同时将训练集和交叉验证集模型的代价函数误差与λ的值绘制在一张图表上。

 

当λ较小时，训练集误差较小（过拟合）而交叉验证集误差较大。

随着λ的增加，训练集误差不断增加（欠拟合），而交叉验证集误差则是先减小后增加。

1.2   正则化分类

正则化分为L1正则化和L2正则化，具体表达式如下图所示。

在逻辑回归模型中，L1正则化模型亦称为LASSO回归；L2正则化模型亦称为岭回归。

1.3    正则化的演化

优化函数：

1.4     L1与L2正则化的选择

L1/L2范数让模型变得稀疏，加了模型的可解析性。但L1范数的稀疏性强，因此，L1正则化可用于特征选择。

L2范数让模型变得更简单，经常用于防止过拟合问题。

L1正则化比L2正则化更容易得到稀疏解，因此，L1与L2正则化的选择有：

1.5    正则化的直观理解

1、上面正则化演化中提到L1正则化有助于生成一个稀疏权值矩阵，进而可以用于特征选择。为什么要生成一个稀疏矩阵？

稀疏矩阵指的是很多元素为0，只有少数元素是非零值的矩阵，即得到的线性回归模型的大部分系数都是0。通常机器学习中特征数量很多，例如文本处理时，如果将一个词组（term）作为一个特征，那么特征数量会达到上万个（bigram）。在预测或分类时，那么多特征显然难以选择，但是如果代入这些特征得到的模型是一个稀疏模型，表示只有少数特征对这个模型有贡献，绝大部分特征是没有贡献的，或者贡献微小（因为它们前面的系数是0或者是很小的值，即使去掉对模型也没有什么影响），此时我们就可以只关注系数是非零值的特征。这就是稀疏模型与特征选择的关系。

2、 为什么L1正则化可以产生稀疏模型

（L1是怎么让系数等于零的）假设有如下带L1正则化的损失函数：

L1正则化

类似，假设有如下带L2正则化的损失函数：

通用可以画出它在二维平面的图形，如下图所示;

L2正则化

3、为什么L2正则化可以防止过拟合？

拟合过程中通常都倾向于让权值尽可能小，最后构造一个所有参数都比较小的模型。因为一般认为参数值小的模型比较简单，能适应不同的数据集，也在一定程度上避免了过拟合现象。可以设想一下对于一个线性回归方程，若参数很大，那么只要数据偏移一点点，就会对结果造成很大的影响；但如果参数足够小，数据偏移得多一点也不会对结果造成什么影响，专业一点的说法是『抗扰动能力强』。

那为什么L2正则化可以获得值很小的参数？

最开始也提到L1正则化一定程度上也可以防止过拟合。之前做了解释，当L1的正则化系数很小时，得到的最优解会很小，可以达到和L2正则化类似的效果。

1.6    优缺点

提高了模型的泛化能力，但损失了模型的精度。

1.7    应用

在监督性机器学习中，每个模型基本用到正则化项，就以线性模型为例，则有：

1、    线性回归中的正则化

线性回归的代价函数J(θ)表达式如下：

正则化后，代价函数J(θ)表达式如下，注意j从1开始：

我们的目标依然是求J(θ)最小值，我们还是用梯度下降算法和正规方程求解最小化J(θ)。

1)        梯度下降算法(注意需要区分θ0和其它参数的更新等式)

2)        正规方程

2、逻辑回归中的正则化

和线性回归模型类型相似，逻辑回归也可以通过正则化来解决过拟合问题。逻辑回归的代价函数J(θ)表达式如下：

2  改进算法性能的方法

之前讲过，当你运行一个学习算法时，如果这个算法的表现不理想，那么多半是出现两种情况：要么是偏差比较大，要么是方差比较大。

若交叉验证集或测试集误差远大于训练集误差时，模型的方差较大，处于过拟合状态。模型过拟合时，可使用L2正则化来减少过拟合。当增大正则化系数λ时，则对模型参数以大的惩罚，减少模型的复杂度，减缓模型的过拟合。当正则化系数λ增加过大时，模型处于欠拟合状态。此时，可以适当的调整正则化系数λ，即减少λ以避免欠拟合。因此，我们可以通过以下方法来解决偏差与方差及过拟合问题，从而提高算法的性能。

3  参考资料

[1].《机器学习》   ---周志华

[2].《统计学习方法》---李航

[3]. DeepLearning.ai笔记

[4]. https://blog.csdn.net/jinping_shi/article/details/52433975

[5].https://blog.csdn.net/zouxy09/article/details/24971995