@创建于：2022.05.27
@修改于：2022.05.27

1、过拟合与欠拟合

机器学习中模型的泛化能力强的模型才是好模型。对于训练好的模型：

• 若在训练集表现差，不必说在测试集表现同样会很差，这可能是欠拟合导致；
• 若模型在训练集表现非常好，却在测试集上差强人意，则这便是过拟合导致的。

过拟合与欠拟合也可以用 Bias 与 Variance 的角度来解释：

• 欠拟合会导致高 Bias
• 过拟合会导致高 Variance

所以模型需要在 Bias 与 Variance 之间做出一个权衡。

2、欠拟合

2.1 出现的原因

使用的模型复杂度过低
使用的特征量过少
【其他的，如果您知道，请告诉我！感谢】

2.2 解决的办法

1、对于机器学习

• 增加新特征，可以考虑加入进特征组合、高次特征，来增大假设空间
• 添加多项式特征，这个在机器学习算法里面用的很普遍，例如将线性模型通过添加二次项或者三次项使模型泛化能力更强
• 减少正则化参数，正则化的目的是用来防止过拟合的，但是模型出现了欠拟合，则需要减少正则化参数
• 使用非线性模型，比如核SVM 、决策树、深度学习等模型
• 调整模型的容量(capacity)，通俗地，模型的容量是指其拟合各种函数的能力。对于神经网络，这在很大程度上取决于它有多少神经元以及它们如何连接在一起。
• 容量低的模型可能很难拟合训练集；使用集成学习方法，如Bagging ,将多个弱学习器Bagging

2、对于深度学习
欠拟合的原因以及解决办法（深度学习）

• 对原始数据做归一化处理，这个会加速模型的收敛
• 减少使用正则化，减少的dropout
• 增加单层的神经元个数，加深网络层次
• 正确使用激活函数

3、过拟合

3.1 出现的原因

1、对于机器学习

• 建模样本选取有误，如样本数量太少，选样方法错误，样本标签错误等，导致选取的样本数据不足以代表预定的分类规则

• 样本噪音干扰过大，使得机器将部分噪音认为是特征从而扰乱了预设的分类规则

• 假设的模型无法合理存在，或者说是假设成立的条件实际并不成立
  参数太多，模型复杂度过高

• 对于决策树模型，如果我们对于其生长没有合理的限制，其自由生长有可能使节点只包含单纯的事件数据(event)或非事件数据(no event)，使其虽然可以完美匹配（拟合）训练数据，但是无法适应其他数据集

2、对于神经网络模型

• a)对样本数据可能存在分类决策面不唯一，随着学习的进行，BP算法使权值可能收敛过于复杂的决策面；
• b)权值学习迭代次数足够多(Overtraining)，拟合了训练数据中的噪声和训练样例中没有代表性的特征

3.2 解决的办法

• 正则化（Regularization）（L1和L2）
• 数据扩增，即增加训练数据样本（Data augmentation）
• Dropout
• Early stopping
• 降低模型复杂度
• 使用交叉验证

4. Early stopping

深度学习入门四----过拟合与欠拟合

在训练期间验证损失(validation loss)可能会开始增加，为了防止这种情况，在验证损失(validation loss)不再减少时停止训练。以这种方式中断训练称为early stopping。

一旦检测到验证损失开始再次上升，可以将权重重置为最小值出现的位置。这可确保模型不会继续学习噪声和过度拟合数据。

提前停止训练也意味着不太可能在网络完成学习信号之前过早停止训练。所以除了防止过拟合训练时间过长之外，提前停止还可以防止欠拟合训练时间不够长。只需将您的训练时期设置为一个较大的数字（比您需要的多），早期停止将处理其余部分。

5、Dropout

深度学习入门五----Dropout and Batch Normalization
过拟合的原因以及解决办法（深度学习）
在训练的每一步随机丢弃层输入单元的一部分，使网络更难学习训练数据中的那些虚假模式。相反，它必须搜索广泛的、通用的模式，其权重模式往往更加稳健。

6、L1 和 L2 正则化

L1正则化就是在loss function后边所加正则项为L1范数，加上L1范数容易得到稀疏解（0比较多）。L2正则化就是loss function后边所加正则项为L2范数的平方，加上L2正则相比于L1正则来说，得到的解比较平滑（不是稀疏），但是同样能够保证解中接近于0（但不是等于0，所以相对平滑）的维度比较多，降低模型的复杂度。

7、参考资料

机器学习防止欠拟合、过拟合方法
欠拟合和过拟合出现原因及解决方案

深度学习入门四----过拟合与欠拟合
深度学习入门五----Dropout and Batch Normalization

欠拟合的原因以及解决办法（深度学习）
过拟合的原因以及解决办法（深度学习）

机器学习中正则化项L1和L2的直观理解
L1正则化与L2正则化

1.过拟合与欠拟合

  过拟合：
  是指学习时选择的模型所包含的参数过多，以至于出现这一模型对已知数据预测的很好，但对未知数据预测得很差的现象。这种情况下模型可能只是记住了训练集数据，而不是学习到了数据特征。
  欠拟合：
  模型描述能力太弱，以至于不能很好地学习到数据中的规律。产生欠拟合的原因通常是模型过于简单。

  我们要知道机器学习的根本问题是解决优化和泛化的问题。
  优化:
  是指调节模型以在训练数据上得到最佳性能。
  泛化:
  是指训练好的模型在前所未见的数据(测试集)上的性能好坏。

2.应对过拟合

2.1最优方案

  获取更多的训练数据。只要给足够多的数据，让模型学习尽可能多的情况，它就会不断修正自己，从而得到更好的结果。就类似于当初参加高考的你，训练数据就类比是你在刷题，当你刷了非常非常多的题，并学会他们的特征，那么你应对高考则是游刃有余了。

  如何获取更多数据，可以有以下几个方法：

   1. 从数据源头获取更多数据。
   2. 根据当前数据集估计数据分布参数，使用该分布产生更多数据：这个一般不用，因为估计分布参数的过程也会代入抽样误差。
   3. 数据增强（Data Augmentation）：通过一定规则扩充数据。如在物体分类问题里，物体在图像中的位置、姿态、尺度，整体图片明暗度等都不会影响分类结果。我们就可以通过图像平移、翻转、缩放、切割等手段将数据库成倍扩充。

  但是获取到有效的数据往往是非常困难的，代价很大（所以在多数情况下不使用此方案）。那么有没有代价适中，又可以解决过拟合的方案呢？

2.1次优方案

  调节模型允许存储的信息量或者对模型允许存储的信息加以约束，该类方法也称为正则化。即：

   1. 调节模型大小
   2. 约束模型权重，即权重正则化（在机器学习中一般使用 L2正则化）
   3. 随机失活（Dropout）

2.1.1L2正则化

  总损失：
$$L(W)=\underbrace{\frac{1}{N}\sum _i{L}_i\left(f\left(x_i,W\right),y_i\right)}+\underbrace{\lambda R(W)}$$
                数据损失       权重正则损失
  L2正则损失 :
$$R(W)=\sum _k\sum _l{W}_{k,l}^2$$
  L2正则损失对于大数值的权值向量进行严厉惩罚，鼓励更加分散的权重向量，使模型倾向于使用所有输入特征做决策，此时的模型泛化性能好！

2.1.2Dropout 随机失活

  随机失活：让隐层的神经元以一定的概率不被激活。
  实现方式：训练过程中，对某一层使用Dropout，就是随机将该层的一些输出舍弃(输出值设置为0），这些被舍弃的神经元就好像被网络删除了一样。
  随机失活比率（ Dropout ratio）：是被设为 0 的特征所占的比例，通常在 0.2～0.5范
围内。

  例:

假设某一层对给定输入样本的返回值应该是向量：[0.2, 0.5, 1.3, 0.8, 1.1]。
使用Dropout后，这个向量会有几个随机的元素变成：[0, 0.5, 1.3, 0, 1.1]

  Dropout是通过遍历神经网络每一层的节点，然后通过对该层的神经网络设置一个 Dropout ratio(随机失活比率)，即该层的节点有Dropout ratio的概率失活。以这种方式“dropped out”的神经元既不参与前向传播，也不参与反向传播。
 
  随机失活为什么能够防止过拟合呢？
  解释1：
  随机失活使得每次更新梯度时参与计算的网络参数减少了，降低了模型容量，所以能防止过拟合。
  解释2：
  随机失活鼓励权重分散，从这个角度来看随机失活也能起到正则化的作用，进而防止过拟合。
总的来说通过Dropout每次输入一个样本，就相当于该神经网络就尝试了一个新的结构，但是所有这些结构之间共享权重。因为神经元不能依赖于其他特定神经元而存在，所以这种技术降低了神经元复杂的互适应关系。正因如此，网络需要被迫学习更为鲁棒的特征（泛化性更强）。
  

  训练时使用随机失活，测试时怎么办？
  测试时不使用随机失活，而是计算所有权重，如下图所示

p=0.5 #p是神经元保持激话概率
def train(X):
	H1 = np.maximum(0,np.dot(W1,X) + b1)
	U1 = np.random.rand(*H1.shape) < p #第一层的mask 
	H1 *= U1 #第一层dropout操作
	H2 = np.maximun(0,np.dot(W2,H1) + b2)
	U2 = np.random.rand(*H2.shape) < p #第二层的mask
	H2 *= U2#第二层dropout操作
	out = np.dot(W3,H2) + b3
def predict(X):
	H1 = np.maximum(0,np.dot(W1,X) + b1) * p
	H2 = np.maximun(0,np.dot(W2,H1) + b2) * p
	out = np.dot(W3,H2) + b3

3.应对欠拟合

3.1解决方案：

  欠拟合的情况比较容易克服，解决方法有：

   1. 增加新特征，可以考虑加入进特征组合、高次特征，来增大假设空间。
  2. 添加多项式特征，这个在机器学习算法里面用的很普遍，例如将线性模型通过添加二次项或者三次项使模型泛化能力更强。
   3. 减少正则化参数，正则化的目的是用来防止过拟合的，但是模型出现了欠拟合，则需要减少正则化参数。
   4. 使用非线性模型，比如核SVM 、决策树、深度学习等模型 。
   5. 调整模型的容量(capacity)，通俗地，模型的容量是指其拟合各种函数的能力。
   6. 容量低的模型可能很难拟合训练集；使用集成学习方法，如Bagging ,将多个弱学习器Bagging。

本文首发于 AI柠檬博客，原文链接：机器学习：过拟合与欠拟合问题 | AI柠檬

过拟合（overfitting）与欠拟合（underfitting）是统计学中的一组现象。过拟合是在统计模型中，由于使用的参数过多而导致模型对观测数据（训练数据）过度拟合，以至于用该模型来预测其他测试样本输出的时候与实际输出或者期望值相差很大的现象，。欠拟合则刚好相反，是由于统计模型使用的参数过少，以至于得到的模型难以拟合观测数据（训练数据）的现象。

我们总是希望在机器学习训练时，机器学习模型能在新样本上很好的表现。过拟合时，通常是因为模型过于复杂，学习器把训练样本学得“太好了”，很可能把一些训练样本自身的特性当成了所有潜在样本的共性了，这样一来模型的泛化性能就下降了。欠拟合时，模型又过于简单，学习器没有很好地学到训练样本的一般性质，所以不论在训练数据还是测试数据中表现都很差。我们形象的打个比方吧，你考试复习，复习题都搞懂了，但是一到考试就不会了，那是过拟合；如果你连复习题都还没搞懂，更不用说考试了，那就是欠拟合。所以，在机器学习中，这两种现象都是需要极力避免的。

举一个简单的例子吧，我们来看一下下面这一张图。我们有一些数据样本，大致呈二次函数形式，可以看出，用二次函数来做回归拟合是最合适的。如果我们不呢？比如，我们用最高次为6次的函数来拟合，我们可能会得到如图左边那样的曲线，显然，这并不是我们想要的模型，它把个别数据的偶然偏差也当成了共性而完美拟合了进去；或者我们用线性的函数来拟合它，我们可以得到大概如右图的函数直线，这显然没有很好的拟合训练样本数据，更不用说测试数据了。

（过拟合与欠拟合示意图）

相对来说，欠拟合比较容易解决。如果是统计回归模型，我们只需要增加模型的参数就可以了，原来是线性模型，那么现在改为二次模型就行，原来是线性回归，现在改为二次回归即可。如果是神经网络模型，我们可以通过增加网络的层数和每一层的神经元数目即可，尤其是增加网络层数的效果更好。如果你现在不知道神经网络是什么东东也不要紧，只要你能理解统计回归就行。但是过拟合就不是那么简单的了。

关于在神经网络方面的欠拟合问题的解决方法请查看：
深度学习：欠拟合问题的几种解决方案

发生过拟合说到底还是训练数据与训练参数的比例太小而导致的，所以，我们可以通过增加数据量或者适当减小参数数量来解决。增加训练数据量是根据大数定理，当数据量足够大时，训练模型会无限逼近实际，而减小参数数量则是人工根据模型的需要，剔除那些跟得到模型不太相关的参数来实现。但是如果我们无法增加数据量或者这些参数都是有用的不能去除怎么办？

还有办法，那就是正则化（Regularization），这也是常用的一种方法。通常，为了防止过拟合，我们都会在目标方程中添加一个正则项（regularization term），且通过正则因子（或“正则化参数”，英文：Regularization Coefficient或Regularization Parameter）λ来平衡目标方程与正则项。比如，在对数几率回归（Logistic Regression）中，我们可以对其代价函数（Cost Function）和其梯度函数进行正则化，如下图：

正则化后的代价函数：

正则化后的梯度函数： 

在相应的MATLAB代码文件CostFunction.m中，我们将其中的内容改写为如下代码：

function [J, grad] = CostFunction(theta, X, y)
m = length(y); % 训练样本数
J = 0;
grad = zeros(size(theta));

theta_1=[0;theta(2:end)];    % 先把theta(1)拿掉，不参与正则化
lambda = 1;    % 正则因子
J = sum(-y .* log(sigmoid(X * theta)) - (1 - y) .* log(1 - sigmoid(X * theta)) )/m  + lambda/(2*m) * theta_1' * theta_1;
grad = (X' * (sigmoid(X * theta) - y))/m + lambda/m * theta_1;

end

加入了正则项之后，我们明显可以发现训练之后的代价值(cost)明显增加，这说明之前的模型一定程度上出现了过拟合现象。比如，我们上次的那个对数几率回归2里面的模型，同样还是使用梯度下降，经过训练后代价值变为0.3492，θ参数变成[-1.5586; 1.4058; 1.2670]。

你一定很好奇，为什么正则化可以防止过拟合呢？很多讲者并没有过多提及，而很多人的文章上也表示其原理不容易明白。简单地理解就是，通过加入一个正则项，在最小化新的代价函数的时候，正则项使得预测值与真实值之间的误差并不会达到最小，也就是说它是不会去完美拟合的，这样也就防止了过拟合，提高了机器学习模型的泛化能力。

一种最常用的正则化技术是权重衰减，通过加入的正则项对参数数值进行衰减，得到更小的权值。对于一些本身权重就很小的参数来说，其本身对结果的影响微乎其微，尤其是λ较大的时候，正则项的加入使得其几乎衰减到零，相当于去掉了这一项特征，类似于减少特征维度。当然了，式子中一项减少，正则化使得其他项的权值可能还会有所增加。而当 λ 较小时，我们会得到相对来说更小一些的代价函数值，而此时拟合的会更精细一些。

更确切的来说，根据吴恩达教授在斯坦福大学机器学习公开课中的讲解，我们来用多项式拟合来说，如果我们只需要到二次项就可以了，如果还有更高次项的话，加入正则项，相当于减小参数的大小，因为是更高次的项的出现导致了过拟合，那么我们就减小它们使其趋近于0就好了。所以，我们修改代价函数，对3次项4次项乃至更高次的项加入正则项，给予机器学习模型一些惩罚。不论是线性回归还是对数几率回归，我们可以对每一项都加入正则项来惩罚，不过根据惯例，我们不对θ0进行惩罚。

如果我们令λ的值很大的话，为了使 Cost Function 尽可能的小，所有的 θ 的值（不包括 θ0）都会在一定程度上减小。不过我们要选一个合适的正则化参数λ，太大的话，使得参数都接近于零，只剩下θ0，又会出现欠拟合。至于具体选择什么值，我们可以通过多尝试几次来确定，如果你有更好的想法，欢迎在下面评论中跟我讨论。

过拟合问题与欠拟合问题是一组很重要的机器学习问题，这是你在今后的机器学习实验中会经常遇到的。正则化是解决过拟合问题的法宝，掌握正则化这一方法是非常重要的。当你学会线性回归、对数几率回归、使用梯度下降法和正则化方法之后，你就已经掌握了丰富的机器学习知识，可以用这些知识来做一些机器学习产品。

 本文首发于 AI柠檬博客，原文链接：机器学习：过拟合与欠拟合问题 | AI柠檬

如果你想学习更多机器学习的内容，欢迎访问AI柠檬博客~