目录
 
1 含义
 
2 期望泛化误差公式推导
 
3 权衡偏差与方差：
 
4 解决高偏差与高方差
 
参考
 

学习算法的预测误差, 或者说泛化误差(generalization error)可以分解为三个部分: 偏差(bias), 方差(variance) 和噪声(noise). 在估计学习算法性能的过程中, 我们主要关注偏差与方差. 因为噪声属于不可约减的误差 (irreducible error).
 
1 含义
 
1.1 偏差
 
        偏差又称为表观误差，是指个别测定值与测定的平均值之差，它可以用来衡量测定结果的精密度高低。在统计学中，偏差可以用于两个不同的概念，即有偏采样与有偏估计。一个有偏采样是对总样本集非平等采样，而一个有偏估计则是指高估或低估要估计的量 。
 
        偏差公式：
 
          
 
        在统计学中常用来判定测量值是否为坏值。精密度是指一样品多次平行测定结果之间的符合程度，用偏差表示。偏差越小，说明测定结果精密度越高。
 
       （测量数据服从正态分布）根据正态分布我们知道，测量值范围在 概率为0.6827。在的概率是0.997。也就是说，如果测量值的范围不在之上，那么可以判定它是坏值，应当舍去。（x表示测量的平均值，σ表示偏差）
 
 
 
        右边公式说明：表示标准误差估算值，也相当于标准误差。
 
 
        偏差系数：
 
        标准差与变量及期望值的大小有关，项目比较时，若某一项目的期望值及标准差均比其他项目大，不能简单地认为标准差大的项目风险就一定大，还应进一步用两者的相对指标进行分析和比较，该相对指标即偏差系数。
 
        偏差分为绝对偏差和相对偏差、标准偏差和相对平均偏差来表示。
 
1. 绝对偏差：是指某一次测量值与平均值的差异。
 
2. 相对偏差：是指某一次测量的绝对偏差占平均值的百分比。
 
3.标准偏差：是指统计结果在某一个时段内误差上下波动的幅度。统计学名词。一种量度数据分布的分散程度之标准，用以衡量数据值偏离算术平均值的程度。标准偏差越小，这些值偏离平均值就越少，反之亦然。标准偏差的大小可通过标准偏差与平均值的倍率关系来衡量。
 
4.平均偏差：是指单项测定值与平均值的偏差（取绝对值）之和，除以测定次数。
 
5.相对平均偏差：是指平均偏差占平均值的百分率。平均偏差和相对平均偏差都是正值。
 
偏差与误差：
 
        误差是测量值与真值之间的差值。用误差衡量测量结果的准确度，用偏差衡量测量结果的精密度；误差是以真实值为标准，偏差是以多次测量结果的平均值为标准。
 
        误差与偏差的含义不同，必须加以区别。但是由于在一般情况下，真实值是不知道的(测量的目的就是为了测得真实值)，因此处理实际问题时常常在尽量减小系统误差的前提下，把多次平行测量值当作真实值，把偏差当作误差。
 
1.2 偏差和方差
 
偏差bias：期望输出与真实标记的差别称为偏差。 
方差variance：不同的训练数据集训练出的模型的输出值之间的差异，它表示了模型的稳定程度。比如，要预测一个给定点的值，用n份有差异的数据集训练，训练了n个模型，结果这n个模型对该点的预测值的差异浮动很大，此时该模型的variance就偏高了。
 
 
假设红色的靶心区域是学习算法完美的正确预测值, 蓝色点为每个数据集所训练出的模型对样本的预测值, 当我们从靶心逐渐向外移动时, 预测效果逐渐变差。
 
很容易看出有两副图中蓝色点比较集中, 另外两幅中比较分散, 它们描述的是方差的两种情况. 比较集中的属于方差小的, 比较分散的属于方差大的情况。
 
再从蓝色点与红色靶心区域的位置关系, 靠近红色靶心的属于偏差较小的情况, 远离靶心的属于偏差较大的情况。
 
解释： 
 
 左上（图1）：是一种低偏差低方差模型。表现出来就是，模型的预测效果很好，并且模型比较健壮（稳定）。
 
 右上（图2）：是一种低偏差高方差模型。表现出来就是，模型的预测效果很好，但是模型不稳定，预测结果比较发散。  
 
左下（图3）：是一种高偏差低方差模型。表现出来就是，模型的预测效果不好，但是模型比较健壮（稳定），预测结果比较集中。
 
 右下（图4）：是一种高偏差高方差模型。表现出来就是，模型的预测效果不好，并且模型不稳定。
 
小结：  
 
偏差，是描述数据跟我们的期望的偏差，算是“有监督的”，需要人的知识参与的指标。
 
方差，是描述数据分散程度的，算是“无监督的”客观的指标；
 
2 期望泛化误差公式推导
 
有了直观感受以后, 下面来用公式推导泛化误差与偏差与方差, 噪声之间的关系.
 
符号
涵义
x
测试样本
D
数据集
yD
x 在数据集中的标记
y
x 的真实标记
f
训练集 D 学得的模型
f(x;D)
由训练集 D 学得的模型 f 对 x 的预测输出
f¯(x)
模型 f 对 x 的 期望预测 输出
（1）泛化误差
 
以回归任务为例, 学习算法的平方预测误差期望为:
 
 
（2）偏差
 
期望预测与真实标记的误差称为偏差(bias), 为了方便起见, 我们直接取偏差的平方:
 
 
（3）方差
 
在一个训练集 D上模型 f 对测试样本 x 的预测输出为 f(x;D), 那么学习算法 f 对测试样本 x 的 期望预测 为:
 
 
上面的期望预测也就是针对 不同 数据集 D, f 对 x 的预测值取其期望, 也被叫做 average predicted 。
 
使用样本数相同的不同训练集产生的方差为:
 
 
（4）噪声
 
噪声为真实标记与数据集中的实际标记间的偏差:
 
 
（5）对算法的期望泛化误差进行分解:
 
 
蓝色部分是对上面对应的等价替换, 然后对其展开后；红色部分刚好为 0。
 
第一个红色部分是因为；第二个红色部分是因为噪声期望为0。
 
对最终的推导结果稍作整理：
 
 
即：期望泛化误差=偏差^2+方差+固有噪音
 
 
偏差.
 
偏差度量了学习算法的期望预测与真实结果的偏离程序, 即 刻画了学习算法本身的拟合能力 .
 
 
方差.
 
方差度量了同样大小的训练集的变动所导致的学习性能的变化, 即 刻画了数据扰动所造成的影响 .
 
 
噪声.
 
噪声表达了在当前任务上任何学习算法所能达到的期望泛化误差的下界, 即 刻画了学习问题本身的难度 . 巧妇难为无米之炊, 给一堆很差的食材, 要想做出一顿美味, 肯定是很有难度的.
 
 
我们训练模型的最终目标，是降低模型的泛化误差，方差variance强调了模型的泛化能力，偏差bias强调了模型的误差能力。如果一个模型variance和bias都很低，它就能获得较低的泛化误差。 
 
 
给定一个学习任务, 在训练初期, 由于训练不足, 学习器的拟合能力不够强, 偏差比较大, 也是由于拟合能力不强, 数据集的扰动也无法使学习器产生显著变化, 也就是欠拟合的情况;
 
 
随着训练程度的加深, 学习器的拟合能力逐渐增强, 训练数据的扰动也能够渐渐被学习器学到;
 
 
充分训练后, 学习器的拟合能力已非常强, 训练数据的轻微扰动都会导致学习器发生显著变化, 当训练数据自身的、非全局的特性被学习器学到了, 则将发生过拟合.
 
  许多模型在设计的时候，都强调避免过拟合，像普遍存在的正则项。在ensemble类模型中，随机森林基于bagging方法，通过样本采样和特征采样，使得每颗树都各有特色。gbdt基于boosting方法，在每一轮训练，通过拟合残差，也训练出了各有特色的树。这些方式在保证bias的基础上，使得模型具有良好的泛化能力。
 
3 权衡偏差与方差：
 
模型过于简单时，容易发生欠拟合（high bias）；模型过于复杂时，又容易发生过拟合（high variance）。为了达到一个合理的 bias-variance 的平衡，此时需要对模型进行认真地评估。这里简单介绍一个有用的cross-validation技术K-fold Cross Validation (K折交叉验证)， 
 
所谓的泛化误差也即模型在新数据集上的表现。在训练数据上面，我们可以进行交叉验证(Cross-Validation)。 
K折交叉验证，初始采样分割成K个子样本，一个单独的子样本被保留作为验证模型的数据，其他K-1个样本用来训练。交叉验证重复K次，每个子样本验证一次，我们便可获得 k 个模型及其性能评价。平均K次的结果或者使用其它结合方式，最终得到一个单一估测。
 
k-fold cv的k的选择：
 
当K值大的时候， 我们会有更少的Bias(偏差), 更多的方差Variance。 
 当K值小的时候， 我们会有更多的Bias(偏差), 更少的方差Variance。
 
通常把k控制在5~10的范围里。
 
 k=10 时的 k-fold 方法的工作流程：
 
 
bias-variance判断：
 
根据错误均值判断bias，如果错误均值很低，说明在这个数据集上，该模型准确度是可以的。 
 根据错误标准差来判断variance，如果错误标准差很高，说明该模型的泛化能力需要提高。
 
4 解决高偏差与高方差
 
高偏差：训练误差很大，训练误差与测试误差差距小，随着样本数据增多，训练误差增大。解决方法：
 
1.寻找更好的特征（具有代表性的）
 
2.用更多的特征（增大输入向量的维度）
 
高方差：过拟合，模型过于复杂，训练误差小，训练误差与测试误差差距大，可以通过增大样本集合来减小差距。随着样本数据增多，测试误差会减小。解决方案：
 
1.增大数据集合（使用更多的数据）
 
2.减少数据特征（减小数据维度）
 
参考
 
Bias-Variance Tradeoff（权衡偏差与方差）_风先生的日常专栏-CSDN博客
 

偏差 Bias
 
偏差指的是由所有采样得到的大小为m的训练数据集训练出的所有模型的输出的平均值和真实模型输出之间的偏差。
 
方差 Variance
 
方差指的是由所有采样得到的大小为m的训练数据集训练出的所有模型的输出的方差。方差通常是由于模型的复杂度相对于训练样本数m过高导致的，比如一共有100个训练样本，而我们假设模型是阶数不大于200的多项式函数。由方差带来的误差通常体现在测试误差相对于训练误差的增量上。
 
Bagging
 
Bagging是Bootstrap Aggregate的简称，意思就是再抽样，即每一次从原始数据中根据均匀概率分布有放回的抽取和原始数据大小相同的样本集合，样本点可能出现重复，然后对每一次产生的训练集构造一个分类器，再对分类器进行组合。
 
Bagging是减小方差的优化。假设有n个完全独立的模型，每个方差为${\sigma }^2$，也就是说$Var(X_i)={\sigma }^2$，那么
 $$Var(\frac{1}{n}\sum _{i=1}^n{X}_i)=\frac{1}{n^2}Var(\sum _{i=1}^n{X}_i)=\frac{{\sigma }^2}{n}$$
 但是Bagging的过程中有放回，假设单模型的相关系数是p，那么
 $$Var(\frac{1}{n}\sum _{i=1}^n{X}_i)=p{\sigma }^2+(1-p)\frac{{\sigma }^2}{n}$$,随着n增大，最终趋向于$\frac{p}{n}{\sigma }^2$，因此Bagging会是减小方差的优化
 
P值
 
P值（P value）就是当原假设为真时，比所得到的样本观察结果更极端的结果出现的概率。如果P值很小，说明原假设情况的发生的概率很小，而如果出现了，根据小概率原理，我们就有理由拒绝原假设，P值越小，我们拒绝原假设的理由越充分。总之，P值越小，表明结果越显著。但是检验的结果究竟是“显著的”、“中度显著的”还是“高度显著的”需要我们自己根据P值的大小和实际问题来解决。

 
 1. 模型的偏差以及方差：
 
 模型的偏差：是一个相对来说简单的概念：训练出来的模型在训练集上的准确度。
 
 模型的方差：模型是随机变量。设样本容量为n的训练集为随机变量的集合(X1, X2, ..., Xn)，那么模型是以这些随机变量为输入的随机变量函数（其本身仍然是随机变量）：F(X1, X2, ..., Xn)。抽样的随机性带来了模型的随机性。
 
 我们认为方差越大的模型越容易过拟合：假设有两个训练集A和B，经过A训练的模型Fa与经过B训练的模型Fb差异很大，这意味着Fa在类A的样本集合上有更好的性能，而Fb在类B的训练样本集合上有更好的性能，这样导致在不同的训练集样本的条件下，训练得到的模型的效果差异性很大，很不稳定，这便是模型的过拟合现象，而对于一些弱模型，它在不同的训练样本集上 性能差异并不大，因此模型方差小，抗过拟合能力强，因此boosting算法就是基于弱模型来实现防止过拟合现象。
 
 　　我们常说集成学习框架中的基模型是弱模型，通常来说弱模型是偏差高（在训练集上准确度低），方差小（防止过拟合能力强）的模型。但是，并不是所有集成学习框架中的基模型都是弱模型。bagging和stacking中的基模型为强模型（偏差低方差高），boosting中的基模型为弱模型。
 
 　　在bagging和boosting框架中，通过计算基模型的期望和方差，我们可以得到模型整体的期望和方差。为了简化模型，我们假设基模型的权重、方差及两两间的相关系数相等。由于bagging和boosting的基模型都是线性组成的，那么有：
 
  
 

 
 
 
 2. bagging的偏差和方差
 
 
 　　对于bagging来说，每个基模型的权重等于1/m且期望近似相等（子训练集都是从原训练集中进行子抽样），故我们可以进一步化简得到：
 
 
 
 　　根据上式我们可以看到，整体模型的期望近似于基模型的期望，这也就意味着整体模型的偏差和基模型的偏差近似。同时，整体模型的方差小于等于基模型的方差（当相关性为1时取等号），随着基模型数（m）的增多，整体模型的方差减少，从而防止过拟合的能力增强，模型的准确度得到提高。但是，模型的准确度一定会无限逼近于1吗？并不一定，当基模型数增加到一定程度时，方差公式第二项的改变对整体方差的作用很小，防止过拟合的能力达到极限，这便是准确度的极限了。另外，在此我们还知道了为什么bagging中的基模型一定要为强模型，否则就会导致整体模型的偏差度低，即准确度低。
 
 　　Random Forest是典型的基于bagging框架的模型，其在bagging的基础上，进一步降低了模型的方差。Random Fores中基模型是树模型，在树的内部节点分裂过程中，不再是将所有特征，而是随机抽样一部分特征纳入分裂的候选项。这样一来，基模型之间的相关性降低，从而在方差公式中，第一项显著减少，第二项稍微增加，整体方差仍是减少。
 
 
 
 
 3. boosting的偏差和方差
 
 　　对于boosting来说，基模型的训练集抽样是强相关的，那么模型的相关系数近似等于1，故我们也可以针对boosting化简公式为：
 
 
 
 　　通过观察整体方差的表达式，我们容易发现，若基模型不是弱模型，其方差相对较大，这将导致整体模型的方差很大，即无法达到防止过拟合的效果。因此，boosting框架中的基模型必须为弱模型。
 
 　　因为基模型为弱模型，导致了每个基模型的准确度都不是很高（因为其在训练集上的准确度不高）。随着基模型数的增多，整体模型的期望值增加，更接近真实值，因此，整体模型的准确度提高。但是准确度一定会无限逼近于1吗？仍然并不一定，因为训练过程中准确度的提高的主要功臣是整体模型在训练集上的准确度提高，而随着训练的进行，整体模型的方差变大，导致防止过拟合的能力变弱，最终导致了准确度反而有所下降。
 
 　　基于boosting框架的Gradient Tree Boosting模型中基模型也为树模型，同Random Forrest，我们也可以对特征进行随机抽样来使基模型间的相关性降低，从而达到减少方差的效果。
 

 

  
 
 4. 模型的独立性
 
 
 衡量模型之间独立性：抽样的随机性决定了模型的随机性，如果两个模型的训练集抽样过程不独立，则两个模型则不独立，bagging中基模型的训练样本都是独立的随机抽样，但是基模型却不一定独立，因为我们讨论模型的随机性时，抽样是针对于样本的整体。而bagging中的抽样是针对于训练集（整体的子集），所以并不能称其为对整体的独立随机抽样。那么到底bagging中基模型的相关性体现在哪呢？总结下bagging的抽样为两个过程：
 
 
样本抽样：整体模型F(X1, X2, ..., Xn)中各输入随机变量（X1, X2, ..., Xn）对样本的抽样
子抽样：从整体模型F(X1, X2, ..., Xn)中随机抽取若干输入随机变量成为基模型的输入随机变量
 
 
 　　假若在子抽样的过程中，两个基模型抽取的输入随机变量有一定的重合，那么这两个基模型对整体样本的抽样将不再独立，这时基模型之间便具有了相关性。
 
 
 
 
 
 
 引入知乎上的一位作者对于bagging与boosting两种ensemble 算法在bias 与 variance上的理解：
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

 
 
 

 
 

在预测问题中，给定一个新的数据点，预测错误的期望是多少？
 假设数据是独立同分布地从一个潜在固定的概率分布中获取的，假设其分布函数为 $P(<\text{x},y>)=P(\text{x})P(y|\text{x})$，我们的目标就是对任意给定的数据点 $x$, 求出$$E_P[(y-h(\text{x}){)}^2|\text{x}],$$其中，y 是数据集中 $\text{x}$ 对应的值，期望是针对所有数据集，下标 P 表示所有数据集是从同一分布 P 中获取的。形式上，该值是某一点 $\text{x}$ 在多个数据集上的预测错误的均值（期望）。
 对于给定的假设集，我们可以计算出模型的真实错误（true error），也称泛化错误、测试错误$$\sum _{\text{x}}{E}_P[(y-h(\text{x}){)}^2|\text{x}]P(\text{x}),$$即为 所有数据点 在那个输入数据的潜在固定分布上的预测错误的期望。如果 $\text{x}$ 为连续变量，则上述求和转化成积分形式。
 我们接下来将把 真实错误（true error） 一分为三：$$\text{真实错误 = 偏差 + 方差 + 噪声。}$$
 关于方差和期望的基本结论：
 $$\begin{gathered} E[X^2]=(E[X]{)}^2+Var[X] \\ E(XY)=E(X)E(Y)+Cov(X,Y) \end{gathered}$$
 先做一个简单展开：
 $$\begin{gathered} E_P[(y-h(\mathbf{x}){)}^2|\mathbf{x}] \\ =E_P[(h(\mathbf{x}){)}^2-2yh(\mathbf{x})+y^2|\mathbf{x}] \\ =E_P[(h(\mathbf{x}){)}^2|\mathbf{x}]+E_P[y^2|\mathbf{x}]-2E_P[y|\mathbf{x}]E_P[h(\mathbf{x})|\mathbf{x}]，\dots \dots (1) \end{gathered}$$
 上式中包含三项。令 $\overline{h}(\mathbf{x})=E_P[h(\mathbf{x})|\mathbf{x}]$，表示点 x 在不同数据集上（分布P上）预测的均值（期望），则
 
第一项
 运用方差的结论：平方的期望=期望的平方+方差
 $$E_P[(h(\mathbf{x}){)}^2|\mathbf{x}]=(\overline{h}(\mathbf{x}){)}^2+E_P[(h(\mathbf{x})-\overline{h}(\mathbf{x}){)}^2|\mathbf{x}]。\dots \dots (2)$$
 第二项
 运用方差的结论：平方的期望=期望的平方+方差
 $$E_P[y^2|\mathbf{x}]=(E_P(y|\mathbf{x}){)}^2+E_P[(y-f(\mathbf{x}){)}^2|\mathbf{x}]$$
 注意到 $E_P(y|\mathbf{x})=E_P(f(\mathbf{x})+ϵ|\mathbf{x})=f(\mathbf{x})$，其中 $ϵ\sim N(0,\sigma )$，故上式化为
 $$E_P[y^2|\mathbf{x}]=(f(\mathbf{x}){)}^2+E_P[(y-f(\mathbf{x}){)}^2|\mathbf{x}]。\dots \dots (3)$$
 
将(2)(3)代入(1)，得$$\begin{gathered} E_P[(y-h(\mathbf{x}){)}^2|\mathbf{x}] \\ =E_P[(h(\mathbf{x}){)}^2|\mathbf{x}]+E_P[y^2|\mathbf{x}]-2f(\mathbf{x})\overline{h}(\mathbf{x}) \\ =(\overline{h}(\mathbf{x}){)}^2+E_P[(h(\mathbf{x})-\overline{h}(\mathbf{x}){)}^2|\mathbf{x}] \\ +(f(\mathbf{x}){)}^2+E_P[(y-f(\mathbf{x}){)}^2|\mathbf{x}] \\ -2f(\mathbf{x})\overline{h}(\mathbf{x}) \\ =E_P[(h(\mathbf{x})-\overline{h}(\mathbf{x}){)}^2|\mathbf{x}]+(f(\mathbf{x})-\overline{h}(\mathbf{x}){)}^2+E_P[(y-f(\mathbf{x}){)}^2|\mathbf{x}]。\dots \dots (\ast ) \end{gathered}$$
 大功告成！！！！！！！！！！!！!！！！!！!！!！!！！！！!
 
$E_P[(h(\mathbf{x})-\overline{h}(\mathbf{x}){)}^2|\mathbf{x}]$ 为 预测的 方差；
$(f(\mathbf{x})-\overline{h}(\mathbf{x}){)}^2$ 为 平方偏差；
$E_P[(y-f(\mathbf{x}){)}^2|\mathbf{x}]$ 为 噪声