在预测问题中，给定一个新的数据点，预测错误的期望是多少？

假设数据是独立同分布地从一个潜在固定的概率分布中获取的，假设其分布函数为 $P(<\textbf{x},y>)  = P(\textbf{x})P(y|\textbf{x})$，我们的目标就是对任意给定的数据点 $x$, 求出$E_P[(y−h(\textbf{x}))^2|\textbf{x}],$其中，y 是数据集中 $\textbf{x}$ 对应的值，期望是针对所有数据集，下标 P 表示所有数据集是从同一分布 P 中获取的。形式上，该值是某一点 $\textbf{x}$ 在多个数据集上的预测错误的均值（期望）。

对于给定的假设集，我们可以计算出模型的真实错误（true error），也称泛化错误、测试错误$\sum_{\textbf{x}}E_P[(y−h(\textbf{x}))^2|\textbf{x}]P(\textbf{x}),$即为 所有数据点 在那个输入数据的潜在固定分布上的预测错误的期望。如果 $\textbf{x}$ 为连续变量，则上述求和转化成积分形式。

我们接下来将把 真实错误（true error） 一分为三：$\textbf{真实错误 = 偏差 + 方差 + 噪声。}$

关于方差和期望的基本结论：

$E[X^2] = (E[X])^2 + V ar[X]\\E(XY) = E(X)E(Y) + Cov(X,Y)$

先做一个简单展开：

$E_P[(y−h(\mathbf{x}))^2|\mathbf{x}] \\\,\\= E_P [(h(\mathbf{x}))^2 − 2yh(\mathbf{x}) + y^2|\mathbf{x}]\\\,\\=E_P [(h(\mathbf{x}))^2|\mathbf{x}] +E_P[y^2|\mathbf{x}] -2E_P[y|\mathbf{x}]E_P[h(\mathbf{x})|\mathbf{x}]，……(1)$

上式中包含三项。令 $\overline{h}(\mathbf{x})=E_P[h(\mathbf{x})|\mathbf{x}]$，表示点 x 在不同数据集上（分布P上）预测的均值（期望），则
第一项

运用方差的结论：平方的期望=期望的平方+方差

$E_P [(h(\mathbf{x}))^2|\mathbf{x}]=(\overline{h}(\mathbf{x}))^2+E_P [(h(\mathbf{x})-\overline{h}(\mathbf{x}))^2|\mathbf{x}]。……(2)$

第二项

运用方差的结论：平方的期望=期望的平方+方差

$E_P [y^2|\mathbf{x}]=(E_P(y|\mathbf{x}))^2+E_P [(y-f(\mathbf{x}))^2|\mathbf{x}]$

注意到 $E_P(y|\mathbf{x}) = E_P(f(\mathbf{x})+\epsilon|\mathbf{x})=f(\mathbf{x})$，其中 $\epsilon\sim N(0,\sigma)$，故上式化为

$E_P [y^2|\mathbf{x}]=(f(\mathbf{x}))^2+E_P [(y-f(\mathbf{x}))^2|\mathbf{x}]。……(3)$
将(2)(3)代入(1)，得$E_P[(y−h(\mathbf{x}))^2|\mathbf{x}] 
\\\,\\=E_P [(h(\mathbf{x}))^2|\mathbf{x}] +E_P[y^2|\mathbf{x}] -2f(\mathbf{x})\overline{h}(\mathbf{x})
\\\,\\=(\overline{h}(\mathbf{x}))^2+E_P [(h(\mathbf{x})-\overline{h}(\mathbf{x}))^2|\mathbf{x}] \\+ (f(\mathbf{x}))^2+E_P [(y-f(\mathbf{x}))^2|\mathbf{x}] \\-2f(\mathbf{x})\overline{h}(\mathbf{x})
\\\,\\=E_P [(h(\mathbf{x})-\overline{h}(\mathbf{x}))^2|\mathbf{x}] +(f(\mathbf{x})-\overline{h}(\mathbf{x}))^2 + E_P [(y-f(\mathbf{x}))^2|\mathbf{x}] 。……(*)$

大功告成！！！！！！！！！！!！!！！！!！!！!！!！！！！!

$E_P [(h(\mathbf{x})-\overline{h}(\mathbf{x}))^2|\mathbf{x}]$  为 预测的 方差；
$(f(\mathbf{x})-\overline{h}(\mathbf{x}))^2$ 为 平方偏差；
$E_P [(y-f(\mathbf{x}))^2|\mathbf{x}]$ 为 噪声

在分析模型的泛化性能时，经常用到偏差和方差。泛化误差可以分解为偏差，方差与噪声之和。

 





自己的理解：


偏差：在某算法下期望的预测值与真实的标记（客观存在的标记，而不是数据库人工的标记）度量了学习算法的期望预测与真实结果的偏离程度，刻画了学习算法本身的拟合能力，偏差的主要来之算法本身的拟合能力和数据库的标注误差（最主要来至于算法本身）；
方差：使用相同的样本不同的训练数据集得到的模型的预测值与期望值的差的期望，度量了同样大小的训练集的变动所导致的学习性能的变化，即刻画了数据扰动所造成的影响，表示训练数据的规模导致的预测值与期望值之间误差（理论上数据集无穷大时，模型在该训练数据集的预测值期望值相同，在数据集规模有限时，就会有模型的预测值与期望值存在误差，这个误差的期望反应了数据规模对泛化性能的影响）。


参考 

1. http://liuchengxu.org/blog-cn/posts/bias-variance/ 

2. 《机器学习》周志华

Bias and variance tradeoff is everywhere

文献中bias和varience常常出现，为了混淆，特别做一次对比，帮助记忆。
核心是有切当的模型复杂度，使得训练误差和测试误差得到最佳平衡，换一个说法就是欠拟合和过拟合的平衡到处都需要考虑。

联想记忆

bias短，对应下图的直线长度也短，就是欠拟合，也就是偏差太高。
variance长，对应下图的曲线长度特别长，就是过拟合，也就是方差太高。



引用文献中的一句话：

Random Forests results in a greater tree diversity ,which trades a

higher bias for a lower variance than DecisionTree, generally yielding

an overall better model.

意思就是指，相比于决策树，随机森林用提升了偏差的代价，降低了方差，减少了过拟合（决策树的缺陷之一）。
多看几个图，帮助理解记忆：





偏差和方差与集成学习
集成学习常用的提升方法是bagging和boosting。

Bagging是Bootstrap Aggregating的简称，意思是再抽样。具体而言，当决策树不限制深度或不进行剪枝时，极容易出现过拟合。集成学习中采用bagging就是随机森铃，通过对多个决策树取平均，可以减小过拟合，即降低方差。（用过过强的分类器，解决过拟合）
Boosting是将一个弱分类器的误差或者残差，作为下一个弱分类器的输入，通过弱分类器的叠加组合，可以降低偏差。（用于过弱的分类器，解决欠拟合问题）

引用：

1、吴恩达老师《deep learning ai》

2、《hands on machine learning with sklearn and tensorflow》

偏差-方差分解(Bias-Variance Decomposition)

偏差-方差分解(Bias-Variance Decomposition)是统计学派看待模型复杂度的观点。Bias-variance分解是机器学习中一种重要的分析技术。给定学习目标和训练集规模，它可以把一种学习算法的期望误差分解为三个非负项的和，即样本真实噪音noise、bias和 variance。

noise 样本真实噪音是任何学习算法在该学习目标上的期望误差的下界；( 任何方法都克服不了的误差)

bias 度量了某种学习算法的平均估计结果所能逼近学习目标的程度；（独立于训练样本的误差，刻画了匹配的准确性和质量：一个高的偏差意味着一个坏的匹配）

variance 则度量了在面对同样规模的不同训练集时，学习算法的估计结果发生变动的程度。（相关于观测样本的误差，刻画了一个学习算法的精确性和特定性：一个高的方差意味着一个不稳定的匹配）。

偏差度量了学习算法期望预测与真实结果的偏离程度，即刻画了学习算法本身的拟合能力；方差度量了同样大小的训练集的变动所导致的学习性能的变化，即刻画了数据扰动所造成的影响；噪声表达了在当前任务上任何学习算法所能达到的期望泛化误差的下界，即刻画了学习问题本身的难度……泛化性能是由学习算法的能力、数据的充分性以及学习任务本身的难度所共同决定的。给定学习任务，为了取得好的泛化性能，则需使偏差较小，即能够充分拟合数据，并且使方差较小，即使得数据扰动产生的影响小。-周志华《机器学习》

期望误差

整体来讲，误差可以分为3个部分



偏差-方差分解推导

样本可能出现噪声（可能是标记错误等情况），使得收集到的数据样本中的有的类别与实际真实类别不相符。对测试样本 ，另  为  在数据集中的标记， 为真实标记， 为在训练集  上学得模型  在  上的预测输出。接下来以回归任务为例：

模型的期望预测（这里指所有的样本，期望预测为该模型的所有预测结果的期望。也可以表示有多个模型同时对一个样本进行预测，期望预测为所有模型预测的期望）：



样本数相同的不同训练集产生的方差（可以理解为测试集预测结果与训练集输出期望之间的方差，也可以直接理解为一个模型中所有的预测与预测期望之间的平方差）：



噪声（这里的噪声为人工标注的错误。）：



期望输出与真实标记的差别称为偏差(也有两种理解，一种是多模型的预测期望与真实值之间的偏差，还有一种就直接是单模型的预测输出（因为单模型的预测期望就是它的输出了）与真实值之间的平方差就可以记为偏差的平方，其实这里应理解为多模型的情况，即类似多折交叉验证)：



通过简单的多项式展开与合并，模型期望泛化误差分解如下：



其中第三行与第六行有两式为0，具体的推导如下：

第三行：



其实不需要这么复杂的理解。因为噪声与模型无关

第六行：

简单的理解，噪声的期望为0，即，故乘积为0。

小结

偏差：度量了模型的期望预测和真实结果的偏离程度，刻画了模型本身的拟合能力。

方差：度量了同样大小的训练集的变动所导致的学习性能的变化，即刻画了数据扰动所造成的影响。

噪声：表达了当前任务上任何模型所能达到的期望泛化误差的下界，刻画了学习问题本身的难度。

在偏置和方差之间有一个折中。对于非常灵活的模型来说,偏置较小,方差较大。对于相对固定的模型来说,偏置较大,方差较小。有着最优预测能力的模型时在偏置和方差之间取得最优的平衡的模型。

灵活的模型(次数比较高的多项式)会有比较低的偏置和比较高的方差，而比较严格的模型(比如一次线性回归)就会得到比较高的偏置和比较低的方差。



参考文章

偏差-方差分解

偏置方差分解Bias-variance Decomposition

机器学习中的方差和偏差