1、写在前面

平均值，标准差，方差，协方差都属于统计数学；期望属于概率数学。

统计数学

1）平均值，标准差，方差

统计学里最基本的概念就是样本的均值、方差、标准差。首先，我们给定一个含有n个样本的集合，下面给出这些概念的公式描述：

均值：

方差：

标准差：

均值描述的是样本集合的中间点，它告诉我们的信息是有限的。

方差（variance)是在概率论和统计方差衡量随机变量或一组数据时离散程度的度量。概率论中方差用来度量随机变量和其数学期望（即均值）之间的偏离程度。统计中的方差（样本方差）是各个数据分别与其平均数之差的平方的和的平均数。在许多实际问题中，研究方差即偏离程度有着重要意义。方差是衡量源数据和期望值相差的度量值。

而标准差给我们描述的是样本集合的各个样本点到均值的距离之平均。

以这两个集合为例，[0, 8, 12, 20]和[8, 9, 11, 12]，两个集合的均值都是10，但显然两个集合的差别是很大的，计算两者的标准差，前者是8.3后者是1.8，显然后者较为集中，故其标准差小一些，标准差描述的就是这种“散布度”。之所以除以n-1而不是n，是因为这样能使我们以较小的样本集更好地逼近总体的标准差，即统计上所谓的“无偏估计”。而方差则仅仅是标准差的平方。

方差和标准差的区别：

方差与我们要处理的数据的量纲是不一致的，多了个平方，虽然能很好的描述数据与均值的偏离程度，但是处理结果是不符合我们的直观思维的。 而标准差的根号就抵消了这个平方，就能相对直观了描述数据与均值之间的偏离程度。

2）协方差

标准差和方差一般是用来描述一维数据的，但现实生活中我们常常会遇到含有多维数据的数据集，最简单的是大家上学时免不了要统计多个学科的考试成绩。面对这样的数据集，我们当然可以按照每一维独立的计算其方差，但是通常我们还想了解更多，比如，一个男孩子的猥琐程度跟他受女孩子的欢迎程度是否存在一些联系。协方差就是这样一种用来度量两个随机变量关系的统计量，我们可以仿照方差的定义：



来度量各个维度偏离其均值的程度，协方差可以这样来定义：



协方差的结果有什么意义呢？如果结果为正值，则说明两者是正相关的（从协方差可以引出“相关系数”的定义），也就是说一个人越猥琐越受女孩欢迎。如果结果为负值， 就说明两者是负相关，越猥琐女孩子越讨厌。如果为0，则两者之间没有关系，猥琐不猥琐和女孩子喜不喜欢之间没有关联，就是统计上说的“相互独立”。

从协方差的定义上我们也可以看出一些显而易见的性质，如：





3）协方差矩阵

前面提到的猥琐和受欢迎的问题是典型的二维问题，而协方差也只能处理二维问题，那维数多了自然就需要计算多个协方差，比如n维的数据集就需要计算个协方差，那自然而然我们会想到使用矩阵来组织这些数据。给出协方差矩阵的定义：



这个定义还是很容易理解的，我们可以举一个三维的例子，假设数据集有三个维度，则协方差矩阵为：



可见，协方差矩阵是一个对称的矩阵，而且对角线是各个维度的方差。

概率论

1）期望（相当于统计数学中的均值）

离散型

离散型随机变量X的取值为，为X对应取值的概率，可理解为数据出现的频率，则：





连续型



2）方差



E(X)表示期望，X表示原始数据，其结果就为方差。当方差很小时，X的值形成的簇比较接近它们的期望值。方差的平方根被称为标准差(standard deviation)。D(X)还可以简化为：


 这里我是这么理解的：E的作用就是求平均，既然求完平均了，那么E(X)不就是一个常数了嘛，既然是常数了，拿平均自己那还是自己呀，也就是E(E(X))那不就是E(X)嘛。既然是这样那就好理解了，E(2XE(X))=2E(X)E(X)，E(X)的平方那也是常数，求平均还是自己。

另外再看一个例子：






3）标准差

方差的平方根被称为标准差(standard deviation)。简单来说，标准差是一组数值自平均值分散开来的程度的一种测量观念。一个较大的标准差，代表大部分的数值和其平均值之间差异较大；一个较小的标准差，代表这些数值较接近平均值。

这里标准差和方差的区别与统计学中一样。

均方误差

均方误差一般被用在机器学习的预测值与真实值之间的距离。

标准差（Standard Deviation），中文环境中又常称均方差，但不同于均方误差（mean squared error，均方误差是各数据偏离真实值的距离平方和的平均数，也即误差平方和的平均数，计算公式形式上接近方差，它的开方叫均方根误差，均方根误差才和标准差形式上接近），标准差是离均差平方和平均后的方根，用σ表示。标准差是方差的算术平方根。 

从上面定义我们可以得到以下几点： 

1、均方差就是标准差，标准差就是均方差 

2、均方误差不同于均方差 

3、均方误差是各数据偏离真实值的距离平方和的平均数 

举个例子：我们要测量房间里的温度，很遗憾我们的温度计精度不高，所以就需要测量5次，得到一组数据[x1,x2,x3,x4,x5],假设温度的真实值是x，数据与真实值的误差e=x-xi 

那么均方误差MSE= 

总的来说，均方差是数据序列与均值的关系，而均方误差是数据序列与真实值之间的关系，所以我们只需要搞清楚真实值和均值之间的关系就行了。

  方差、协方差、标准差(标准偏差/均方差）、均方误差、均方根误差(标准误差)、均方根值

本文由博主经过查阅网上资料整理总结后编写，如存在错误或不恰当之处请留言以便更正，内容仅供大家参考学习。


	
方差（Variance)
	
       方差用于衡量随机变量或一组数据的离散程度，方差在在统计描述和概率分布中有不同的定义和计算公式。①概率论中方差用来度量随机变量和其数学期望（即均值）之间的偏离程度；②统计中的方差(样本方差)是每个样本值与全体样本均值之差的平方值的平均数，代表每个变量与总体均值间的离散程度。

概率论中计算公式

离散型随机变量的数学期望： 

                                                                                                             ---------求取期望值

连续型随机变量的数学期望：

                                                                                                      ----------求取期望值

其中，pi是变量，xi发生的概率，f(x)是概率密度。

                                                      ---------求取方差值

 

统计学中计算公式

 总体方差，也叫做有偏估计，其实就是我们从初高中就学到的那个标准定义的方差：

                                                                                                -----------求取总体均值

其中，n表示这组数据个数，x1、x2、x3……xn表示这组数据具体数值。

                                                    ------------求取总体方差

其中，为数据的平均数，n为数据的个数，为方差。

样本方差，无偏方差，在实际情况中，总体均值是很难得到的，往往通过抽样来计算，于是有样本方差，计算公式如下

                                                    --------------求取样本方差           

此处，为什么要将分母由n变成n-1，主要是为了实现无偏估计减小误差，请阅读《为什么样本方差的分母是 n-1》。    


	
协方差（Covariance）
	
      协方差在概率论和统计学中用于衡量两个变量的总体误差。而方差是协方差的一种特殊情况，即当两个变量是相同的情况。协方差表示的是两个变量的总体的误差，这与只表示一个变量误差的方差不同。 如果两个变量的变化趋势一致，也就是说如果其中一个大于自身的期望值，另外一个也大于自身的期望值，那么两个变量之间的协方差就是正值。 如果两个变量的变化趋势相反，即其中一个大于自身的期望值，另外一个却小于自身的期望值，那么两个变量之间的协方差就是负值。







其中，E[X]与E[Y]分别为两个实数随机变量X与Y的数学期望，Cov(X,Y)为X，Y的协方差。


	
 标准差（Standard Deviation)
	
       标准差也被称为标准偏差,在中文环境中又常称均方差，是数据偏离均值的平方和平均后的方根，用σ表示。标准差是方差的算术平方根。标准差能反映一个数据集的离散程度，只是由于方差出现了平方项造成量纲的倍数变化，无法直观反映出偏离程度，于是出现了标准差，标准偏差越小，这些值偏离平均值就越少，反之亦然。

 

                                                                                               ------------求取样本标准差

其中，  代表所采用的样本X1,X2,...,Xn的均值。

                                                                                                 -------------求取总体标准差

 其中， 代表总体X的均值。

例：有一组数字分别是200、50、100、200，求它们的样本标准偏差。

= (200+50+100+200)/4 = 550/4 = 137.5

= [(200-137.5)^2+(50-137.5)^2+(100-137.5)^2+(200-137.5)^2]/(4-1)

样本标准偏差 S = Sqrt(S^2)=75


	
均方误差（mean-square error, MSE）
	
       均方误差是反映估计量与被估计量之间差异程度的一种度量，换句话说，参数估计值与参数真值之差的平方的期望值。MSE可以评价数据的变化程度，MSE的值越小，说明预测模型描述实验数据具有更好的精确度。




	
均方根误差（root mean squared error，RMSE）
	
      均方根误差亦称标准误差，是均方误差的算术平方根。换句话说，是观测值与真值(或模拟值)偏差(而不是观测值与其平均值之间的偏差)的平方与观测次数n比值的平方根，在实际测量中，观测次数n总是有限的，真值只能用最可信赖（最佳）值来代替。标准误差对一组测量中的特大或特小误差反映非常敏感，所以，标准误差能够很好地反映出测量的精密度。这正是标准误差在工程测量中广泛被采用的原因。因此，标准差是用来衡量一组数自身的离散程度，而均方根误差是用来衡量观测值同真值之间的偏差。




	
均方根值（root-mean-square，RMES）
	
       均方根值也称作为方均根值或有效值，在数据统计分析中，将所有值平方求和，求其均值，再开平方，就得到均方根值。在物理学中，我们常用均方根值来分析噪声。



        比如幅度为100V而占空比为0.5的方波信号，如果按平均值计算，它的电压只有50V，而按均方根值计算则有70.71V。这是为什么呢？举一个例子，有一组100伏的电池组，每次供电10分钟之后停10分钟，也就是说占空比为一半。如果这组电池带动的是10Ω电阻，供电的10分钟产生10A 的电流和1000W的功率，停电时电流和功率为零。

MSE: Mean Squared Error 

均方误差是指参数估计值与参数真值之差平方的期望值; 

MSE可以评价数据的变化程度，MSE的值越小，说明预测模型描述实验数据具有更好的精确度。


 



 


RMSE 

均方误差:均方根误差是均方误差的算术平方根


 



 


MAE :Mean Absolute Error 

平均绝对误差是绝对误差的平均值 

平均绝对误差能更好地反映预测值误差的实际情况.


 



 

fifi表示预测值,yiyi表示真实值;


SD :standard Deviation 

标准差:标准差是方差的算术平方根。标准差能反映一个数据集的离散程度。平均数相同的两组组数据，标准差未必相同。


 

展开全部
均方误差是指参数估计636f70793231313335323631343130323136353331333431373161值与参数真值之差平方的期望值，记为MSE。MSE是衡量“平均误差”的一种较为方便的方法，MSE可以评价数据的变化程度，MSE的值越小，说明预测模型描述实验数据具有更好的精确度。
误差平方和又称残差平方和、组内平方和等，根据n个观察值拟合适当的模型后，余下未能拟合部份(ei=yi一y平均)称为残差，其中y平均表示n个观察值的平均值，所有n个残差平方之和称误差平方和。
在回归分析中通常用SSE表示，其大小用来表明函数拟合的好坏。将残差平方和除以自由度n-p-1(其中p为自变量个数)可以作为误差方差σ2的无偏估计，通常用来检验拟合的模型是否显著。
扩展资料
当其他量相等时，无偏估计量比有偏估计量更好一些，但在实践中，并不是所有其他统计量的都相等，于是也经常使用有偏估计量，一般偏差较小。
当使用一个有偏估计量时，也会估计它的偏差。有偏估计量可能用于以下原因：由于如果不对总体进一步假设，无偏估计量不存在或很难计算(如标准差的无偏估计)；由于估计量是中值无偏的，却不是均值无偏的(或反之)。
由于一个有偏估计量较之无偏估计量(特别是收缩估计量)可以减小一些损失函数(尤其是均方差)；或者由于在某些情况下，无偏的条件太强，而这些无偏估计量没有太大用处。
此外，在非线性变换下均值无偏性不会保留，不过中值无偏性会保留；例如样本方差是总体方差的无偏估计量，但它的平方根标准差则是总体标准差的有偏估计量。