相同：

标准差（StandardDeviation），在概率统计中最常使用作为统计分布程度（statisticaldispersion）上的测量。标准差定义是总体各单位标准值与其平均数离差平方的算术平均数的平方根。它反映组内个体间的离散程度。测量到分布程度的结果，原则上具有两种性质：

为非负数值，与测量资料具有相同单位。一个总量的标准差或一个随机变量的标准差，及一个子集合样品数的标准差之间，有所差别。

简单来说，标准差是一组数据平均值分散程度的一种度量。一个较大的标准差，代表大部分数值和其平均值之间差异较大；一个较小的标准差，代表这些数值较接近平均值。

因此方差越大，数据的波动越大；方差越小，数据的波动就越小。

标准差是反映一组数据离散程度最常用的一种量化形式，是表示精确度的重要指标。

 

方差与我们要处理的数据的量纲是不一致的，虽然能很好的描述数据与均值的偏离程度，但是处理结果是不符合我们的直观思维的。 

举个例子：一个班级里有60个学生，平均成绩是70分，标准差是9，方差是81，成绩服从正态分布，那么我们通过方差不能直观的确定班级学生与均值到底偏离了多少分，通过标准差我们就很直观的得到学生成绩分布在[61,79]范围的概率为0.6826，即约等于下图中的34.2%*2 

 

假设总体数量为（m+n），其只包含两个亚组（，），第一组的平均值和标准差分别为和，第二组的平均值和标准差分别为和，则总体的平均值和标准差是多少呢？

先给答案：

，

平均值推导过程：



标准差推导过程：

































以上为推导过程，如果问题，欢迎反馈。

 

参考：http://www.cnblogs.com/cvlabs/archive/2010/03/26/1696978.html

          http://blog.sina.com.cn/s/blog_586e81cb01000aeq.html​

​          浙江大学概率论与数理统计

总体参数

方差：方差是变量与其平均值的平方和的算术平均值，例如：

            有一组数据{4,5,6,7}, 平均值为：(4+5+6+7)/4=22/4=5.5

            其方差为：[(4-5.5)2+(5-5.5)2+(6-5.5)2+(7-5.5)2]/4

标准差：方差的开2次方

            例如上面那组数据的标准差为：{[(4-5.5)2+(5-5.5)2+(6-5.5)2+(7-5.5)2]/4}0.5

协方差：

            在概率论和统计学中，协方差用于衡量两个变量的总体误差。而方差是协方差的一种特殊情况，即当两个变量是相同的情况。

　　  期望值分别为E(x) = μ 与 E(y) = ν 的两个实数随机变量x与y之间的协方差定义为：


填写图片摘要（选填）


  其中，E是期望值。它也可以表示为：


填写图片摘要（选填）


　　直观上来看，协方差表示的是两个变量总体的误差，这与只表示一个变量误差的方差不同。

            其中E(x)的计算方法例如：

            有两组数据X和Y，{X1=3,X2=4,X3=8},{Y1=2,Y2=5,Y3=5}

                          E(XY)=(3*2+4*5+8*5)/3=66/3=22




样本参数（用样本参数替代总体参数）

样本方差和样本标准差都是衡量一个样本波动大小的量，样本方差或样本标准差越大，样本数据的波动就越大。其中方差把样本中数值波动​​给扩大了使得一些不明显的波动显现出来。

标准差比方差稍微方便的地方是标准差与样本的单位是相同的。


样本均值



样本方差
 ​



样本标准差



填写图片摘要（选填）


证明：


填写图片摘要（选填）


样本方差是总体方差的无偏估计：

​


填写图片摘要（选填）



填写图片摘要（选填）



填写图片摘要（选填）


抽样平均误差

参考：http://wiki.mbalib.com/zh-tw/抽样平均误差​

抽樣平均誤差是抽樣平均數（或抽樣成數）的標準差，它反映抽樣平均數（或抽樣成數）與總體平均數（或總體成數）的平均差異程度。由於從一個總體可能抽取多個樣本，因此抽樣指標（如平均數、抽樣成數等），就有多個不同的數值，因而對全及指標（如總體平均數、總體成數等）的離差也就有大有小，這就必需用一個指標來衡量抽樣誤差的一般水平。抽樣平均數的平均數等於總體平均數，抽樣成數的平均數等於總體總數，因而抽樣平均數（或抽樣成數）的標準差實際上反映了抽樣平均數（或抽樣成數）與總體平均數（或總體成數）的平均差異程度。


填写图片摘要（选填）



填写图片摘要（选填） 


​

估计量的评选标准（什么样的估计指标更加适合替代整体指标）

1.无偏性​


填写图片摘要（选填）


​无偏性是指对于不同样本值得到该估计量相对于真实值来说有的偏大有的偏小，但正是因为这种偏大或偏小在多次抽样使用后其平均相对于真实值来说偏差为零。无偏估计的实际意义就是无系统误差。

​

​2有效性


填写图片摘要（选填）


​3相合性


填写图片摘要（选填）


​

文章目录
$\color{lime}数学期望$
$\color{lime}总体和样本$
$\color{lime}1.总体方差$
$\color{lime}2.样本方差$
$\color{lime}3.标准差$
$\color{lime}4.抽样方差$
$\color{lime}5.标准误差$
$\color{lime}6.均方差$
$\color{lime}7.均方误差$
$\color{lime}8.均方根误差$
$\color{lime}9.协方差$
$\color{lime}10.极差$
标题（绿色字体）

公式（红色字体）

公式推导（蓝色字体）

重要部分（紫色字体）

名词解释（黄色字体）
在介绍各种差之前，首先得先了解一下数学期望，简称期望 (用大白话讲就是平均值，但是呢数学是一个非常高雅的学科)，以及总体和样本是什么。
$\color{lime}数学期望$
1.概念:
在概率论和统计学中，数学期望 (mean)（或 均值，亦简称期望）是试验中每次可能结果的 概率 乘以其结果的总和，是最基本的数学特征之一。它反映随机变量 平均取值 的大小。
需要注意的是，期望值并不一定等同于常识中的“期望”——“期望值”也许与每一个结果都不相等。期望值是该变量输出值的 平均数 。期望值并不一定包含于变量的输出值集合里。

大数定律 规定，随着重复次数接近无穷大，数值的算术平均值几乎肯定地收敛于期望值

2. 离散型随机变量的期望：
离散型随机变量的一切可能的取值 $X_i$ 与对应的概率 $p(X_i)$ 乘积之和称为该离散型随机变量的数学期望(若该求和绝对收敛)，则记为 $E(X)$。
若离散型随机变量 $X$ 的取值为 $X_1$ , $X_2$ , $X_3$ , $\ldots$ ,  $X_i$ ，$\ldots$ ； $p(X_1)$ , $p(X_2)$ ,  $p(X_3)$ ,  $\ldots$ ,  $p(X_i)$ , $\ldots$ 则为 $X$ 对应取值的概率。
$E(X) = X_1*p(X_1)+X_2*p(X_2)+X_3*p(X_3)+\ldots+X_i*p(X_i)$
$\color{red}{E(X) = \sum_{i=1}^\infty X_i*p(X_i)}$
3. 连续型随机变量的期望：
设连续性随机变量X的概率密度函数为 $f(x)$，若积分绝对收敛，则称积分的值 $\int_{-\infty}^{\infty} {xf(x)} \,{\rm d}x$ 为随机变量的数学期望，记为 $E(X)$。
$\color{red}{E(X) = \int_{-\infty}^{\infty} {xf(x)} \,{\rm d}x}$
若随机变量 X 的分布函数 $F(x)$ 可表示成一个非负可积函数 $f(x)$ 的积分，则称 X 为连续性随机变量，$f(x)$ 称为 X 的概率密度函数 (分布密度函数)。

参考百度百科：https://baike.baidu.com/item/%E6%95%B0%E5%AD%A6%E6%9C%9F%E6%9C%9B

$\color{lime}总体和样本$


这里介绍了下基本概念，过多的性质这里就不介绍了，大家感兴趣的话，可以自己去查资料或者看课本，接下来才是重点。


$\color{lime}方差$
概率论中方差用来度量随机变量和其数学期望（均值）之间的偏离程度。

统计中的方差（样本方差）是每个样本值与全体样本值的平均数之差的平方值的平均数。
方差用 $Var(X)$ 或者 $D(X)$ 表示：$\color{red}Var(X)=D(X)=E[X-E(X)]^2=E(X^2)-(EX)^2 \tag{1}$
$\color{blue}
\begin{aligned}
Var(X) &= E[X-E(X)]^2
\\ &= E[X^2-2XE(X)+(EX)^2]  
\\ &= E(X^2)-2(EX)^2+(EX)^2  
\\ &= E(X^2)-(EX)^2
\end{aligned}$
$\color{lime}①. 总体方差 （有偏估计）$
$\color{red}\sigma^2 = \frac{\sum_{i=1}^N(X_i-\mu)^2}{N}$
$\sigma^2$ 为总体方差，$N$ 为总体的个数，$X_i$为变量，$\mu$ 为总体均值。
我们中学其实就已经学到了这个标准定义的方差，除数为总体样例的个数 $n$。
$\color{lime}②. 样本方差 （无偏估计）$
$\color{red}{S^2 = \frac{1}{n-1}\sum_{i=1}^n(X_i-\overline{X})^2}$
$S^2$ 为样本方差，$n（n<<N）$ 为样本的个数，$X_i$ 为变量，$\overline{X}$ 为样本均值。
$\color{fuchsia}{实际工作中总体方差 \sigma^2 几乎算不出来，我们一般用 S^2 代替 \sigma^2}。$
$\color{fuchsia}{这里 \mu 为什么要用 \overline{X} 代替呢？}$
同理总体均值 $\mu$ 也很难得到，所以只能使用样本均值 $\overline{X}$ 代替，但是这样肯定就会有误差，那么误差是大还是小？又差多少呢 ？这就是下面的问题了。
$\color{fuchsia}{为什么样本方差的除数不是n,而是 (n-1)呢？}$
简单的来说，$\overline{X}$ 是用 $n$ 个样本所求到的平均数，因此样本平均数 $\overline{X}$ 一旦确定下来，就只有 $n-1$ 个数不受约束，第 $n$ 个数已经可以被均值和前面 $n-1$ 个数确定下来了，所以第  $n$ 个数也就没有啥信息量了，没用了（自由度由 $n$ 变成了 $n-1$）
证明：
首先我们并不知道样本方差与总体方差之间的差值, 所以样本方差为

$\color{blue}
\begin{aligned}
S^2 & =\frac{1}{n}\sum_{i=1}^n(X_i-\overline{X})^2
\\ & = \frac{1}{n}\sum_{i=1}^n[(X_i-\mu)-(\overline{X}-\mu)]^2
\\ & = \frac{1}{n}\sum_{i=1}^n[(X_i-\mu)^2-2(X_i-\mu)(\overline{X}-\mu)+(\overline{X}-\mu)^2]
\\ & = \frac{1}{n}\sum_{i=1}^n(X_i-\mu)^2-\frac{2}{n}(\overline{X}-\mu)\sum_{i=1}^n(X_i-\mu)+\frac{1}{n}\sum_{i=1}^n(\overline{X}-\mu)^2 \tag{2}
\end{aligned}$
$(\overline{X}-\mu)$ 为常数，并且

$\color{blue}(\overline{X}-\mu) = \frac{1}{n}\sum_{i=1}^nX_i-\mu =  \frac{1}{n}\sum_{i=1}^nX_i-\frac{1}{n}\sum_{i=1}^n\mu = \frac{1}{n}\sum_{i=1}^n(X_i-\mu) \tag{3}$
所以

$\color{blue}
\begin{aligned}
S^2 & = \frac{1}{n}\sum_{i=1}^n(X_i-\mu)^2-2(\overline{X}-\mu)^2+\frac{1}{n}(\overline{X}-\mu)^2\sum_{i=1}^n1
\\ & = \frac{1}{n}\sum_{i=1}^n(X_i-\mu)^2-2(\overline{X}-\mu)^2+(\overline{X}-\mu)^2
\\ & = \frac{1}{n}\sum_{i=1}^n(X_i-\mu)^2-(\overline{X}-\mu)^2 \tag{4}
\end{aligned}$
$\color{fuchsia}{如果总体均值 \mu 已知，则样本方差 [\frac{1}{n}\sum_{i=1}^n(X_i-\mu)^2] 的期望等于总体方差 \sigma^2}$
因此

$\color{blue}
\begin{aligned}
E(S^2) & = E[\frac{1}{n}\sum_{i=1}^n(X_i-\mu)^2-(\overline{X}-\mu)^2]
\\ & = E[\frac{1}{n}\sum_{i=1}^n(X_i-\mu)^2]-E[(\overline{X}-\mu)^2]
\\ & = \sigma^2-E[(\overline{X}-\mu)^2]
\end{aligned}$
$\color{fuchsia}{从上式可得，只有当样本均值\overline{X}等于总体均值\mu时，样本方差的期望才等于总体方差}$
最终可推出

$\color{blue}
\begin{aligned}
E(S^2) & = E[\frac{1}{n}\sum_{i=1}^n(X_i-\overline{X})^2]<=E[\frac{1}{n}\sum_{i=1}^n(X_i-\mu)^2]=\sigma^2
\end{aligned}$
$\color{fuchsia}{由此可见用样本方差估计的话，会低估(小于)总体方差，那又会低估多少呢？}$
$\color{blue}
\begin{aligned}
E(S^2) & = E[\frac{1}{n}\sum_{i=1}^n(X_i-\overline{X})^2] \tag{由(2)(3)(4)式可得}
\\ & = E[\frac{1}{n}\sum_{i=1}^n(X_i-\mu)^2-(\overline{X}-\mu)^2]
\\ & = E[\frac{1}{n}\sum_{i=1}^n(X_i-\mu)^2]-E[(\overline{X}-\mu)^2]
\\ & = \sigma^2-E[(\overline{X}-\mu)^2]
\end{aligned}$
$\color{fuchsia}{由于样本均值的期望等于总体均值，则可推出}$
$\color{blue}
\begin{aligned}
E[(\overline{X}-\mu)^2 & = E[(\overline{X}-E(\overline{X}))^2
\\ & = Var(\overline{X})
\\ & = Var[\frac{1}{n}\sum_{i=1}^nX_i]
\\ & = \frac{1}{n^2}Var[\sum_{i=1}^nX_i]
\\ & = \frac{1}{n^2}\sum_{i=1}^nVar(X_i)
\\ & = \frac{n\sigma}{n^2}
\\ & = \frac{\sigma}{n} \tag{由(1)式可得}
\end{aligned}$

最终可推出
$\color{blue}
\begin{aligned}
E(S^2) = \sigma^2-\frac{\sigma}{n} = \frac{n-1}{n}\sigma^2
\end{aligned}$
$\color{fuchsia}{由此可见低估了\frac{1}{n}\sigma^2}$
再将式子经过恒等变形
$\color{blue}
\begin{aligned}
\frac{n}{n-1}E(S^2) = \sigma^2
\\ \frac{n}{n-1}*\frac{1}{n}\sum_{i=1}^n(X_i-\overline{X})^2 = \sigma^2
\\ \frac{1}{n-1}\sum_{i=1}^n(X_i-\overline{X})^2 = \sigma^2
\end{aligned}$
因此可以用以下式子对总体方差进行估算，也就是最终样本方差的除数是 $n-1$ 的原因

$\color{blue}
\begin{aligned}
S^2 = \frac{1}{n-1}\sum_{i=1}^n(X_i-\overline{X})^2
\end{aligned}$

参考链接：https://www.zhihu.com/question/20099757

https://blog.csdn.net/Frankgoogle/article/details/80260969


至于上面谈到的有偏估计和无偏估计怎么理解，这里就不细说了，有兴趣的同学可以看看这个链接：https://www.zhihu.com/question/22983179


$\color{lime}③.标准差（均方差，记作SD）$
随机变量 $X$ 标准差定义
$\color{red}\sigma = \sqrt{E[X-E(X)]^2} = \sqrt{E(X^2)-(EX)^2}$

总体方差对应的标准差
$\color{red}\sigma = \sqrt{\frac{\sum_{i=1}^N(X_i-\mu)^2}{N}}$
样本方差对应的标准差
$\color{red}S = \sqrt{\frac{\sum_{i=1}^n(X_i-\overline{X})^2}{n-1}}$


$\color{lime}④.抽样方差（样本均值的方差）$
假如我们的总体容量为 $N$，我们将分成  $k$ 个样本，设其中一个样本的容量为 $n$ 。
我们前面讲到的样本方差是将容量为  $n$ 的样本作为一个整体，样本中的第 $1,2,3,\ldots,n$ 个体作为变量所求的方差。
这里我们则是将一个样本的均值定义为一个变量（样本均值记为 $\overline{Y}$，$\overline{Y}$ 做为一个随机变量），$k$ 个样本均值作为一个整体，最后求到 $\overline{Y}$  的总体方差，也就是抽样方差。
$\color{lime}⑤.标准误差（标准误，样本均值的标准误差）$
$\color{fuchsia}{\overline{Y} 的总体标准差称为标准误差（就是抽样方差开个根号），记作 SE(\overline{Y})。}$
抽样方差和总体方差的关系
$\color{fuchsia}如果已知总体的标准差(\sigma^2)，那么抽取无限多份大小为 n 的样本,$
$\color{fuchsia}每个样本各有一个平均值，所有样本平均值的方差可证明为$
$\color{fuchsia}（注意！不是一份样本里观察值的方差（那是 S^2 ））$
$\color{red}\sigma_{\overline{Y}}^2 = \frac{\sigma^2}{n}$
在现实中人们更喜欢用两边的算术平方根
$\color{red}SD(\overline{Y}) = \sigma_{\overline{Y}} = \frac{\sigma}{\sqrt{n}}$
由于 $\sigma$ 在现实中往往很难得到，所以通常用 $S$（样本的标准差）来代替
$\color{red}SE(\overline{Y}) = \frac{S}{\sqrt{n}}$
$\color{yellow}\sigma_{\overline{Y}}^2 : 样本均值的方差$
$\color{yellow}SD(\overline{Y}) : 样本均值的标准“差”$
$\color{yellow}SE(\overline{Y}) : 样本均值的标准“误”$

参考：https://zhuanlan.zhihu.com/p/106706044

https://zh.wikipedia.org/zh-hans/%E6%A0%87%E5%87%86%E8%AF%AF%E5%B7%AE

总结一下
$\color{fuchsia}因为每进行一次抽样就能得到一个样本均值 \overline{Y}，所以  \overline{Y}  同样是一个随机变量。$
$\color{fuchsia}这个新随机变量的总体方差叫做“抽样方差”（Sampling   Variance），$
$\color{fuchsia}这个新随机变量的总体标准差叫做“标准误”（Standard   Error）。$
具体怎么应用这里就不细说 $\ldots$ 篇幅有限，大家有兴趣的话可以自己去去找找资料。


$\color{lime}⑥.均方差（也称标准差，上面说过了）$
$\color{lime}⑦.均方误差（记作：MSE）$
均方误差：各个数据估计值偏离数据真实值的平方和的平均数（误差平方和的平均数）
$\color{red}MSE = \frac{\sum_{i=1}^n(X_i-x_i)}{n}$
$\color{yellow}X_i: 数据的估计值$
$\color{yellow}x_i: 数据的真实值$

均方误差在机器学习中可以当作模型的损失函数，用来预测和回归。均方误差越小，模型预测的正确率越高，反之正确率则越低。

$\color{lime}⑧.均方根误差（记作：RMSE）$
均方误差的算术平方根
$\color{red}RMSE = \sqrt{\frac{\sum_{i=1}^n(X_i-x_i)}{n}}$
$\color{lime}⑨.协方差$
维基百科定义：在概率论和统计学中，协方差（Covariance）用于衡量两个随机变量的联合变化程度。而方差是协方差的一种特殊情况，即变量与自身的协方差。
$\color{fuchsia}为什么说方差是协方差的特殊情况呢？$
前面我们讲到了方差的表达式
$\color{red}Var(X)=E[X-E(X)]^2 = E[X-E(X)][X-E(X)]$
根据定义，协方差是衡量两个随机变量的联合变化程度，设两个随机变量分别为$X,Y$。

协方差为
$\color{red}Cov(X,Y) = E[X-E(X)][Y-E(Y)]$
协方差表示的是两个变量的总体的误差；当 $X=Y$ 时，表示的就是只有一个变量总体的误差的方差，所以方差是协方差中两个随机变量相等时的一种特殊情况。
$\color{blue}
\begin{aligned}
Cov(X,Y) & = E[X-E(X)][Y-E(Y)]
\\ & = E[XY-XE(Y)-YE(X)+E(X)E(Y)]
\\ & = E(XY)-E(X)E(Y)-E(X)E(Y)+E(X)E(Y)
\\ & = E(XY)-E(X)E(Y)
\end{aligned}$
一般我们都会用 $E(XY)-E(X)E(Y)$ 来计算协方差
性质：
$\color{fuchsia}1.Cov(X,X) = Var(X)$
$\color{fuchsia}2.Cov(X,Y) = Cov(Y,X)$
$\color{fuchsia}3.Cov(aX,bY) = abCov(X,Y)$
对于随机变量序列 $X_1, ..., X_n$ 与 $Y_1, ..., Y_m$，有
$\color{fuchsia}4.Cov(\sum_{i=1}^nX_i,\sum_{j=1}^nY_j) = \sum_{i=1}^n\sum_{j=1}^nCov(X,Y)$
$\color{fuchsia}5.Cov(X,k_1Y_1+k_2Y_2+\ldots+k_nY_n) = k_1Cov(X,Y_1)+\dots+k_nCov(X,Y_n)$
$\color{fuchsia}6.X,Y变化方向相同时（比如同时变大或者同时变小），协方差为正。$
$\color{fuchsia}7.X,Y变化方向不相同时（比如同一个变大，另一个变小），协方差为负。$
$\color{fuchsia}8.当 X,Y 独立时，Cov(X,Y) = 0$
因为当 $X,Y$ 独立时，则有 $E(XY) = E(X)E(Y)$，所以 $Cov(X,Y) = 0$。但是反过来协方差等于 0 ，$X,Y$ 并不一定独立。
$\color{lime}⑩.极差（全距）$
这个最简单了，就是最大值减去最小值的差值



有什么遗漏或者错误的地方欢迎大家指正！！！