精华内容
下载资源
问答
  • 标准差和方差的区别

    2019-08-12 10:54:21
    标准差定义是总体各单位标准值与其平均数离差平方的算术平均数的平方根。它反映组内个体间的离散程度。测量到分布程度的结果,原则上具有两种性质: 为非负数值,与测量资料具有相同单位。一个总量的标准差或一个...

    相同:

    标准差(StandardDeviation),在概率统计中最常使用作为统计分布程度(statisticaldispersion)上的测量。标准差定义是总体各单位标准值与其平均数离差平方的算术平均数的平方根。它反映组内个体间的离散程度。测量到分布程度的结果,原则上具有两种性质

    为非负数值,与测量资料具有相同单位。一个总量的标准差或一个随机变量的标准差,及一个子集合样品数的标准差之间,有所差别。

    简单来说,标准差是一组数据平均值分散程度的一种度量。一个较大的标准差,代表大部分数值和其平均值之间差异较大;一个较小的标准差,代表这些数值较接近平均值。

    因此方差越大,数据的波动越大;方差越小,数据的波动就越小。

    标准差是反映一组数据离散程度最常用的一种量化形式,是表示精确度的重要指标。

     

    方差与我们要处理的数据的量纲是不一致的,虽然能很好的描述数据与均值的偏离程度,但是处理结果是不符合我们的直观思维的。 
    举个例子:一个班级里有60个学生,平均成绩是70分,标准差是9,方差是81,成绩服从正态分布,那么我们通过方差不能直观的确定班级学生与均值到底偏离了多少分,通过标准差我们就很直观的得到学生成绩分布在[61,79]范围的概率为0.6826,即约等于下图中的34.2%*2 

     

    展开全文
  • 假设总体数量为(m+n),其包含两个亚组(,),第一组的平均值和标准差分别为,第二组的平均值和标准差分别为,则总体的平均值和标准差是多少呢? 先给答案: , 平均值推导过程: 标准差推导过程: ...

    假设总体z_{1}...z_{m+n}数量为(m+n),其只包含两个亚组(x_{1}...x_{n}y_{1}...y_{m}),第一组x_{1}...x_{n}的平均值和标准差分别为\bar{x}\sigma_{x},第二组y_{1}...y_{m}的平均值和标准差分别为\bar{y}\sigma_{y},则总体的平均值\bar{z}和标准差\sigma_{z}是多少呢?

    先给答案:

    \bar{z}=\frac{n\bar{x}+m\bar{y}}{m+n}\sigma_{z}=\sqrt{\frac{n\sigma_{x}^{2}+m\sigma_{y}^{2}+\frac{mn(\bar{x}-\bar{y})^{2}}{m+n}}{m+n}}

    平均值推导过程:

    \bar{z}=\frac{\sum_{i=1}^{n}x_{i}+\sum_{i=1}^{m}y_{i}}{m+n}=\frac{n\bar{x}+m\bar{y}}{m+n}

    标准差推导过程:

    (m+n)\sigma_{z}^{2}=(x_{1}-\bar{z})^{2}+...+(x_{n}-\bar{z})^{2}+(y_{1}-\bar{z})^{2}+...+(y_{m}-\bar{z})^{2}

    (n)\sigma_{x}^{2}=(x_{1}-\bar{x})^{2}+...+(x_{n}-\bar{x})^{2}

    (m)\sigma_{y}^{2}=(y_{1}-\bar{y})^{2}+...+(y_{m}-\bar{y})^{2}

    (m+n)\sigma_{z}^{2}-n\sigma_{x}^{2}-m\sigma_{y}^{2}=\{(x_{1}-\bar{z})^{2}-(x_{1}-\bar{x})^{2}\}+...+\{(x_{n}-\bar{z})^{2}-(x_{n}-\bar{x})^{2}\}+\{(y_{1}-\bar{z})^{2}-(y_{1}-\bar{y})^{2}\}+...+\{(y_{m}-\bar{z})^{2}-(y_{m}-\bar{y})^{2}\}

    (m+n)\sigma_{z}^{2}-n\sigma_{x}^{2}-m\sigma_{y}^{2}=\{(x_{1}-\bar{z}+x_{1}-\bar{x})(x_{1}-\bar{z}-x_{1}+\bar{x})\}+...+\{(x_{n}-\bar{z}+x_{n}-\bar{x})(x_{n}-\bar{z}-x_{n}+\bar{x})\}+\{(y_{1}-\bar{z}+y_{1}-\bar{y})(y_{1}-\bar{z}-y_{1}+\bar{y})\}+...+\{(y_{m}-\bar{z}+y_{m}-\bar{y})(y_{m}-\bar{z}-y_{m}+\bar{y})\}

    (m+n)\sigma_{z}^{2}-n\sigma_{x}^{2}-m\sigma_{y}^{2}=\{(2x_{1}-\bar{z}-\bar{x})(\bar{x}-\bar{z})\}+...+\{(2x_{n}-\bar{z}-\bar{x})(\bar{x}-\bar{z})\}+\{(2y_{1}-\bar{z}-\bar{y})(\bar{y}-\bar{z})\}+...+\{(2y_{m}-\bar{z}-\bar{y})(\bar{y}-\bar{z})\}

    (m+n)\sigma_{z}^{2}-n\sigma_{x}^{2}-m\sigma_{y}^{2}=\sum_{i=1}^{n}\{(2x_{i}-\bar{z}-\bar{x})(\bar{x}-\bar{z})\}+\sum_{i=1}^{m}\{(2y_{i}-\bar{z}-\bar{y})(\bar{y}-\bar{z})\}

    (m+n)\sigma_{z}^{2}-n\sigma_{x}^{2}-m\sigma_{y}^{2}=(2n\bar{x}-n\bar{z}-n\bar{x})(\bar{x}-\bar{z})+(2m\bar{y}-m\bar{z}-m\bar{y})(\bar{y}-\bar{z})

    (m+n)\sigma_{z}^{2}-n\sigma_{x}^{2}-m\sigma_{y}^{2}=(n\bar{x}-n\bar{z})(\bar{x}-\bar{z})+(m\bar{y}-m\bar{z})(\bar{y}-\bar{z})

    (m+n)\sigma_{z}^{2}-n\sigma_{x}^{2}-m\sigma_{y}^{2}=n(\bar{x}-\bar{z})^{^{2}}+m(\bar{y}-\bar{z})^{^{2}}

    (m+n)\sigma_{z}^{2}-n\sigma_{x}^{2}-m\sigma_{y}^{2}=n(\frac{m\bar{x}+n\bar{x}-n\bar{x}-m\bar{y}}{m+n} )^{^{2}}+m(\frac{m\bar{y}+n\bar{y}-n\bar{x}-m\bar{y}}{m+n})^{^{2}}

    (m+n)\sigma_{z}^{2}-n\sigma_{x}^{2}-m\sigma_{y}^{2}=n(\frac{m\bar{x}-m\bar{y}}{m+n} )^{^{2}}+m(\frac{n\bar{y}-n\bar{x}}{m+n})^{^{2}}

    (m+n)\sigma_{z}^{2}-n\sigma_{x}^{2}-m\sigma_{y}^{2}=\frac{m^{^{2}}n\bar{x}^{^{2}}-2m^{^{2}}n\bar{x}\bar{y}+m^{^{2}}n\bar{y}^{^{2}}+mn^{^{2}}\bar{y}^{^{2}}-2mn^{^{2}}\bar{x}\bar{y}+mn^{^{2}}\bar{x}^{^{2}}}{(m+n)^{^{2}} }

    (m+n)\sigma_{z}^{2}-n\sigma_{x}^{2}-m\sigma_{y}^{2}=\frac{(m+n)mn\bar{x}^{^{2}}-(m+n)*2mn\bar{x}\bar{y}+(m+n)mn\bar{y}^{^{2}}}{(m+n)^{^{2}} }

    (m+n)\sigma_{z}^{2}-n\sigma_{x}^{2}-m\sigma_{y}^{2}=\frac{mn\bar{x}^{^{2}}-2mn\bar{x}\bar{y}+mn\bar{y}^{^{2}}}{m+n}

    \sigma_{z}=\sqrt{\frac{n\sigma_{x}^{2}+m\sigma_{y}^{2}+\frac{mn(\bar{x}-\bar{y})^{2}}{m+n}}{m+n}}

    以上为推导过程,如果问题,欢迎反馈。

     

    展开全文
  • 参考:http://www.cnblogs.com/cvlabs/archive/2010/03/26/1696978.html  ... ​ 浙江大学概率论与数理统计 ...总体参数 ...方差方差是变量与其平均值的平方的算术平均值,例如:

    参考:http://www.cnblogs.com/cvlabs/archive/2010/03/26/1696978.html

              http://blog.sina.com.cn/s/blog_586e81cb01000aeq.html​

    ​          浙江大学概率论与数理统计

    总体参数

    方差:方差是变量与其平均值的平方和的算术平均值,例如:

                有一组数据{4,5,6,7}, 平均值为:(4+5+6+7)/4=22/4=5.5

                其方差为:[(4-5.5)2+(5-5.5)2+(6-5.5)2+(7-5.5)2]/4

    标准差:方差的开2次方

                例如上面那组数据的标准差为:{[(4-5.5)2+(5-5.5)2+(6-5.5)2+(7-5.5)2]/4}0.5

    协方差:

                在概率论统计学中,协方差用于衡量两个变量的总体误差。而方差是协方差的一种特殊情况,即当两个变量是相同的情况。

        期望值分别为E(x) = μ 与 E(y) = ν 的两个实数随机变量xy之间的协方差定义为:

    填写图片摘要(选填)

      其中,E是期望值。它也可以表示为:

    填写图片摘要(选填)

      直观上来看,协方差表示的是两个变量总体的误差,这与只表示一个变量误差的方差不同。

                其中E(x)的计算方法例如:

                有两组数据X和Y,{X1=3,X2=4,X3=8},{Y1=2,Y2=5,Y3=5}

                              E(XY)=(3*2+4*5+8*5)/3=66/3=22


    样本参数(用样本参数替代总体参数)

    样本方差和样本标准差都是衡量一个样本波动大小的量,样本方差或样本标准差越大,样本数据的波动就越大。其中方差把样本中数值波动​​给扩大了使得一些不明显的波动显现出来。

    标准差比方差稍微方便的地方是标准差与样本的单位是相同的

    样本均值
    样本方差 ​
    样本标准差
    填写图片摘要(选填)

    证明:

    填写图片摘要(选填)

    样本方差是总体方差的无偏估计:

    填写图片摘要(选填)
    填写图片摘要(选填)
    填写图片摘要(选填)

    抽样平均误差

    参考:http://wiki.mbalib.com/zh-tw/抽样平均误差

    抽樣平均誤差是抽樣平均數(或抽樣成數)的標準差,它反映抽樣平均數(或抽樣成數)與總體平均數(或總體成數)的平均差異程度。由於從一個總體可能抽取多個樣本,因此抽樣指標(如平均數、抽樣成數等),就有多個不同的數值,因而對全及指標(如總體平均數、總體成數等)的離差也就有大有小,這就必需用一個指標來衡量抽樣誤差的一般水平。抽樣平均數的平均數等於總體平均數,抽樣成數的平均數等於總體總數,因而抽樣平均數(或抽樣成數)的標準差實際上反映了抽樣平均數(或抽樣成數)與總體平均數(或總體成數)的平均差異程度。

    填写图片摘要(选填)
    填写图片摘要(选填) 

    估计量的评选标准(什么样的估计指标更加适合替代整体指标)

    1.无偏性​

    填写图片摘要(选填)

    ​无偏性是指对于不同样本值得到该估计量相对于真实值来说有的偏大有的偏小,但正是因为这种偏大或偏小在多次抽样使用后其平均相对于真实值来说偏差为零。无偏估计的实际意义就是无系统误差。

    ​2有效性

    填写图片摘要(选填)

    ​3相合性

    填写图片摘要(选填)

    展开全文
  • 在概率论统计学中,数学期望 (mean)(或 均值,亦简称期望)是试验中每次可能结果的 概率 乘以其结果的总和,是最基本的数学特征之一。它反映随机变量 平均取值 的大小。 需要注意的是,期望值并不一定等同于常识...

    文章目录

    \color{lime}数学期望
    \color{lime}总体和样本
    1.\color{lime}1.总体方差
    2.\color{lime}2.样本方差
    3.\color{lime}3.标准差
    4.\color{lime}4.抽样方差
    5.\color{lime}5.标准误差
    6.\color{lime}6.均方差
    7.\color{lime}7.均方误差
    8.\color{lime}8.均方根误差
    9.\color{lime}9.协方差
    10.\color{lime}10.极差

    标题(绿色字体)
    公式(红色字体)
    公式推导(蓝色字体)
    重要部分(紫色字体)
    名词解释(黄色字体)

    在介绍各种差之前,首先得先了解一下数学期望,简称期望 (用大白话讲就是平均值,但是呢数学是一个非常高雅的学科),以及总体和样本是什么。

    \color{lime}数学期望

    1.概念:

    在概率论和统计学中,数学期望 (mean)(或 均值,亦简称期望)是试验中每次可能结果的 概率 乘以其结果的总和,是最基本的数学特征之一。它反映随机变量 平均取值 的大小。

    需要注意的是,期望值并不一定等同于常识中的“期望”——“期望值”也许与每一个结果都不相等。期望值是该变量输出值的 平均数 。期望值并不一定包含于变量的输出值集合里。

    大数定律 规定,随着重复次数接近无穷大,数值的算术平均值几乎肯定地收敛于期望值

    2. 离散型随机变量的期望:

    离散型随机变量的一切可能的取值 XiX_i 与对应的概率 p(Xi)p(X_i) 乘积之和称为该离散型随机变量的数学期望(若该求和绝对收敛),则记为 E(X)E(X)

    若离散型随机变量 XX 的取值为 X1X_1 , X2X_2 , X3X_3 , \ldots , XiX_i\ldotsp(X1)p(X_1) , p(X2)p(X_2) , p(X3)p(X_3) , \ldots , p(Xi)p(X_i) , \ldots 则为 XX 对应取值的概率。

    E(X)=X1p(X1)+X2p(X2)+X3p(X3)++Xip(Xi) E(X) = X_1*p(X_1)+X_2*p(X_2)+X_3*p(X_3)+\ldots+X_i*p(X_i)

    E(X)=i=1Xip(Xi) \color{red}{E(X) = \sum_{i=1}^\infty X_i*p(X_i)}

    3. 连续型随机变量的期望:

    设连续性随机变量X的概率密度函数为 f(x)f(x),若积分绝对收敛,则称积分的值 xf(x)dx\int_{-\infty}^{\infty} {xf(x)} \,{\rm d}x 为随机变量的数学期望,记为 E(X)E(X)

    E(X)=xf(x)dx \color{red}{E(X) = \int_{-\infty}^{\infty} {xf(x)} \,{\rm d}x}

    若随机变量 X 的分布函数 F(x)F(x) 可表示成一个非负可积函数 f(x)f(x) 的积分,则称 X 为连续性随机变量,f(x)f(x) 称为 X 的概率密度函数 (分布密度函数)。

    参考百度百科:https://baike.baidu.com/item/%E6%95%B0%E5%AD%A6%E6%9C%9F%E6%9C%9B

    \color{lime}总体和样本

    在这里插入图片描述
    这里介绍了下基本概念,过多的性质这里就不介绍了,大家感兴趣的话,可以自己去查资料或者看课本,接下来才是重点。
    在这里插入图片描述

    \color{lime}方差

    概率论中方差用来度量随机变量和其数学期望(均值)之间的偏离程度
    统计中的方差(样本方差)是每个样本值与全体样本值的平均数之差的平方值的平均数。

    方差用 Var(X)Var(X) 或者 D(X)D(X) 表示:Var(X)=D(X)=E[XE(X)]2=E(X2)(EX)2(1)\color{red}Var(X)=D(X)=E[X-E(X)]^2=E(X^2)-(EX)^2 \tag{1}

    Var(X)=E[XE(X)]2=E[X22XE(X)+(EX)2]=E(X2)2(EX)2+(EX)2=E(X2)(EX)2\color{blue} \begin{aligned} Var(X) &= E[X-E(X)]^2 \\ &= E[X^2-2XE(X)+(EX)^2] \\ &= E(X^2)-2(EX)^2+(EX)^2 \\ &= E(X^2)-(EX)^2 \end{aligned}

    .\color{lime}①. 总体方差 (有偏估计)

    σ2=i=1N(Xiμ)2N\color{red}\sigma^2 = \frac{\sum_{i=1}^N(X_i-\mu)^2}{N}

    σ2\sigma^2 为总体方差,NN 为总体的个数,XiX_i为变量,μ\mu 为总体均值。

    我们中学其实就已经学到了这个标准定义的方差,除数为总体样例的个数 nn

    .\color{lime}②. 样本方差 (无偏估计)

    S2=1n1i=1n(XiX)2 \color{red}{S^2 = \frac{1}{n-1}\sum_{i=1}^n(X_i-\overline{X})^2}

    S2S^2 为样本方差,nn<<Nn(n<<N) 为样本的个数,XiX_i 为变量,X\overline{X} 为样本均值

    σ2S2σ2\color{fuchsia}{实际工作中总体方差 \sigma^2 几乎算不出来,我们一般用 S^2 代替 \sigma^2}。
    μX\color{fuchsia}{这里 \mu 为什么要用 \overline{X} 代替呢?}

    同理总体均值 μ\mu 也很难得到,所以只能使用样本均值 X\overline{X} 代替,但是这样肯定就会有误差,那么误差是大还是小?又差多少呢 ?这就是下面的问题了。

    n,(n1)\color{fuchsia}{为什么样本方差的除数不是n,而是 (n-1)呢?}

    简单的来说,X\overline{X} 是用 nn 个样本所求到的平均数,因此样本平均数 X\overline{X} 一旦确定下来,就只有 n1n-1 个数不受约束,第 nn 个数已经可以被均值和前面 n1n-1 个数确定下来了,所以第 nn 个数也就没有啥信息量了,没用了(自由度由 nn 变成了 n1n-1

    证明:

    首先我们并不知道样本方差与总体方差之间的差值, 所以样本方差为
    S2=1ni=1n(XiX)2=1ni=1n[(Xiμ)(Xμ)]2=1ni=1n[(Xiμ)22(Xiμ)(Xμ)+(Xμ)2]=1ni=1n(Xiμ)22n(Xμ)i=1n(Xiμ)+1ni=1n(Xμ)2(2)\color{blue} \begin{aligned} S^2 & =\frac{1}{n}\sum_{i=1}^n(X_i-\overline{X})^2 \\ & = \frac{1}{n}\sum_{i=1}^n[(X_i-\mu)-(\overline{X}-\mu)]^2 \\ & = \frac{1}{n}\sum_{i=1}^n[(X_i-\mu)^2-2(X_i-\mu)(\overline{X}-\mu)+(\overline{X}-\mu)^2] \\ & = \frac{1}{n}\sum_{i=1}^n(X_i-\mu)^2-\frac{2}{n}(\overline{X}-\mu)\sum_{i=1}^n(X_i-\mu)+\frac{1}{n}\sum_{i=1}^n(\overline{X}-\mu)^2 \tag{2} \end{aligned}

    (Xμ)(\overline{X}-\mu) 为常数,并且
    (Xμ)=1ni=1nXiμ=1ni=1nXi1ni=1nμ=1ni=1n(Xiμ)(3)\color{blue}(\overline{X}-\mu) = \frac{1}{n}\sum_{i=1}^nX_i-\mu = \frac{1}{n}\sum_{i=1}^nX_i-\frac{1}{n}\sum_{i=1}^n\mu = \frac{1}{n}\sum_{i=1}^n(X_i-\mu) \tag{3}

    所以
    S2=1ni=1n(Xiμ)22(Xμ)2+1n(Xμ)2i=1n1=1ni=1n(Xiμ)22(Xμ)2+(Xμ)2=1ni=1n(Xiμ)2(Xμ)2(4)\color{blue} \begin{aligned} S^2 & = \frac{1}{n}\sum_{i=1}^n(X_i-\mu)^2-2(\overline{X}-\mu)^2+\frac{1}{n}(\overline{X}-\mu)^2\sum_{i=1}^n1 \\ & = \frac{1}{n}\sum_{i=1}^n(X_i-\mu)^2-2(\overline{X}-\mu)^2+(\overline{X}-\mu)^2 \\ & = \frac{1}{n}\sum_{i=1}^n(X_i-\mu)^2-(\overline{X}-\mu)^2 \tag{4} \end{aligned}

    μ[1ni=1n(Xiμ)2]σ2\color{fuchsia}{如果总体均值 \mu 已知,则样本方差 [\frac{1}{n}\sum_{i=1}^n(X_i-\mu)^2] 的期望等于总体方差 \sigma^2}

    因此
    E(S2)=E[1ni=1n(Xiμ)2(Xμ)2]=E[1ni=1n(Xiμ)2]E[(Xμ)2]=σ2E[(Xμ)2]\color{blue} \begin{aligned} E(S^2) & = E[\frac{1}{n}\sum_{i=1}^n(X_i-\mu)^2-(\overline{X}-\mu)^2] \\ & = E[\frac{1}{n}\sum_{i=1}^n(X_i-\mu)^2]-E[(\overline{X}-\mu)^2] \\ & = \sigma^2-E[(\overline{X}-\mu)^2] \end{aligned}

    Xμ\color{fuchsia}{从上式可得,只有当样本均值\overline{X}等于总体均值\mu时,样本方差的期望才等于总体方差}

    最终可推出
    E(S2)=E[1ni=1n(XiX)2]<=E[1ni=1n(Xiμ)2]=σ2\color{blue} \begin{aligned} E(S^2) & = E[\frac{1}{n}\sum_{i=1}^n(X_i-\overline{X})^2]<=E[\frac{1}{n}\sum_{i=1}^n(X_i-\mu)^2]=\sigma^2 \end{aligned}

    ()\color{fuchsia}{由此可见用样本方差估计的话,会低估(小于)总体方差,那又会低估多少呢?}

    E(S2)=E[1ni=1n(XiX)2]=E[1ni=1n(Xiμ)2(Xμ)2]=E[1ni=1n(Xiμ)2]E[(Xμ)2]=σ2E[(Xμ)2](由(2)(3)(4)式可得)\color{blue} \begin{aligned} E(S^2) & = E[\frac{1}{n}\sum_{i=1}^n(X_i-\overline{X})^2] \tag{由(2)(3)(4)式可得} \\ & = E[\frac{1}{n}\sum_{i=1}^n(X_i-\mu)^2-(\overline{X}-\mu)^2] \\ & = E[\frac{1}{n}\sum_{i=1}^n(X_i-\mu)^2]-E[(\overline{X}-\mu)^2] \\ & = \sigma^2-E[(\overline{X}-\mu)^2] \end{aligned}

    \color{fuchsia}{由于样本均值的期望等于总体均值,则可推出}

    E[(Xμ)2=E[(XE(X))2=Var(X)=Var[1ni=1nXi]=1n2Var[i=1nXi]=1n2i=1nVar(Xi)=nσn2=σn(由(1)式可得)\color{blue} \begin{aligned} E[(\overline{X}-\mu)^2 & = E[(\overline{X}-E(\overline{X}))^2 \\ & = Var(\overline{X}) \\ & = Var[\frac{1}{n}\sum_{i=1}^nX_i] \\ & = \frac{1}{n^2}Var[\sum_{i=1}^nX_i] \\ & = \frac{1}{n^2}\sum_{i=1}^nVar(X_i) \\ & = \frac{n\sigma}{n^2} \\ & = \frac{\sigma}{n} \tag{由(1)式可得} \end{aligned}
    最终可推出

    E(S2)=σ2σn=n1nσ2\color{blue} \begin{aligned} E(S^2) = \sigma^2-\frac{\sigma}{n} = \frac{n-1}{n}\sigma^2 \end{aligned}

    1nσ2\color{fuchsia}{由此可见低估了\frac{1}{n}\sigma^2}

    再将式子经过恒等变形

    nn1E(S2)=σ2nn11ni=1n(XiX)2=σ21n1i=1n(XiX)2=σ2\color{blue} \begin{aligned} \frac{n}{n-1}E(S^2) = \sigma^2 \\ \frac{n}{n-1}*\frac{1}{n}\sum_{i=1}^n(X_i-\overline{X})^2 = \sigma^2 \\ \frac{1}{n-1}\sum_{i=1}^n(X_i-\overline{X})^2 = \sigma^2 \end{aligned}

    因此可以用以下式子对总体方差进行估算,也就是最终样本方差的除数是 n1n-1 的原因
    S2=1n1i=1n(XiX)2\color{blue} \begin{aligned} S^2 = \frac{1}{n-1}\sum_{i=1}^n(X_i-\overline{X})^2 \end{aligned}

    参考链接:https://www.zhihu.com/question/20099757
    https://blog.csdn.net/Frankgoogle/article/details/80260969

    至于上面谈到的有偏估计和无偏估计怎么理解,这里就不细说了,有兴趣的同学可以看看这个链接:https://www.zhihu.com/question/22983179

    在这里插入图片描述

    .SD\color{lime}③.标准差(均方差,记作SD)

    随机变量 XX 标准差定义

    σ=E[XE(X)]2=E(X2)(EX)2 \color{red}\sigma = \sqrt{E[X-E(X)]^2} = \sqrt{E(X^2)-(EX)^2}
    总体方差对应的标准差

    σ=i=1N(Xiμ)2N\color{red}\sigma = \sqrt{\frac{\sum_{i=1}^N(X_i-\mu)^2}{N}}

    样本方差对应的标准差

    S=i=1n(XiX)2n1\color{red}S = \sqrt{\frac{\sum_{i=1}^n(X_i-\overline{X})^2}{n-1}}
    在这里插入图片描述

    .\color{lime}④.抽样方差(样本均值的方差)

    假如我们的总体容量为 NN,我们将分成 kk 个样本,设其中一个样本的容量为 nn

    我们前面讲到的样本方差是将容量为 nn 的样本作为一个整体,样本中的第 1,2,3,,n1,2,3,\ldots,n 个体作为变量所求的方差。

    这里我们则是将一个样本的均值定义为一个变量(样本均值记为 Y\overline{Y}Y\overline{Y} 做为一个随机变量),kk 个样本均值作为一个整体,最后求到 Y\overline{Y} 的总体方差,也就是抽样方差。

    .\color{lime}⑤.标准误差(标准误,样本均值的标准误差)

    YSE(Y)\color{fuchsia}{\overline{Y} 的总体标准差称为标准误差(就是抽样方差开个根号),记作 SE(\overline{Y})。}

    抽样方差和总体方差的关系

    (σ2)n,\color{fuchsia}如果已知总体的标准差(\sigma^2),那么抽取无限多份大小为 n 的样本,
    \color{fuchsia}每个样本各有一个平均值,所有样本平均值的方差可证明为
    S2\color{fuchsia}(注意!不是一份样本里观察值的方差(那是 S^2 ))

    σY2=σ2n\color{red}\sigma_{\overline{Y}}^2 = \frac{\sigma^2}{n}

    在现实中人们更喜欢用两边的算术平方根

    SD(Y)=σY=σn\color{red}SD(\overline{Y}) = \sigma_{\overline{Y}} = \frac{\sigma}{\sqrt{n}}

    由于 σ\sigma 在现实中往往很难得到,所以通常用 SS(样本的标准差)来代替

    SE(Y)=Sn\color{red}SE(\overline{Y}) = \frac{S}{\sqrt{n}}

    σY2:\color{yellow}\sigma_{\overline{Y}}^2 : 样本均值的方差

    SD(Y):\color{yellow}SD(\overline{Y}) : 样本均值的标准“差”

    SE(Y):\color{yellow}SE(\overline{Y}) : 样本均值的标准“误”

    参考:https://zhuanlan.zhihu.com/p/106706044
    https://zh.wikipedia.org/zh-hans/%E6%A0%87%E5%87%86%E8%AF%AF%E5%B7%AE

    总结一下

    YY\color{fuchsia}因为每进行一次抽样就能得到一个样本均值 \overline{Y},所以 \overline{Y} 同样是一个随机变量。
    SamplingVariance\color{fuchsia}这个新随机变量的总体方差叫做“抽样方差”(Sampling Variance),
    StandardError\color{fuchsia}这个新随机变量的总体标准差叫做“标准误”(Standard Error)。

    具体怎么应用这里就不细说 \ldots 篇幅有限,大家有兴趣的话可以自己去去找找资料。
    在这里插入图片描述

    .\color{lime}⑥.均方差(也称标准差,上面说过了)

    .MSE\color{lime}⑦.均方误差(记作:MSE)

    均方误差:各个数据估计值偏离数据真实值的平方和的平均数(误差平方和的平均数)

    MSE=i=1n(Xixi)n\color{red}MSE = \frac{\sum_{i=1}^n(X_i-x_i)}{n}

    Xi:\color{yellow}X_i: 数据的估计值

    xi:\color{yellow}x_i: 数据的真实值

    均方误差在机器学习中可以当作模型的损失函数,用来预测和回归。均方误差越小,模型预测的正确率越高,反之正确率则越低。

    .RMSE\color{lime}⑧.均方根误差(记作:RMSE)

    均方误差的算术平方根

    RMSE=i=1n(Xixi)n\color{red}RMSE = \sqrt{\frac{\sum_{i=1}^n(X_i-x_i)}{n}}

    .\color{lime}⑨.协方差

    维基百科定义:在概率论和统计学中,协方差(Covariance)用于衡量两个随机变量的联合变化程度。而方差是协方差的一种特殊情况,即变量与自身的协方差。

    \color{fuchsia}为什么说方差是协方差的特殊情况呢?

    前面我们讲到了方差的表达式

    Var(X)=E[XE(X)]2=E[XE(X)][XE(X)]\color{red}Var(X)=E[X-E(X)]^2 = E[X-E(X)][X-E(X)]

    根据定义,协方差是衡量两个随机变量的联合变化程度,设两个随机变量分别为X,YX,Y
    协方差为

    Cov(X,Y)=E[XE(X)][YE(Y)]\color{red}Cov(X,Y) = E[X-E(X)][Y-E(Y)]

    协方差表示的是两个变量的总体的误差;当 X=YX=Y 时,表示的就是只有一个变量总体的误差的方差,所以方差是协方差中两个随机变量相等时的一种特殊情况。

    Cov(X,Y)=E[XE(X)][YE(Y)]=E[XYXE(Y)YE(X)+E(X)E(Y)]=E(XY)E(X)E(Y)E(X)E(Y)+E(X)E(Y)=E(XY)E(X)E(Y)\color{blue} \begin{aligned} Cov(X,Y) & = E[X-E(X)][Y-E(Y)] \\ & = E[XY-XE(Y)-YE(X)+E(X)E(Y)] \\ & = E(XY)-E(X)E(Y)-E(X)E(Y)+E(X)E(Y) \\ & = E(XY)-E(X)E(Y) \end{aligned}

    一般我们都会用 E(XY)E(X)E(Y)E(XY)-E(X)E(Y) 来计算协方差

    性质:
    1.Cov(X,X)=Var(X)\color{fuchsia}1.Cov(X,X) = Var(X)
    2.Cov(X,Y)=Cov(Y,X)\color{fuchsia}2.Cov(X,Y) = Cov(Y,X)
    3.Cov(aX,bY)=abCov(X,Y)\color{fuchsia}3.Cov(aX,bY) = abCov(X,Y)

    对于随机变量序列 X1,...,XnX_1, ..., X_nY1,...,YmY_1, ..., Y_m,有

    4.Cov(i=1nXi,j=1nYj)=i=1nj=1nCov(X,Y)\color{fuchsia}4.Cov(\sum_{i=1}^nX_i,\sum_{j=1}^nY_j) = \sum_{i=1}^n\sum_{j=1}^nCov(X,Y)
    5.Cov(X,k1Y1+k2Y2++knYn)=k1Cov(X,Y1)++knCov(X,Yn)\color{fuchsia}5.Cov(X,k_1Y_1+k_2Y_2+\ldots+k_nY_n) = k_1Cov(X,Y_1)+\dots+k_nCov(X,Y_n)
    6.X,Y\color{fuchsia}6.X,Y变化方向相同时(比如同时变大或者同时变小),协方差为正。
    7.X,Y\color{fuchsia}7.X,Y变化方向不相同时(比如同一个变大,另一个变小),协方差为负。
    8.X,YCov(X,Y)=0\color{fuchsia}8.当 X,Y 独立时,Cov(X,Y) = 0

    因为当 X,YX,Y 独立时,则有 E(XY)=E(X)E(Y)E(XY) = E(X)E(Y),所以 Cov(X,Y)=0Cov(X,Y) = 0。但是反过来协方差等于 0 ,X,YX,Y 并不一定独立。

    .\color{lime}⑩.极差(全距)

    这个最简单了,就是最大值减去最小值的差值
    在这里插入图片描述
    有什么遗漏或者错误的地方欢迎大家指正!!!

    在这里插入图片描述

    展开全文
  • python3随笔-协方差,标准差,方差

    千次阅读 2019-04-11 16:04:26
    在概率论统计学中,协方差用于衡量两个变量的总体误差。而方差是协方差的一种特殊情况,即当两个变量是相同的情况。 [1] 期望值分别为E[X]与E[Y]的两个实随机变量X与Y之间的协方差Cov(X,Y)定义为: 从直观上来看...
  • 函数STDEV:估算样本的标准偏差。标准偏差反映相对于平均值(mean)的离散程度。语法STDEV(number1,number2,...)Number1,number2,......如果数据代表全部样本总体,则应该使用函数STDEVP来计算标准偏差。此处标准...
  • 方差&标准差

    2019-10-20 11:01:08
    什么时候除以N?什么时候除以(n-1) 标准差:是方差的...如是总体,标准差公式根号内除以n 如是样本,标准差公式根号内除以(n-1) (样本至少比总体的个数少一)因为我们大量接触的是样本,所以普遍使用根号内除以...
  • 总体方差 : population covariance 总体标准差 : population standard deviation 样本方差 : sample covariance 样本... PostgreSQL自带了一些常用的统计学聚合函数, 非常好用. 本文介绍一下方差
  • 标准差(或方差),分为 总体标准差方差 样本标准差(方差)。 前者分母为n,后者为n-1。后者是无偏的。 pandas里的 .std() .var()都是算的无偏的。 而numpy是有偏的。 那么在pandas里想算有偏的(即...
  • 理解三者之间的区别与联系,要从定义入手,一步步来计算,同时也要互相比较理解,这样才够深刻。... 标准差方差开根号。协方差在概率论统计学中,协方差用于衡量两个变量的总体误差。而方差是协方...
  • 标准差与方差不同的是,标准差和变量的计算单位相同,比方差清楚,因此很多时候我们分析的时候更多的使用的是标准差。 协方差 协方差(Covariance)在概率论和统计学中用于衡量两个变量的总体误差。而方差是协方差...
  • 标准差 对于前面例子的数据 [1,2,5,8,9],求出来的方差是10,但是这个方差值是否说明这一组数据非常离散呢?由于方差的单位原始数据的单位不一样,...这样原始数据和标准差的单位就一致了 标准差越大,表示数据越分散
  • 概率论篇:标准差方差的理解

    千次阅读 2019-01-21 15:51:40
    例子:以这两个集合为例,[0,8,12,20][8,9,11,12],两个集合的均值都是10,但显然两个集合差别是很大的,计算两者的标准差,前者是8.3,后者是1.8,显然后者较为集中,故其标准差小一些,标准差描述的就是...
  • 1/ 标准差方差 反映离散程度 总体标准偏差 样本标准偏差 总体方差 样本方差 忽略逻辑值字符串 STDEV.P(A1:F1) STDEV.S(A1:F1) VAR.P(A1:F1) VAR.S(A1:F1) 包含逻辑值字符串,...
  • 理解三者之间的区别与联系,要从定义入手,一步步来计算,同时也要互相比较理解,这样才够深刻。...标准差方差开根号。协方差在概率论统计学中,协方差用于衡量两个变量的总体误差。而方差是协方差...
  • 理解三者之间的区别与联系,要从定义入手,一步步来计算,同时也要互相比较理解,这样才够深刻。...标准差方差开根号。协方差在概率论统计学中,协方差用于衡量两个变量的总体误差。而方差是协方差...
  • 【机器学习】样本方差和标准差

    千次阅读 2016-08-07 15:47:00
    S为样本方差,样本方差除以n-1而不是n,是因为样本可能没有全部反映总体,除以n-1 比除以n 的值大一些,从而更准确的接近总体方差。 比如总体中有10个颜色的球,而取样本时可能只取了8种 如下图,果冻豆的例子
  • 方差总体所有变量值...标准差方差的平方根,它表示了一组数据关于平均数的平均离散程度。   其中, 为总体平均数, 为样本平均数,N为总体的个数,n为样本的个数。 虽然标准差
  • 样本方差总体方差

    千次阅读 2019-10-24 11:13:07
    在数据集的离散程度上,方差和标准差是实际应用较多的特征值。在理解样本方差和总体方差的公式上有了疑惑,于是将公式拿出来推导一下。(总体和样本的概念想提一下,对于一个西瓜而言,包含的所有西瓜子就是一个总体...
  • 方差、协方差、标准差(标准偏差/均方差)、均方误差、均方根误差(标准误差)、均方根值 本文由博主经过查阅网上资料整理总结后编写,如存在错误或不恰当之处请留言以便更正,内容仅供大家参考学习。 方差...
  • ②统计中的方差(样本方差)是每个样本值与全体样本均值之的平方值的平均数,代表每个变量与总体均值间的离散程度。 概率论中计算公式 离散型随机变量的数学期望: ---------求取期望值 连续型随机变量的数学期
  • 统计中的方差(样本方差)是每个样本值与全体样本值的平均数之的平方值的平均数。在许多实际问题中,研究方差即偏离程度有着重要意义。 在统计描述中,方差用来计算每一个变量(观察值)与总体均数之间的差异。...
  • 方差(Variance) 方差用于衡量随机变量或...②统计中的方差(样本方差)是每个样本值与全体样本均值之的平方值的平均数,代表每个变量与总体均值间的离散程度。 概率论中计算公式 离散型随机变量的数学期望: ...
  • 方差、协方差、标准差(标准偏差/均方差)、均方误差、均方根误差(标准误差)、均方根值 本文由博主经过查阅网上资料整理总结后编写,如存在错误或不恰当之处请留言以便更正,内容仅供大家参考学习。 方差(Variance)...
  • 方差标准差、协方差理解与区别

    万次阅读 2019-03-20 17:49:26
    2、标准差 能反映一个数据集的离散程度。 计算:方差开根号 3、协方差 用于衡量两个变量的总体误差。而方差是协方差的一种特殊情况,即当两个变量是相同的情况。 变化分析: (1)如果两个变量的变化趋势...
  • 离差即标志变动度,又称“偏差”,是观测值或估计量的平均值与真实值之间的,是反映数据分布离散程度的量度之一,或说是反映统计总体中各单位标志值差别大小的程度或离差情况的指标,常写作: 即参与计算平均数的...
  • Excel中有两个函数是用来计算标准差的:stdev.Sstdev.P使用场景:当你只知道一小部分样本,想要通过其【估算】这部分【样本代表的总体】的【标准差】——选择stdev.S(2010版之后叫stdev.S,老版叫stdev。...
  • 方差 1、定义 方差在统计描述概率分布中各有不同的定义,并有不同的公式。 a. 在统计描述中,方差用来计算每一个变量(观察值)与总体均数之间的差异。...为总体方差,为变量, 为总体均值, 为总体例数。 ...

空空如也

空空如也

1 2 3 4 5 ... 11
收藏数 203
精华内容 81
关键字:

总体标准差和方差