“参数估计是以抽样分布为中介，用样本的参数特征对总体的参数进行数值估计的过程。”
 
一、点估计
 1.点估计就是用样本统计量来估计总体参数。
 概念理解：当我们想知道某一总体的某个指标的情况时，测量整体该指标的数值 的工作量太大，或者不符合实际，这时我们可以采用抽样的方法选取一部分样本测量出他们数值，然后用样本统计量的值来估计总体的情况。
 例如：想了解一个学校学生的身高情况，就可以随机抽取一部分学生测量他们的身高，得到一个平均值，再用这个样本的均值去估计整体学生的身高情况，就是点估计。
 
常用的点估计有：用样本均值估计总体均值，用样本方差估计总体方差，用样本的分位数估计总体分位数，用样本的中位数估计总体的中位数。
 
2.点估计方法
 矩估计法、顺序统计量法、最大似然法、
 最小二乘法（对于点估计方法，放在另一篇文章中详细介绍）
 
3.由于用样本推断总体的过程一定存在估计误差，而点估计的估计误差无法衡量，所以点估计主要用于为定性研究提供数据参考，或者在对于总体参数估计精度要求不高时使用。
 
二、区间估计
 1.区间估计就是在点估计的基础上，给出总体参数估计的一个区间范围，该区间通常由样本统计量加减估计误差得到。
 另外一种说法，区间估计是从点估计值和抽样标准误差出发，按给定的概率值建立包含待估参数的区间，这个给定的概率值称为置信度或置信水平，这个建立起来的包含待估计参数的区间称为置信区间。
 
2.关于置信水平（置信度）、置信区间和显著性水平：
 置信区间是根据样本信息推导出来的可能包含总体参数的数值区间，置信水平表示置信区间的可信度；例如某学校学生的平均身高的区间估计：有95%的置信水平可以认为该校学生的平均身高为1.4米到1.5米之间，（1.4,1.5）为置信区间，95%是置信水平，即有95%的信心认为这个区间包含该校学生的平均身高。
 置信水平用百分数表示，表示成（1-a）100%；a指的是显著性水平，表示总体参数不落在置信区间的可能性。
 
3.关于置信区间的计算：
 通过部分样本来计算总体参数的一个置信区间有以下步骤：
 a.明确要解决的问题，要估计的指标或参数是什么，
 b.求抽样样本的平均值和标准误差，
 注意区分标准差和标准误差:标准差反映的是整个样本对样本平均数的离散程度，标准差等于方差开根号；标准误差反映的是样本平均数对总体平均数的变异程度，标准误差等于样本标准差除n的开根号。
 c.确定需要的置信水平，
 d.查询z表，得到z值，
 e. 计算置信区间，[a,b],a=样本均值-z标准误差，b=样本均值+z标准误差。
 
区间估计分为一个总体参数的估计和两个总体参数的估计
 
4.一个总体参数的区间估计：总体均值的区间估计，总体方差的区间估计，总体比例的区间估计；
 
4.1总体均值的区间估计：
 均值抽样分布即样本均值组成的抽样分布，总体参数的估计方法跟样本均值的抽样分布有关；
 Z分布其实就是标准正态分布，如果样本均值组成的抽样分布服从正态分布，那么将该正态分布标准化后即可得到Z分布，
 Z分布的适用条件有两种：一是总体服从正态分布且总体标准差已知；二是总体分布未知，但是样本容量大于或等于30；
 T分布：对于服从正态分布的总体且总体标准差未知的情况下 ，T分布是非常适用的均值抽样分布类型；
 切比雪夫不等式：对于非正态分布总体或总体分布未知并且小样本的情况下，只能用切比雪夫不等式来近似估计总体均值的置信区间。
 截图来自《人人都会数据分析：从生活实例学统计》
 
4.2 总体方差的区间估计：
 总体方差的区间估计要用到卡方分布，如果数据总体服从正态分布，从中抽取样本容量为n的样本，样本方差为s^2,那么包含样本方差的卡方统计量服从自由度为n-1的卡方分布。卡方统计量是由总体方差和样本方差的比值组成的统计量，用于总体方差的区间估计。
 卡方统计量的计算公式：
 $${\chi }_{\alpha }^2(n-1)=\frac{(n-1)s^2}{{\sigma }_z^2}$$
 总体方差的双侧置信区间估计公式为：
 $$\frac{(n-1)s^2}{{\chi }_{\frac{\alpha }{2}}^2(n-1)}\le {\sigma }_z^2\le \frac{(n-1)s^2}{{\chi }_1^2-\frac{\alpha }{2}(n-1)}$$
 其中带有a/2的为下标；
 如果是单侧置信区间的话，只需要取上面式子的前半部分或者后半部分，并将a/2改成a即可得到单侧置信区间。
 
4.3 总体比例的区间估计：
 或者叫总体比率的区间估计，跟二项分布有关，二项分布的理论是：事件发生概率是p,进行n次实验，其中x次实验该事件发生，则发生次数的概率分布服从二项分布；均值、方差为np,npq。
 若将发生的次数转换成比率（x/n），则比率的概率分布也服从二项分布。
 二项分布的特性：当抽取的样本容量n很大，是大 样本，使得np和nq（q为事件不发生的概率，等于1-p）的值都大于 5， 此时二项分布将近似于正态分布。
 由于事件发生比率x/n服从二项分布，所以如果比率的二项分布近似于正态分布，就可以得到不利的区间估计。
 
在事件发生概率p已知的情况下，总体比率$$\overline{p_z}$$在置信度为1-a时，总体比率的置信区间为：
 $$\overline{p_y}\pm Z_{\frac{\alpha }{2}}\sqrt{\frac{p(1-p)}{n}}$$
 其中，$$\overline{p_y}$$为样本比率，$$\overline{p_z}$$为总体比率，
 当事件发生概率p未知，可用样本中事件发生的概率即样本比率代替。
 
5. 两个总体参数的区间估计：
 两个总体均值之差的估计，两个总体方差比的区间估计
 两个总体与多个总体参数的区间估计在实际生活中的应用不是很多，更常用的是两个总体和多个总体参数的假设检验。 区间估计虽不常用，但是其与假设检验的应用原理是想通的。
 
5.1 两个总体均值之差的区间估计：
 可以将单个总体均值的抽样分布推广到两个总体均值差的抽样分布，然后利用两个总体均值差的抽样分布推导出两个总体均值差的置信区间公式。
 方差齐性/方差不齐：对于配对样本来说其方差可被认为是想等的，即方差齐性。
 
 截图来自《人人都会数据分析：从生活实例学统计》
 
独立样本和配对样本：
 独立样本：是指如果从一个总体中选取样本，抽样形式无论怎样改变都不会影响从另一个总体中抽取样本的概率，则这两个随机样本为独立样本；
 配对样本：是指如果从一个总体中抽取样本的行为以某种方式决定了从另一个总体中抽取样本的概率，则这两个样本为成对样本或配对样本。
 
均值和方差的特点：
 两个总体合并（相加或相减），那么合并后的总体均值等于原来两个总体的均值之和或均值之差；而合并后的总体方差都等于两个总体方差之和。
 
差值抽样分布可以看做单个总体的均值抽样分布，因此可套用“均值抽样分布适用条件表”，将公式修改一下即可：
 
 截图来自《人人都会数据分析：从生活实例学统计》
 
5.2 两个总体方差比的区间估计
 F分布可用于求取两个正态分布总体方差比的置信区间。
 F统计量可被看做是两个卡方统计量的商，F分布也被称为方差比分布。因为卡方分布要求总体服从正态分布，所以F分布也要求F统计量的两个总体都服从正态分布。
 当给定置信水平时，可推出两个正态分布总体方差比的置信区间。
 
三、样本量的确定
 
1总体均值区间估计的样本量确定
 在总体标准差已知的情况下，如果数据总体服从正态分布，则样本均值的抽样分布适用Z分布，就可以利用总体均值的置信区间公式来计算样本容量，总体均值的置信区间为：
 $$\bar{x}\pm Z_{\frac{\alpha }{2}}\frac{\sigma }{\sqrt{n}}$$ 或 $$\bar{x}\pm Z_{\frac{\alpha }{2}}\frac{\sigma }{\sqrt{n}}\sqrt{\frac{N-n}{N-1}}$$
 
则总体均值的区间估计误差为：
 $$\Delta \mu =Z_{\frac{\alpha }{2}}\frac{\sigma }{\sqrt{n}}$$
 进而可以求得样本容量的公式：
 $$n=(\frac{Z_{\frac{\alpha }{2}}\sigma }{\Delta \mu }{)}^2$$
 
以上是总体标准差已知时，当总体标准差未知时，一是可以用样本标准差代替，但是前提条件是样本容量要大于等于30；二是可以用过去试点调查的样本标准差代替；三是，如果知道总体数据中的最大和最小值，可用四分之一的最大与最小值的差值来代替总体标准差。
 
2.总体方差区间估计的样本量确定
 总体方差的区间估计适用的抽样分布为卡方分布。卡方统计量为:
 $${\chi }^2=\frac{(n-1)s^2}{{\sigma }^2}$$
 由卡方分布的性质可知，当样本量足够大时，卡方分布近似于正态分布。卡方分布的均值为自由度（n-1）,卡方分布的方差为两倍的自由度2（n-1），那么在大样本的情况下，总体方差的置信区间为：
 $$s^2=\pm Z_{\frac{\alpha }{2}}{s}^2\sqrt{\frac{2}{n}}$$
 则总体方差的估计精度为：
 $$\Delta {\sigma }^2=Z_{\frac{\alpha }{2}}{s}^2\sqrt{\frac{2}{n}}$$
 由此可得到样本容量公式为：
 $$n=\frac{\sqrt{2}{Z}_{\frac{\alpha }{2}}{s}^2}{\Delta {\sigma }^2}$$
 
3.总体比率区间估计的样本量确定
 在确定总体比率的区间估计时，利用的是二项分布近似于正态分布的性质，即当抽取的样本量n很大时,是大样本，使得np>5且nq>5(p是事件发生的概率，q是事件不发生的概率，q=1-p)时，二项分布近似于正态分布。
 总体比率的置信区间为：
 $$\overline{p_y}\pm Z_{\frac{\alpha }{2}}\sqrt{\frac{p(1-p)}{n}}$$
 则总体比率的估计误差为：
 $$\Delta \overline{p_z}=Z_{\frac{\alpha }{2}}\sqrt{\frac{p(1-p)}{n}}$$
 由此可得到样本容量为：
 $$n=\frac{Z_{\frac{\alpha }{2}}^{2}p(1-p)}{\Delta {\overline{p_z}}^2}$$
 
注：本文主要参考《人人都会数据分析：从生活实例学统计》

 


 
文章目录
 
Preliminaries
数学期望、方差与协方差
常用概率分布及其期望、方差
  
参数估计问题
一、大数定律及中心极限定理
1 切比雪夫不等式(Chebyshev)
2 大数定律(Law of Large Numbers)
3 中心极限定理(central limit theorems)
4 大数定理和中心极限定理的理解
   
二、 点估计(point estimator)
1 矩估计
2 最大似然估计(maximum Likelihood)
   
三、 区间估计(interval estimate)
置信区间(confidence interval)
   
四、 估计的评价标准
1 无偏性(unbias)
2 有效性
3 一致性(相合性)
  
 

 
 
Preliminaries
 
了解参数估计，需要知道以下先导知识：
 
数学期望、方差与协方差
 
参见：[数理知识]机器学习入门: 概率论与信息论基础 - 数学期望、方差与协方差
 
常用概率分布及其期望、方差
 
参见：[数理知识]机器学习入门: 概率论与信息论基础 - 常用概率分布及其期望、方差
 
 
参数估计问题
 
参数估计是数理统计中重要的统计推断问题之一。
 给定 $x\sim P(x;\theta )$，参数 $\theta$ 控制了 $x$ 的分布“范围”：
 
我们在已知其概率分布模型和一系列随机变量 $x$ 的值之后，试图推测出 $\theta$ 的值；（点估计）
在点估计的基础上，从抽样数据的统计计算中可以对其与总体样本的真实参数的接近程度求出一个概率度量，在此概率下给出总体参数估计的一个可信的区间范围。（区间估计）
 
这类问题就被统称为参数估计问题。
 
一、大数定律及中心极限定理
 
在正式开始参数估计之前，需要了解一下其先导知识——大数定律及中心极限定理。
 
1 切比雪夫不等式(Chebyshev)
 
设 $x$ 是随机变量，如果其期望 $\mathbb{E}$ 和方差 $Var(x)$ 存在，则 $\forall \epsilon >0$ 有：
 $$\frac{Var(x)}{{\epsilon }^2}\ge P(|x-\mathbb{E}|\ge \epsilon )$$
 
 
 
证明：因为 $|x-\mathbb{E}|\ge \epsilon$ 且 $\epsilon \ge 0$ 所以有 $(\frac{|x-\mathbb{E}|}{\epsilon }{)}^2\ge 1$。
 设 $x$ 的概率密度函数为 $p(x)$，则有：
 $$\begin{array}{rl}P(|x-\mathbb{E}|\ge \epsilon )& ={\int }_{|x-\mathbb{E}|\ge \epsilon }p(x)dx\\ & \le {\int }_{|x-\mathbb{E}|\ge \epsilon }(\frac{|x-\mathbb{E}|}{\epsilon }{)}^{2}p(x)dx\\ & \le {\epsilon }^{-2}{\int }_{-\infty }^{+\infty }(|x-\mathbb{E}|{)}^{2}p(x)dx\\ P(|x-\mathbb{E}|\ge \epsilon )& \le \frac{Var(x)}{{\epsilon }^2}\end{array}$$∴ 原命题得证。
 
 
显然，$1-\frac{Var(x)}{{\epsilon }^2}\le P(|x-\mathbb{E}|<\epsilon )$。
切比雪夫不等式给出了如何在随机变量的分布未知而期望和方差已知的情况下估计$P(|x-\mathbb{E}|\ge \epsilon )$的极限。
下文中的切比雪夫大数定律等几个大数定律变形均可由切比雪夫不等式证明得到。
 
2 大数定律(Law of Large Numbers)
 
 
 
依概率收敛 : 设有随机变量序列 $x_1,x_2,\cdots ,x_n,\cdots$ 对 随机变量 $x$ 使得 $\forall \epsilon >0$ 有：$$\underset{n\to \infty }{\lim }P\left(|x-x_n|\ge \epsilon \right)=0$$则称序列$x_i$依概率收敛于 $x$， 记为 $x_i\stackrel{P}{⟶}x$。
 
 
 
 
大数定律：设有随机变量序列 $x_1,x_2,\cdots ,x_n,\cdots$ ，其任意划分的互斥组合的期望值从小到大排列为 $a_1,a_2,\cdots ,a_n$ 使得 $\forall \epsilon >0$ 有：
 $$\underset{n\to \infty }{\lim }P\left(|\frac{1}{n}\sum _{i=1}^n{x}_i-a_n|\ge \epsilon \right)=0$$或记作：
 $$\frac{1}{n}\sum _{i=1}^n{x}_i\stackrel{P}{⟶}{a}_n,n\to \infty$$
 
 
 
 
Tip：大数定律说明了随机变量序列前若干项的算术平均值在某种条件下收敛到这些项的数学期望。（注意：数学期望 $\mathbb{E}$在概念上不等于算术平均值 $\frac{1}{n}{\sum }_i^n{x}_i$，只有在$x_i$等概率分布时二者等值。）
 
 
大数定律以严格的数学形式表现了随机事件在足够的广度上的频率稳定性。利用这一性质，我们可以基于抽样样本中的均值来估计整体的均值。
 
 
它具有以下几个变形：
 
 
切比雪夫大数定律 设相互独立的随机变量序列(集合) $x_1,x_2,\cdots ,x_n,\cdots$ 具有相同的数学期望 ${\mu }_i=\mu$ ，若其也具有相同的方差或方差 ${\sigma }_i^2<C$，$C$为一个大于零的常数，则对于 $\forall \epsilon >0$ 有：
 $$\begin{array}{rl}\underset{n\to \infty }{\lim }P& \left(|\frac{1}{n}\sum _{i=1}^n{x}_i-\mu |\ge \epsilon \right)=0\\ & \frac{1}{n}\sum _{i=1}^n{x}_i\stackrel{P}{⟶}\mu \end{array}$$该定律说明了在方差满足一定条件时，序列服从大数定律。
 
 
khintchine大数定律 设相互独立的随机变量序列(集合) $x_1,x_2,\cdots ,x_n,\cdots$ 满足同分布且具有有限的数学期望时，序列服从大数定律。该定理在切比雪夫大数定律的基础上，补充了当方差未知或不存在时，序列是否满足大数定律的问题。
 
 
3 中心极限定理(central limit theorems)
 
Lindeberg-Levy中心极限定理：设随机变量序列$x_1,x_2,\cdots ,x_n,\cdots$ 满足独立同分布假设 ，记 ${\sum }_i^n{x}_i=X$ ，若 ${\mu }_i=\mu$、${\sigma }_i^2={\sigma }^2$，当 $n$ 足够大时，$X$ 近似满足 $X\sim N(n\mu ,n{\sigma }^2)$ 或者说 $\frac{1}{n}{\sum }_i^n{x}_i\sim N(\mu ,\frac{{\sigma }^2}{n})$。
 
 
 
Lyapunov中心极限定理：(一般化推广) 设随机变量序列 $x_1,x_2,\cdots ,x_n,\cdots$ 满足独立同分布假设，记 ${\sum }_i^n{x}_i=X$，当 $n$ 足够大时，$X$ 近似满足 $X\sim N({\sum }_i^n{\mu }_i,{\sum }_i^n{\sigma }_i^2)$ 或者说 $\frac{1}{n}{\sum }_i^n{x}_i\sim N(\frac{{\sum }_i^n{\mu }_i}{n},\frac{{\sum }_i^n{\sigma }_i^2}{n})$。
 
 
4 大数定理和中心极限定理的理解
 
大数定理告诉我们：当抽样样本的量逐渐增大，其均值将依概率收敛到总体样本的均值。此时我们不必关心真实的分布究竟是怎样的。
中心极限定理告诉我们：当抽样样本的量逐渐增大，这些抽样样本的均值将会满足 $N(\frac{{\sum }_i^n{\mu }_i}{n},\frac{{\sum }_i^n{\sigma }_i^2}{n})$。显然，当 $n$ 逐渐变大，该正态分布的方差越小最终将塌缩为 Dirac delta function。
 
 
 
带图的直观体验：怎样理解和区分中心极限定理与大数定律？
 
 
>返回目录
 
二、 点估计(point estimator)
 
事实上，对 $\theta$ 的计就是点估计问题，我们一般把其点估计值记为 $\hat{\theta }$ ，称为点估计值。
 
1 矩估计
 
矩估计法用一阶样本的原点矩来估计总体的期望，而用二阶样本的中心矩来估计总体的方差。
 
 
 
由Khintchine大数定理可知，若样本总体的数学期望有限，则样本均值依概率收敛于其数学期望。因此在估计时可以使用样本的矩来作为总体矩的估计量。
 
 
我们使用矩估计来估计时，有：
 $$\{\begin{array}{ll}{\mu }_1({\theta }_1,{\theta }_2,\cdots ,{\theta }_k)& =\frac{1}{n}{\sum }_{i=1}^n{X}_i\\ {\mu }_2({\theta }_1,{\theta }_2,\cdots ,{\theta }_k)& =\frac{1}{n}{\sum }_{i=1}^n{X}_i^2\\ & ⋮\\ {\mu }_k({\theta }_1,{\theta }_2,\cdots ,{\theta }_k)& =\frac{1}{n}{\sum }_{i=1}^n{X}_i^k\end{array}$$
 
原点矩：对于自然数 $k$ 和 $\forall a\in \mathbb{R}$，随机变量 $x$ 的期望值 $\mathbb{E}[(x-a{)}^k]$ 叫做随机变量 $x$ 对 $a$ 的 $k$ 阶矩(若 $a=0$ 则称为 $k$ 阶原点矩)。当 $a=0,k=1$ 时即为 $x$ 的数学期望。
 
中心矩：若对于随机变量 $x$ 存在 $\mathbb{E}[x-\mathbb{E}[x]{]}^k$，则称其为 $x$ 的 $k$ 阶中心矩。
 
 
 
示例：对于均匀分布 $xU(a,b)$，欲对 $a,b$ 进行估计，已知均匀分布的期望为 $\mathbb{E}[x]=\frac{a+b}{2}$，方差 $Var(x)=\frac{(b-a{)}^2}{12}$，则 $\mathbb{E}[x^2]=Var(x)+\mathbb{E}[x{]}^2$，利用矩估计则有：
 $$\{\begin{array}{ll}\mathbb{E}[x]& =\frac{a+b}{2}=\frac{1}{n}{\sum }_{i=1}^n{X}_i\\ \mathbb{E}[x^2]& =\frac{(b-a{)}^2}{12}+(\frac{a+b}{2}{)}^2=\frac{1}{n}{\sum }_{i=1}^n{X}_i^2\end{array}$$解得：
 $$\{\begin{array}{ll}{\mu }_x& =\frac{1}{n}{\sum }_{i=1}^n{X}_i\\ \hat{a}& ={\mu }_x-\sqrt{\frac{3}{n}{\sum }_{i=1}^n(x_i-{\mu }_x{)}^2}\\ \hat{b}& ={\mu }_x+\sqrt{\frac{3}{n}{\sum }_{i=1}^n(x_i-{\mu }_x{)}^2}\end{array}$$
 
 
2 最大似然估计(maximum Likelihood)
 
 
 
最大似然估计的参考：[数理知识]贝叶斯公式和最大似然估计笔记
 
 
示例：对于伯努利分布(即重复次数为1的二项分布) $x\sim B(1,p)$，欲对 $p$ 进行估计：
 $$\begin{array}{rl}L(p)& =\prod _{i=1}^n{p}^{x_i}(1-p{)}^{1-x_i}\\ & =p^{{\sum }_{i=1}^n{x}_i}(1-p{)}^{n-{\sum }_{i=1}^n{x}_i}\end{array}$$取自然对数：
 $$\begin{array}{rl}\ln L(p)& =\prod _{i=1}^n{p}^{x_i}(1-p{)}^{1-x_i}\\ & =\left(\sum _{i=1}^n{x}_i\right)\ln p+\left(n-\sum _{i=1}^n{x}_i\right)\ln \left(1-p\right)\end{array}$$令$\frac{\partial \ln L(p)}{\partial p}=0$ 解得：
 $$\hat{p}=\frac{1}{n}\sum _{i=1}^n{x}_i$$
 
>返回目录
 
三、 区间估计(interval estimate)
 
在点估计的基础上，根据样本统计量的抽样分布可以对样本统计量与总体样本的真实参数的接近程度求出一个概率度量，在此概率下给出总体参数估计的一个可信的区间范围。与区间估计常常一同出现的，还有置信区间的概念。
 
 
 
对于区别点估计和区间估计，有个很通俗的解释：
 
 
我对待定参数只估计一个值（点估计），只笃定了这个值是最精确的；
我给出待定参数的一个估计范围（区间估计），猜测这个区间内至少有一个值使得待定参数最接近于真实值；
对于这个区间，给出一个概率（置信度）来说明这个区间内有多大的把握存在至少有一个值使得待定参数最接近于真实值；给出置信度的区间估计就是置信区间。
 
 
显然，区间估计的精确度更高，但其“成本”也提升了，即获得精确值所需要进行尝试的次数变多。
 
置信区间(confidence interval)
 
 
 
补充理解： 如何理解 95% 置信区间？- 知乎
 
 
置信区间 设总体样本集 $X$ 的分布函数 $F(x;\theta )$ 已知，先准备对 $\theta$ 进行估计，如果对 $\forall 0<a<1$ 可以得知子样本集 $X^{\prime }\in X$ 可以得到待定参数的下界（置信下限）与下界（置信上限）$\bar{\theta }，\underline{\theta }$，使得：
 $$P(\underline{\theta }(X^{\prime }))<\theta <P(\bar{\theta }(X^{\prime }))=1-a$$则称随即区间 $(\bar{\theta },\underline{\theta })$ 为参数 $\theta$ 以 $1-a$ 为置信水平（或置信度）的置信区间，或称双侧置信区间。
 
 
 
例题：(脱敏数据裁剪于我们的一次爬虫实验) 已知某大学某组织的学生在总计3613场的某游戏对局中，每局时间服从正态分布$N(\mu ,25.6^2)$。现从中抽取100场的数据，根据矩估计求得点估计$\hat{\mu }=\frac{1}{100}{\sum }_{i=1}^{100}{x}_i=43.2$(分钟)，给定95%置信区间，试求得其平均游戏时长(分钟)的范围。
 解：根据大数定律所得到的中心极限定理，可以得知100场游戏的抽样集点估计均值 $\hat{\mu }$ 的分布满足 $\hat{\mu }\sim N(\mu ,\frac{25.6^2}{100})$ 。
 令 $a=0.05$ ，查标准正态分布($\frac{x-\mu }{\sigma }\sim N(0,1)$)表可知 $z_{\frac{a}{2}}=1.96$，即：
 $$\begin{array}{rl}P(-z_{\frac{0.05}{2}}<\frac{\hat{\mu }-\mu }{\frac{\sigma }{\sqrt{n}}}<z_{\frac{0.05}{2}})& =1-0.05=0.95\\ -1.96<\frac{\hat{\mu }-\mu }{\frac{\sigma }{\sqrt{n}}}& <1.96\end{array}$$∴在置信度为95%的置信区间中，有：
 $$\hat{\mu }-1.96\frac{\sigma }{\sqrt{n}}<\mu <\hat{\mu }+1.96\frac{\sigma }{\sqrt{n}}$$代入 $\hat{\mu }=43.2$、$n=100$、$\sigma =25.6$ 得：
 $$38.1824<\mu <48.2176$$也就是说，我们有95%的把握认为，总计3613场的游戏平均每局时间落在这个范围内（实际上的真实值为40.2分钟），在区间估计的情况下，我们修正点估计值 $\hat{\mu }$ ，用区间估计 $(43.2\pm 1.96\frac{25.6}{\sqrt{1}00}){|}_{0.95}$ 来替代对 $\mu$ 的估计。
 
 
>返回目录
 
四、 估计的评价标准
 
1 无偏性(unbias)
 
估计的偏差被定义为：$$bias(\hat{\theta })=\mathbb{E}(\hat{\theta })-\theta$$其中 $\theta$ 为真实值，$\mathbb{E}$ 是数学期望。
 
以伯努利分布 $P(x=k)=p^k(1-p{)}^{(1-k)}$ 为例，我们给出参数估计 $\hat{p}=\frac{1}{n}{\sum }_{i=1}^n{x}_i$，则其偏差为：
 $$\begin{array}{rl}bias(\hat{p})& =\mathbb{E}[\frac{1}{n}\sum _{i=1}^n{x}_i]-p\\ & =\frac{1}{n}\sum _{i=1}^n\mathbb{E}[x_i]-p\\ & =p-p=0\end{array}$$
 
 
 
Tip：伯努利分布的期望是 $p$，参见： >离散型概率分布或范畴分布(categorical distribution)
 
 
若 $bias(\hat{\theta })=0$，我们称其为无偏(unbiased)的或无偏估计。当其为无偏估计时，则意味着我们对 $n$ 个分布值 $x_i$ 所得到的参数估计值的均值(期望)与真实值相等。
 
无偏性的意义在于，在多次重复下，估计值产生的偏差虽会在真实值周围波动，但在大范围实验中它仍旧最接近真实值。
若某个估计值当且仅当样本量趋近于无穷时才具有无偏性，我们称其为渐进无偏(asymptotically unbiased)。
 
2 有效性
 
对于一个参数来说，其可能具有多个无偏估计，因此我们需要有更进一步的衡量标准。
 
如果一种估计的方差比另一种估计的方差小，则称方差较小的估计值更有效。
 
 
 
从上文的例题中，我们不难得知参数估计 $\hat{p}=\frac{1}{n}{\sum }_{i=1}^n{x}_i$的方差为：$\frac{p}{n}(1-p)$。
 
 
3 一致性(相合性)
 
无偏性和有效性在统计意义上给出了估计值地性能，但其并不能保证保证每一次具体估计时的性能，因此我们引入了参数估计的一致性。给定任意正实数 $\epsilon$ 都有：
 $$\underset{n\to \infty }{\lim }P(|\hat{\theta }-\theta |>\epsilon )=0$$或者：
 $$\underset{n\to \infty }{\lim }\hat{\theta }=\theta$$
 
一致性保证了当样本数量非常大时，每一次的估计量总能在概率意义上任意地接近真实值；
一致性保证了估计量的偏差会随着样本量的增多而减少；
要注意的是，渐进无偏并不等于一致性。
 
>返回目录

点估计是有局限性的：
 
 
 
 
由此，我们就要推出我们的区间估计了：
 
 
 就是说，参数范围小的时候精度高，但是落在这个范围以内的概率小，于是可行度降低；
 
 
 这个概率指的是真值在这个区间里的概率。
 
 
 记得物理实验的刻度尺误差吗？那个就是正态分布误差（就像是有无数个独立同分布的变量叠加在一起一样）。这个是同样道理，这个相当于是一大堆均值为u,方差为1（题目上讲了）的变量叠加在了一起，于是X'-u/(1/n**1/2)是标准正态分布。
 
别忘了这个：
 
 
好记：分子无可厚非，分母平方一下就是n*   ^2,也就是要把和的方差除掉变成标准分布。 
 
 
 如果参数未知呢？：
 
 
看不懂为什么是t(n-1)?这里有解释：
 
 
(n-1)S^2/ce^2=X2(n-1)是很好理解的。上面那个是一大堆正态分布的平方加起来，下面把方差除掉了（因为上面是平方下面也就是平方），于是就变成了X2(n-1)。
 
 
 
 

概念简介：
 
 
 
        点估计和区间估计是通过样本统计量估计总体参数的两种方法。点估计是在抽样推断中不考虑抽样误差，直接以抽样指标代替全体指标的一种推断方法。因为个别样本的抽样指标不等于全体指标，所以，用抽样指标直接代替全体指标，不可避免的会有误差。区间估计是抽样推断中根据抽样指标和抽样误差去估计全体指标的可能范围的一种推断方法。在从抽样指标推断全体指标时，用一定概率保证误差不超出某一给定范围。
 
点估计：
 
        点估计是使用抽样数据得到总体有样本参数。比如，针对某市房租平均价格的统计，全部统计成本会比较大，因此我们随机选择某一部分的在租房屋进行统计，计算均值用来表示某市房租价格的整体均值。但是点估计和抽样的样本量强相关，样本量占总体越少越可能会出现误差。比如，随机抽样中存在较多的极值，导致我们点估计的结果偏高。或者样本不够随机，选择市中心的房租对某市的房租估计显然也是不准确的。
 
区间估计：
 
        区间估计估计不同于点估计，能够提供待估计参数的置信区间和置信度（即保证XX%的可能性该参数的值位于*~*之间，例如，有95%的可能性全市房租均价在2000~2500之间），区间估计虽然不能得出精确的估计值，但是能够提供保证程度，代表了有多大把握总体参数会在相应的置信区间内。在对全体样本进行多次抽样，根据中心极限定理，多次抽样的样本均值会服从均值为总体样本均值的正态分布。     
 
  
 
其中，μ为均值，σ为标准差，由于总体的均值μ和总体的μ是未知参数，因此我们使用抽样样本的均值和标准差作为总体均值和标准差的估计值。
 
 
因此可以根据正态分布的图像可知，
 
μ±σ时，概率为68.26%；
 
μ±2σ时，概率为95.44%；
 
μ±3σ时，概率为99.74%。
 
在统计学中，常用的置信度一般取95%和99%，因此更为精确的值参考下图。
 
 
附区间估计的python代码实现：
 
# 代码来源网路，使用时将house_price换成自己的Dataframe，price换成要估计的参数即可
se = house_price.price.std() / len(house_price_gr) ** 0.5 #均值标准误差
LB = house_price.price.mean() - 1.96 * se #置信区间下界
UB = house_price.price.mean() + 1.96 * se #置信区间上界