0. 无偏估计简介


估计是用样本统计量（可以理解为随机抽样）来估计总体参数时的一种无偏推断。

无偏估计的要求就是：估计出来的参数的数学期望等于被估计参数的真实值。（如：是总体参数的估计量，而是被估计参数）（无偏性是一种评价估计量优良性的准则）

无偏估计的意义：在多次重复下，估计量的平均值 ≈ 被估计参数真值

所以呢,可以看出：估计值也是一个变量，因为是随机的嘛。  真实值谁也不知道啊（因为你不可能把列出无限的实验结果来，除了可能通过数学计算得到的常见的分布）。


1. 无偏估计的用途

问题引入：

现实中想要知道全体女性的身高均值, 但是无法对所有女性测量身高，只有通过抽样一些女性，然后来估计全体女性身高的均值



 

2. 无偏估计的计算公式推导

给定一组服从一定分布的随机变量，它真实的均值和方差分别用和表示，即

以女性的身高为例：

假设我们采样到的n个女性身高数据为

则样本统计的均值为 





方差为





此时是总体参数的无偏估计。

样本均值是否是无偏估计？

即判断是否成立

推导：





所以，是

样本方差是否是无偏估计？

即判断是否成立

推导：（为什么样本方差的分母是n-1?）



所以不是的无偏估计。


，也就是低估了


所以，可以通过对做个调整，让它变为的无偏估计，即



所以的无偏估计为：





3. 无偏估计的直观理解

以打靶为例：





左图都是无偏的，因为都在靶心周围，那么期望就是靶心

 

4. 判断估计量好坏的三种标准

判断一个估计量“好坏”，至少可以从以下三个方面来考虑：


	
无偏
	
	

	
有效
	
	

	
一致
	
有效性

有效性越高就说明，估计量的方差更小，估计量更靠近目标值

就像上两张图所示，可能满足无偏性，但是右边的更符合有效性

一致性



实际操作中，要找到满足三个方面的量有时候并不容易，可以根据情况进行取舍。

 

如何理解无偏估计
无偏估计：就是我认为所有样本出现的概率一样。假如有N种样本我们认为所有样本出现概率都是1/N。然后根据这个来计算数学期望。此时的数学期望就是我们平常讲的平均值。

数学期望本质就是平均值

无偏估计为何叫做“无偏”？它要“估计”什么？

回答第二个问题，它要估计的是整体的数学期望（平均值）。

那为何叫做无偏？有偏是什么？

假设这个是一些样本的集合$X={x_1, x_2,..,x_i,x_N}$,我们根据样本估计整体的数学期望（平均值）。

因为正常求期望是加权和，啥叫加权和$E(X) = \sum(p_i*x_i)$这个就叫加权和。每个样本出现概率不一样，概率大的乘起来就大这个就产生偏重了对吧（有偏估计）。但是，但是我们不知道某个样本出现的概率啊。
比如你从别人口袋里面随机拿了3张钞票。两张是十块钱，一张100元，然后你想估计下他口袋里的剩下的钱平均下来每张多少钱（估计平均值）。
然后呢？

无偏估计计算数学期望就是认为所有样本出现概率一样大，没有看不起哪个样本。回到求钱的平均值的问题。无偏估计我们认为每张钞票出现概率都是$1/2$（因为只出现了10和100这两种情况，所以是1/2.如果是出现1 10 100三种情况，每种情况概率则是$1/3$）。哪怕拿到了两张十块钱，我还是认为十块钱出现的概率和100元的概率一样。不偏心。所以无偏估计，所估计的别人口袋每张钱的数学期望（平均值）=$10 * 1/2 +100 * 1/2$
有偏估计  有偏估计那就是偏重哪些出现次数多的样本。认为样本的概率是不一样的。我出现了两次十块钱，那么我认为十块钱的概率是$2/3$，100块钱概率只有$1/3$. 有偏所估计的别人口袋每张钱的数学期望（平均值）=$10 * 2/3 + 100 * 1/3$。

为何要用无偏估计？
因为现实生活中我不知道某个样本出现的概率啊，就像骰子，我不知道他是不是加过水银。所以我暂时按照每种情况出现概率一样来算。

无偏估计： 估计量的数学期望等于被估计参数的真实值，则称此此估计量为被估计参数的无偏估计，即E($\hat{\theta}$)=$\theta$

样本均值的期望等于总体均值，所以样本均值为无偏估计
有偏估计： 若$\hat{\theta}$的数学期望不为$\theta$，即E($\hat{\theta}$)≠$\theta$,则称为$\theta$的有偏估计。

样本方差的期望是有偏估计

$S^2=\frac{1}{n}\sum_{i=1}^n{(X_i-\bar{X})^2}$

$E(S^2)=\frac{n-1}{n}\sigma^2$

$\sigma^2=\frac{n}{n-1}S^2=\frac{1}{n-1}\sum_{i=1}^{n}(X_i-\bar{X})^2$

其中$S^2$为样本方差，$\sigma^2$为总体方差。共抽取n个样本。

疑问:$D(X_i)=D(X)$或$E(X_i)=E(X)$吗，其意义是什么

参考自苏神博客：《简述无偏估计和有偏估计 》[Blog post]. Retrieved from https://kexue.fm/archives/6747
作者从熟悉的方差介绍，引入无偏和有偏估计的概念