https://www.matongxue.com/madocs/808/
 
无偏性
 
 
 
 
有效性
 
进行估计的时候也是，估计量越靠近目标，效果越“好”。这个“靠近”可以用方差来衡量。
 
 
一致性
 

 
偏最小二乘法中的交叉有效性计算的matlab程序，怎么计算出来的预测误差平方和PRESS不太对，偏大；请大牛指教！
 
function re = GetPRESS(E0,F0,h)
 
[n,m] = size(E0);
 
F0n = size(F0);
 
if F0n ~= n | n <2 | m < 2
 
disp('errors!');
 
return;
 
end
 
press = 0;
 
for i = 1:n
 
E = [ E0(1:i-1,:); E0(i+1:n,:) ];
 
F = [ F0(1:i-1,:); F0(i+1:n,:) ];
 
for j = 1:h % h步
 
w = ( E'* F )/ norm( E'*F );
 
W(:, j ) = w;
 
W;
 
t = E * w;
 
T(:, j ) = t; % 主成分
 
p = E'* t / ( (norm( t))^2 );
 
P(:, j ) = p;
 
r = F'* t / ( (norm( t))^2 );
 
R( j ) = r; % 系数
 
E = E - t * p';
 
F = F - t * r';
 
end
 
% 求W* 的值
 
for k = 1: h
 
W_h_s = eye(m);
 
for j = 1:(k-1)
 
W_h_s = W_h_s * ( eye(m) - W(j) *( P(j) )');
 
end
 
W_h_s = W_h_s * W(:,k); % Wh* 的值
 
W_s(:,k) = W_h_s;
 
end
 
F0i_s = E0(i,:) * (W_s * R'); % 求F0i的拟合值
 
F0i = F0(i);
 
% Yi_Yh_i = ( F0i - F0i_s )^2
 
press = press + ( F0i - F0i_s )^2; % 两值相减再平方
 
end
 
re = press;

 
在之前的学习中，主要基于充分统计量给出点估计，并且注重于点估计的无偏性与相合性。然而，仅有这两个性质是不足的，无偏性只能保证统计量的均值与待估参数一致，却无法控制统计量可能偏离待估参数的程度；相合性只能在大样本下保证统计量到均值的收敛性，但却对小样本情形束手无策。今天我们将注重于统计量的有效性，即无偏统计量的抽样分布的方差。由于本系列为我独自完成的，缺少审阅，如果有任何错误，欢迎在评论区中指出，谢谢！
 
目录
 
Part 1：一致最小方差无偏估计
 
首先考虑这样的问题：如何刻画一个统计量的有效程度？注意到，一个统计量的取值既可能高于待估参数，亦可能低于待估参数，要综合考虑统计量对待估参数误差，需要用平方均衡这种双向偏差，因此，提出均方误差的概念：若\(\hat g(\boldsymbol{X})\)是\(g(\theta)\)的估计量，则\(\hat g(\boldsymbol{X})\)的均方误差定义为
 
\[\mathrm{MSE}(\hat g(\boldsymbol{X}))= \mathbb{E}[\hat g(\boldsymbol{X})-g(\theta)]^2. \]
 
对于确定的统计量\(\hat g(\boldsymbol{X})\)而言，\(\mathrm{MSE}(\hat g(\boldsymbol{X}))\)是\(\theta\)的函数。显然，一个统计量的均方误差越小，它就越在待估参数真值附近环绕，由此，用统计量的一次观测值作为待估参数的估计就有着越大的把握。
 
如果对于\(g(\theta)\)的两个估计量\(\hat g_1(\boldsymbol{X})\)和\(\hat g_2(\boldsymbol{X})\)，恒有\(\mathrm{MSE}(\hat g_1(\boldsymbol{X}))\le \mathrm{MSE}(\hat g_2(\boldsymbol{X}))\)，且严格不等号至少在某个\(\theta\)处成立，就称\(\hat g_1(\boldsymbol{X})\)在均方误差准则下优于\(\hat g_2(\boldsymbol{X})\)。如果我们能找到均方误差最小的统计量\(\hat g(\boldsymbol{X})\)，就相当于找到了均方误差准则下的最优统计量。
 
不过，均方误差是\(\theta\)的函数，这就导致了某些统计量在\(\theta=\theta_1\)时均方误差小，在\(\theta=\theta_2\)时均方误差大，一致最小均方误差估计量便不存在，需要增加约束条件，找到更可能存在的“最优”。
 
基于此，我们提出一致最小方差无偏估计(UMVUE)的概念，它将\(g(\theta)\)的估计量限制在了无偏估计之中，这使得UMVUE的存在可能性得以提高。并且，由于\(\mathbb{E}(\hat g(\boldsymbol{X}))=g(\theta)\)，所以
 
\[\mathrm{MSE}(\hat g(\boldsymbol{X}))=\mathbb{E}(\hat g(\boldsymbol{X})-g(\theta))^2=\mathbb{E}[\hat g(\boldsymbol{X})-\mathbb{E}(\hat g(\boldsymbol{X}))]^2=\mathbb{D}(\hat g(\boldsymbol{X})), \]
 
即无偏估计的均方误差就是无偏估计的方差。
 
不过首先要提出的是，UMVUE往往比一致最小均方误差估计量更容易存在，但依然不是所有参数都存在UMVUE的，并且，甚至可能有的参数根本不存在无偏估计。
 
以下是一个典型的不存在无偏估计的例子：\(X\sim B(n,p)\)，参数\(g(p)=1/p\)的无偏估计不存在。书上给出的证明过程如下：
 
首先，无偏估计不依赖于样本容量，故假设\(n=1\)。若\(g(p)\)有无偏估计\(\hat g(X)\)，则由于\(X=0,1,\cdots,n\)，故\(\hat g(X)\)的取值只可能是\(a_0,a_1,\cdots,a_n\)，可以写出其期望为
 
\[\mathbb{E}(\hat g(X))=\sum_{j=0}^n a_jC_n^jp^j(1-p)^{n-j}, \]
 
当\(\hat g(X)\)为无偏估计时，成立以下等式：
 
\[\sum_{j=0}^na_jC_n^jp^j(1-p)^{n-j}=\frac{1}{p}, \]
 
即对于某个多项式\(f\in\mathcal P_{n+1}(\mathbb{R})\)，有
 
\[f(p)=0,\quad \forall p\in(0,1). \]
 
显然，要使上式恒成立，除非\(f\)为零多项式。但\(f\)并不是零多项式，这意味着\(f(p)=0\)只会在至多\(n+1\)个点处成立，这与无偏性要求矛盾。因此，\(g(p)=1/p\)不存在无偏估计。
 
我们将存在无偏估计的待估参数称为可估参数，因此UMVUE仅对可估参数作讨论。我们的任务，就是用一定的方法，找到可估参数的UMVUE。
 
Part 2：改进无偏估计量
 
无偏估计量有许多，比如正态分布\(N(\mu,\sigma^2)\)中，\(\mu\)的无偏估计就有\(X_1,2X_2-X_1,\bar X\)等。充分统计量的条件期望法是改进无偏估计量的一个典型方式，它基于如下的定理：设\(T=T(\boldsymbol{X})\)是一个充分统计量，\(\hat g(\boldsymbol{X})\)是\(g(\theta)\)的一个普通无偏估计量，则\(h(T)=\mathbb{E}[\hat g(\boldsymbol{X})|T]\)是\(g(\theta)\)的无偏估计，且
 
\[\mathbb{D}(h(T))\le \mathbb{D}(\hat g(\boldsymbol{X})),\quad \forall \theta\in\Theta. \]
 
等号成立当且仅当\(\hat g(\boldsymbol{X})=h(T)\)是均方条件下成立的。它的证明不是很有必要掌握，权当了解。
 
因为\(T\)是\(g(\theta)\)的充分统计量，故\(\mathbb{E}(\hat g(\boldsymbol{X})|T)\)与待估参数\(g(\theta)\)无关，可以作为统计量，即
 
\[h(T)=\mathbb{E}(\hat g(\boldsymbol{X})|T) \]
 
是合理定义的统计量。下证其无偏性，由全期望公式，有
 
\[\mathbb{E}(h(T))=\mathbb{E}[\mathbb{E}(\hat g(\boldsymbol{X})|T)]=\mathbb{E}(\hat g(\boldsymbol{X}))=g(\theta). \]
 
最后证明其比\(\hat g(\boldsymbol{X})\)更有效，利用一个常用的拆分技巧，得到
 
\[\begin{aligned} \mathbb{D}(\hat g(\boldsymbol{X}))&=\mathbb{D}[\hat g(\boldsymbol{X})-h(T)+h(T)]\\ &=\mathbb{D}(h(T))+\mathbb{D}(\hat g(\boldsymbol{X})-h(T))+2\mathrm{Cov}(h(T),\hat g(\boldsymbol{X})-h(T)), \end{aligned} \]
 
然后证明交叉项为0，这里需要再次用到全期望公式，有
 
\[\begin{aligned} &\quad \mathrm{Cov}(h(T),\hat g(\boldsymbol{X})-h(T))\\ &=\mathbb{E}[h(T)-g(\theta)][\hat g(\boldsymbol{X})-h(T)]\\ &=\mathbb{E}[\mathbb{E}[(h(T)-g(\theta))(\hat g(\boldsymbol{X})-h(T))|T]]\\ &=\mathbb{E}[(h(T)-g(\theta))(\mathbb{E}(\hat g(\boldsymbol{X})|T)-h(T)]\\ &=0. \end{aligned} \]
 
最后的等号是因为\(h(T)=\mathbb{E}(\hat g(\boldsymbol{X})|T)\)，于是代回就得到
 
\[\mathbb{D}(\hat g(\boldsymbol{X}))=\mathbb{D}(h(T))+\mathbb{D}(\hat g(\boldsymbol{X})-h(T))\ge \mathbb{D}(h(T)). \]
 
等号成立当且仅当\(\mathbb{D}(\hat g(\boldsymbol{X})-h(T))^2=\mathbb{E}(\hat g(\boldsymbol{X})-h(T))^2=0\)。
 
这个定理的重要意义在于，如果给定的无偏估计量不是充分统计量的函数，则可以通过条件期望法，将其转变成一个充分统计量的函数作为新的统计量，并且新的统计量总是更有效的。此外，这也对我们寻找UMVUE提出启示：UMVUE一定是充分统计量的函数。如果不然，则可以通过对充分统计量求期望，得到一个更有效的统计量。
 
不过，改进后的充分统计量函数，尽管是更为有效的参数估计，但却并不一定是UMVUE，下面的定理将给出一个验证点估计是否为UMVUE的方法。
 
Part 3：零无偏估计法
 
零无偏估计法是用于判断某个估计量是否为UMVUE的方法，为此，首先要提出什么是零无偏估计。顾名思义，零无偏估计即零的无偏估计量，对某个统计量\(l(\boldsymbol{X})\)，如果有\(\mathbb{E}(l(\boldsymbol{X}))=0\)，则称\(l(\boldsymbol{X})\)是一个零无偏估计量；如果统计量\(T\)是待估参数\(g(\theta)\)的充分统计量，且\(\mathbb{E}(h(T))=0\)，则\(h(T)\)也称为\(g(\theta)\)的零无偏估计量。
 
零无偏估计法的思想、证明过程都与上述的充分统计量条件期望法类似。如果\(\hat g(\boldsymbol{X})\)是UMVUE，则对于任意其他无偏估计\(\hat g_1(\boldsymbol{X})\)，都可以视为\(\hat g_1(\boldsymbol{X})=\hat g(\boldsymbol{X})+l(\boldsymbol{X})\)，显然这里\(\mathbb{E}(l(\boldsymbol{X}))=0\)，要使\(\hat g_1(\boldsymbol{X})\)的方差大于\(\hat g(\boldsymbol{X})\)，可以进行拆分，即
 
\[\mathbb{D}(\hat g_1(\boldsymbol{X}))=\mathbb{D}(\hat g(\boldsymbol{X}))+\mathbb{D}(l(\boldsymbol{X}))+2\mathrm{Cov}(\hat g(\boldsymbol{X}),l(\boldsymbol{X})). \]
 
如果最后的协方差项为0，则必有\(\mathbb{D}(\hat g_1(\boldsymbol{X}))\ge \mathbb{D}(\hat g(\boldsymbol{X}))\)。综合以上讨论，给出零无偏估计法验证UMVUE的方式。
 
设\(\hat g(\boldsymbol{X})\)是\(g(\theta)\)的一个无偏估计，\(\mathbb{D}(\hat g(\boldsymbol{X}))
 
\[\mathrm{Cov}(\hat g(\boldsymbol{X}),l(\boldsymbol{X}))=0, \]
 
则\(\hat g(\boldsymbol{X})\)是\(g(\theta)\)的UMVUE。
 
如果\(\hat g(\boldsymbol{X})\)满足与任何零无偏估计无关，则它是UMVUE，这是一个充分条件。但反之，它也是一个必要条件，即UMVUE必定与任何零无偏估计量无关。
 
如果不然，设\(\mathrm{Cov}(\hat g(\boldsymbol{X}),l(\boldsymbol{X}))=b(\theta)\ne 0\)，则可以假设\(\mathbb{D}(l(\boldsymbol{X}))=a^2(\theta)>0\)。现在固定\(\theta=\theta_0\)为常数，并设\(a(\theta_0)=a,b(\theta_0)=b\)，只要
 
\[\mathbb{D}(l(\boldsymbol{X}))+2\mathrm{Cov}(\hat g(\boldsymbol{X}),l(\boldsymbol{X}))=a^2(\theta_0)+2b(\theta_0)=a^2+2b<0, \]
 
就能找到一个在\(\theta=\theta_0\)处，比\(\hat g(\boldsymbol{X})\)方差更小的无偏估计，那么\(\hat g(\boldsymbol{X})\)就不是UMVUE。注意到，如果\(l(\boldsymbol{X})\)是零无偏估计，则\(\forall k\ne 0\)，\(kl(\boldsymbol{X})\)也是零无偏估计，就有
 
\[\mathbb{D}(kl(\boldsymbol{X}))+2\mathrm{Cov}(\hat g(\boldsymbol{X}),kl(\boldsymbol{X}))=k^2a^2+2bk, \]
 
取\(k\)值为
 
\[\left\{\begin{array}l -\frac{2b}{a}0; \\ 0
 
就使得\(k^2a^2+2bk<0\)成立，于是
 
\[\hat g_1(\boldsymbol{X})\xlongequal{def}\hat g(\boldsymbol{X})+kl(\boldsymbol{X}) \]
 
是\(g(\theta)\)的无偏估计量，且当\(\theta=\theta_0\)时\(\mathbb{D}(\hat g_1(\boldsymbol{X}))
 
有了这个方法，我们可以验证一些常用的充分统计量是UMVUE了。现以正态分布\(N(\mu,\sigma^2)\)的充分统计量\((\bar X,S^2)\)为例，它们是否是UMVUE呢？如果直接验证会稍显繁琐，对零无偏估计法稍加修改可以得到以下的推论：
 
如果\(T\)是充分统计量且\(h(T)\)是\(g(\theta)\)的一个无偏估计，对任何\(\theta\in\Theta\)与一切零无偏估计量\(\delta (T)\)都有
 
\[\mathrm{Cov}(h(T),\delta(T))=\mathbb{E}(h(T)\delta(T))=0, \]
 
则\(h(T)\)是UMVUE。
 
这里只是将样本的函数改成了充分统计量的函数，以上证明过程是依然适用的。并且，由于UMVUE一定是充分统计量的函数，因此这个推论会更有应用意义。
 
对于正态分布而言，充分统计量可以视为
 
\[T_1=\frac{1}{n}\sum_{j=1}^n X_j,\quad T_2=\sum_{j=1}^n (X_j-\bar X)^2,\\ T_1\sim N\left(\mu,\frac{\sigma^2}{n}\right),\quad \frac{T_2}{\sigma^2}\sim\chi^2(n-1)\Rightarrow T_2\sim\Gamma\left(\frac{n-1}{2},\frac{1}{2\sigma^2} \right). \]
 
由于\(T_1,T_2\)独立，所以其联合密度函数容易写出，有
 
\[f_1(t_1)=\frac{\sqrt{n}}{\sqrt{2\pi \sigma^2}}\exp\left\{-\frac{n(t_1-\mu)^2}{2\sigma^2} \right\},\\ f_2(t_2)=\frac{1}{2^{\frac{n-1}{2}}\Gamma(\frac{n-1}{2})\sigma^{n-1}}t_2^{\frac{n-1}{2}-1}e^{-\frac{t_2}{2\sigma^2}},\\ f(t_1,t_2)=\frac{C}{\sigma^n}t_2^{\frac{n-1}{2}-1}\exp\left\{-\frac{n(t_1-\mu)^2+t_2}{2\sigma^2} \right\}. \]
 
如果\(\delta(t_1,t_2)\)是零均值的，则有
 
\[\mathbb{E}(\delta(t_1,t_2))=\frac{C}{\sigma^n}\int_{-\infty}^\infty \delta(t_1,t_2)\cdot t_2^{\frac{n-1}{2}-1}\exp\left\{-\frac{n(t_1-\mu)^2+t_2}{2\sigma^2} \right\}\mathrm{d}t_1\mathrm{d}t_2=0. \]
 
令\(\exp\)部分为\(H(\mu,\sigma^2)\)，也就是我们获得了这个关键的等式(它是证明的核心)：
 
\[\int_{-\infty}^\infty\delta(t_1,t_2)\cdot t_2^{\frac{n-1}{2}-1}H(\mu,\sigma^2)\mathrm{d}t_1\mathrm{d}t_2=0 \]
 
要验证\(\mathbb{E}(t_1,\delta(t_1,t_2))\)与\(\mathbb{E}(t_2,\delta(t_1,t_2))\)是否为0，先从第一个入手，写出其表达式为
 
\[\mathbb{E}(t_1,\delta(t_1,t_2))=\frac{C}{\sigma^n}\int_{-\infty}^{\infty}\delta(t_1,t_2)t_1t_2^{\frac{n-1}{2}-1}H(\mu,\sigma^2)\mathrm{d}t_1\mathrm{d}t_2. \]
 
要验证\(\mathbb{E}(t_1,\delta(t_1,t_2))=0\)，实际上就是验证
 
\[\int_{-\infty}^\infty \delta(t_1,t_2)t_1t_2^{\frac{n-1}{2}-1}H(\mu,\sigma^2)\mathrm{d}t_1\mathrm{d}t_2\stackrel{?}=0. \]
 
不要被这个庞然大物吓到，事实上我们唯一的条件只有\(\mathbb{E}(\delta(t_1,t_2))=0\)所对应的等式，注意到上面的等式无论\(\mu,\sigma\)的真值是多少都应该成立，所以是\(\mu,\sigma\)的二元函数，我们能做的事也很有限——对参数求导。这里涉及到了求导与积分是否可交换的问题，我们姑且不考虑，默认视为可交换即可，由于\(\sigma^2\)很复杂，所以对\(\mu\)求导即可。唯一含有\(\mu\)的项是积分号中间的\(\exp\)部分，其导数为
 
\[H(\mu,\sigma^2)=\exp\left\{-\frac{n(t_1-\mu)^2+t_2}{2\sigma^2} \right\},\\ \frac{\partial H(\mu,\sigma^2)}{\partial \mu}=\frac{2n(t_1-\mu)}{\sigma^2}H(\mu,\sigma^2), \]
 
于是就有
 
\[\frac{\partial \mathbb{E}(\delta_1,\delta_2)}{\partial\mu}=\frac{C}{\sigma^n}\int_{-\infty}^\infty\delta(t_1,t_2)t_2^{\frac{n-1}{2}-1}\frac{2n(t_1-\mu)}{\sigma^2}H(\mu,\sigma^2)\mathrm{d}t_1\mathrm{d}t_2=0, \]
 
将求导后得到的式子展开，提取出参数并代入上面的结果，就有
 
\[\int_{-\infty}^\infty\delta(t_1,t_2)t_1t_2^{\frac{n-1}{2}-1}H(\mu,\sigma)\mathrm{d}t_1\mathrm{d}t_2=0, \]
 
也就说明了\(\mathbb{E}(t_1,\delta(t_1,t_2))=0\)，由\(\delta(t_1,t_2)\)的任意性以及\(T_1\)的无偏性，可知\(\bar X\)是\(\mu\)的UMVUE。
 
下一步证明\(T_2/(n-1)\)是\(\sigma^2\)的UMVUE，也就是证明\(\mathbb{E}(t_2,\delta(t_1,t_2))=0\)，同样写出需要验证的等式为
 
\[\int_{-\infty}^\infty\delta(t_1,t_2) t_2^{\frac{n-1}{2}}H(\mu,\sigma^2)\mathrm{d}t_1\mathrm{d}t_2\stackrel{?}=0. \]
 
现在我们尝试将关键的等式对\(\sigma^2\)求导，同样，先计算\(H\)对\(\sigma^2\)的偏导，有
 
\[H(\mu,\sigma^2)=\exp\left\{-\frac{n(t_1-\mu)^2+t_2}{2\sigma^2} \right\},\\ \frac{\partial H(\mu,\sigma^2)}{\partial \sigma^2}=\frac{n(t_1-\mu)^2+t_2}{2\sigma^4}H(\mu,\sigma^2), \]
 
可以看到，这里除了出现已经确认代入能为0的常数项和\(t_1\)外，还多了\(t_1^2\)与\(t_2\)的项，\(t_2\)就是我们的目标，所以再处理一下\(t_1^2\)这一项。显然，对\(\mu\)求导一次能得到\(t_1\)的一次项，那么对\(\mu\)求二阶导，就能得到\(t_1^2\)项，所以
 
\[\frac{\partial H(\mu,\sigma^2)}{\partial \mu}=\frac{2n(t_1-\mu)}{\sigma^2}H(\mu,\sigma^2),\\ \frac{\partial^2H(\mu,\sigma^2)}{\partial\mu^2}=H(\mu,\sigma^2)\left[\frac{4n^2(t_1-\mu)^2}{\sigma^4}-\frac{2n}{\sigma^2} \right]. \]
 
这样就出现了需要的\(t_1^2\)项，剩下的工作只有繁琐的代入计算而已，我们实际上已经完成了证明的主要步骤，因此\(S^2\)也是\(\sigma^2\)的UMVUE。
 
对于一元连续或离散情形下UMVUE的验证，难度要比二元情形下小得多，因此读者只要掌握了正态分布的零无偏估计法验证，理论上其他UMVUE的验证便不成问题。读者可以自己尝试其他UMVUE的验证。
 
今天，我们提出了UMVUE的概念，重点在于利用充分统计量改进普通的无偏估计，并且利用零无偏估计法验证某个充分统计量函数是否是UMVUE。但是，我们并没有给出寻找UMVUE的方法，如果依靠感觉没有方向地寻找再一个个验证是否为UMVUE，是十分繁琐且难以成功的。比如对于\(B(1,p)\)的参数估计\(g(p)=p(1-p)\)，如果用先猜想后验证的方法来寻找UMVUE，甚至没有入手点。
 
因此，明天我们将学习寻找UMVUE的方法，并介绍一个被我们忽略已久的概念——指数族。

点估计以及无偏性
 点估计定义：设x1，x2，…，xn是来自总体的一个样本，用于估计未知参数θ的统计量θ’=θ’(x1，x2，…，xn)称为θ的估计量，或称θ的点估计，简称估计**(利用特殊统计量的一些性质，可由样本估计总体的一些特征(期望,方差))**
 
参数空间定义：参数空间是数学术语，自然科学计算机术语
 设(X1，……，Xn)为来自总体X的样本，(x1,…,xn)为相应的样本值，θ是总体分布的未知参数，θ∈Θ， Θ表示θ的取值范围，称Θ为参数空间
 
无偏性定义：设θ’=θ’(x1，x2，…，xn)是θ的一个估计，θ的参数空间为Θ，若对任意θ的属于Θ，都有E(θ’)= θ，则称θ‘是θ的无偏估计，否则称为有偏估计
 
设(x1,…,xn)为来自总体X的样本，总体的方差为c^2
 样本的方差sn^ 2=Sum((xi-x一捌)^2)/n
 E(sn^ 2)=E(Sum((xi-x一捌)^ 2)/n)=[(n-1)/n]*c^2(定理5.3.2)
 E(sn^ 2)/[n/(n-1)]= E(Sum((xi-x一捌)^ 2)/[n/(n-1)])=c^2
 由无偏性定义可得统计量E(sn^2)/[n/(n-1)]是总体参数中的方差的无偏性估计
 统计量θ’=E(sn^ 2)/[n/(n-1)]=Sum((xi-x-捌)^2)/(n-1)是总体方差的无偏估计
 
 
大偏差通常被视为估计的一种不足，有人提出了多种缩小偏差的方法
 刀切法就是由Quenouille于1949年和1956年提出的，而正式命名则是由图基(Tukey)于1958年给出
 刀切法定义：
 
 
 
有效性定义：
 当参数可估计时，其无偏估计可以有很多，如何在无偏估计中进行选择？
 直观的想法是希望该估计围绕参数真值的波动越小越好，波动大小可以用方差来衡量，因此常用无偏估计的方差大小作为度量无偏估计优劣的标准，这就是有效性
 设θ1’，θ2’是θ的两个无偏估计
 若对任意θ∈Θ有，Var(θ1’)<=Var(θ2’)
 且至少有一个θ∈Θ使得上述不等号成立
 则称θ1’比θ2’有效