参数估计：是根据从总体中抽取的样本估计总体分布中包含的未知参数的方法。
 
参数估计包括点估计和区间估计。
 
常见点估计方法：矩估计、最小二乘估计、极大似然估计、贝叶斯估计
 
区间估计：利用已知的抽样分布、利用区间估计与假设检验的联系、利用大样本理论
 
一、点估计 
 1、矩估计
 
矩估计法的理论依据是大数定律。矩估计是基于一种简单的“替换”思想，即用样本矩估计总体矩 
 优点：简单易行, 并不需要事先知道总体是什么分布。（根据均值方差来计算未知参数） 
 缺点：当总体类型已知时，没有充分利用分布提供的信息（有一定随意性）
 
2、最小二乘估计 
 对于最小二乘估计来说，最合理的参数估计量应该使得模型能最好地拟合样本数据，也就是估计值与观测值之差的平方和最小。 
 目标最小化估计值与观测值之差的平方和。Q表示误差平方和，Yi表示估计值，Ŷ i表示观测值，即Q=∑(Yi−Ŷ i)^2 i = 1,2,……,n
 
3、极大似然估计 
 对于最大似然估计来说，最合理的参数估计量应该使得从模型中抽取该n组样本的观测值的概率最大，也就是概率分布函数或者似然函数最大。
 
典型例题： 
 
 
4、贝叶斯估计 
  
  
 
 
二、区间估计
 
区间估计 = 点估计 ± 边际误差 
 根据样本求出未知参数的估计区间，并使这个区间包含未知参数的可靠程度达到预定要求（这个预定要求就是个置信度，用上α位分点来体现这个置信度）。
 
步骤：
 
1.构造合适的包含待估参数的统计量U，且统计量的分布已知。
 
2.根据给定的置信度，按照P（U1

参数估计包括点估计和区间估计两类。
 
点估计
 
点估计是以抽样得到的样本指标作为总体指标的估计量，并以样本指标的实际值直接作为总体未知参数的估计值的一种推断方法。
 
点估计(point estimate)是用样本统计量的某个取值直接作为总体参数的估计值。例如，用样本均值x直接作为总体均值μ的估计值，用样本方差s2直接作为总体方差σ2的估计值。点估计的方法有：矩估计法、顺序统计量法、最大似然法、最小二乘法。
 
矩估计法：矩是指以期望为基础而定义的数字特征，一般分为原点矩和中心矩。设X为随机变量，对任意正整数k，称E(Xk)为随机变量X的k阶原点矩，记为：
 $$m_k=E(X^k)$$
 当k=1时，m1=E(X)=μ，可见一阶原点矩为随机变量X的数学期望。
 
把Ck=E[X-E(X)]k称为以E(X)为中心的k阶中心矩。显然，当k=2时，C2=E[X-E(x)]2=σ2，可见二阶中心矩为随机变量X的方差。
 
顺序统计量法：用样本中位数估计总体的数学期望的方法称数学期望的顺序统计量估计法。顺序统计量估计法的优点是计算简便，且中位数不易受个别异常数据的影响．如果一组样本值某一数据异常(如过于小或过于大)，则这个异常数据可能是总体的随机性造成的，也可能是受外来干扰造成的(如工作人员粗心，记录错误)，当原因属于后者，用样本平均值估计E(x)显然受到影响，但用样本中位数估计总体期望时，由于一个(甚至几个)异常的数据不易改变中位数的取值，所以估计值不易受到影响。
 
最大似然法(Maximum Likelihood)：它用来求一个样本集的相关概率密度函数的参数。
 
最小二乘法(generalized least squares)：是一种数学优化技术，它通过最小化误差的平方和找到一组数据的最佳函数匹配。 最小二乘法是用最简的方法求得一些绝对不可知的真值，而令误差平方之和为最小。 最小二乘法通常用于曲线拟合。很多其他的优化问题也可通过最小化能量或最大化熵用最小二乘形式表达。
 
区间估计
 
区间估计(interval estimate)是在点估计的基础上，给出总体参数估计的一个区间范围，该区间通常由样本统计量加减估计误差得到。与点估计不同，进行区间估计时，根据样本统计量的抽样分布可以对样本统计量与总体参数的接近程度给出一个概率度量。
 
区间估计中，由样本统计量所构造的总体参数的估计区间称为置信区间(confidence interval)，其中区间的最小值称为置信下限，最大值称为置信上限。
 
如果将构造置信区间的步骤重复多次，置信区间中包含总体参数真值的次数所占的比例称为置信水平(confidence level)，也称为置信度或置信系数(confidence coefficient)。
 
区间估计的正确理解方式：区间估计并不是总体参数落在某个区间的概率，而是抽取的多个样本中有多大的概率包含总体参数，由此通过概率可以知道在多次抽样得到的区间中大概有多少个区间包含了参数的真值。
 
一个总体参数的区间估计
 
研究一个总体时，所关心的参数主要有总体均值μ、总体比例π和总体方差σ2等。
 
 
总体均值的区间估计
 
对总体均值进行区间估计时，需要考虑总体是否为正态分布，总体方差是否已知，用于构造估计量的样本是大样本（通常要求n≥30）还是小样本（n<30）等几种情况。下面分两种情况来分析：
 
（1）正态总体、方差已知，或非正态总体、大样本
 
当总体服从正态分布且方差已知，或总体非正态分布但样本为大样本时，样本均值x的抽样分布服从正态分布，其数学期望为总体均值μ，方差为σ2/n。样本均值经过标准化后的随机变量则服从正态分布，即
 $$z=\frac{\overline{x}-\mu }{\sigma /\sqrt{n}}\sim N(0,1)$$
 根据式上式和正态分布的性质可以得出总体均值μ在1-α置信水平下的置信区间为：
 $$\overline{x}\pm z_{\alpha /2}\frac{\sigma }{\sqrt{n}}$$
 
（2）正态总体、方差未知、小样本
 
在总体服从正态分布的情况下，如果总体方差σ2未知，且样本较小的情况下，需要用样本方差s2代替σ2。这时，样本均值经过标准化以后的随机变量服从自由度为(n-1)的t分布，即
 $$t=\frac{\overline{x}-\mu }{s/\sqrt{n}}\sim t(n-1)$$
 因此需要采用t分布来建立总体均值μ的置信区间。根据t分布建立的总体均值μ在1-α置信水平下的置信区间为：
 $$\overline{x}\pm t_{\alpha /2}\frac{s}{\sqrt{n}}$$
 
 
总体比例的区间估计
 
在大样本的前提下，样本比例p的抽样分布可用正态分布近似。p的数学期望为E§=π，p的方差为σ2p=π(1-π)/n。而样本比例经标准化后的随机变量则服从标准正态分布，即
 $$z=\frac{p-\pi }{\sqrt{\pi (1-\pi )/n}}\sim N(0,1)$$
 与总体均值的区间估计类似，在样本比例p的基础上加减估计误差zα/2σp，即得总体比例π在1-α置信水平下的置信区间为：
 $$p\pm z_{\alpha /2}\sqrt{\frac{\pi (1-\pi )}{n}}$$
 当通过上式计算总体比例π的置信区间时，π值应该是已知的。但实际情况不然，π值恰好是要估计的，所以需要用样本比例p来代替π。这种情况下，总体比例的置信区间可表示为：
 $$p\pm z_{\alpha /2}\sqrt{\frac{p(1-p)}{n}}$$
 
 
总体方差的区间估计
 
对于总体方差的估计，这里只讨论正态总体方差的估计。根据样本方差的抽样分布可知，样本方差服从自由度为n-1的χ2分布。因此用χ2分布构造总体方差的置信区间。
 
总体方差σ2在1-α置信水平下的置信区间为：
 $$\frac{(n-1)s^2}{{\chi }_{\alpha /2}^2}\le {\sigma }^2\le \frac{(n-1)s^2}{{\chi }_{1-\alpha /2}^2}$$
 
 
两个总体参数的区间估计后续讨论。
 
样本量的确定
 
通过区间估计可以了解到样本量的选择对于问题的求解至关重要，大样本（n≥30）和小样本（n<30）求解的方法不同。同样是大样本选择多大的样本来估计参数比较合适？
 
通常，样本量的确定与可以容忍的置信区间的宽度以及对此区间设置的置信水平有一定关系。因此如何确定一个适当的样本量，也是抽样估计中需要考虑的问题。
 
估计总体均值时样本量的确定
 
总体均值的置信区间是由样本均值x和估计误差两部分组成的。在重复抽样或无限总体抽样条件下，估计误差为：
 $$z_{\alpha /2}\frac{\sigma }{\sqrt{n}}$$
 其中zα/2的值和样本n共同确定了估计误差的大小。当确定了置信水平1-α，zα/2的值就确定了。对于给定的zα/2的值和总体标准差σ，就可以确定任一希望的估计误差所需要的样本量。令E代表所希望达到的估计误差，即：
 $$E=z_{\alpha /2}\frac{\sigma }{\sqrt{n}}$$
 通过上式可以推导出确定样本量的公式如下：
 $$n=\frac{(z_{\alpha /2}{)}^2{\sigma }^2}{E^2}$$
 式中的E值是使用者在给定的置信水平下可以接受的估计误差，zα/2的值可直接由区间估计中所用到的置信水平确定。当σ未知时，可以用样本的标准差来代替；也可以用试验调查的办法，选择一个初始样本，以该样本的标准差作为σ的估计值。
 
从上式可以看出，样本量与置信水平成正比，在其他条件不变的情况下，置信水平越大，所需要的样本量也就越大；样本量与总体方差成正比，总体的差异越大，所要求的样本量也越大；样本量与估计误差的平方成反比，即可以接受的估计误差的平方越大，所需的样本量就越小。
 
估计总体比例时样本量的确定
 
与估计总体均值时样本量确定的方法类似，在重复抽样或无限总体抽样条件下，估计总体比例置信区间的估计误差为：
 $$z_{\alpha /2}\sqrt{\frac{\pi (1-\pi )}{n}}$$
 由上式可知，zα/2的值、总体比例π和样本量n共同确定了估计误差的大小。令E代表所希望达到的估计误差，即：
 $$E=z_{\alpha /2}\sqrt{\frac{\pi (1-\pi )}{n}}$$
 据此可以推导出重复抽样或无限总体抽样条件下确定样本量的公式如下：
 $$n=\frac{(z_{\alpha /2}{)}^2\pi (1-\pi )}{E^2}$$
 式中的估计误差E必须是使用者事先确定的，大多数情况下，一般取E的值小0.10。zα/2的值可直接由区间估计中所用导的置信水平确定。如果π未知，可以用类似的样本比例来代替；也可以用试验调查的办法，选择一个初始样本，以该样本的比例作为π的估计值。当π的值无法知道时，通常取使π(1-π)最大时的0.5。
 
参考文献
 
点估计
 
顺序量统计法
 
最大似然估计
 
最小二乘法
 
《统计学（第六版）》：贾俊平

https://wenku.baidu.com/view/1cf9639efab069dc502201fe.html
 
以PLSA和LDA为代表的文本语言模型是当今统计自然语言处理研究的热点问题。这类语言模型一般都是对文本的生成过程提出自己的概率图模型，然后利用观察到的语料数据对模型参数做估计。有了语言模型和相应的模型参数，我们可以有很多重要的应用，比如文本特征降维、文本主题分析等等。本文主要介绍文本分析的三类参数估计方法-最大似然估计MLE、最大后验概率估计MAP及贝叶斯估计。
 
 
 
1、最大似然估计MLE
 
首先回顾一下贝叶斯公式
 
 
 
 
 
 
这个公式也称为逆概率公式，可以将后验概率转化为基于似然函数和先验概率的计算表达式，即
 
 
 
 
 
 
最大似然估计就是要用似然函数取到最大值时的参数值作为估计值，似然函数可以写做
 
 
 
 
 
 
由于有连乘运算，通常对似然函数取对数计算简便，即对数似然函数。最大似然估计问题可以写成
 
 
 
 
 
 
这是一个关于的函数，求解这个优化问题通常对求导，得到导数为0的极值点。该函数取得最大值是对应的的取值就是我们估计的模型参数。
 
以扔硬币的伯努利实验为例子，N次实验的结果服从二项分布，参数为P，即每次实验事件发生的概率，不妨设为是得到正面的概率。为了估计P，采用最大似然估计，似然函数可以写作
 
 
 
 
 
 
其中表示实验结果为i的次数。下面求似然函数的极值点，有
 
 
 
 
 
 
得到参数p的最大似然估计值为
 
 
 
 
 
 
可以看出二项分布中每次事件发的概率p就等于做N次独立重复随机试验中事件发生的概率。
 
 
 
如果我们做20次实验，出现正面12次，反面8次
 
那么根据最大似然估计得到参数值p为12/20 = 0.6。
 
 
 
2、最大后验估计MAP
 
最大后验估计与最大似然估计相似，不同点在于估计的函数中允许加入一个先验，也就是说此时不是要求似然函数最大，而是要求由贝叶斯公式计算出的整个后验概率最大，即
 
 
 
 
 
 
注意这里P（X）与参数无关，因此等价于要使分子最大。与最大似然估计相比，现在需要多加上一个先验分布概率的对数。在实际应用中，这个先验可以用来描述人们已经知道或者接受的普遍规律。例如在扔硬币的试验中，每次抛出正面发生的概率应该服从一个概率分布，这个概率在0.5处取得最大值，这个分布就是先验分布。先验分布的参数我们称为超参数(hyperparameter)即
 
 
 
 
 
 
同样的道理，当上述后验概率取得最大值时，我们就得到根据MAP估计出的参数值。给定观测到的样本数据，一个新的值发生的概率是
 
 
 
 
 
 
下面我们仍然以扔硬币的例子来说明，我们期望先验概率分布在0.5处取得最大值，我们可以选用Beta分布即
 
 
 
 
 
 
其中Beta函数展开是
 
 
 
 
 
 
当x为正整数时
 
 
 
 
 
 
Beta分布的随机变量范围是[0,1],所以可以生成normalised probability values。下图给出了不同参数情况下的Beta分布的概率密度函数
 
 
我们取,这样先验分布在0.5处取得最大值，现在我们来求解MAP估计函数的极值点，同样对p求导数我们有
 
 
 
 
 
 
得到参数p的的最大后验估计值为
 
 
 
 
 
 
和最大似然估计的结果对比可以发现结果中多了这样的pseudo-counts,这就是先验在起作用。并且超参数越大，为了改变先验分布传递的belief所需要的观察值就越多，此时对应的Beta函数越聚集，紧缩在其最大值两侧。
 
如果我们做20次实验，出现正面12次，反面8次，那么
 
那么根据MAP估计出来的参数p为16/28 = 0.571,小于最大似然估计得到的值0.6，这也显示了“硬币一般是两面均匀的”这一先验对参数估计的影响。
 
 
 
3 贝叶斯估计
 
贝叶斯估计是在MAP上做进一步拓展，此时不直接估计参数的值，而是允许参数服从一定概率分布。回顾一下贝叶斯公式
 
 
 
 
 
 
现在不是要求后验概率最大，这样就需要求,即观察到的evidence的概率，由全概率公式展开可得
 
 
 
 
 
 
当新的数据被观察到时，后验概率可以自动随之调整。但是通常这个全概率的求法是贝叶斯估计比较有技巧性的地方。
 
那么如何用贝叶斯估计来做预测呢？如果我们想求一个新值的概率，可以由
 
 
 
 
 
 
来计算。注意此时第二项因子在上的积分不再等于1，这就是和MLE及MAP很大的不同点。
 
我们仍然以扔硬币的伯努利实验为例来说明。和MAP中一样，我们假设先验分布为Beta分布，但是构造贝叶斯估计时，不是要求用后验最大时的参数来近似作为参数值，而是求满足Beta分布的参数p的期望，有
 
 
 
 
 
 
注意这里用到了公式
 
 
 
 
 
 
当T为二维的情形可以对Beta分布来应用；T为多维的情形可以对狄利克雷分布应用
 
根据结果可以知道，根据贝叶斯估计，参数p服从一个新的Beta分布。回忆一下，我们为p选取的先验分布是Beta分布，然后以p为参数的二项分布用贝叶斯估计得到的后验概率仍然服从Beta分布，由此我们说二项分布和Beta分布是共轭分布。在概率语言模型中，通常选取共轭分布作为先验，可以带来计算上的方便性。最典型的就是LDA中每个文档中词的Topic分布服从Multinomial分布，其先验选取共轭分布即Dirichlet分布；每个Topic下词的分布服从Multinomial分布，其先验也同样选取共轭分布即Dirichlet分布。
 
根据Beta分布的期望和方差计算公式，我们有
 
 
 
 
 
 
可以看出此时估计的p的期望和MLE ，MAP中得到的估计值都不同，此时如果仍然是做20次实验，12次正面，8次反面，那么我们根据贝叶斯估计得到的p满足参数为12+5和8+5的Beta分布，其均值和方差分别是17/30=0.567, 17*13/(31*30^2)=0.0079。可以看到此时求出的p的期望比MLE和MAP得到的估计值都小，更加接近0.5。
 
综上所述我们可以可视化MLE,MAP和贝叶斯估计对参数的估计结果如下
 
 
个人理解是，从MLE到MAP再到贝叶斯估计，对参数的表示越来越精确，得到的参数估计结果也越来越接近0.5这个先验概率，越来越能够反映基于样本的真实参数情况。
 
 
 
 
 
 
 
原文地址：http://blog.csdn.net/yangliuy/article/details/8296481
 
 
 
参考文献
 
Gregor Heinrich, Parameter estimation for test analysis, technical report 
 
Wikipedia Beta分布词条 ,  http://en.wikipedia.org/wiki/Beta_distribution

 
概率论 参数估计与假设检验 区分及例子
 
动机
区分概念
假设检验
基本思想
小概率原理
   
原理
几种常见假设检验
假设检验规则和两类错误
检验规则
两类错误
   
明确步骤
 

 
动机
 
国内本科教材重计算技巧，轻内在逻辑，大家学完容易忘记。最近在补概率论相关知识，作如下总结希望共勉，不足之处，多多指教。
 
区分概念
 
假设检验和参数估计解决的是不同的问题，参数估计是对用样本统计量去估计总体的参数的真值，而假设检验则是根据样本统计量来检验对总体参数的先验假设是否成立。二者都是根据样本信息对总体的数量特征进行推断，但目的不同。
 例如：我们对45钢的断裂韧性作了测定，取得了一批数据，然后要求45钢断裂韧性的平均值，或要求45钢断裂韧性的单侧下限值，或要求45钢断裂韧性的分散度(即离散系数)，这就是参数估计的问题。又如，经过长期的积累，知道了某材料的断裂韧性的平均值和标准差，经改进热处理后，又测得一批数据，试问新工艺与老工艺相比是否有显著差异，这就是假设检验的问题。
 
假设检验
 
基本思想
 
小概率原理
 
如果对总体的某种假设是真实的，那么不利于或不能支持这一假设的事件A（小概率事件）在一次试验中几乎不可能发生的；要是在一次试验中A竟然发生了，就有理由怀疑该假设的真实性，拒绝这一假设。
 
原理
 
假设检验使用了一种类似于“反证法”的推理方法，它的特点是：
 （1）先假设总体某项假设成立，计算其会导致什么结果产生。若导致不合理现象产生，则拒绝原先的假设。若并不导致不合理的现象产生，则不能拒绝原先假设，从而接受原先假设。
 （2）它又不同于一般的反证法。所谓不合理现象产生，并非指形式逻辑上的绝对矛盾，而是基于小概率原理：概率很小的事件在一次试验中几乎是不可能发生的，若发生了，就是不合理的。至于怎样才算是“小概率”呢？通常可将概率不超过0.05的事件称为“小概率事件”，也可视具体情形而取0.1或0.01等。在假设检验中常记这个概率为α，称为显著性水平。而把原先设定的假设成为原假设，记作H0。把与H0相反的假设称为备择假设，它是原假设被拒绝时而应接受的假设，记作H1。
 
几种常见假设检验
 
 
假设检验规则和两类错误
 
检验规则
 
检验过程是比较样本观察结果与总体假设的差异。差异显著，超过了临界点，拒绝H0；反之，差异不显著，接受H0。
 
 
两类错误
 
I型错误：弃真，概率为α
 II型错误：取伪，概率为β
 具体的：
 
 基本原则：力求在控制α前提下减少β
 α——显著性水平，取值：0.1, 0.05, 0.001, 等。如果犯I类错误损失更大，为减少损失，α值取小；如果犯II类错误损失更大，α值取大。确定α，就确定了临界点c。
 
举个例子
 
 
明确步骤