最大似然估计的目的就是：利用已知的样本结果，反推最有可能（最大概率）导致这样结果的参数值。 原理：极大似然估计是建立在极大似然原理的基础上的一个统计方法，是概率论在统计学中的应用。 ... 记已知的样本集为： 似然函数（linkehood function）：联合概率密度函数 称为相对于 的θ的似然函数

 

连续概率密度函数




如果抛硬币10次，出现8次正面；最大似然估计就是反推正面的概率是多少，能使这种结果出现的可能性最大；在参数theta的所有取值（0到1无数个取值可能性）中，这里的参数theta就是正面向上的概率值；最大似然估计结果：theta=p(正面)=0.8；

参数估计(parameter estimation)

目录

参数估计(parameter estimation)

点估计（point estimation）

矩估计法（method  of  moments）,

区间估计（interval estimation）

参数估计属于统计推断的范畴，是根据从总体中抽取的样本估计总体分布中包含的未知参数的方法。

统计推断是数理统计研究的核心问题，是指根据样本对总体分布或分布的数字特征等作出合理的推断。

参数估计分为：点估计、区间估计

点估计（point estimation）

点估计是依据样本估计总体分布中所含的未知参数或未知参数的函数。通常它们是总体的某个特征值，如数学期望、方差和相关系数等。点估计问题就是要构造一个只依赖于样本的量，作为未知参数或未知参数的函数的估计值。例如，设一批产品的废品率为θ。为估计θ，从这批产品中随机地抽出n 个作检查，以X记其中的废品个数，用X/n估计θ，这就是一个点估计。

构造点估计常用方法：

矩估计法：用样本矩估计总体矩，比如：用样本均值估计总体均值。
	
最大似然估计法：于1912年由英国统计学家R.A.费希尔提出，利用样本分布密度构造似然函数来求出参数的最大似然估计。
	
最小二乘法：主要用于线性统计模型中的参数估计问题。比如：Y=a0+a1X的参数估计就可以用最小乘法。
	
贝叶斯估计法：基于贝叶斯学派的观点而提出的估计法。可以用来估计未知参数的估计量很多，于是产生了怎样选择一个优良估计量的问题。首先必须对优良性定出准则，这种准则是不唯一的，可以根据实际问题和理论研究的方便进行选择。优良性准则有两大类:一类是小样本准则，即在样本大小固定时的优良性准则;另一类是大样本准则，即在样本大小趋于无穷时的优良性准则。最重要的小样本优良性准则是无偏性及与此相关的一致最小方差无偏估计，其次有容许性准则， 最小化最大准则，最优同变准则等。大样本优良性准则有相合性、最优渐近正态估计和渐近有效估计等。
点估计能够明确告知人们“未知参数是多少”，但不能反映估计的可信程度。

矩估计法（method  of  moments）,

矩估计法也称"矩法估计"，原理是用样本矩作为相应的总体矩估计来求出估计量的方法，其思想是如果总体中有 K个未知参数，可以用前 K阶样本矩估计相应的前k阶总体矩，然后利用未知参数与总体矩的函数关系，求出参数的估计量。

矩法估计一般求的是一阶原点矩和二阶中心矩。

假设总体X的k阶原点矩：


令总体的k阶原点矩等于它样本的k阶原点矩

 



注：矩法相比于极大似然法、最小二乘法，效率很低。目前很少使用。

 

 

区间估计（interval estimation）

区间估计是依据抽取的样本，根据一定的正确度与精确度的要求，构造出适当的区间，作为总体分布的未知参数或参数的函数的真值所在范围的估计。

例如人们常说的有百分之多少的把握保证某值在某个范围内，即是区间估计的最简单的应用。

求置信区间常用的三种方法:

利用已知的抽样分布。
	
利用区间估计与假设检验的联系。
	
利用大样本理论。
区间估计可以告知置信区间范围，但不能直接告知人们“未知参数是多少”。

置信区间

区间估计(interval estimation)是从点估计值和抽样标准误出发，按给定的概率值建立包含待估计参数的区间。其中这个给定的概率值称为置信度或置信水平(confidence level)，这个建立起来的包含待估计参数的区间称为置信区间(confidence interval)，指总体参数值落在样本统计值某一区内的概率。

所谓置信水平就是给出一个区间的信心，这个信心以概率来表示，绝大多数情况下取 0.95，表示你对所估计的总体参数有95%的信心落在你所给的区间内。通常置信水平以1-α表 示，α称为显著性水平。

置信区间的建立就与中心极限定理和抽样分布有关了，在给定置信度的条件下，置信区间的宽度决定于抽样分布。 建立置信区间的意思是在设定的置信水平(如取0.95)下，总体参数落在这个区间的概率为 0.95，大致的理解是如果抽100次样，建立100个置信区间，大约95个区间包含总体参数，约5个区间不包含总体参数(注意不是一定有5个，可能会多，也可能会少)。

划定置信区间的两个数值分别称为置信下限(lower confidence limit,lcl)和置信上限(upper confidence limit,ucl)



置信区间最主要的应用是用于假设检验。

 
我们学习了概率，知道对于一个总体有一个分布，假设中国人的身高是一个正态分布。但是这个正态分布的参数（均值和方差）是不知道的，因此我们需要估计这两个参数。我们不可能统计所有中国人的身高，然后再计算这个参数。那么我们只能抽样，例如统计10万人的升高去估计着两个参数。在抽样的时候，必须放在抽样数据是有偏的，即与总体的分布不一致的。因此，需要慎重的考虑抽样的方法。得到样本之后，我们就可以估计整个分布的参数。

解释了，在Michael collins的自然语言处理教程中，为什么三元文法对q(w|u,v)的估计是极大似然估计？？