参数估计
参数估计是指用样本统计量去评估总体的参数, 通过对样本的分析结果来对总体进行一个评估

• 估计量. 在参数估计中, 用来估计总体参数的统计量成为 估计量 (例如 样本均值, 样本比例, 样本方差)

• 估计值. 根据一个具体的样本计算出来的估计量的数值成为 估计值 .

参数估计的方法分为 点估计 和 区间估计 两种.

点估计:

点估计即用样本统计量的某个取值直接作为总体参数的估计值.

矩估计:

矩估计，即矩估计法，也称“矩法估计”，就是利用样本矩来估计总体中相应的参数。首先推导涉及感兴趣的参数的总体矩（即所考虑的随机变量的幂的期望值）的方程。然后取出一个样本并从这个样本估计总体矩。接着使用样本矩取代（未知的）总体矩，解出感兴趣的参数。从而得到那些参数的估计。

区间估计:

区间估计（interval estimate）是在点估计的基础上，给出总体参数估计的一个区间范围，该区间通常由样本统计量加减估计误差得到。与点估计不同，进行区间估计时，根据样本统计量的抽样分布可以对样本统计量与总体参数的接近程度给出一个概率度量。

区间估计就是以一定的概率保证估计包含总体参数的一个值域，即根据样本指标和抽样平均误差推断总体指标的可能范围。它包括两部分内容：一是这一可能范围的大小；二是总体指标落在这个可能范围内的概率。区间估计既说清估计结果的准确程度，又同时表明这个估计结果的可靠程度，所以区间估计是比较科学的。

总体均值的区间估计

样本量的确定

估计总体均值时样本量的确定

参数估计(parameter estimation)

目录

参数估计(parameter estimation)

点估计（point estimation）

矩估计法（method  of  moments）,

区间估计（interval estimation）

参数估计属于统计推断的范畴，是根据从总体中抽取的样本估计总体分布中包含的未知参数的方法。

统计推断是数理统计研究的核心问题，是指根据样本对总体分布或分布的数字特征等作出合理的推断。

参数估计分为：点估计、区间估计

点估计（point estimation）

点估计是依据样本估计总体分布中所含的未知参数或未知参数的函数。通常它们是总体的某个特征值，如数学期望、方差和相关系数等。点估计问题就是要构造一个只依赖于样本的量，作为未知参数或未知参数的函数的估计值。例如，设一批产品的废品率为θ。为估计θ，从这批产品中随机地抽出n 个作检查，以X记其中的废品个数，用X/n估计θ，这就是一个点估计。

构造点估计常用方法：

矩估计法：用样本矩估计总体矩，比如：用样本均值估计总体均值。
	
最大似然估计法：于1912年由英国统计学家R.A.费希尔提出，利用样本分布密度构造似然函数来求出参数的最大似然估计。
	
最小二乘法：主要用于线性统计模型中的参数估计问题。比如：Y=a0+a1X的参数估计就可以用最小乘法。
	
贝叶斯估计法：基于贝叶斯学派的观点而提出的估计法。可以用来估计未知参数的估计量很多，于是产生了怎样选择一个优良估计量的问题。首先必须对优良性定出准则，这种准则是不唯一的，可以根据实际问题和理论研究的方便进行选择。优良性准则有两大类:一类是小样本准则，即在样本大小固定时的优良性准则;另一类是大样本准则，即在样本大小趋于无穷时的优良性准则。最重要的小样本优良性准则是无偏性及与此相关的一致最小方差无偏估计，其次有容许性准则， 最小化最大准则，最优同变准则等。大样本优良性准则有相合性、最优渐近正态估计和渐近有效估计等。
点估计能够明确告知人们“未知参数是多少”，但不能反映估计的可信程度。

矩估计法（method  of  moments）,

矩估计法也称"矩法估计"，原理是用样本矩作为相应的总体矩估计来求出估计量的方法，其思想是如果总体中有 K个未知参数，可以用前 K阶样本矩估计相应的前k阶总体矩，然后利用未知参数与总体矩的函数关系，求出参数的估计量。

矩法估计一般求的是一阶原点矩和二阶中心矩。

假设总体X的k阶原点矩：


令总体的k阶原点矩等于它样本的k阶原点矩

 



注：矩法相比于极大似然法、最小二乘法，效率很低。目前很少使用。

 

 

区间估计（interval estimation）

区间估计是依据抽取的样本，根据一定的正确度与精确度的要求，构造出适当的区间，作为总体分布的未知参数或参数的函数的真值所在范围的估计。

例如人们常说的有百分之多少的把握保证某值在某个范围内，即是区间估计的最简单的应用。

求置信区间常用的三种方法:

利用已知的抽样分布。
	
利用区间估计与假设检验的联系。
	
利用大样本理论。
区间估计可以告知置信区间范围，但不能直接告知人们“未知参数是多少”。

置信区间

区间估计(interval estimation)是从点估计值和抽样标准误出发，按给定的概率值建立包含待估计参数的区间。其中这个给定的概率值称为置信度或置信水平(confidence level)，这个建立起来的包含待估计参数的区间称为置信区间(confidence interval)，指总体参数值落在样本统计值某一区内的概率。

所谓置信水平就是给出一个区间的信心，这个信心以概率来表示，绝大多数情况下取 0.95，表示你对所估计的总体参数有95%的信心落在你所给的区间内。通常置信水平以1-α表 示，α称为显著性水平。

置信区间的建立就与中心极限定理和抽样分布有关了，在给定置信度的条件下，置信区间的宽度决定于抽样分布。 建立置信区间的意思是在设定的置信水平(如取0.95)下，总体参数落在这个区间的概率为 0.95，大致的理解是如果抽100次样，建立100个置信区间，大约95个区间包含总体参数，约5个区间不包含总体参数(注意不是一定有5个，可能会多，也可能会少)。

划定置信区间的两个数值分别称为置信下限(lower confidence limit,lcl)和置信上限(upper confidence limit,ucl)



置信区间最主要的应用是用于假设检验。

参数估计
1、什么是参数估计
简单来说是：参数估计是指使用样本统计量估计总体的参数的

【百度百科的解释如下】

参数估计（parameter estimation），统计推断的一种。根据从总体中抽取的随机样本来估计总体分布中未知参数的过程。从估计形式看，区分为点估计与区间估计：从构造估计量的方法讲，有矩法估计、最小二乘估计、似然估计、贝叶斯估计等。要处理两个问题：（1）求出未知参数的估计量；（2）在一定信度（可靠程度）下指出所求的估计量的精度。信度一般用概率表示，如可信程度为95%；精度用估计量与被估参数（或待估参数）之间的接近程度或误差来度量。
2、为什么需要参数估计
人们常常需要根据手中的数据，分析或推断数据反映的本质规律。即根据样本数据如何选择统计量去推断总体的分布或数字特征等。统计推断是数理统计研究的核心问题。所谓统计推断是指根据样本对总体分布或分布的数字特征等作出合理的推断，也就我我们所讨论的参数估计
3、参数估计有可以分为哪几种
参数估计通常可以分为：点估计和区间估计两种
3.1点估计
点估计：在统计学中，点估计（point estimation）是指用样本数据来估计总体参数， 估计结果使用一个点的数值表示“最佳估计值”，因此称为点估计。由样本数据估计总体分布所含未知参数的真值，所得到的值，称为估计值

常用的估计法有：最小方差均值无偏估计（MVUE）、最佳线性无偏估计（BLUE）、最小均方误差（MMSE）、中值无偏估计、最大似然估计（MLE）、矩估计和广义矩估计。本文主要介绍一下最大似然估计（MLE）和矩估计。
3.1.1 最大似然估计（MLE）

3.1.2 矩估计

3.2区间估计
区间估计：在点估计的基础上，给出总体参数的一个区间范围，通常是由样本统计量加减估计误差得到

置信区间：在区间估计中，由样本统计量构造的总体参数的估计区间


参考

百度百科参数估计
参数估计与假设检验
最大似然估计
数理统计讲义

参数估计（parameter estimation）：
根据从总体中抽取的样本估计总体分布中包含的未知参数的方法。人们常常需要根据手中的数据，分析或推断数据反映的本质规律。即根据样本数据如何选择统计量去推断总体的分布或数字特征等。统计推断是数理统计研究的核心问题。所谓统计推断是指根据样本对总体分布或分布的数字特征等作出合理的推断。它是统计推断的一种基本形式，是数理统计学的一个重要分支，分为点估计和区间估计两部分。




非参数估计：
已知样本所属的类别，但未知总体概率密度函数的形式，要求我们直接推断概率密度函数本身。统计学中常见的一些典型分布形式不总是能够拟合实际中的分布。此外，在许多实际问题中经常遇到多峰分布的情况，这就迫使我们必须用样本来推断总体分布，常见的总体类条件概率密度估计方法有Parzen窗法和Kn近邻法两种。



非参数估计也有人将其称之为无参密度估计，它是一种对先验知识要求最少，完全依靠训练数据进行估计，而且可以用于任意形状密度估计的方法。常见的非参数估计方法有以下几种：









度曲线的光滑程度，k越大越光滑。




概率密度函数估计：

非参数估计和参数估计（监督参数估计和非监督参数估计）共同构成了概率密度估计方法。



在贝叶斯分类（这里有个简介：http://blog.csdn.net/carson2005/article/details/6854005 ）器设计之中，需要在类的先验概率和类条件概率密度均已知的情况下，按照一定的决策规则确定判别函数和决策面。但是，在实际应用中，类条件概率密度通常是未知的。那么，当先验概率和类条件概率密度都未知或者其中之一未知的情况下，该如何来进行类别判断呢？其实，只要我们能收集到一定数量的样本，根据统计学的知识，我们是可以从样本集来推断总体概率分布的。一般来说，有以下几种方法可以解决这个问题：

   一、监督参数估计：样本所属的类别及类条件总体概率密度函数的形式为已知，而表征概率密度函数的某些参数是未知的。例如，只知道样本所属总体分布形式为正态分布，而正态分布的参数是未知的。监督参数估计的目的就是由已知类别的样本集对总体分布的某些参数进行统计推断。

  二、非监督参数估计：已知总体概率密度函数形式但未知样本所属的类别，要求推断出概率密度函数的某些参数，这种推断方法称之为非监督情况下的参数估计。 这里提到的监督参数估计和非监督参数估计中的监督和非监督是指样本所属类别是已知还是未知。但无论哪种情况下的参数估计都是统计学中的经典问题，解决的方法很多。但最常用的有两种：一种是最大似然估计方法；另一种是贝叶斯估计方法。虽然两者在结果上通常是近似的，但从概念上来说它们的处理方法是完全不同的。最大似然估计把参数看做是确定（非随机）而未知的，最好的估计值是在获得实际观察样本的概率为最大的条件下得到的。而贝叶斯估计则是把参数当做具有某种分布的随机变量，样本的观察结果使先验分布转换为后验分布，再根据后验分布修正原先对参数的估计。


   三、非参数估计：已知样本所属的类别，但未知总体概率密度函数的形式，要求我们直接推断概率密度函数本身。统计学中常见的一些典型分布形式不总是能够拟合实际中的分布。此外，在许多实际问题中经常遇到多峰分布的情况，这就迫使我们必须用样本来推断总体分布，常见的总体类条件概率密度估计方法有Parzen窗法和Kn近邻法两种。