参数估计(parameter estimation)
 
目录
 
参数估计(parameter estimation)
 
点估计（point estimation）
 
矩估计法（method  of  moments）,
 
区间估计（interval estimation）
 
参数估计属于统计推断的范畴，是根据从总体中抽取的样本估计总体分布中包含的未知参数的方法。
 统计推断是数理统计研究的核心问题，是指根据样本对总体分布或分布的数字特征等作出合理的推断。
 参数估计分为：点估计、区间估计
 
点估计（point estimation）
 
点估计是依据样本估计总体分布中所含的未知参数或未知参数的函数。通常它们是总体的某个特征值，如数学期望、方差和相关系数等。点估计问题就是要构造一个只依赖于样本的量，作为未知参数或未知参数的函数的估计值。例如，设一批产品的废品率为θ。为估计θ，从这批产品中随机地抽出n 个作检查，以X记其中的废品个数，用X/n估计θ，这就是一个点估计。
 
构造点估计常用方法：
 
矩估计法：用样本矩估计总体矩，比如：用样本均值估计总体均值。
最大似然估计法：于1912年由英国统计学家R.A.费希尔提出，利用样本分布密度构造似然函数来求出参数的最大似然估计。
最小二乘法：主要用于线性统计模型中的参数估计问题。比如：Y=a0+a1X的参数估计就可以用最小乘法。
贝叶斯估计法：基于贝叶斯学派的观点而提出的估计法。可以用来估计未知参数的估计量很多，于是产生了怎样选择一个优良估计量的问题。首先必须对优良性定出准则，这种准则是不唯一的，可以根据实际问题和理论研究的方便进行选择。优良性准则有两大类:一类是小样本准则，即在样本大小固定时的优良性准则;另一类是大样本准则，即在样本大小趋于无穷时的优良性准则。最重要的小样本优良性准则是无偏性及与此相关的一致最小方差无偏估计，其次有容许性准则， 最小化最大准则，最优同变准则等。大样本优良性准则有相合性、最优渐近正态估计和渐近有效估计等。
点估计能够明确告知人们“未知参数是多少”，但不能反映估计的可信程度。
 
矩估计法（method  of  moments）,
 
矩估计法也称"矩法估计"，原理是用样本矩作为相应的总体矩估计来求出估计量的方法，其思想是如果总体中有 K个未知参数，可以用前 K阶样本矩估计相应的前k阶总体矩，然后利用未知参数与总体矩的函数关系，求出参数的估计量。
 矩法估计一般求的是一阶原点矩和二阶中心矩。
 
假设总体X的k阶原点矩：
 
令总体的k阶原点矩等于它样本的k阶原点矩
  
 

 注：矩法相比于极大似然法、最小二乘法，效率很低。目前很少使用。
 
 
 
 
 
区间估计（interval estimation）
 
区间估计是依据抽取的样本，根据一定的正确度与精确度的要求，构造出适当的区间，作为总体分布的未知参数或参数的函数的真值所在范围的估计。
 
例如人们常说的有百分之多少的把握保证某值在某个范围内，即是区间估计的最简单的应用。
 
求置信区间常用的三种方法:
 
利用已知的抽样分布。
利用区间估计与假设检验的联系。
利用大样本理论。
区间估计可以告知置信区间范围，但不能直接告知人们“未知参数是多少”。
 
置信区间
 
区间估计(interval estimation)是从点估计值和抽样标准误出发，按给定的概率值建立包含待估计参数的区间。其中这个给定的概率值称为置信度或置信水平(confidence level)，这个建立起来的包含待估计参数的区间称为置信区间(confidence interval)，指总体参数值落在样本统计值某一区内的概率。
 
所谓置信水平就是给出一个区间的信心，这个信心以概率来表示，绝大多数情况下取 0.95，表示你对所估计的总体参数有95%的信心落在你所给的区间内。通常置信水平以1-α表 示，α称为显著性水平。
 
置信区间的建立就与中心极限定理和抽样分布有关了，在给定置信度的条件下，置信区间的宽度决定于抽样分布。 建立置信区间的意思是在设定的置信水平(如取0.95)下，总体参数落在这个区间的概率为 0.95，大致的理解是如果抽100次样，建立100个置信区间，大约95个区间包含总体参数，约5个区间不包含总体参数(注意不是一定有5个，可能会多，也可能会少)。
 
划定置信区间的两个数值分别称为置信下限(lower confidence limit,lcl)和置信上限(upper confidence limit,ucl)
 
 
置信区间最主要的应用是用于假设检验。

参数估计包括点估计和区间估计两类。
 
点估计
 
点估计是以抽样得到的样本指标作为总体指标的估计量，并以样本指标的实际值直接作为总体未知参数的估计值的一种推断方法。
 
点估计(point estimate)是用样本统计量的某个取值直接作为总体参数的估计值。例如，用样本均值x直接作为总体均值μ的估计值，用样本方差s2直接作为总体方差σ2的估计值。点估计的方法有：矩估计法、顺序统计量法、最大似然法、最小二乘法。
 
矩估计法：矩是指以期望为基础而定义的数字特征，一般分为原点矩和中心矩。设X为随机变量，对任意正整数k，称E(Xk)为随机变量X的k阶原点矩，记为：
 $$m_k=E(X^k)$$
 当k=1时，m1=E(X)=μ，可见一阶原点矩为随机变量X的数学期望。
 
把Ck=E[X-E(X)]k称为以E(X)为中心的k阶中心矩。显然，当k=2时，C2=E[X-E(x)]2=σ2，可见二阶中心矩为随机变量X的方差。
 
顺序统计量法：用样本中位数估计总体的数学期望的方法称数学期望的顺序统计量估计法。顺序统计量估计法的优点是计算简便，且中位数不易受个别异常数据的影响．如果一组样本值某一数据异常(如过于小或过于大)，则这个异常数据可能是总体的随机性造成的，也可能是受外来干扰造成的(如工作人员粗心，记录错误)，当原因属于后者，用样本平均值估计E(x)显然受到影响，但用样本中位数估计总体期望时，由于一个(甚至几个)异常的数据不易改变中位数的取值，所以估计值不易受到影响。
 
最大似然法(Maximum Likelihood)：它用来求一个样本集的相关概率密度函数的参数。
 
最小二乘法(generalized least squares)：是一种数学优化技术，它通过最小化误差的平方和找到一组数据的最佳函数匹配。 最小二乘法是用最简的方法求得一些绝对不可知的真值，而令误差平方之和为最小。 最小二乘法通常用于曲线拟合。很多其他的优化问题也可通过最小化能量或最大化熵用最小二乘形式表达。
 
区间估计
 
区间估计(interval estimate)是在点估计的基础上，给出总体参数估计的一个区间范围，该区间通常由样本统计量加减估计误差得到。与点估计不同，进行区间估计时，根据样本统计量的抽样分布可以对样本统计量与总体参数的接近程度给出一个概率度量。
 
区间估计中，由样本统计量所构造的总体参数的估计区间称为置信区间(confidence interval)，其中区间的最小值称为置信下限，最大值称为置信上限。
 
如果将构造置信区间的步骤重复多次，置信区间中包含总体参数真值的次数所占的比例称为置信水平(confidence level)，也称为置信度或置信系数(confidence coefficient)。
 
区间估计的正确理解方式：区间估计并不是总体参数落在某个区间的概率，而是抽取的多个样本中有多大的概率包含总体参数，由此通过概率可以知道在多次抽样得到的区间中大概有多少个区间包含了参数的真值。
 
一个总体参数的区间估计
 
研究一个总体时，所关心的参数主要有总体均值μ、总体比例π和总体方差σ2等。
 
 
总体均值的区间估计
 
对总体均值进行区间估计时，需要考虑总体是否为正态分布，总体方差是否已知，用于构造估计量的样本是大样本（通常要求n≥30）还是小样本（n<30）等几种情况。下面分两种情况来分析：
 
（1）正态总体、方差已知，或非正态总体、大样本
 
当总体服从正态分布且方差已知，或总体非正态分布但样本为大样本时，样本均值x的抽样分布服从正态分布，其数学期望为总体均值μ，方差为σ2/n。样本均值经过标准化后的随机变量则服从正态分布，即
 $$z=\frac{\overline{x}-\mu }{\sigma /\sqrt{n}}\sim N(0,1)$$
 根据式上式和正态分布的性质可以得出总体均值μ在1-α置信水平下的置信区间为：
 $$\overline{x}\pm z_{\alpha /2}\frac{\sigma }{\sqrt{n}}$$
 
（2）正态总体、方差未知、小样本
 
在总体服从正态分布的情况下，如果总体方差σ2未知，且样本较小的情况下，需要用样本方差s2代替σ2。这时，样本均值经过标准化以后的随机变量服从自由度为(n-1)的t分布，即
 $$t=\frac{\overline{x}-\mu }{s/\sqrt{n}}\sim t(n-1)$$
 因此需要采用t分布来建立总体均值μ的置信区间。根据t分布建立的总体均值μ在1-α置信水平下的置信区间为：
 $$\overline{x}\pm t_{\alpha /2}\frac{s}{\sqrt{n}}$$
 
 
总体比例的区间估计
 
在大样本的前提下，样本比例p的抽样分布可用正态分布近似。p的数学期望为E§=π，p的方差为σ2p=π(1-π)/n。而样本比例经标准化后的随机变量则服从标准正态分布，即
 $$z=\frac{p-\pi }{\sqrt{\pi (1-\pi )/n}}\sim N(0,1)$$
 与总体均值的区间估计类似，在样本比例p的基础上加减估计误差zα/2σp，即得总体比例π在1-α置信水平下的置信区间为：
 $$p\pm z_{\alpha /2}\sqrt{\frac{\pi (1-\pi )}{n}}$$
 当通过上式计算总体比例π的置信区间时，π值应该是已知的。但实际情况不然，π值恰好是要估计的，所以需要用样本比例p来代替π。这种情况下，总体比例的置信区间可表示为：
 $$p\pm z_{\alpha /2}\sqrt{\frac{p(1-p)}{n}}$$
 
 
总体方差的区间估计
 
对于总体方差的估计，这里只讨论正态总体方差的估计。根据样本方差的抽样分布可知，样本方差服从自由度为n-1的χ2分布。因此用χ2分布构造总体方差的置信区间。
 
总体方差σ2在1-α置信水平下的置信区间为：
 $$\frac{(n-1)s^2}{{\chi }_{\alpha /2}^2}\le {\sigma }^2\le \frac{(n-1)s^2}{{\chi }_{1-\alpha /2}^2}$$
 
 
两个总体参数的区间估计后续讨论。
 
样本量的确定
 
通过区间估计可以了解到样本量的选择对于问题的求解至关重要，大样本（n≥30）和小样本（n<30）求解的方法不同。同样是大样本选择多大的样本来估计参数比较合适？
 
通常，样本量的确定与可以容忍的置信区间的宽度以及对此区间设置的置信水平有一定关系。因此如何确定一个适当的样本量，也是抽样估计中需要考虑的问题。
 
估计总体均值时样本量的确定
 
总体均值的置信区间是由样本均值x和估计误差两部分组成的。在重复抽样或无限总体抽样条件下，估计误差为：
 $$z_{\alpha /2}\frac{\sigma }{\sqrt{n}}$$
 其中zα/2的值和样本n共同确定了估计误差的大小。当确定了置信水平1-α，zα/2的值就确定了。对于给定的zα/2的值和总体标准差σ，就可以确定任一希望的估计误差所需要的样本量。令E代表所希望达到的估计误差，即：
 $$E=z_{\alpha /2}\frac{\sigma }{\sqrt{n}}$$
 通过上式可以推导出确定样本量的公式如下：
 $$n=\frac{(z_{\alpha /2}{)}^2{\sigma }^2}{E^2}$$
 式中的E值是使用者在给定的置信水平下可以接受的估计误差，zα/2的值可直接由区间估计中所用到的置信水平确定。当σ未知时，可以用样本的标准差来代替；也可以用试验调查的办法，选择一个初始样本，以该样本的标准差作为σ的估计值。
 
从上式可以看出，样本量与置信水平成正比，在其他条件不变的情况下，置信水平越大，所需要的样本量也就越大；样本量与总体方差成正比，总体的差异越大，所要求的样本量也越大；样本量与估计误差的平方成反比，即可以接受的估计误差的平方越大，所需的样本量就越小。
 
估计总体比例时样本量的确定
 
与估计总体均值时样本量确定的方法类似，在重复抽样或无限总体抽样条件下，估计总体比例置信区间的估计误差为：
 $$z_{\alpha /2}\sqrt{\frac{\pi (1-\pi )}{n}}$$
 由上式可知，zα/2的值、总体比例π和样本量n共同确定了估计误差的大小。令E代表所希望达到的估计误差，即：
 $$E=z_{\alpha /2}\sqrt{\frac{\pi (1-\pi )}{n}}$$
 据此可以推导出重复抽样或无限总体抽样条件下确定样本量的公式如下：
 $$n=\frac{(z_{\alpha /2}{)}^2\pi (1-\pi )}{E^2}$$
 式中的估计误差E必须是使用者事先确定的，大多数情况下，一般取E的值小0.10。zα/2的值可直接由区间估计中所用导的置信水平确定。如果π未知，可以用类似的样本比例来代替；也可以用试验调查的办法，选择一个初始样本，以该样本的比例作为π的估计值。当π的值无法知道时，通常取使π(1-π)最大时的0.5。
 
参考文献
 
点估计
 
顺序量统计法
 
最大似然估计
 
最小二乘法
 
《统计学（第六版）》：贾俊平

 
Logistic回归简介
 
Logistic回归：主要用于因变量为分类变量(如疾病的缓解、不缓解，评比62616964757a686964616fe78988e69d8331333363383438中的好、中、差等)的回归分析，自变量可以为分类变量，也可以为连续变量。因变量为二分类的称为二项logistic回归，因变量为多分类的称为多元logistic回归。
 
Odds：称为比值、比数，是指某事件发生的可能性(概率)与不发生的可能性(概率)之比。
 
OR(Odds Ratio)：比值比，优势比。
 
2.SPSS中做Logistic回归的操作步骤
 
分析>回归>二元Logistic回归
 
选择因变量和自变量(协变量)
 
3.结果怎么看
 
一些指标和数据怎么看
 
“EXP(B)”即为相应变量的OR值(又叫优势比，比值比)，为在其他条件不变的情况下，自变量每改变1个单位，事件的发生比“Odds”的变化率。
 
伪决定系数cox  Snell R2和Nagelkerke R2，这两个指标从不同角度反映了当前模型中自变量解释了因变量的变异占因变量总变异的比例。但对于Logistic回归而言，通常看到的伪决定系数的大小不像线性回归模型中的决定系数那么大。
 
预测结果列联表解释，看”分类表“中的数据，提供了2类样本的预测正确率和总的正确率。
 
建立Logistic回归方程
 
logit(P)=β-0+β1*X1+β2*X2+……+βm*Xm
 
4.自变量的筛选方法和逐步回归
 
与线性回归类似，在Logistic回归中应尽量纳入对因变量有影响作用的变量，而将对因变量没有影响或影响较小的变量排除在模型之外。
 
①.Wald检验：Wals是一个统计量，用检验自变量对因变量是否有影响的。它越大，或者说它对应的sig越小，则影响越显著。
 
②.似然比检验(Likelihood Ratio
 
Test)：Logistic模型的估计一般是使用极大似然法，即使得模型的似然函数L达到最大值。-2lnL被称为Diviance，记为D。L越大，则D越大，模型预测效果越好。似然比检验是通过比较是否包含某个或几个参数β的多个模型的D值。
 
③.比分检验(Score Test)
 
以上三种假设检验中，似然比检验是基于整个模型的拟合情况进行的，结果最为可靠；比分检验结果一般与似然比检验结果一致。最差的就是Wald检验，它考虑各因素的综合作用，当因素间存在共线性的时候，结果不可靠。故在筛选变量时，用Wald法应慎重。
 
SPSS中提供了六种自变量的筛选方法，向前法(Forward)和向后法(Backward)分别有三种。基于条件参数估计和偏最大似然估计的筛选方法都比较可靠，尤以后者为佳。但基于Wald统计量的检验则不然，它实际上未考虑各因素的综合作用，当因素间存在共线性时，结果不可靠，故应当慎用。
 
5.模型效果的判断指标
 
①.对数似然值与伪决定系数
 
Logistic模型是通过极大似然法求解的，极大似然值实际上也是一个概率，取值在0～1之间。取值为1，代表模型达到完美，此时其对数值为0；似然值越小，则其对数值越负，因此－2倍的对数似然值就可以用来表示模型的拟合效果，其值越小，越接近于0，说明模型拟合效果越好。
 
②.模型预测正确率
 
对因变量结局预测的准确程度也可以反映模型的效果，SPSS在Logistic回归过程中会输出包含预测分类结果与原始数据分类结果的列联表，默认是按照概率是否大于0.5进行分割。
 
③.ROC曲线
 
ROC曲线即受试者工作特征曲线(Receiver
 
Operating Characteristic Curve)，或译作接受者操作特征曲线。它是一种广泛应用的数据统计方法，1950年应用于雷达信号检测的分析，用于区别“噪声”与“信号”。在对Logistic回归模型拟合效果进行判断时，通过ROC曲线可直接使用模型预测概率进行。应用ROC曲线可帮助研究者确定合理的预测概率分类点，即将预测概率大于(或小于)多少的研究对象判断为阳性结果(或阴性结果)。ROC曲线，预测效果最佳时，曲线应该是从左下角垂直上升至顶，然后水平方向向右延伸到右上角。如果ROC曲线沿着主对角线方向分布，表示分类是机遇造成的，正确分类和错分的概率各为50％，此时该诊断方法完全无效。

 
《参数估计的MATLAB实现》由会员分享，可在线阅读，更多相关《参数估计的MATLAB实现(17页珍藏版)》请在人人文库网上搜索。
 
1、1,参数估计MATLAB实现,点估计,区间估计,2,点估计,区间估计,矩估计,最大似然估计,参数估计,点估计,参数估计主要内容,3,点估计,Matlab统计工具箱给出了常用概率分布中参数的点估计(采用最大似然估计法)与区间估计,另外还提供了部分分布的对数似然函数的计算功能.由于点估计中的矩估计法的实质是求与未知参数相应的样本的各阶矩,可根据需要选择合适的矩函数进行点估计.,4,矩估计的MATLAB实现,B2,所以总体X均值及方差的矩估计可由下MATLAB命令实现：,mu_ju=mean(X)sigma2_ju=moment(X,2),为总体样本,求未知参数的矩估计.,5,x=232.50,23。
 
2、2.48,232.15,232.52,232.53,232.30,.232.48,232.05,232.45,232.60,232.47,232.30;,mu_ju=mean(X)sigma2_ju=moment(X,2),例：来自某总体X的样本值如下：232.50,232.48,232.15,232.52,232.53,232.30,232.48,232.05,232.45,232.60,232.47,232.30求X的均值与方差的矩估计,矩估计的MATLAB实现,6,MLE,通用命令mle()格式：输出参数项=mle(分布函数名,X,alpha,N),说明：分布函数名有：bino(二项)、。
 
3、geo(几何)、hyge(超几何)、poiss(泊松),uinf(均匀)、unid(离散均匀)、exp(指数)、norm(正态),t(T分布)、f(F分布)、beta(贝塔)、gam(伽吗)；N当为二项分布时需要，其他没有。,7,MLE,例设从一大批产品中抽取100个产品，经检验知有60个一级品，求这批产品的一级品率的极大似然估计.,clear;alpha=0.05;N=100;X=60;mle(bino,X,alpha,N),8,MLE,例设从一大批产品中抽取100个产品，经检验知有60个一级品，求这批产品的一级品率(置信度95%)。,clear;alpha=0.05;N=100;X=60;。
 
4、Ph,Pc=mle(bino,X,alpha,N),Ph=0.6000Pc=0.4972,0.6967,95%置信区间,9,用matlab产生随机数,通用函数,y=random(分布的英文名,A1,A2,A3,m,n),表示生成m行n列的mn个参数为(A1,A2,A3)的该分布的随机数,例：R=random(Normal,0,1,2,4),例R=random(Poiss,3,100,1),生成参数为3，100个服从Poisson分布的随机数,生成参数为2行4列服从标准正态分布的随机数,10,用matlab产生随机数,专用函数,1、R=normrnd(mu,sigma,m,n),生成参数为N,P。
 
5、的m行n列的二项分布随机数,例R=normrnd(0,1,3,2),2、R=unifrnd(a,b,m,n),生成a,b上的m行n列的泊松分布随机数,例unifrnd(0,1,1,6),11,生成随机数专用函数表,12,区间估计的MATLAB实现,如果已经知道了一组数据来自正态分布总体，但是不知道正态分布总体的参数。我们可以利用normfit()命令来完成对总体参数的点估计和区间估计，格式为mu,sig,muci,sigci=normfit(x,alpha),13,mu,sig,muci,sigci=normfit(x,alpha),Muci、sigci分别为分布参数、的区间估计。,x为向量或。
 
6、者矩阵，为矩阵时是针对矩阵的每一个列向量进行运算的。,alpha为给出的显著水平(即置信度，缺省时默认，置信度为95),mu、sig分别为分布参数、的点估计值。,区间估计的MATLAB实现,14,例从某超市的货架上随机抽取9包0.5千克装的食糖，实测其重量分别为(单位：千克)：0.497，0.506，0.518，0.524，0.488，0.510，0.510，0.515，0.512，从长期的实践中知道，该品牌的食糖重量服从正态分布。根据数据对总体的均值及标准差进行点估计和区间估计。,x=0.497,0.506,0.518,0.524,0.488,0.510,0.510,0.515,0.512;。
 
7、alpha=0.05;mu,sig,muci,sigci=normfit(x,alpha),区间估计的MATLAB实现,15,a、b、aci、bci分别是均匀分布中参数a,b的点估计及区间估计值。,其它常用分布参数区间估计的命令,lam,lamci=poissfit(x,alpha)泊松分布的估计函数,lam、lamci分别是泊松分布中参数的点估计及区间估计值。,a,b,aci,bci=unifit(x,alpha)均匀分布的估计函数,16,p、pci分别是二项分布中参数的点估计及区间估计值。,lam,lamci=expfit(x,alpha)指数分布的估计函数,lam、lamci分别是指数分布中参数的点估计及区间估计值,p,pci=binofit(x,alpha)二项分布的估计函数,其它常用分布参数估计的命令还有：,17,例调查某电话呼叫台的服务情况发现:在随机抽取的200个呼叫中，有40%需要附加服务(如转换分机等)，以p表示需附加服务的比例，求出p的置信度为0.95的置信区间。,R=200*0.4;n=200;alpha=0.05;phat,pci=binofit(R,n,alpha),phat=0.4000，pci=0.33150.4715。