参数估计：是根据从总体中抽取的样本估计总体分布中包含的未知参数的方法。
 
参数估计包括点估计和区间估计。
 
常见点估计方法：矩估计、最小二乘估计、极大似然估计、贝叶斯估计
 
区间估计：利用已知的抽样分布、利用区间估计与假设检验的联系、利用大样本理论
 
一、点估计 
 1、矩估计
 
矩估计法的理论依据是大数定律。矩估计是基于一种简单的“替换”思想，即用样本矩估计总体矩 
 优点：简单易行, 并不需要事先知道总体是什么分布。（根据均值方差来计算未知参数） 
 缺点：当总体类型已知时，没有充分利用分布提供的信息（有一定随意性）
 
2、最小二乘估计 
 对于最小二乘估计来说，最合理的参数估计量应该使得模型能最好地拟合样本数据，也就是估计值与观测值之差的平方和最小。 
 目标最小化估计值与观测值之差的平方和。Q表示误差平方和，Yi表示估计值，Ŷ i表示观测值，即Q=∑(Yi−Ŷ i)^2 i = 1,2,……,n
 
3、极大似然估计 
 对于最大似然估计来说，最合理的参数估计量应该使得从模型中抽取该n组样本的观测值的概率最大，也就是概率分布函数或者似然函数最大。
 
典型例题： 
 
 
4、贝叶斯估计 
  
  
 
 
二、区间估计
 
区间估计 = 点估计 ± 边际误差 
 根据样本求出未知参数的估计区间，并使这个区间包含未知参数的可靠程度达到预定要求（这个预定要求就是个置信度，用上α位分点来体现这个置信度）。
 
步骤：
 
1.构造合适的包含待估参数的统计量U，且统计量的分布已知。
 
2.根据给定的置信度，按照P（U1

一、置信区间
 1、定义
 
 2、步骤
 
 注：
 
 
二、正态总体均值与方差的区间估计
 1、单正态总体
 (1)、均值μ
 置信水平为1-α
 
 (2)、方差σ2
 
 2、双正态总体
 
 (1)、两个总体均值差μ1-μ2
 ①、σ12、σ22已知
 
 ②、σ12=σ22=σ2，但σ2未知
 
 (3)、两个总体方差比σ12/σ22
 
 即：
 
 
 
 
三、单侧置信区间
 1、定义
 
 

 
 

  
来源：首席数据科学家
 
 
今天分享一下关于参数估计的基本概念。尤其是极大似然估计，有着重要的应用。
 
01
 
—
 
参数估计的定义
 
首先，什么是参数估计呢？
 
之前我们其实已经了解到很多种分布类型了，比如正态分布、均匀分布、泊松分布等。拿正态分布举例，决定正态分布的有两个参数：均值和方差。因此，参数就是决定分布的关键性数据。知道了参数，也就是知道了分布的详细内容。

 
问题来了，总体的分布类别如果我们知道了，是不是只要知道分布的参数，就能知道总体的分布详情？是的。那如何能知道总体分布的参数数值呢？这就是参数估计。即，用样本的数据来构造函数（即统计量），来估计总体参数，这就是参数估计。
 

 
上图就是用样本统计量估计总体的过程。这也是统计学的重要意义之一。
 
02
 
—

 
点估计和区间估计
 
首先，什么是点估计和区间估计？
 
点估计就是用一个数值对对总体参数给出估计；而区间估计是在点估计基础上，给定一个具体的估计范围。

 
例如，估计中国全部人口的平均身高。161cm就是一个点估计，150cm~173cm就是一个区间估计。
 
区间估计和置信度相绑定。即估计的区间覆盖真实参数的概率。
 
常用的区间估计和点估计方法见下图：
 

 
其中矩估计、极大似然估计在下文中展开。区间估计下次分析。

 
03
 
—

 
矩估计法
 
什么是矩估计呢？
 
矩估计比较好理解，就是用样本的矩直接作为总体矩的估计值。啥意思呢？就是我们将样本的矩计算出来，直接作为总体的矩即可。
 
当然，这里的阶数要保持一致。及样本的一阶矩估计总体一阶矩，样本二阶矩估计总体的二阶矩……

 
从以上定义中也可以看出来，矩估计法是一种点估计的方法。

 
04
 
—

 
极大似然估计法
 
极大似然估计，是另一种点估计方法，也是机器学习等学科中经常使用到的方法。简直就是重中之重。
 
（1）基本定义

 
定义：使样本事件发生概率最大的参数值，作为总体参数的估计值，就是极大似然估计。
 
怎么理解呢？举个例子。
 
比如箱子中有100个球，共两种颜色白和黑。已知白球和黑球的比例是1:99（但不知道谁是1）。目标是估计箱子中什么颜色是99个。随机抽取一个球，发现是白球。那么从直观上讲，是不是大概率箱子中是99个白球？当然也有可能箱子中是99个黑球，正好有1个白球还正好被抽到了。但是明显这种情况概率较小。
 
上面这个例子，就是极大似然估计的过程。选择的是概率最大的参数。
 
（2）极大似然估计的应用过程
 
极大似然估计的应用方法，通常遵循以下步骤：

 
步骤一：写出总体的概率/密度函数

 
当总体是离散型变量时，写的是概率函数；当总体是连续型函数时，写的是密度函数。

 
步骤二：写出似然函数
 
构造似然函数如下：

 

 
从上面的公式中，其实就是将每个样本观测值带入总体概率函数中，求所有样本的概率连乘。这个连乘，就是关于总体参数的一个似然函数。

 
似然函数有了，下面，我们的目标就是求使得该函数取最大值时的参数值，这个参数值就将作为一个总体参数的极大似然估计。
 
步骤三：两边取ln

 
由于通常似然函数都是连乘的形式，不容易取到最值，因此采用取ln的方式，将连乘变形为加法。

 
步骤四：两边求导，令导数=0，求参数

 
通常情况下，最值都是在导数为0的地方取到，这里令导数=0，求参数。即此时的参数值，使得导数为0，取得整体似然函数的最大值。即，此时的参数值是整体参数的极大似然估计。

 
当然，如果是多个参数的情况下，这里则分别对每个参数求偏导数，令偏导数为0，分别求各个参数的极大似然估计。
 
05
 
—

 
点估计优良性的判断准则
 
上面我们讲到的两种点估计方法。那如何判断一个点估计是好还是坏呢？这就是点估计的优良性判断，主要有以下3个准则：无偏性、有效性、相合性（一致性）。
 

（1）无偏性

 
无偏性的含义是：用样本估计的参数值的期望，等于真实值。

 
这个其实很好理解。我们进行参数估计不就是为了尽可能“猜”出总体参数的数值嘛，如果连期望都不相等，那岂不是基本就估计错了么……

 

 
上图就是样本的期望明显和靶心（总体参数）有系统性偏差，显然不是好的估计。

 
因此，无偏估计是要明显好于有偏估计的。有以下 结论：
 
样本均值是总体均值的无偏估计
样本方差是总体方差的无偏估计（修正后的，分母是n-1。对，就是为了使得样本方差是无偏的。未修正的，就是有偏估计）
 
（2）有效性

 
有效性的含义是：用样本估计的参数值的方差，如果越小，就越有效。

 

 
上图就比较清楚的反映了。两个估计都是无偏的，但是第二个估计明显更集中，方差更小，因此效果也就更好。因为更加容易和真实值（即总体参数）相近。
 
因此，对于多个估计，如果都是无偏的，我们优先选择有效性更强的作为总体的估计。
 
（3）相合性（一致性）

 
相合性的含义是：当样本量越来越大的时候，估计值和真实值的距离越来越小。

 
这个比较好理解，就不展开了。
 
关于参数估计、极大似然估计等，今天分享到这里，欢迎继续关注~
 
---------End---------

 后台回复「微信群」，将邀请加入读者交流群。

《Python知识手册》| 《Markdown速查表》|《Python时间使用指南》|《Python字符串速查表》|《SQL经典50题》|《Python可视化指南》|《Plotly可视化指南》|《Pandas使用指南》|《机器学习精选》

????分享、点赞、在看，给个三连击呗！???? 
 

“参数估计是以抽样分布为中介，用样本的参数特征对总体的参数进行数值估计的过程。”
 
一、点估计
 1.点估计就是用样本统计量来估计总体参数。
 概念理解：当我们想知道某一总体的某个指标的情况时，测量整体该指标的数值 的工作量太大，或者不符合实际，这时我们可以采用抽样的方法选取一部分样本测量出他们数值，然后用样本统计量的值来估计总体的情况。
 例如：想了解一个学校学生的身高情况，就可以随机抽取一部分学生测量他们的身高，得到一个平均值，再用这个样本的均值去估计整体学生的身高情况，就是点估计。
 
常用的点估计有：用样本均值估计总体均值，用样本方差估计总体方差，用样本的分位数估计总体分位数，用样本的中位数估计总体的中位数。
 
2.点估计方法
 矩估计法、顺序统计量法、最大似然法、
 最小二乘法（对于点估计方法，放在另一篇文章中详细介绍）
 
3.由于用样本推断总体的过程一定存在估计误差，而点估计的估计误差无法衡量，所以点估计主要用于为定性研究提供数据参考，或者在对于总体参数估计精度要求不高时使用。
 
二、区间估计
 1.区间估计就是在点估计的基础上，给出总体参数估计的一个区间范围，该区间通常由样本统计量加减估计误差得到。
 另外一种说法，区间估计是从点估计值和抽样标准误差出发，按给定的概率值建立包含待估参数的区间，这个给定的概率值称为置信度或置信水平，这个建立起来的包含待估计参数的区间称为置信区间。
 
2.关于置信水平（置信度）、置信区间和显著性水平：
 置信区间是根据样本信息推导出来的可能包含总体参数的数值区间，置信水平表示置信区间的可信度；例如某学校学生的平均身高的区间估计：有95%的置信水平可以认为该校学生的平均身高为1.4米到1.5米之间，（1.4,1.5）为置信区间，95%是置信水平，即有95%的信心认为这个区间包含该校学生的平均身高。
 置信水平用百分数表示，表示成（1-a）100%；a指的是显著性水平，表示总体参数不落在置信区间的可能性。
 
3.关于置信区间的计算：
 通过部分样本来计算总体参数的一个置信区间有以下步骤：
 a.明确要解决的问题，要估计的指标或参数是什么，
 b.求抽样样本的平均值和标准误差，
 注意区分标准差和标准误差:标准差反映的是整个样本对样本平均数的离散程度，标准差等于方差开根号；标准误差反映的是样本平均数对总体平均数的变异程度，标准误差等于样本标准差除n的开根号。
 c.确定需要的置信水平，
 d.查询z表，得到z值，
 e. 计算置信区间，[a,b],a=样本均值-z标准误差，b=样本均值+z标准误差。
 
区间估计分为一个总体参数的估计和两个总体参数的估计
 
4.一个总体参数的区间估计：总体均值的区间估计，总体方差的区间估计，总体比例的区间估计；
 
4.1总体均值的区间估计：
 均值抽样分布即样本均值组成的抽样分布，总体参数的估计方法跟样本均值的抽样分布有关；
 Z分布其实就是标准正态分布，如果样本均值组成的抽样分布服从正态分布，那么将该正态分布标准化后即可得到Z分布，
 Z分布的适用条件有两种：一是总体服从正态分布且总体标准差已知；二是总体分布未知，但是样本容量大于或等于30；
 T分布：对于服从正态分布的总体且总体标准差未知的情况下 ，T分布是非常适用的均值抽样分布类型；
 切比雪夫不等式：对于非正态分布总体或总体分布未知并且小样本的情况下，只能用切比雪夫不等式来近似估计总体均值的置信区间。
 截图来自《人人都会数据分析：从生活实例学统计》
 
4.2 总体方差的区间估计：
 总体方差的区间估计要用到卡方分布，如果数据总体服从正态分布，从中抽取样本容量为n的样本，样本方差为s^2,那么包含样本方差的卡方统计量服从自由度为n-1的卡方分布。卡方统计量是由总体方差和样本方差的比值组成的统计量，用于总体方差的区间估计。
 卡方统计量的计算公式：
 $${\chi }_{\alpha }^2(n-1)=\frac{(n-1)s^2}{{\sigma }_z^2}$$
 总体方差的双侧置信区间估计公式为：
 $$\frac{(n-1)s^2}{{\chi }_{\frac{\alpha }{2}}^2(n-1)}\le {\sigma }_z^2\le \frac{(n-1)s^2}{{\chi }_1^2-\frac{\alpha }{2}(n-1)}$$
 其中带有a/2的为下标；
 如果是单侧置信区间的话，只需要取上面式子的前半部分或者后半部分，并将a/2改成a即可得到单侧置信区间。
 
4.3 总体比例的区间估计：
 或者叫总体比率的区间估计，跟二项分布有关，二项分布的理论是：事件发生概率是p,进行n次实验，其中x次实验该事件发生，则发生次数的概率分布服从二项分布；均值、方差为np,npq。
 若将发生的次数转换成比率（x/n），则比率的概率分布也服从二项分布。
 二项分布的特性：当抽取的样本容量n很大，是大 样本，使得np和nq（q为事件不发生的概率，等于1-p）的值都大于 5， 此时二项分布将近似于正态分布。
 由于事件发生比率x/n服从二项分布，所以如果比率的二项分布近似于正态分布，就可以得到不利的区间估计。
 
在事件发生概率p已知的情况下，总体比率$$\overline{p_z}$$在置信度为1-a时，总体比率的置信区间为：
 $$\overline{p_y}\pm Z_{\frac{\alpha }{2}}\sqrt{\frac{p(1-p)}{n}}$$
 其中，$$\overline{p_y}$$为样本比率，$$\overline{p_z}$$为总体比率，
 当事件发生概率p未知，可用样本中事件发生的概率即样本比率代替。
 
5. 两个总体参数的区间估计：
 两个总体均值之差的估计，两个总体方差比的区间估计
 两个总体与多个总体参数的区间估计在实际生活中的应用不是很多，更常用的是两个总体和多个总体参数的假设检验。 区间估计虽不常用，但是其与假设检验的应用原理是想通的。
 
5.1 两个总体均值之差的区间估计：
 可以将单个总体均值的抽样分布推广到两个总体均值差的抽样分布，然后利用两个总体均值差的抽样分布推导出两个总体均值差的置信区间公式。
 方差齐性/方差不齐：对于配对样本来说其方差可被认为是想等的，即方差齐性。
 
 截图来自《人人都会数据分析：从生活实例学统计》
 
独立样本和配对样本：
 独立样本：是指如果从一个总体中选取样本，抽样形式无论怎样改变都不会影响从另一个总体中抽取样本的概率，则这两个随机样本为独立样本；
 配对样本：是指如果从一个总体中抽取样本的行为以某种方式决定了从另一个总体中抽取样本的概率，则这两个样本为成对样本或配对样本。
 
均值和方差的特点：
 两个总体合并（相加或相减），那么合并后的总体均值等于原来两个总体的均值之和或均值之差；而合并后的总体方差都等于两个总体方差之和。
 
差值抽样分布可以看做单个总体的均值抽样分布，因此可套用“均值抽样分布适用条件表”，将公式修改一下即可：
 
 截图来自《人人都会数据分析：从生活实例学统计》
 
5.2 两个总体方差比的区间估计
 F分布可用于求取两个正态分布总体方差比的置信区间。
 F统计量可被看做是两个卡方统计量的商，F分布也被称为方差比分布。因为卡方分布要求总体服从正态分布，所以F分布也要求F统计量的两个总体都服从正态分布。
 当给定置信水平时，可推出两个正态分布总体方差比的置信区间。
 
三、样本量的确定
 
1总体均值区间估计的样本量确定
 在总体标准差已知的情况下，如果数据总体服从正态分布，则样本均值的抽样分布适用Z分布，就可以利用总体均值的置信区间公式来计算样本容量，总体均值的置信区间为：
 $$\bar{x}\pm Z_{\frac{\alpha }{2}}\frac{\sigma }{\sqrt{n}}$$ 或 $$\bar{x}\pm Z_{\frac{\alpha }{2}}\frac{\sigma }{\sqrt{n}}\sqrt{\frac{N-n}{N-1}}$$
 
则总体均值的区间估计误差为：
 $$\Delta \mu =Z_{\frac{\alpha }{2}}\frac{\sigma }{\sqrt{n}}$$
 进而可以求得样本容量的公式：
 $$n=(\frac{Z_{\frac{\alpha }{2}}\sigma }{\Delta \mu }{)}^2$$
 
以上是总体标准差已知时，当总体标准差未知时，一是可以用样本标准差代替，但是前提条件是样本容量要大于等于30；二是可以用过去试点调查的样本标准差代替；三是，如果知道总体数据中的最大和最小值，可用四分之一的最大与最小值的差值来代替总体标准差。
 
2.总体方差区间估计的样本量确定
 总体方差的区间估计适用的抽样分布为卡方分布。卡方统计量为:
 $${\chi }^2=\frac{(n-1)s^2}{{\sigma }^2}$$
 由卡方分布的性质可知，当样本量足够大时，卡方分布近似于正态分布。卡方分布的均值为自由度（n-1）,卡方分布的方差为两倍的自由度2（n-1），那么在大样本的情况下，总体方差的置信区间为：
 $$s^2=\pm Z_{\frac{\alpha }{2}}{s}^2\sqrt{\frac{2}{n}}$$
 则总体方差的估计精度为：
 $$\Delta {\sigma }^2=Z_{\frac{\alpha }{2}}{s}^2\sqrt{\frac{2}{n}}$$
 由此可得到样本容量公式为：
 $$n=\frac{\sqrt{2}{Z}_{\frac{\alpha }{2}}{s}^2}{\Delta {\sigma }^2}$$
 
3.总体比率区间估计的样本量确定
 在确定总体比率的区间估计时，利用的是二项分布近似于正态分布的性质，即当抽取的样本量n很大时,是大样本，使得np>5且nq>5(p是事件发生的概率，q是事件不发生的概率，q=1-p)时，二项分布近似于正态分布。
 总体比率的置信区间为：
 $$\overline{p_y}\pm Z_{\frac{\alpha }{2}}\sqrt{\frac{p(1-p)}{n}}$$
 则总体比率的估计误差为：
 $$\Delta \overline{p_z}=Z_{\frac{\alpha }{2}}\sqrt{\frac{p(1-p)}{n}}$$
 由此可得到样本容量为：
 $$n=\frac{Z_{\frac{\alpha }{2}}^{2}p(1-p)}{\Delta {\overline{p_z}}^2}$$
 
注：本文主要参考《人人都会数据分析：从生活实例学统计》