广义矩估计
 
一、背景
 
我们前面学了OLS 估计、工具变量估计方法，前面这几种方法都有重要假设就是需要知道分布才能估计，但是往往现实理论我们无法得到关于分布的信息，因此矩估计方法应运而生。矩估计方法的基本思想是利用样本矩的信息组成方程组来求总体矩，以此得到渐进性质下的一致性估计量。那么在构成方程组求解的过程中涉及识别问题和解决。本章详细介绍矩估计方法。矩估计方法实际应用非常广泛，应注意将矩估计与OLS 估计、工具变量估计和极大似然估计方法结合对比进行应用。
 
二、知识要点 1，应用背景
 
2，矩估计存在的问题(识别) 3，矩正交方程和矩条件 4，矩估计的属性 三、要点细纲 1、应用背景
 
其基本思想是：在随机抽样中，样本统计量(在一个严格意义上，一个统计量是观察的n 维随机向量即子样(),,,12X X X n =
 
X 的一个
 
(波雷尔可测)函数，且要求它不包含任何未知参数)将依概率收敛于某个常数。这个常数又是分布中未知参数的一个函数。即在不知道分布的情况下，利用样本矩构造方程(包含总体的未知参数)，利用这些方程求得总体的未知参数。
 
基本定义
 
统计量 11
 
n m X i n i ν
 
ν∑= 为子样的ν阶矩(ν阶原点矩)； 统计量 ()
 
11
 
n B X X
 
i
 
n i ν
 
ν
 
∑-= 为子样的ν阶中心矩。
 
子样矩的均值与方差

估计即是近似地求某个参数的值，需要区别理解样本、总体、量、值
 大致的题型是已知某分布（其实包含未知参数），从中取样本并给出样本值
 我只是一个初学者，可能有的步骤比较繁琐，请见谅~
 
 
1、矩估计法
 做题步骤：
 1）、E（x），求总体均值（一般含有未知参数）
 2）、命E（x） = 样本均值/样本均量
 离散型：
 例：设总体X有以下分布律
 
 其实θ为未知参数，从中取样本（X1,X2,X3,X4）,样本值为（-1,1,1,2），求θ的矩估计值
 
解题过程：
 
 注意这里求的是估计值，最后得出来的是一个数
 
 
连续型：
 例：设总体X的概率密度为
 
 （X1，X2…Xn）是来自总体的样本，（x1,x1…xn）为其样本值，求θ的矩估计量
 解题过程：
 
 注意这里是估计量
 
 
2、最大似然估计法
 
离散型：
 1）、L（θ）=P{X1=x1}P{X2=x2}…P{Xn=xn}=P{x=x1}P{x=x2}…P{x=xn}
 2）、lnL(θ) = …
 3）、对lnL(θ)求导，令求导后的结果等于0，求出θ
 
例：设总体X有以下分布律**(下表中的 -1 改为 0)**
 
 其实θ为未知参数，从中取样本（X1,X2,X3,X4）,样本值为（0,1,0,2），求θ的最大似然估计值
 
解题过程：
 
 
 
连续型：
 1）、L（θ）=f(x1,θ)f(x2,θ)…f(xn,θ)
 2）、lnL(θ) = …
 3）、对lnL(θ)求导，令求导后的结果等于0，求出θ
 例：
 
 
解题过程：
 
 注意：估计量的话X必须是大写的，估计值的话x必须是小写。需要熟练掌握对数的运算
 
 
关于概率论我推荐汤家风老师的视频，在B站可以搜到的~~
 
 
因为我在上传的时候改了部分题干，这篇文章有些许错误，等我考完试再修改，请大家谅解

本文摘自《概率论与数理统计》 陈希孺著 中国科学技术大学出版社 
 相关链接 
 参数的点估计问题 
 极大似然估计
 
前言
 
矩估计法是点估计方法的一种，点估计法还有极大似然估计法和贝叶斯估计法。详情请参考上面的链接。
 
矩估计法
 
矩估计法是皮尔逊在19世纪末到20世纪初的一系列文章中引进的。这个方法的思想很简单：设总体分布为$f(x; \theta_1, \cdots, \theta_k)$，则它的矩（原点矩和中心矩都可以，此处以原点矩为例） 
 连续型： 
 
 
 
 
 
 $\alpha_m = \int_{-\infty}^{\infty}x^m f(x; \theta_1, \cdots, \theta_k)d_{x}$

 
离散型： 
 
 
 
 
 
 $\alpha_m = \sum\limits_{i = 1}^{n}x_i f(x_i; \theta_1, \cdots, \theta_k)$

 
依赖于$\theta_1, \cdots, \theta_k$。另一方面，至少在样本$n$较大时，$\alpha_m$又应接近于样本原点矩$a_m$。于是 
 
 
 
 
 
 $\alpha_m = \alpha_m(\theta_1, \cdots, \theta_k) \approx a_m = \sum\limits_{i = 1}^{n}\frac{X_i^m}{n}$

 
取$m = 1, \cdots, k$，并将上面的近似式改成等式，就得到一个方程组： 
 
 
 
 
 
 $\alpha_m(\theta_1, \cdots, \theta_k) = a_m\,, \quad (m = 1, \cdots, k)$

 
解此方程组，得其根$\hat{\theta_i} = \hat{\theta_i}(X_1, \cdots, X_n)\  (i = 1, \cdots, k)$，就以$\hat{\theta_i}$作为$\theta_i$的估计$(i = 1, \cdots, k)$。如果要估计的是$\theta_1, \cdots, \theta_k$的某个函数$g(\theta_1, \cdots, \theta_k)$，则用$\hat{g}(X_1, \cdots, X_n) = g(\hat{\theta_1}, \cdots, \hat{\theta_k})$去估计它。这样定出的估计量就叫矩估计。
 
矩估计在各种分布中的应用
 
正态分布
 
设$X_1, \cdots, X_n$是从正态总体$N(\mu, \sigma^2)$中抽出的样本，要估计$\mu$和$\sigma^2$。$\mu$是总体的一阶原点矩，按矩估计，用样本的一阶原点矩即样本的均值$\overline{X}$去估计。$\sigma^2$是总体方差，即总体的二阶中心距，可用样本的二阶的二阶中心矩$m_2$去估计。一般地，在估计方差时候常用样本方差$S^2$而不用$m_2$，即对矩估计做了一定的修正。 
 如果要估计的是标准差$\sigma^2$，则由$\sigma = \sqrt{\sigma^2}$，按矩估计法，它可以用$\sqrt{m_2}$去估计，一般用$\sqrt{S^2} = S$去估计，或者还做点修正。又当$\mu \ne 0$时，（特别在$\mu > 0$时，在有些问题中，$\mu$虽然未知，但事先可知道$\mu > 0$。比如某个班级的平均成绩，它必然会大于0，因为没有人会考负分，全班也不太可能考0分），$\sigma / \mu$称为总体的变异系数，变异系数是以均值为单位去衡量总体的标准差。在有些问题中，反映变异程度的标准差意义如何，要看总体均值$\mu$而定。比如一大群人收入的标准差为50元，若其平均工资只有70元，则这个变异系数可算很大了；但若平均工资为850元，则这个变异程度就不算大了。所以，变异系数$\sigma / \mu$不过是一定意义上的“相对误差”，按矩估计法，为估计$\sigma / \mu$可用$\sqrt{m_2} / \overline{X}$,一般用$S / \overline{X}$。
 
指数分布
 
设$X_1, \cdots, X_n$是从指数分布总体中抽出的样本，要估计参数$\lambda$的倒数$\frac{1}{\lambda}$。根据指数分布的特点，我们知道$\frac{1}{\lambda}$就是总体分布的均值，故按矩估计法，就用$\overline{X}$去估计。如要估计的是参数$\lambda$本身，就用$\frac{1}{\overline{X}}$去估计。 
 另一方面，指数分布的方差为$\frac{1}{\lambda^2}$，即$\frac{1}{\lambda} = \sqrt{总体二阶中心矩}$。按矩估计法，$\frac{1}{\lambda}$也可以用$\sqrt{m_2}$（或$S$）去估计。



均匀分布

设$X_1, \cdots, X_n$是从区间$[\theta_1, \theta_2]$上均匀分布的总体中抽出的样本，要估计$\theta_1, \theta_2$。 
 我们知道，均匀分布的均值、方差分别是$\frac{(\theta_1 + \theta_2)}{2}$和$\frac{(\theta_2 - \theta_1)^2}{12}$。因此，按矩估计法，建立方程 
 
 
 
 
 
 $\overline{X} = \frac{(\theta_1 + \theta_2)}{2}, \qquad m_2 = \frac{(\theta_2 - \theta_1)^2}{2}$

 
得出$\theta_1, \theta_2$的解分别为 
 
 
 
 
 
 $\hat{\theta} = \hat{X} - \sqrt{3m_2}, \qquad \hat{\theta_2} = \overline{X} + \sqrt{3m_2} \qquad$ 公式（1）

 
也可以用$S$代替$\sqrt{m_2}$
 
二项分布
 
设总体有二项分布$B(N, p)$，$X_1, \cdots, X_n$为从该总体中抽出的样本，要估计$p$，矩估计为$\overline{X} / N$。 
 我们知道， 
 
 
 
 
 
 $\overline{X} = Np\,, \quad m_2 = Np(1- p)$

 
根据上面的式子，我们可以得到$p = \overline{X} / N$，当然也可用$m_2$来求。
 
泊松分布
 
设总体有泊松分布$P(\lambda), X_1, \cdots, X_n$为从该总体中抽出的样本，要估计$\lambda$。 
 由于$\lambda$是总体分布的均值，按矩估计法，可用样本均值$\overline{X}$去估计；另一方面，$\lambda$也是总体分布的方差，故按矩估计法，也可以用$m_2$或$S^2$去估计。在这里，用均值$\overline{X}$为优。在一般的情况下，能用低阶矩处理的就不用高阶矩。

机器学习的许多公式推导都涉及了数理统计的内容，特别是参数估计对理解机器学习很重要。这里三篇文章就对三种参数估计方法进行简单介绍。
 
对一些数理统计的基本概念的介绍，可参考之前的文章“数理统计学的基本概念”。
 
参数的点估计问题
 
设有一个统计总体，以$f(x;\theta_1,\cdots,\theta_k)$记其概率密度函数（若总体分布为连续型的）或其概率函数（若其总体分布为离散型的）。避免重复交代这两种情况，我们约定称$f(x;\theta_1,\cdots,\theta_k)$为“总体分布”，其具体含义视其为连续型或离散型而定。这个分布包含k个位置参数$\theta_1,\cdots,\theta_k$。例如，对正态总体分布$N(\mu,\delta^2)$，有$\theta_1=\mu$，$\theta_2=\delta^2$，而 
 
 $$f(x;\theta_1,\theta_2)=(\sqrt{2\pi\theta_2})^{-1}\exp(-\frac{1}{2\theta_2}(x-\theta_1)^2)\qquad (-\infty\lt x\lt\infty)$$  

 若总体有二项分布

$B(n,p)$，则

$\theta_1=p$，而 

 

 $$f(x;\theta_1)=\binom{n}{x}\theta_1^x(1-\theta_1)^{n-k}\qquad (x=0,1,\cdots,n)$$  

 当k=1，即只有一个参数时，就用

$\theta$代替

$\theta_1$
 
参数估计问题的一般提法是：设有了从总体中抽出样本$X_1,\cdots,X_n$（独立同分布），要依据这些样本去对参数$\theta_1,\cdots,\theta_k$的未知值做出估计。当然我们也可以只要求估计$\theta_1,\cdots,\theta_k$中的一部分，或估计他们的某个已知函数$g(\theta_1,\cdots,\theta_k)$。例如，为要估计$\theta_1$，我们需要构造出适当的统计量$\hat{\theta_1}=\hat{\theta_1}(X_1,\cdots,X_n)$。每当有了样本$X_1,\cdots,X_n$，就代入函数$\hat{\theta_1}(X_1,\cdots,X_n)$中计算出一个值，用来作为$\theta_1$的估计值。为着这样的特定目的而构造的统计量$\hat{\theta_1}$叫做$\theta_1$的估计量。由于未知参数$\theta_1$是数轴上的一个点，用$\hat{\theta_1}$去估计$\theta_1$，等于用一个点估计另一个点，所以这样的估计叫做点估计，以别与区间估计。
 
矩估计法
 
矩估计法的思想比较简单：设总体分布为$f(x;\theta_1,\cdots,\theta_k)$，则它的矩（原点矩和中心矩都可以，此处以原点矩为例） 
 
 $$\alpha_m=\int_{-\infty}^{\infty}x^mf(x;\theta_1,\cdots,\theta_k)dx\qquad(或\sum_{i}x_i^m)f(x;\theta_1,\cdots,\theta_k)）$$  

 依赖于

$\theta_1,\cdots,\theta_k$。另一方面，至少在样本大小n较大时，样本原点矩

$a_m$应该接近于

$\alpha_m$。于是 

 

 $$\alpha_m=\alpha_m(\theta_1,\cdots,\theta_k)\approx a_m=\sum_{i=1}^{n}X_i^m/n$$  

 取

$m=1,\cdots,k$，并将上面的近似式改成等式，就得到一个方程组： 

 

 $$\alpha_m(\theta_1,\cdots,\theta_k)=a_m\qquad (m=1,\cdots,k)$$  

 解此方程组，得起根

$\hat{\theta_1}(X_1,\cdots,X_n)\quad(i=1,\cdots,k)$，就以

$\hat\theta_i$作为

$\theta_i$的估计

$(i=1,\cdots,k)$。如果要估计的是

$\theta_1,\cdots,\theta_k$的某函数

$g(\theta_1,\cdots,\theta_k)$，则用

$\hat g(X_1,\cdots,X_n)=g(\hat \theta_1,\cdots,\hat \theta_k)$去估计它。这样定出的估计量就叫做矩估计。
 
例子
 
设$X_1,\cdots,X_n$是从正态总体$N(\mu,\delta^2)$中抽取的样本，要估计$\mu$和$\delta^2$。$\mu$是总体的一阶原点矩，按矩估计，用样本的一阶原点矩，即样本均值$\overline X$去估计。$\delta^2$是总体方差，即总体的二阶中心矩，可用样本的二阶中心矩$m_2$去估计。一般地，在估计方差时，常用样本方差$S^2$而不用$m_2$，即对矩估计做了一定的修正。
 
参考书目 
 《概率论与数理统计》——陈希孺