机器学习的许多公式推导都涉及了数理统计的内容，特别是参数估计对理解机器学习很重要。这里三篇文章就对三种参数估计方法进行简单介绍。

对一些数理统计的基本概念的介绍，可参考之前的文章“数理统计学的基本概念”。

参数的点估计问题

设有一个统计总体，以$f(x;\theta_1,\cdots,\theta_k)$记其概率密度函数（若总体分布为连续型的）或其概率函数（若其总体分布为离散型的）。避免重复交代这两种情况，我们约定称$f(x;\theta_1,\cdots,\theta_k)$为“总体分布”，其具体含义视其为连续型或离散型而定。这个分布包含k个位置参数$\theta_1,\cdots,\theta_k$。例如，对正态总体分布$N(\mu,\delta^2)$，有$\theta_1=\mu$，$\theta_2=\delta^2$，而 

 $$f(x;\theta_1,\theta_2)=(\sqrt{2\pi\theta_2})^{-1}\exp(-\frac{1}{2\theta_2}(x-\theta_1)^2)\qquad (-\infty\lt x\lt\infty)$$  

若总体有二项分布$B(n,p)$，则$\theta_1=p$，而 

 $$f(x;\theta_1)=\binom{n}{x}\theta_1^x(1-\theta_1)^{n-k}\qquad (x=0,1,\cdots,n)$$  

当k=1，即只有一个参数时，就用$\theta$代替$\theta_1$


参数估计问题的一般提法是：设有了从总体中抽出样本$X_1,\cdots,X_n$（独立同分布），要依据这些样本去对参数$\theta_1,\cdots,\theta_k$的未知值做出估计。当然我们也可以只要求估计$\theta_1,\cdots,\theta_k$中的一部分，或估计他们的某个已知函数$g(\theta_1,\cdots,\theta_k)$。例如，为要估计$\theta_1$，我们需要构造出适当的统计量$\hat{\theta_1}=\hat{\theta_1}(X_1,\cdots,X_n)$。每当有了样本$X_1,\cdots,X_n$，就代入函数$\hat{\theta_1}(X_1,\cdots,X_n)$中计算出一个值，用来作为$\theta_1$的估计值。为着这样的特定目的而构造的统计量$\hat{\theta_1}$叫做$\theta_1$的估计量。由于未知参数$\theta_1$是数轴上的一个点，用$\hat{\theta_1}$去估计$\theta_1$，等于用一个点估计另一个点，所以这样的估计叫做点估计，以别与区间估计。



矩估计法

矩估计法的思想比较简单：设总体分布为$f(x;\theta_1,\cdots,\theta_k)$，则它的矩（原点矩和中心矩都可以，此处以原点矩为例） 

 $$\alpha_m=\int_{-\infty}^{\infty}x^mf(x;\theta_1,\cdots,\theta_k)dx\qquad(或\sum_{i}x_i^m)f(x;\theta_1,\cdots,\theta_k)）$$  

依赖于$\theta_1,\cdots,\theta_k$。另一方面，至少在样本大小n较大时，样本原点矩$a_m$应该接近于$\alpha_m$。于是 

 $$\alpha_m=\alpha_m(\theta_1,\cdots,\theta_k)\approx a_m=\sum_{i=1}^{n}X_i^m/n$$  

取$m=1,\cdots,k$，并将上面的近似式改成等式，就得到一个方程组： 

 $$\alpha_m(\theta_1,\cdots,\theta_k)=a_m\qquad (m=1,\cdots,k)$$  

解此方程组，得起根$\hat{\theta_1}(X_1,\cdots,X_n)\quad(i=1,\cdots,k)$，就以$\hat\theta_i$作为$\theta_i$的估计$(i=1,\cdots,k)$。如果要估计的是$\theta_1,\cdots,\theta_k$的某函数$g(\theta_1,\cdots,\theta_k)$，则用$\hat g(X_1,\cdots,X_n)=g(\hat \theta_1,\cdots,\hat \theta_k)$去估计它。这样定出的估计量就叫做矩估计。


例子

设$X_1,\cdots,X_n$是从正态总体$N(\mu,\delta^2)$中抽取的样本，要估计$\mu$和$\delta^2$。$\mu$是总体的一阶原点矩，按矩估计，用样本的一阶原点矩，即样本均值$\overline X$去估计。$\delta^2$是总体方差，即总体的二阶中心矩，可用样本的二阶中心矩$m_2$去估计。一般地，在估计方差时，常用样本方差$S^2$而不用$m_2$，即对矩估计做了一定的修正。

参考书目 

《概率论与数理统计》——陈希孺

估计即是近似地求某个参数的值，需要区别理解样本、总体、量、值

大致的题型是已知某分布（其实包含未知参数），从中取样本并给出样本值

我只是一个初学者，可能有的步骤比较繁琐，请见谅~

1、矩估计法

做题步骤：

1）、E（x），求总体均值（一般含有未知参数）

2）、命E（x） = 样本均值/样本均量

离散型：

例：设总体X有以下分布律



其实θ为未知参数，从中取样本（X1,X2,X3,X4）,样本值为（-1,1,1,2），求θ的矩估计值
解题过程：



注意这里求的是估计值，最后得出来的是一个数

连续型：

例：设总体X的概率密度为



（X1，X2…Xn）是来自总体的样本，（x1,x1…xn）为其样本值，求θ的矩估计量

解题过程：



注意这里是估计量

2、最大似然估计法
离散型：

1）、L（θ）=P{X1=x1}P{X2=x2}…P{Xn=xn}=P{x=x1}P{x=x2}…P{x=xn}

2）、lnL(θ) = …

3）、对lnL(θ)求导，令求导后的结果等于0，求出θ
例：设总体X有以下分布律**(下表中的 -1 改为 0)**



其实θ为未知参数，从中取样本（X1,X2,X3,X4）,样本值为（0,1,0,2），求θ的最大似然估计值
解题过程：



连续型：

1）、L（θ）=f(x1,θ)f(x2,θ)…f(xn,θ)

2）、lnL(θ) = …

3）、对lnL(θ)求导，令求导后的结果等于0，求出θ

例：


解题过程：



注意：估计量的话X必须是大写的，估计值的话x必须是小写。需要熟练掌握对数的运算

关于概率论我推荐汤家风老师的视频，在B站可以搜到的~~

因为我在上传的时候改了部分题干，这篇文章有些许错误，等我考完试再修改，请大家谅解

文章目录
1. 点估计定义
2. 矩估计法
3. 通过例题理解矩估计法
4. 矩估计优缺点

1. 点估计定义


点估计定义
设$x_1,x_2,\cdots,x_n$ 是来自总体的一个样本，用于估计位置参数$\theta$的统计量$\hat{\theta}=\hat{\theta}(x_1,x_2,\cdots,x_n)$称为$\theta$的估计量，或称为$\theta$的点估计，简称估计


构造估计量的方式有很多，常用的有矩估计法和最大似然估计法


2. 矩估计法


矩估计法简单点的说，就是用样本的矩，替换(估计)总体的矩。
记总体$k$阶原点矩为 $\mu_k=E(X^k)$
样本$k$阶原点矩为 $A_k=\frac{1}{n}\sum\limits_{i=1}^n (X_i^k)$
记总体$k$阶中心矩为 $v_k=E[(X-E(X))^k]$
样本$k$阶中心矩为 $B_k=\frac{1}{n}\sum\limits_{i=1}^n (X_i-\overline{X})^k$


3. 通过例题理解矩估计法


例1，设总体$X$的均值$\mu$和方差$\sigma^2$都存在，且有$\sigma^2>0$，但$\mu,\sigma^2$均为未知，又设$X_1,X_2,\cdots,X_n$ 为来自$X$的样本，试求$\mu,\sigma^2$的矩估计量。
解：
样本的一阶矩 为$\overline{X}$ ，总体的一阶矩为$E(X)=\mu$
因此有$\hat{\mu} = \overline{X}$
样本的二阶矩为$A_2=\frac{1}{n}\sum\limits_{i=1}^n X_i^2$ ，总体的一阶矩为$E(X^2)$
则有 $E(X^2)=\frac{1}{n}\sum\limits_{i=1}^n X_i^2$
由于$D(X)=E(X^2)-(EX)^2$
因此有
$\begin{aligned}\hat{\sigma^2} &= \frac{1}{n}\sum\limits_{i=1}^n X_i^2 - \overline{X}^2 \\&= \frac{1}{n}\sum\limits_{i=1}^n(X_i-\overline{X})^2 \end{aligned}$


例2，设离散型随机变量$X$ ，其分布律如下
$\begin{array}{c|lc} X & 1 & 2 &3 \\ \hline P & \theta^2 & 2\theta(1-\theta) & (1-\theta)^2 \end{array}$
从$X$中取得样本${1,2,1}$ ，求$\theta$的矩估计量
解：样本一阶矩$A_1 = \frac{1}{3}(1+2+1) = \frac{3}{4}$
总体一阶矩$\mu_1 = 1*\theta^2+2*2\theta(1-\theta)+3(1-\theta)^3$
令 $\mu_1 =A_1$ ，很容易解出 $\hat {\theta}= \frac{5}{6}$


4. 矩估计优缺点

优点

矩估计法原理简单、使用方便，使用时可以不知总体的分布，而且具有一定的优良性质
样本数量足够大时，矩估计的优势也就越明显


缺点

当总体类型已知时，没有充分利用分布提供的信息，因此矩估计不一定是理想估计
样本数较少时，矩估计的结果将非常糟糕
一般场合下，矩估计不具有唯一性(关于这一点，后面我们会介绍估计值的优良性准则)
矩估计应用的前提是总体的矩存在

矩估计法
百度百科：http://baike.baidu.com/link?url=xHBhj9bfqU1AJHc9yj7O-6BHKFaiYsljabnCM73ycPuu5oe4pQkurGoACuB-TO8ewG6PTpIJO5ctveySK-KZ7_


所谓矩估计法,就是利用样本矩来估计总体中相应的参数.最简单的矩估计法是用一阶样本原点矩来估计总体的期望而用二阶样本中心矩来估计总体的方差.
矩估计法的基本思想是用样本矩代替总体矩.
样本距：平均数；中心距：所有（x-平均数）^2加和;
原点矩：所有x^2加和.