参数估计：是根据从总体中抽取的样本估计总体分布中包含的未知参数的方法。

参数估计包括点估计和区间估计。

常见点估计方法：矩估计、最小二乘估计、极大似然估计、贝叶斯估计

区间估计：利用已知的抽样分布、利用区间估计与假设检验的联系、利用大样本理论

一、点估计
1、矩估计

矩估计法的理论依据是大数定律。矩估计是基于一种简单的“替换”思想，即用样本矩估计总体矩
优点：简单易行, 并不需要事先知道总体是什么分布。（根据均值方差来计算未知参数）
缺点：当总体类型已知时，没有充分利用分布提供的信息（有一定随意性）

2、最小二乘估计
对于最小二乘估计来说，最合理的参数估计量应该使得模型能最好地拟合样本数据，也就是估计值与观测值之差的平方和最小。
目标最小化估计值与观测值之差的平方和。Q表示误差平方和，Yi表示估计值，Ŷ i表示观测值，即Q=∑(Yi−Ŷ i)^2 i = 1,2,……,n

3、极大似然估计
对于最大似然估计来说，最合理的参数估计量应该使得从模型中抽取该n组样本的观测值的概率最大，也就是概率分布函数或者似然函数最大。

典型例题：

4、贝叶斯估计

二、区间估计

区间估计 = 点估计 ± 边际误差
根据样本求出未知参数的估计区间，并使这个区间包含未知参数的可靠程度达到预定要求（这个预定要求就是个置信度，用上α位分点来体现这个置信度）。

步骤：

1.构造合适的包含待估参数的统计量U，且统计量的分布已知。

2.根据给定的置信度，按照P（U1

非参数估计的基本原理与直方图方法

1. 前言

在很多情况下，我们对样本的分布并没有充分的了解，无法事先给出密度函数的形式，而且有些样本分布的情况也很难用简单的函数来描述。
在此背景下，采用非参数估计，即不对概率密度函数的形式作任何假设，而是直接用样本估计出整个函数。当然，这种估计只能用数值方法取得，无法得到完美的封闭函数形式。
从另一个角度来看，概率密度函数的参数估计实际是在指定的一类函数中选择一个函数作为对未知函数的估计，而非参数估计则可以是看作是从所有可能的函数中进行的一种选择。

2. 直方图方法

非参数概率密度估计的最简单方法：

1. 把样本$x$的每个分量在其取值范围内分成$k$个等间隔的小窗。如果$x$是$d$维向量，则这种分割就会得到$k^d$个小体积或者小舱，每个小舱的体积记作$V$。
2. 统计落入每个小舱内的样本数目$q_i$。
3. 把每个小舱内的概率密度看作是常数，并用$\frac{q_i}{NV}$作为其估计值，其中$N$为样本总数。
   

3. 非参数估计的基本原理

已知样本集 X = { x 1 , . . . , x N } X=\{x_1,...,x_N\} X={x1​,...,xN​}中的样本是从服从密度函数$\rho (x)$的总体中独立抽取出来的，求$\rho (x)$得估计$\widehat{\rho (x)}$。与参数估计相同，这里不考虑类别，即假设样本都是来自同一个类别，对不同类别只需要分别进行估计即可。
考虑在样本所在空间得某个小区域$R$，某个随机向量落入这个小区域得概率是：
$$P_R={\int }_R\rho (x)dx\text{\hspace{1em}(1)}$$
根据二项分布，在样本集$X$中恰好有$k$个落入小区域$R$得概率是：
$$P_R=C_N^k{P}_R^k(1-P_R{)}^{N-k}\text{\hspace{1em}(2)}$$
其中$C_N^k$表示在$N$个样本中取$k$个的组合数。$k$的期望值是：
$$E[k]=N{P}_R\text{\hspace{1em}(3)}$$
而且$k$的众数（概率最大的取值）是：
$$m=[(N+1)P_R]\text{\hspace{1em}(4)}$$
其中$[]$表示取整数。因此，当小区域中实际落入了$k$个样本时，$P_R$的一个很好的估计是：
$$\widehat{P_R}=\frac{k}{N}\text{\hspace{1em}(5)}$$
当$\rho (x)$连续、且小区域$R$的体积$V$足够小时，可以假定在该小区域范围内$\rho (x)$是常数，则式$(2)$可近似为：
$$P_R={\int }_R\rho (x)dx=\rho (x)V\text{\hspace{1em}(6)}$$
用式$(5)$代入$(6)$，可得在小区域$R$的范围内：
$$\widehat{\rho (x)}=\frac{k}{NV}\text{\hspace{1em}(7)}$$
这就是在上面的直方图中使用的对小舱内概率密度的估计。

1. 如果小舱选择过大，则假设$\rho (x)$在小舱内为常数的做法就显得粗糙，导致最终估计出的密度函数也非常粗糙；
2. 如果小舱过小，则有些小舱内可能就会没有样本或者很少样本，导致估计出的概率密度函数很不连续。

所以，小舱的选择应该与样本总数相适应。理论上讲，假定样本总数是$n$，小舱的体积为$V_n$，在$x$附近位置上落入小舱的样本个数是$k_n$，那么当样本趋于无穷多时$\widehat{\rho (x)}$收敛于$\rho (x)$的条件是：
$$(1)V_n=0(n\to \infty )，(2)k_n=\infty (n\to \infty )，(3)\frac{k_n}{n}=0(n\to \infty )$$
直观的解释是：随着样本数的增加，小舱体积应该尽可能小(1)，同时又必须保证小舱内有充分多的样本(2)，但每个小舱内的样本数又必须是总样本数中很小的一部分(3)。

目录

https://blog.csdn.net/weixin_45792450/article/details/109314584

参数估计问题的重述

在上一节中，我们初步讨论了什么是参数估计问题，它是统计推断中的估计问题。

对统计参数进行估计，主要有两种方法：点估计和区间估计

点估计的核心思想可以概括为离散思想，区间估计的核心思想可以概括为连续思想。对点估计，利用样本的离散值进行参数估计；对区间估计，其利用了区间这一有效工具，通过特定的方法进行一个，在某些方面相对点估计更好的估计方式。

更具体的内容后面一步步展开，在此只是稍作提及。

点估计的认识

设$(X_1,X_2,...,X_n)$为来自总体$X$的样本，$(x_1,x_2,...,x_n)$为相应的样本值，$\theta$是总体分布中的未知参数，$\theta \in \Theta$.这里$\Theta$表示$\theta$的取值范围，称为参数空间。

尽管$\theta$是未知的，但它的参数空间$\Theta$是事先知道的.为了估计未知参数$\theta$，我们构造一个统计量$$H(X_1,X_2,...,X_n)$$然后用$H(X_1,X_2,...,X_n)$的值$H(x_1,x_2,...,x_n)$来估计$\theta$的真值。

称$H(X_1,X_2,...,X_n)$为$\theta$的估计量，记作$\hat{\theta }(X_1,X_2,...,X_n)$；称$H(x_1,x_2,...,x_n)$为$\theta$的估计值，记作$\hat{\theta }(X_1,X_2,...,X_n)$。

在不会引起误会的场合，估计量与估计值统称为点估计，简称为估计，并简记为$\hat{\theta }$。事实上，$\theta$的估计值是数轴上的一个点，用$\theta$的估计值$\hat{\theta }$作为$\theta$的真值的近似值就相当于用一个点来估计8，因此得名为点估计。

注意，估计量是相对于某个具体的未知参数讨论的，不同的未知参数可能需要不同的估计量。

具体的例子：

点估计量的评价

对某一参数的点估计，可以选用不同的估计量，比如对总体$X$的均值$E(X)$的估计，可以构造估计量

$$\bar{X}=\frac{\sum _{i=1}^n{X}_i}{n}$$

该估计量就是之前我们学过的样本均值。显然，$n$可以任选，那么如何评价不同的估计量效果呢？

评价估计量的标准主要有三个：无偏性，有效性，一致性。具体介绍见下一节。