导论

信号处理的基本任务是利用观测数据作出关于信号与（或）系统的某种统计决策。

统计决策理论主要解决两大类问题：假设检验与估计。
	
信号检测、雷达动目标检测是假设检验的经典问题；估计理论涉及的范围更广泛，它被分为非参数化和参数化。
	
参数化估计与系统模型的辨识密切相关，其主要理论是优化理论，即被估计的参数应在某种准侧下是最优的，以及如何获得最优的参数估计。
	
非参数化方法不假定数据服从某种特定的概率模型，例如基于离散傅里叶变换的功率谱估计和高阶谱估计等就是典型的非参数化方法。
现代谱估计本质上为参数化谱估计

自适应滤波器介绍的是时域或空域滤波器参数的自适应更新

高阶统计量理论的中心问题是基于高阶统计量的系统参数估计与高阶谱的参数化估计

时频信号分析——线性变换/非线性变换 则讨论非平稳信号的参数化表示

一、估计子的性能

导入：

参数估计理论关心的问题是：假定随机变量x具有一累计分布函数，它是一特定概率分布集合中的一员，但并不知道它究竟是其中的哪一个。

       实验：测量随机变量的各次实现（也称样本或观测值），并希望通过N各样本x1,x2,...xN猜出决定随机变量分布的参数值。例如：

       令x1,x2,...xN是服从正态分布得到的N个数据样本，现在根据这些样本值估计出均值参数。很显然，有很多的数据函数都可以用来估计，最简单的做法就是取第一个样本x1做的估计，虽然x1的期望值等于，但是很显然，使用更多的样本数据的平均得到的估计会比之使用x1作出的估计更好；我们会猜想：样本平均可能是的最优估计。

1、在参数估计理论中，通常把一个真实参数的估计方法或估计值称为的估计子。一个估计子是一个统计量，它在某种意义下“最接近”真实参数。

               如何衡量或评价一个估计子与真实参数之间的“接近度”呢？又如何对它进行估计呢？这些问题形成了参数估计理论的两个核心内容：

                  （1）对估计子与真实参数的接近度进行量化定义

                   （2）研究不同的估计方法以及它们的性能比较

2、 无偏估计与渐进无偏估计

估计子是用来近似参数的。因此希望它具有某种逼近的适合度。最简单的测度是估计子的误差-。

（1）无偏估计

参数的估计子的偏差定义为该估计子误差的期望值，即  。估计子称为无偏的，若偏差等于零或 = ，即估计子的期望等于真实参数。例子：

式（2.1.2）



（2）渐进无偏估计

估计子是真实参数的渐进无偏估计子，若当样本长度时，偏差，即

                

式中表示由N个样本得到的估计子。

注意：一个无偏的估计子一定是渐进无偏的，但渐进无偏的估计子不一定是无偏的。

例子：





（3）一致性

偏差是误差的期望值，但是偏差为零并不保证估计子误差取低值的概率就搞，评价估计子的小误差概率的指标称为一致性。

3、估计子的有效性

（1）两个无偏估计子的比较

如果两个根据N个观测样本得到的无偏估计子，我们倾向于选择具有较小方差的那个估计子。例如：假定1具有比2更大的方差，即var（1）>var（2），则2的值比1的值更密集地聚集在真值的附近。换句话说，2位于某个区域（+，-）的概率比1位于同一个区域的概率要高。因此我们说2比1更有效。

（2）无偏与渐近无偏估计子之间的比较

       现在假定1和2中一个是无偏的，另一个是渐近无偏的；或者二者都是渐近无偏的。在这样的情况下，方差就不在是估计子有效性的唯一合适测度。例如：1具有比2更大的偏差，但却有较小的方差，此时应该在1和2当中选择哪一个更好呢？

      显然，一种合理的做法是同时考虑偏差和方差，即引入估计子的均方误差。

均方误差：参数的估计子的均方误差（）定义为该估计子与真实参数的误差平方的期望值，即

                            （）=  



二、Fisher信息与Cramer-Rao不等式

假定随机信号x(t)隐藏有真实参数，根据信号的一次实现x，我们已获得了的一估计子，但是，这个估计子是否是最优的呢？这个问题等价于：

      在真实参数给定的情况下，根据信号实现值x能够得到的最优估计子应该使用什么标准评价呢？

将x当做一随机变量看待，我们现在来对条件分布密度函数f(x|)的质量进行评估。这样一种评价测度称为随机变量x的品质函数。











 

三、贝叶斯估计

参数估计子的质量取决于采用什么样的准则和方法进行参数估计。参数估计方法分为两大类，一类只是用于特殊的问题，另一类则可以适用于大量的问题。

贝叶斯估计 

当使用作为参数的估计时，估计误差 - 通常不为零。因此，估计值的质量决定于估计误差究竟有多小。

利用误差的范围作为估计误差的测度，这样一种测度称为代价函数或损失函数，用符号C（，）。







 

2、最小均方误差估计

是使二次型风险函数最小的估计称为最小均方误差估计。风险函数可写作：



贝叶斯估计可写作：



3、均匀损失函数、最大后验概率估计



均匀损失函数的风险函数为：





最大似然估计：



四、最大似然估计

part 1

（1）最大似然估计是最常用和最有效的估计方法之一。最大似然估计的基本思想是：

在对被估计的未知量（或参数）没有任何先验知识的情况下，利用已知的若干观测值估计该参数。因此，在使用最大似然估计方法时，被估计的参数假定是常数，但未知；而已知的观测数据则是随机变量。C（，）

（2）令x1,x2...,xN是随机变量x的N个观测值，{f(x1,x2...,xN)|，属于Q}是给定参数情况下观测样本（x1,x2...,xN）的联合条件概率密度函数。

（3）假定联合条件概率密度函数存在，且有界，我们来考虑未知（固定）参数的估计问题。

（4）当把联合条件分布密度函数f(x1,x2...,xN|）视为真实参数的函数时，称之为似然函数。

（5）所谓似然函数，就是包含未知参数信息的可能性函数。

（6）最大似然估计就是使似然函数f(x1,x2...,xN|）最大化的估计值。将未知参数的最大似然估计记做：



因此，最大似然估计也可以看做是联合条件概率密度函数f(x1,x2...,xN|）的全局极大点。

 

part 2

由于对数是严格单调的，故f(x1,x2...,xN|）的极大点与lnf(x1,x2...,xN|）的极大点 一致。对数函数lnf(x1,x2...,xN|）称为对数似然函数，常用来代替似然函数f(x1,x2...,xN|）。

在很多信号处理的文献中，习惯将lnf(x1,x2...,xN|）简称为似然函数。简记为;

L(）=lnf(x1,x2...,xN|）

于是，的最大似然估计可以通过令求得。



最大似然估计具有以下性质：



part 3







 

 

申明:内容依据张贤达教授所著《现代信号处理》第二版所总结归纳 

贝叶斯的参数估计
朴素贝叶斯方法需要知道先验概率，此时

$P(Y_i)$是先验概率，$P(X|Y_i)$是类的条件概率密度。

$P(Y_i)$容易得到，对类的条件密度的估计存在两个问题：1，实际的样本对于类条件概率的估计来说，太少了；2，有时特征空间的维度太高，计算复杂度太高。

为了降低估计难度，我们可以将类条件密度参数化，比如用正态分布来估计$P(X|Y_i)$（极大似然）。
再来一遍：
根据贝叶斯公式，利用先验概率和类条件概率求后验概率：

  $P(w_i|x)=\dfrac{p(x|w_i)P(w_i)}{\sum_{j=1}^{2}p(x|w_j)P(w_j)}$

其中，$p(x|w_i)$就是类条件概率密度，其中x是个特征向量$x=[x_1,x_2,...,x_d]^T$。
1，这个类条件概率密度我们总是假设它已知，然而真实情况是，它并非已知，而且貌似没那么好估计，因为特征向量包含多的特征，这就导致类条件概率密度函数中的参数个数为指数级别，很难进行估计。

2，实际中，假设特征向量x的第j个特征Xj可取值有Sj个，那么参数个数为 $c\prod_{j=1}^d S_j$
在参数估计里面，主要有最大似然估计和贝叶斯估计。
极大似然估计法(Maximum Likehood Estimation)
极大似然估计法认为参数是固有的，但是可能由于一些外界噪声的干扰，使数据看起来不是完全由参数决定的。没关系，数学家们觉得，虽然有误差存在，但只要让在这个数据给定的情况下，找到一个概率最大的参数就可以了。那问题其实就变成了一个条件概率最大的求解，即求使得$p(\theta|D)$最大的参数$\theta$：

$\mathop{\arg\max}_{\theta}\,p(\theta|D)$
根据条件概率公式：$p(\theta|D)=\dfrac{p(D|\theta)p(\theta)}{p(D)}$
因为我们在极大似然估计中假设 θ 是确定的，所以p(θ)就是一个常数。p(D) 同样是根据已有的数据得到的，也是确定的，或者我们可以把其看作是对整个概率的一个归一化因子。这时候，求解上面的公式$\mathop{\arg\max}_{\theta}\,p(\theta|D)$就变成了求解：

    $\mathop{\arg\max}_{\theta}\, p(D|\theta)$

其中，$p(D|\theta)$就是似然函数，我们要做的就是求一个是似然最大的参数。

求解这个问题，需要假设我们的数据是相互独立的，那么对数据的抽样集合$D=\{x_1,x_2,x_3,...,x_n\}$，有：

     $p(D|\theta)=\prod_{i=1}^{n}p(x_i|\theta)$。

取对数、求导取极值点，就得到了要估计的参数。
假设有一组独立同分布的随机变量X，给定一个概率分布D，假设其概率密度函数为f，以及一个分布的参数θ，从这组样本中抽出$x_1,x_2,...,x_n$，那么通过参数$\theta$的模型 f 生成上面样本的概率为：

    $f(x_1,x_2,\cdots,x_n|\theta) = f(x_1|\theta) \times f(x_2|\theta) \times \cdots f(x_n|\theta)$
最大似然估计会寻找关于θ 的最可能的值，即在所有可能的 θ 取值中，寻找一个值使这个采样的“可能性”最大。

为是”模型已定，参数未知”，此时我们是根据样本采样求估计参数$\theta$，所以定义似然函数：

     $L(\theta|x_1,x_2,\cdots,x_n)=f(x_1,x_2,\cdots,x_n|\theta) = \prod f(x_i | \theta)$

由于概率密度$f(x_i|\theta)$一般比较小，而n往往比较大，连乘容易造成浮点数下溢，所以我们用对数似然函数：

    $\ln L(\theta|x_1,x_2,\cdots,x_n) = \sum\limits_{i=1}^n f(x_i | \theta)$

并且令：

    $\widehat l= \dfrac{1}{n} \ln L$
那么参数$\theta$的估计值为：

    $\widehat{\theta}_{MLE} =\mathop{\arg\max}_{\theta} \widehat l(\theta|x_1,x_2,\cdots,x_n)$
举个例子

http://noahsnail.com/2018/05/17/
假设样本服从正态分布$N\sim(\mu,\sigma^2)$，则似然函数：

$L(\theta|D)=\prod_{i=0}^{n}p(x_i|\theta)\simeq L(\mu,\sigma^2)=\prod_{i=0}^n \dfrac {1} {\sqrt{2\pi} \sigma}e^{-\frac {(x_i-\mu)^2} {2\sigma^2}}$
对其取对数得：

$lnL(\mu,\sigma^2)=-\frac {n} {2}ln(2\pi) - \frac {n} {2} ln(\sigma^2) - \frac {1} {2\sigma^2} \sum_{i=0}^n(x_i-\mu)^2$
分别对$\mu\, ,\quad \theta^2$求偏导，并令偏导数为0，得：

$\begin{cases} \dfrac {\partial lnL(\mu,\sigma^2)} {\partial \mu}= \dfrac {1} {\sigma^2} \sum_{i=0}^n(x_i-\mu) =0 \\ \dfrac {\partial lnL(\mu,\sigma^2)} {\partial \sigma^2}= -\dfrac {n} {2\sigma^2} + \dfrac {1} {2\sigma^4}\sum_{i=0}^n(x_i-\mu)^2 =0 \end{cases}$
解得：

$\begin{cases} \hat{\mu}= \frac {1} {n} \sum_{i=0}^nx_i=\bar{x}\\ \hat{\sigma}^2 = \frac {1} {n} \sum_{i=0}^n(x_i-\bar{x})^2 \end{cases}$
$\hat{\mu}，\hat{\sigma}^2$就是正态分布中$\mu ,\,\theta^2$的最大似然估计值。
贝叶斯估计法
用极大似然估计可能会出现所要估计的概率值为0的情况。 这时会影响到后验概率的计算结果， 使分类产生偏差。 解决这一问题的方法是采用贝叶斯估计。
最大似然估计和贝叶斯估计的区别


最大似然估计要估计的参数θ被当作是固定形式的一个未知变量，然后我们结合真实数据通过最大化似然函数来求解这个固定形式的未知变量。


贝叶斯估计则是将参数视为是有某种已知先验分布的随机变量，意思是这个参数不是一个固定的未知数，而是符合一定先验分布如：随机变量θ符合正态分布等。那么在贝叶斯估计中除了类条件概率密度$p(x|\omega)$符合一定的先验分布，参数θ也符合一定的先验分布。我们通过贝叶斯规则将参数的先验分布转化成后验分布进行求解！


在最大似然估计中$\theta$被假定为固定值，而贝叶斯估计中认为$\theta$是随机变量。
设样本集合为D,目标是计算$P(\omega_i|x,D)$，根据贝叶斯公式：
    $P(\omega_i|x,D) = \dfrac{P(x|\omega_i,D)P(\omega_i|D)}{\sum_{j=1}^{c}P(x|\omega_j,D)P(\omega_j|D)}$
1,由于先验概率通常可以事先获得，所以：$P(\omega_i)=P(\omega_i|D)$

2,每个样本只依赖于所属的类(类之间也是相互独立的)，所以：$P(x|\omega_i,D)=P(x|\omega_i,D_i)$，于是：

上式变为：

     $P(\omega_i|x,D) = \dfrac{P(x|\omega_i,D_i)\cdot P(\omega_i)}{\sum_{j=1}^{c}P(x|\omega_j,D_j)\cdot P(\omega_j)}$
只要在每类中，独立计算$P(x|\omega_i,D_i)$，就可以确定X的类别。

由于类之间相互独立，所以我们不用区分类了，$P(x|\omega_i,D_i)=P(x|D)$。
因此，核心工作就是要估计$P(x|D)$
怎样估计$P(x|D)$呢？
根据条件概率公式$p(x,\theta|D)=p(x|\theta,D)p(\theta|D)$，
     $p(x|D)=\int_{\theta}p(x,\theta|D)d\theta=\int_{\theta}p(x|\theta,D)p(\theta|D)d\theta$
又因为对数据D中的x而言，$\theta$和$\theta,D$是同一条件，有$p(x|\theta,D)=p(x|\theta)$

所以

     $p(x|D)=\int_{\theta}p(x,\theta|D)d\theta=\int_{\theta}p(x|\theta,D)p(\theta|D)d\theta=\int_{\theta}p(x|\theta)p(\theta|D)d\theta$
注意到： $\int_{\theta}p(x|\theta)p(\theta|D)d\theta$ 如果$P(\theta|D)$在某个$\hat{\theta}$附近有非常显著的尖峰，则

         $p(x|D)\simeq p(x|\hat{\theta})$

即：

如果条件概率有一个已知的形式，则利用已有的训练样本，就能通过$p(\theta|D)$对$p(x|D)$进行估计。
贝叶斯估计过程，就是：

（1）$p(x|D)=\int_{\theta}p(x|\theta)p(\theta|D)d\theta$
（2）$p(\theta|D)=\dfrac{p(D|\theta)p(\theta)}{p(D)}=\dfrac{p(D|\theta)p(\theta)}{\int_{\theta}p(D|\theta)p(\theta)d\theta}$
其中，$p(D|\theta)=\prod_{i=1}^{n}p(x_i|\theta)$


Ref:

https://blog.csdn.net/liu1194397014/article/details/52766760

接上一节内容

五、线性均方估计（LMS）

贝叶斯估计需要已知后验概率分布函数；最大似然估计需要知道似然函数，但是在很多情况下他们都是未知的。因此，不需要先验知识且容易实现的线性估计方法就显得十分有吸引力；

线性均方估计和最小二乘估计就是这样两类参数估计方法。

1、在线性均方估计中，待定的参数估计子被表示为观测数据的线性加权和，即

                                                     

 式中，，....,为待确定的权系数。线性均方估计的原理就是使均方误差函数最小。也就是说权系数通过下式确定





 正交性原理：



2、在滤波应用中，我们会遇到这样的问题，即希望设计一组滤波器系数，...., ，使用它们与随机信号x(n)的延迟形式x（n-i）的线性组合

                                                                                  

逼近一已知的期望信号d(n），此时，线性均方误差就是可以实现的。

3、由于采用的是最小均方误差（MMSE）准则，故线性均方估计本质上就是一种MMSE估计子。

六、最小二乘估计（LS）

1、导入

在谱估计、系统辨识等中的矩阵方程多为欠定方程。

2、最小二乘估计

为确定参数估计向量，我们选择这样一种准则：使误差的平方和

           

为最小。所求得的估计称为最小二乘估计，记做。

3、损失或代价函数



唯一确定，此时称参数向量是唯一可辨识的。



4、（Gauss-Markov）定理表明，当误差向量的各个分量具有相同的方差，而且各分量不相关时，最小二乘估计在方差最小的意义上是最优的。



5、加权最小二乘估计是对最小二乘估计的改进。

 

申明:内容依据张贤达教授所著《现代信号处理》第二版所总结归纳 

简单的讨论一下参数估计理论
一、什么是参数估计
　　参数通常用来表示一个量，可以是标量也可以是有值向量。按照时间变化，也可以分为时常参数和时变参数。对于时常参数的估计称为参数估计。对于时变的参数估计称为状态估计，本文不研究。参数估计的包括两个主要的模型以及四个基本估计方法，如下图所示：

　　贝叶斯学派和频率学派最大的不同、根上的不同，就是在于模型 y=wx+b 其中的 w 和 b 两个参数，频率学派认为参数是固定的、也就是上面的非随机模型，只要通过不停的采样、不停的观测训练，就能够估算参数 w 和 b，因为它们是固定不变的；而贝叶斯学派相反，他们认为这些参数是变量，它们是服从一定的分布的，也就是上面的随机模型，这是它最根本的差别。通常上面两种也被称为点估计和区间估计。
二、四种基本的估计方法
2.1  最大似然估计
　　使得似然函数达到最大的x即为参数x的ML估计：

2.2  最小二乘估计

（我还是直接抄书吧。。。以下以上都来自《雷达数据处理及应用》）
 
2.3  最大后验估计
　　对于随机参数，由于已知其先验概率p（x），由贝叶斯准则：

　　可以求得其后验概率密度函数，使后验概率密度函数最大的x被称为参数x的最大后验估计，即：

2.4  最小均方误差估计

三、最大似然估计和最小二乘估计的对比
　　当模型是高斯分布时，最大似然估计和最小二乘估计是等价的。
 
转载于:https://www.cnblogs.com/pinking/p/9201539.html