导论
 
信号处理的基本任务是利用观测数据作出关于信号与（或）系统的某种统计决策。
 
统计决策理论主要解决两大类问题：假设检验与估计。
信号检测、雷达动目标检测是假设检验的经典问题；估计理论涉及的范围更广泛，它被分为非参数化和参数化。
参数化估计与系统模型的辨识密切相关，其主要理论是优化理论，即被估计的参数应在某种准侧下是最优的，以及如何获得最优的参数估计。
非参数化方法不假定数据服从某种特定的概率模型，例如基于离散傅里叶变换的功率谱估计和高阶谱估计等就是典型的非参数化方法。
现代谱估计本质上为参数化谱估计
 
自适应滤波器介绍的是时域或空域滤波器参数的自适应更新
 
高阶统计量理论的中心问题是基于高阶统计量的系统参数估计与高阶谱的参数化估计
 
时频信号分析——线性变换/非线性变换 则讨论非平稳信号的参数化表示
 
一、估计子的性能
 
导入：
 
参数估计理论关心的问题是：假定随机变量x具有一累计分布函数，它是一特定概率分布集合中的一员，但并不知道它究竟是其中的哪一个。
 
       实验：测量随机变量的各次实现（也称样本或观测值），并希望通过N各样本x1,x2,...xN猜出决定随机变量分布的参数值。例如：
 
       令x1,x2,...xN是服从正态分布得到的N个数据样本，现在根据这些样本值估计出均值参数。很显然，有很多的数据函数都可以用来估计，最简单的做法就是取第一个样本x1做的估计，虽然x1的期望值等于，但是很显然，使用更多的样本数据的平均得到的估计会比之使用x1作出的估计更好；我们会猜想：样本平均可能是的最优估计。
 

1、在参数估计理论中，通常把一个真实参数的估计方法或估计值称为的估计子。一个估计子是一个统计量，它在某种意义下“最接近”真实参数。
 
               如何衡量或评价一个估计子与真实参数之间的“接近度”呢？又如何对它进行估计呢？这些问题形成了参数估计理论的两个核心内容：
 
                  （1）对估计子与真实参数的接近度进行量化定义
 
                   （2）研究不同的估计方法以及它们的性能比较
 
2、 无偏估计与渐进无偏估计
 
估计子是用来近似参数的。因此希望它具有某种逼近的适合度。最简单的测度是估计子的误差-。
 
（1）无偏估计
 
参数的估计子的偏差定义为该估计子误差的期望值，即  。估计子称为无偏的，若偏差等于零或 = ，即估计子的期望等于真实参数。例子：
 
式（2.1.2）
 
 
（2）渐进无偏估计
 
估计子是真实参数的渐进无偏估计子，若当样本长度时，偏差，即
 
                
 
式中表示由N个样本得到的估计子。
 
注意：一个无偏的估计子一定是渐进无偏的，但渐进无偏的估计子不一定是无偏的。
 
例子：
 
 
 
（3）一致性
 
偏差是误差的期望值，但是偏差为零并不保证估计子误差取低值的概率就搞，评价估计子的小误差概率的指标称为一致性。
 
3、估计子的有效性
 
（1）两个无偏估计子的比较
 
如果两个根据N个观测样本得到的无偏估计子，我们倾向于选择具有较小方差的那个估计子。例如：假定1具有比2更大的方差，即var（1）>var（2），则2的值比1的值更密集地聚集在真值的附近。换句话说，2位于某个区域（+，-）的概率比1位于同一个区域的概率要高。因此我们说2比1更有效。
 
（2）无偏与渐近无偏估计子之间的比较
 
       现在假定1和2中一个是无偏的，另一个是渐近无偏的；或者二者都是渐近无偏的。在这样的情况下，方差就不在是估计子有效性的唯一合适测度。例如：1具有比2更大的偏差，但却有较小的方差，此时应该在1和2当中选择哪一个更好呢？
 
      显然，一种合理的做法是同时考虑偏差和方差，即引入估计子的均方误差。
 
均方误差：参数的估计子的均方误差（）定义为该估计子与真实参数的误差平方的期望值，即
 
                            （）=  
 
 
二、Fisher信息与Cramer-Rao不等式
 
假定随机信号x(t)隐藏有真实参数，根据信号的一次实现x，我们已获得了的一估计子，但是，这个估计子是否是最优的呢？这个问题等价于：
 
      在真实参数给定的情况下，根据信号实现值x能够得到的最优估计子应该使用什么标准评价呢？
 
将x当做一随机变量看待，我们现在来对条件分布密度函数f(x|)的质量进行评估。这样一种评价测度称为随机变量x的品质函数。
 
 
 
 
 
 
 
 
三、贝叶斯估计
 
参数估计子的质量取决于采用什么样的准则和方法进行参数估计。参数估计方法分为两大类，一类只是用于特殊的问题，另一类则可以适用于大量的问题。
 
贝叶斯估计 
 
当使用作为参数的估计时，估计误差 - 通常不为零。因此，估计值的质量决定于估计误差究竟有多小。
 
利用误差的范围作为估计误差的测度，这样一种测度称为代价函数或损失函数，用符号C（，）。
 
 
 
 
 
 
2、最小均方误差估计
 
是使二次型风险函数最小的估计称为最小均方误差估计。风险函数可写作：
 
 
贝叶斯估计可写作：
 
 
3、均匀损失函数、最大后验概率估计
 
 
均匀损失函数的风险函数为：
 
 
 
最大似然估计：
 
 
四、最大似然估计
 
part 1
 
（1）最大似然估计是最常用和最有效的估计方法之一。最大似然估计的基本思想是：
 
在对被估计的未知量（或参数）没有任何先验知识的情况下，利用已知的若干观测值估计该参数。因此，在使用最大似然估计方法时，被估计的参数假定是常数，但未知；而已知的观测数据则是随机变量。C（，）
 
（2）令x1,x2...,xN是随机变量x的N个观测值，{f(x1,x2...,xN)|，属于Q}是给定参数情况下观测样本（x1,x2...,xN）的联合条件概率密度函数。
 
（3）假定联合条件概率密度函数存在，且有界，我们来考虑未知（固定）参数的估计问题。
 
（4）当把联合条件分布密度函数f(x1,x2...,xN|）视为真实参数的函数时，称之为似然函数。
 
（5）所谓似然函数，就是包含未知参数信息的可能性函数。
 
（6）最大似然估计就是使似然函数f(x1,x2...,xN|）最大化的估计值。将未知参数的最大似然估计记做：
 
 
因此，最大似然估计也可以看做是联合条件概率密度函数f(x1,x2...,xN|）的全局极大点。
 
 
 
part 2
 
由于对数是严格单调的，故f(x1,x2...,xN|）的极大点与lnf(x1,x2...,xN|）的极大点 一致。对数函数lnf(x1,x2...,xN|）称为对数似然函数，常用来代替似然函数f(x1,x2...,xN|）。
 
在很多信号处理的文献中，习惯将lnf(x1,x2...,xN|）简称为似然函数。简记为;
 
L(）=lnf(x1,x2...,xN|）
 
于是，的最大似然估计可以通过令求得。
 
 
最大似然估计具有以下性质：
 
 
part 3
 
 
 
 
 
 
 
 
申明:内容依据张贤达教授所著《现代信号处理》第二版所总结归纳 

接上一节内容
 
五、线性均方估计（LMS）
 
贝叶斯估计需要已知后验概率分布函数；最大似然估计需要知道似然函数，但是在很多情况下他们都是未知的。因此，不需要先验知识且容易实现的线性估计方法就显得十分有吸引力；
 
线性均方估计和最小二乘估计就是这样两类参数估计方法。
 
1、在线性均方估计中，待定的参数估计子被表示为观测数据的线性加权和，即
 
                                                     
 
 式中，，....,为待确定的权系数。线性均方估计的原理就是使均方误差函数最小。也就是说权系数通过下式确定
 
 
 
 正交性原理：
 
 
2、在滤波应用中，我们会遇到这样的问题，即希望设计一组滤波器系数，...., ，使用它们与随机信号x(n)的延迟形式x（n-i）的线性组合
 
                                                                                  
 
逼近一已知的期望信号d(n），此时，线性均方误差就是可以实现的。
 
3、由于采用的是最小均方误差（MMSE）准则，故线性均方估计本质上就是一种MMSE估计子。
 
六、最小二乘估计（LS）
 
1、导入
 
在谱估计、系统辨识等中的矩阵方程多为欠定方程。
 
2、最小二乘估计
 
为确定参数估计向量，我们选择这样一种准则：使误差的平方和
 
           
 
为最小。所求得的估计称为最小二乘估计，记做。
 
3、损失或代价函数
 
 
唯一确定，此时称参数向量是唯一可辨识的。
 
 
4、（Gauss-Markov）定理表明，当误差向量的各个分量具有相同的方差，而且各分量不相关时，最小二乘估计在方差最小的意义上是最优的。
 
 
5、加权最小二乘估计是对最小二乘估计的改进。
 
 
 
申明:内容依据张贤达教授所著《现代信号处理》第二版所总结归纳 

 
简述：参数估计中的最小二乘法
 
普通最小二乘法简介
总体最小二乘法简介

 
普通最小二乘法简介
 

 
 
 
总体最小二乘法简介