精华内容
下载资源
问答
  • 郑兆宁;向大威.水声信号被动检测与参数估计理论.科学出版社.1983郑兆宁 向大威.水声信号被动检测与参数估计理论[M].北京:科学出版社
  • 通信信号处理:第3讲 参数估计理论.pdf
  • 导论 信号处理的基本任务是利用观测... 参数化估计与系统模型的辨识密切相关,其主要理论是优化理论,即被估计的参数应在某种准侧下是最优的,以及如何获得最优的参数估计。 非参数化方法不假定数据服从某种特定...

    导论

    信号处理的基本任务是利用观测数据作出关于信号与(或)系统的某种统计决策。

    1. 统计决策理论主要解决两大类问题:假设检验与估计。
    2. 信号检测、雷达动目标检测是假设检验的经典问题;估计理论涉及的范围更广泛,它被分为非参数化和参数化
    3. 参数化估计与系统模型的辨识密切相关,其主要理论是优化理论,即被估计的参数应在某种准侧下是最优的,以及如何获得最优的参数估计。
    4. 非参数化方法不假定数据服从某种特定的概率模型,例如基于离散傅里叶变换的功率谱估计和高阶谱估计等就是典型的非参数化方法。

    现代谱估计本质上为参数化谱估计

    自适应滤波器介绍的是时域或空域滤波器参数的自适应更新

    高阶统计量理论的中心问题是基于高阶统计量的系统参数估计与高阶谱的参数化估计

    时频信号分析——线性变换/非线性变换 则讨论非平稳信号的参数化表示

    一、估计子的性能

    导入:

    参数估计理论关心的问题是:假定随机变量x具有一累计分布函数,它是一特定概率分布集合中的一员,但并不知道它究竟是其中的哪一个。

           实验:测量随机变量的各次实现(也称样本或观测值),并希望通过N各样本x1,x2,...xN猜出决定随机变量分布的参数值\theta。例如:

           令x1,x2,...xN是服从正态分布N\left ( \theta\cdot {\sigma ^ 2} \right )得到的N个数据样本,现在根据这些样本值估计出均值参数\theta。很显然,有很多的数据函数都可以用来估计\theta,最简单的做法就是取第一个样本x1做\theta的估计,虽然x1的期望值等于\theta,但是很显然,使用更多的样本数据的平均得到的\theta估计会比之使用x1作出的估计更好;我们会猜想:样本平均\overline{_{xN}}= \frac{1}{N} \sum_{N}^{i=1}{xi}可能是\theta的最优估计。


    1、在参数估计理论中,通常把一个真实参数\theta的估计方法或估计值称为\theta的估计子。一个估计子是一个统计量,它在某种意义下“最接近”真实参数\theta

                   如何衡量或评价一个估计子与真实参数之间的“接近度”呢?又如何对它进行估计呢?这些问题形成了参数估计理论的两个核心内容:

                      (1)对估计子与真实参数的接近度进行量化定义

                       (2)研究不同的估计方法以及它们的性能比较

    2、 无偏估计与渐进无偏估计

    估计子{\widehat{\theta }}是用来近似参数\theta的。因此希望它具有某种逼近的适合度。最简单的测度是估计子{\widehat{\theta }}的误差{\widehat{\theta }}-\theta

    (1)无偏估计

    参数\theta的估计子的偏差定义为该估计子{\widehat{\theta }}误差的期望值,即\small b\left ( \widehat{\theta } \right ) = E\left \{ \widehat{\theta }- \theta \right \} = E\left \{ \widehat{\theta } \right \}-\theta  。估计子{\widehat{\theta }}称为无偏的,若偏差\small b\left ( \widehat{\theta } \right )等于零或\small E\left \{ \widehat{\theta } \right \} = \theta,即估计子的期望等于真实参数。例子:

    式(2.1.2)

    (2)渐进无偏估计

    估计子{\widehat{\theta }}是真实参数\theta的渐进无偏估计子,若当样本长度\small N \to\infty时,偏差\small b\left ( \widehat{\theta } \right ) \to 0,即

                   \small _{lim_n \to\infty } E\left \{ \widehat{_{\theta _N}} \right \} = \theta 

    式中\small \widehat{\theta _N}表示由N个样本得到的估计子。

    注意:一个无偏的估计子一定是渐进无偏的,但渐进无偏的估计子不一定是无偏的。

    例子:

    (3)一致性

    偏差是误差的期望值,但是偏差为零并不保证估计子误差取低值的概率就搞,评价估计子的小误差概率的指标称为一致性。

    3、估计子的有效性

    (1)两个无偏估计子的比较

    如果两个根据N个观测样本得到的无偏估计子,我们倾向于选择具有较小方差的那个估计子。例如:假定{\widehat{\theta }}1具有比{\widehat{\theta }}2更大的方差,即var({\widehat{\theta }}1)>var({\widehat{\theta }}2),则{\widehat{\theta }}2的值比{\widehat{\theta }}1的值更密集地聚集在真值\theta的附近。换句话说,{\widehat{\theta }}2位于某个区域(\theta+\small \varepsilon\theta-\small \varepsilon)的概率比{\widehat{\theta }}1位于同一个区域的概率要高。因此我们说{\widehat{\theta }}2比{\widehat{\theta }}1更有效。

    (2)无偏与渐近无偏估计子之间的比较

           现在假定{\widehat{\theta }}1和{\widehat{\theta }}2中一个是无偏的,另一个是渐近无偏的;或者二者都是渐近无偏的。在这样的情况下,方差就不在是估计子有效性的唯一合适测度。例如:{\widehat{\theta }}1具有比{\widehat{\theta }}2更大的偏差,但却有较小的方差,此时应该在{\widehat{\theta }}1和{\widehat{\theta }}2当中选择哪一个更好呢?

          显然,一种合理的做法是同时考虑偏差和方差,即引入估计子的均方误差。

    均方误差:参数\theta的估计子{\widehat{\theta }}的均方误差\small ^{M^{2}}{\widehat{\theta }})定义为该估计子与真实参数的误差平方的期望值,即

                                \small ^{M^{2}}{\widehat{\theta }})=  \small E\left \{ ^{\left ( \widehat{\theta }-\theta \right )^{2}} \right \}

    二、Fisher信息与Cramer-Rao不等式

    假定随机信号x(t)隐藏有真实参数\theta,根据信号的一次实现x,我们已获得了\theta的一估计子,但是,这个估计子是否是最优的呢?这个问题等价于:

          在真实参数\theta给定的情况下,根据信号实现值x能够得到的最优估计子应该使用什么标准评价呢?

    将x当做一随机变量看待,我们现在来对条件分布密度函数f(x|\theta)的质量进行评估。这样一种评价测度称为随机变量x的品质函数

     

    三、贝叶斯估计

    参数估计子的质量取决于采用什么样的准则和方法进行参数估计。参数估计方法分为两大类,一类只是用于特殊的问题,另一类则可以适用于大量的问题。

    贝叶斯估计 

    当使用{\widehat{\theta }}作为参数\theta的估计时,估计误差\theta - {\widehat{\theta }}通常不为零。因此,估计值{\widehat{\theta }}的质量决定于估计误差究竟有多小。

    利用误差的范围作为估计误差的测度,这样一种测度称为代价函数或损失函数,用符号C({\widehat{\theta }}\theta)。

     

    2、最小均方误差估计

    是使二次型风险函数最小的估计称为最小均方误差估计。风险函数可写作:

    贝叶斯估计可写作:

    3、均匀损失函数、最大后验概率估计

    均匀损失函数的风险函数为:

    最大似然估计:

    四、最大似然估计

    part 1

    (1)最大似然估计是最常用和最有效的估计方法之一。最大似然估计的基本思想是:

    在对被估计的未知量(或参数)没有任何先验知识的情况下,利用已知的若干观测值估计该参数。因此,在使用最大似然估计方法时,被估计的参数假定是常数,但未知;而已知的观测数据则是随机变量。C({\widehat{\theta }}\theta

    (2)令x1,x2...,xN是随机变量x的N个观测值,{f(x1,x2...,xN)|\theta\theta属于Q}是给定参数\theta情况下观测样本(x1,x2...,xN)的联合条件概率密度函数。

    (3)假定联合条件概率密度函数存在,且有界,我们来考虑未知(固定)参数\theta的估计问题。

    (4)当把联合条件分布密度函数f(x1,x2...,xN|\theta)视为真实参数\theta的函数时,称之为似然函数。

    (5)所谓似然函数,就是包含未知参数\theta信息的可能性函数。

    (6)最大似然估计就是使似然函数f(x1,x2...,xN|\theta)最大化的估计值{\widehat{\theta }}。将未知参数\theta的最大似然估计记做:

    因此,最大似然估计也可以看做是联合条件概率密度函数f(x1,x2...,xN|\theta)的全局极大点。

     

    part 2

    由于对数是严格单调的,故f(x1,x2...,xN|\theta)的极大点与lnf(x1,x2...,xN|\theta)的极大点 一致。对数函数lnf(x1,x2...,xN|\theta)称为对数似然函数,常用来代替似然函数f(x1,x2...,xN|\theta)。

    在很多信号处理的文献中,习惯将lnf(x1,x2...,xN|\theta)简称为似然函数。简记为;

    L(\theta)=lnf(x1,x2...,xN|\theta

    于是,\theta的最大似然估计可以通过令求得。

    最大似然估计具有以下性质:

    part 3

     

     

    申明:内容依据张贤达教授所著《现代信号处理》第二版所总结归纳 

    展开全文
  • 接上一节内容 五、线性均方估计(LMS) 贝叶斯估计需要已知后验概率分布...线性均方估计和最小二乘估计就是这样两类参数估计方法。 1、在线性均方估计中,待定的参数估计子被表示为观测数据的线性加权和,即 ...

    接上一节内容

    五、线性均方估计(LMS)

    贝叶斯估计需要已知后验概率分布函数;最大似然估计需要知道似然函数,但是在很多情况下他们都是未知的。因此,不需要先验知识且容易实现的线性估计方法就显得十分有吸引力;

    线性均方估计和最小二乘估计就是这样两类参数估计方法。

    1、在线性均方估计中,待定的参数估计子被表示为观测数据的线性加权和,即

                                                         \small \widehat{_{\theta }}_L_M_S = \sum_{i=1}^{N}_{w_i}_{x_i}

     式中,\small _{w_1},....,\small _{w_N}为待确定的权系数。线性均方估计的原理就是使均方误差函数\small E\left \{ \left ( \widehat{\theta }-\theta \right )^{2} \right \}最小。也就是说权系数通过下式确定

     正交性原理:

    2、在滤波应用中,我们会遇到\small \widehat{_{\theta }}_L_M_S = \sum_{i=1}^{N}_{w_i}_{x_i}这样的问题,即希望设计一组滤波器系数\small _{w_1},....,\small _{w_M} ,使用它们与随机信号x(n)的延迟形式x(n-i)的线性组合

                                                                                      \small d\left ( n \right )= \sum_{i=1}^{N}_{w_i}_{x_\left ( n-i \right )}

    逼近一已知的期望信号d(n),此时,线性均方误差就是可以实现的。

    3、由于采用的是最小均方误差(MMSE)准则,故线性均方估计本质上就是一种MMSE估计子。

    六、最小二乘估计(LS)

    1、导入

    在谱估计、系统辨识等中的矩阵方程多为欠定方程。

    2、最小二乘估计

    为确定参数估计向量\small \widehat{\theta },我们选择这样一种准则:使误差的平方和

               \small \sum_{i=1}^{N} e_{i}^{2} = e^{T}e= \left ( A\widehat{\theta }- b \right )^{T}\left ( A\widehat{\theta }- b \right )

    为最小。所求得的估计称为最小二乘估计,记做\small \widehat{\theta }_{LS}

    3、损失或代价函数

    唯一确定,此时称参数向量\small {\theta }是唯一可辨识的。

    4、(Gauss-Markov)定理表明,当误差向量的各个分量具有相同的方差,而且各分量不相关时,最小二乘估计在方差最小的意义上是最优的。

    5、加权最小二乘估计是对最小二乘估计的改进。

     

    申明:内容依据张贤达教授所著《现代信号处理》第二版所总结归纳 

    展开全文
  • 以上资源是一本国外非常受欢迎的著作,在信号处理领域具有重要地位
  • 系统建模和参数估计--理论与算法 高校教材
  • 基于参数估计误差的自适应控制: 理论及应用
  • 参数估计ppt

    2014-04-09 16:33:27
    模式识别中非参数估计理论,包括窗估计、kNN,NN等
  • 简述:参数估计中的最小二乘法

    千次阅读 2020-03-28 23:44:59
    在工程物理、 化学工程、 生物医学、 统计学、 经济学、 信号处理、 自动化、测绘学等领域中, 许多问题都可归结为求解矩阵方程 Ax=b的问题,其中最常见的是线性参数估计问题,而最小二乘法是最常用的线性参数估计...

    简述:参数估计中的最小二乘法

    普通最小二乘法简介

    P1
    P2
    P3

    总体最小二乘法简介

    P4
    P5
    P7

    展开全文
  • 《线性动态系统的参数估计

    千次阅读 2020-03-05 15:58:04
  • 来源:首席数据科学家今天分享一下关于参数估计的基本概念。尤其是极大似然估计,有着重要的应用。01—参数估计的定义首先,什么是参数估计呢?之前我们其实已经了解到很多种分布类型了,比如正态分布...
  • 参数估计与反演

    2018-11-16 19:22:19
    参数估计与反演很不错了的一份参考材料真的,好好学,认真学
  • 什么是参数估计

    千次阅读 2020-10-20 20:06:51
    参数估计(parameter estimation) 参数估计属于统计推断的范畴,是根据从总体中抽取的样本估计总体分布中包含的未知参数的方法。 统计推断是数理统计研究的核心问题,是指根据样本对总体分布或分布的数字特征等作出...
  • 然后,基于局部线性非参数估计理论,对近似分量和细节分量分别建立了 NARCH( 1)模型;最后,对均值和波动率进行了 10步预测.计算结果表明,非参数估计理论结合小波多分辨分析理论可以较好地应用于人民币汇率的预测,预测...
  • 非线性模型参数估计

    千次阅读 2015-05-11 22:19:05
    1.1指数模型估计 %%非线性回归,指数模型 x=[0.5,1.5,2.5,3.5,4.5,5.5,6.5,7.5,8.5,9.5,10.5,11.5,12.5,13.5,14.5,15.5]; y=[26300,25100,19900,15500,11500,9800,5200,4600,3200,2300,1700,1200,900,700,600,500]; ...
  • 参数估计

    千次阅读 2018-10-10 23:31:28
    一、参数估计内容 1.参数估计的requisites   我默认大家已经掌握了基本的概率论知识,例如了解概率空间、随机变量、概率的含义,会求随机变量的分布函数、数字特征,对基本的大数定理和中心极限定理...
  • 包含空间谱估计理论与算法(王永良)课本对应各章的matlab程序 MATLAB程序:第2章_空间谱估计基础; 第3章_线性预测算法;第4章_多重信号分类算法;第5章_最大似然及子空间拟合算法;第6章_旋转不变子空间算法;第7...
  • 信号的估计与检测理论 判决门限 判决概率 贝叶斯准则 平均代价
  • 参数估计方法整理

    万次阅读 多人点赞 2018-08-06 10:33:27
    参数估计:是根据从总体中抽取的样本估计总体分布中包含的未知参数的方法。 参数估计包括点估计和区间估计。 常见点估计方法:矩估计、最小二乘估计、极大似然估计、贝叶斯估计 区间估计:利用已知的抽样分布、...
  • 参数估计(点估计和区间估计)

    万次阅读 多人点赞 2019-09-06 12:07:06
    1.点估计就是用样本统计量来估计总体参数。 概念理解:当我们想知道某一总体的某个指标的情况时,测量整体该指标的数值 的工作量太大,或者不符合实际,这时我们可以采用抽样的方法选取一部分样本测量出他们数值,...
  • 理论分析及仿真结果表明:参数估计方差的CRLB与观测数据长度、信噪比和高斯包络的宽度有关,增加观测数据长度和提高信噪比可以减小参数估计方差的CRLB;当观测数据一定时,加速度越大,高斯包络的宽度就越窄,参数...
  • 《统计学》学习笔记之参数估计

    千次阅读 2020-03-16 15:05:29
    文章目录参数估计参数估计的基本原理评价估计量的标准一个总体参数的区间估计两个总体参数估计 参数估计 参数估计是推断统计的重要内容之一。它是在抽样及抽样分布的基础上,根据样本统计量来推断所关心的总体参数...
  • 针对固体运动目标高速度、高加速度的特点,研究了高斯白噪声背景下激光多普勒测速回波...在不同的采样点数和信噪比下仿真表明,提高回波信号的信噪比和增加采样点数可以减小各参数估计方差的CRLB,结果与理论分析吻合。
  • 回归分析之参数估计

    千次阅读 2019-10-11 16:06:59
    参数估计 参数估计:是根据从总体中抽取的样本估计总体分布中包含的未知参数的方法。它是统计推断的一种基本形式,是数理统计学的一个重要分支,分为点估计和区间估计两部分。 点估计:依据样本估计总体分布中所含的...
  • 利用DSY算法开发了多维二级评分模型的参数估计程序,推广了该类评分模型的参数估计方法,比较了MCMC和DSY算法,说明了DSY算法能有效估计该类型评分模型的参数,提出了一些有待研究的问题.
  • 参数估计的基本原理与直方图方法 1. 前言 在很多情况下,我们对样本的分布并没有充分的了解,无法事先给出密度函数的形式,而且有些样本分布的情况也很难用简单的函数来描述。 在此背景下,采用非参数估计,即不对...
  • 基于混合项目反应理论模型,实现了对客观题组和主观测试组成项目结构的模型构建,并给出一种改进人工蜂群算法实现该混合模型的参数估计.在模拟数据上通过与Winbug的对比结果验证了利用改进人工蜂群算法估计混合模型...
  • 线性模型参数估计理论
  • 讨论了摩擦片磨损量数学模型中未知参数估计的方法:统计学习方法和线性方程组方法。利用最小二乘法,对采用线性方程组所估计的模型参数的误差进行了讨论,并得出结论:在磨损量测得的情况下,以在(0,1)区间内服从...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 71,069
精华内容 28,427
关键字:

参数估计理论