精华内容
下载资源
问答
  • 由结构化未知输入驱动的测量偏差的线性最小均方估计
  • 使用MATLAB实现最小线性均方估计,恢复QPSK信号的星座图,加入判决。
  • 带有随机系数矩阵的马尔可夫跳跃线性系统的线性最小均方误差估计
  • LMMSE线性最小均方误差估计 LMMSE原理 z的数学期望为0z的数学期望为0z的数学期望为0 以上为最终的估计公式,C代表斜方差,下面进行分析与推广以上为最终的估计公式,C代表斜方差,下面进行分析与推广以上为最终...

    添加链接描述
    信道容量

    LMMSE线性最小均方误差估计

    LMMSE原理

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    z 的 数 学 期 望 为 0 z的数学期望为0 z0
    在这里插入图片描述
    以 上 为 最 终 的 估 计 公 式 , C 代 表 斜 方 差 , 下 面 进 行 分 析 与 推 广 以上为最终的估计公式,C代表斜方差,下面进行分析与推广 C广

    在这里插入图片描述
    在这里插入图片描述

    LMMSE性质

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    计算举例

    在这里插入图片描述
    在这里插入图片描述
    z ˉ 为 均 值 \bar z为均值 zˉ

    展开全文
  • 线性最小均方误差仿真

    千次阅读 2016-04-15 17:24:35
  • 参考文献:O. Edfors, M. Sandell, J. -。 van de Beek、SK Wilson 和 P... Ola Borjesson,“通过奇异值分解进行 OFDM 信道估计”,车辆技术会议论文集 - VTC,美国佐治亚州亚特兰大,1996 年,第 923-927 卷第 2 卷。
  • 然后误差均方最小。 解析法 解析法与LSME算法一样,只是目标函数变成了 (X−Hθ^)T(X−Hθ^)(X-H\hat{\theta})^T(X-H\hat{\theta})(X−Hθ^)T(X−Hθ^) 求导=0得: θ^=(HTH)−1HTX\hat{\theta}=(H^TH)^{-1}H^TXθ^=...

    目录

    • 背景
    • 正交投影引理
    • LMSE算法
    • LS算法
    • 直线拟合

    背景

      对于一个系统,在给予一定的输入,那么通常都会产生相对应的输出。在实际的系统中,这样的输出必然伴随着噪声,这样被噪声污染的输出通常是传感器的输出信号,也叫观测信号

      同时,如果系统的模型是清晰的,我们可以通过严格的理论计算来得到真实值,通过作差的方式变把噪声去除了。

      然而在实际的系统中,我们对整个系统的物理模型通常是未知的或者有一些参数未知,也可能是模型不准确,某些参数值有一定的偏差。因此,我们为了得到真实的信号,就需要利用观测信号估计系统的模型,尽可能地去除噪声的影响(其实是信号处理的思想)

    数学描述

       X = ( x 1 . . x n ) T X=(x_1 .. x_n)^T X=(x1..xn)T是观测信号, f ( u , θ ) f(u,\theta) f(uθ)是系统的模型, u , θ u,\theta u,θ 分别是系统的输入与未知参数, n n n是噪声。

      整个观测的过程可以描述为:具有的未知参数的系统在输入 u u u的激励下,产生了伴随噪声 n n n的输出(观测信号) X X X

      即: X = f ( u , θ ) + n X=f(u,\theta)+n X=f(u,θ)+n

      而LMSE,LS算法要做的工作是利用 X X X,去尽可能地得到一个 θ ^ \hat{\theta} θ^,使 θ ^ \hat{\theta} θ^接近真实的 θ \theta θ,而算法的条件是整个系统模型 f ( u , θ ) f(u,\theta) f(u,θ)得是线性的。

      即: X = H θ + n X=H\theta+n X=Hθ+n,也称为线性观测模型。

    以上是数学描述。

      既然是要通过已知的观测信号 X X X来得到真实参数的一个进可能近似 θ ^ \hat{\theta} θ^,那么在LMSE与LS算法中,我们是把 θ ^ \hat{\theta} θ^看作是观测 X X X的线性组合。

    即: θ ^ = a + B X \hat{\theta}=a+BX θ^=a+BX,在空间里面表现为真实值在 X X X上的投影。

    正交投影引理

      定义:若 θ , X \theta,X θ,X是空间中随机矢量,那么 θ \theta θ X X X上的投影定义为 θ , X \theta,X θ,X的内积,记作 O P < θ ∣ X > OP<\theta|X> OP<θX>

    引理Ⅰ:若 θ , X \theta,X θ,X是空间中随机矢量, θ \theta θ X X X上的投影唯一。

    引理Ⅱ:正交投影满足线性性

    O P [ A 1 θ 1 + A 2 θ 2 ∣ X ] = A 1 O P [ θ 1 ∣ X ] + A 2 O P [ θ 2 ∣ X ] OP[A_1\theta_1+A_2\theta_2|X]=A_1OP[\theta_1|X]+A_2OP[\theta_2|X] OP[A1θ1+A2θ2X]=A1OP[θ1X]+A2OP[θ2X]

    以上两个引理比较简单,第三个引理在LMSE递推算法中至关重要。

    引理Ⅲ:

    x ( k ) = [ x ( k − 1 )    x k ] T x(k)=[x(k-1) \; x_k]^T x(k)=[x(k1)xk]T,这里面 x ( k ) , x ( k − 1 ) , x k x(k),x(k-1),x_k x(k)x(k1)xk都是随机矢量。那么,对于随机矢量 s s s,有:

    O P [ s ∣ x ( k ) ] = O P [ s ∣ x ( k − 1 ) ] + O P [ s ~ ∣ x ~ k ] OP[s|x(k)]=OP[s|x(k-1)]+OP[\widetilde{s}|\widetilde{x}_k] OP[sx(k)]=OP[sx(k1)]+OP[s x k]

    其中, s ~ = s − O P [ s ∣ s ( k − 1 ) ] , x ~ k = x k − O P [ x k ∣ x ( k − 1 ) ] \widetilde{s}=s-OP[s|s(k-1)],\widetilde{x}_k=x_k-OP[x_k|x(k-1)] s =sOP[ss(k1)],x k=xkOP[xkx(k1)]

    因为要与随机变量的统计特征联系起来,所以可以推倒出:

    O P [ s ~ ∣ x ~ k ] = E ( s ~ x ~ k T ) [ E ( x ~ k x ~ k T ) ] − 1 x ~ k OP[\widetilde{s}|\widetilde{x}_k]=E(\widetilde{s}{\widetilde{x}_k}^T)[E(\widetilde{x}_k{\widetilde{x}_k}^T)]^{-1}\widetilde{x}_k OP[s x k]=E(s x kT)[E(x kx kT)]1x k;具体的推导过程

    可以察看参考文献。

    LMSE算法

    先验条件;

    θ \theta θ:均值 μ θ \mu_\theta μθ,协方差矩阵 C θ C_\theta Cθ已知

    X X X:均值 X θ X_\theta Xθ,协方差矩阵 C X C_X CX已知

    互协方差矩阵 C θ X C_{\theta X} CθX已知。

    解析法

    要想使 θ ^ \hat{\theta} θ^ θ \theta θ尽可能接近,只需求解函数 E [ ( θ − θ ^ ) T ( θ − θ ^ ) ] E[(\theta- \hat{\theta})^T(\theta-\hat{\theta})] E[(θθ^)T(θθ^)]的最小值,这里面 θ \theta θ是真实值,是一
    个常数。函数可以理解为内积后取平均。

    解析法思想很简单,求导数取极值即可。

    θ ^ = a + B X \hat{\theta}=a+BX θ^=a+BX

    E [ ( θ − θ ^ ) T ( θ − θ ^ ) ] E[(\theta- \hat{\theta})^T(\theta-\hat{\theta})] E[(θθ^)T(θθ^)]= E [ ( θ − a − B X ) T ( θ − a − B X ) ] E[(\theta- a-BX)^T(\theta-a-BX)] E[(θaBX)T(θaBX)]

    分别对 a , B a,B a,B求偏导=0

    得到:
    a L = μ θ − C θ X C X − 1 μ X a_L=\mu_\theta-C_{\theta X}C_{X}^{-1}\mu_X aL=μθCθXCX1μX

    B L = C θ X C X − 1 B_L=C_{\theta X}C_{ X}^{-1} BL=CθXCX1

    代入原函数中得到;

    θ ^ = μ θ + C θ X C X − 1 ( X − μ X ) \hat{\theta}=\mu_\theta+C_{\theta X}C_{X}^{-1}(X-\mu_X) θ^=μθ+CθXCX1(XμX)

    若观测与噪声独立,且噪声的统计特征已知,解析公式可以进一步简化为:

    θ ^ = μ θ + C θ H T ( H C θ H T + C n ) − 1 ( X − H μ θ − μ n ) \hat{\theta}=\mu_\theta+C_{\theta}H^T(HC_{\theta}H^T+C_n)^{-1}(X-H{\mu_{\theta}}-\mu_n) θ^=μθ+CθHT(HCθHT+Cn)1(XHμθμn)

    迭代法

    基本思想:需要迭代 k k k次,且 θ ^ ( k ) = O P [ θ ( k ) ∣ x ( k ) ] \hat{\theta}(k)=OP[\theta(k)|x(k)] θ^(k)=OP[θ(k)x(k)],且 X ( k ) = [ x ( k − 1 )     x k ] T X(k)=[x(k-1) \ \ \ x_k]^T X(k)=[x(k1)   xk]T,在这里, x k x_k xk是新的一个观测值。

    那么,根据正交投影引理Ⅲ,有:

    O P [ θ ( k ) ∣ x ( k ) ] = O P [ θ ( k − 1 ) ∣ x ( k − 1 ) ] + O P [ θ ~ ( k ) ∣ x ~ ( k ) ] OP[\theta(k)|x(k)]=OP[\theta(k-1)|x(k-1)]+OP[\widetilde{\theta}(k)|\widetilde{x}(k)] OP[θ(k)x(k)]=OP[θ(k1)x(k1)]+OP[θ (k)x (k)]

    同理,根据正交投影引理Ⅲ:

    θ ~ ( k ) = θ − O P [ θ ∣ X ( k − 1 ) ] , x ~ k = x k − O P [ x k ∣ X ( k − 1 ) ] \widetilde{\theta}(k)=\theta-OP[\theta|X(k-1)],\widetilde{x}_k=x_k-OP[x_k|X(k-1)] θ (k)=θOP[θX(k1)],x k=xkOP[xkX(k1)] ,这一步是更新的增量,相当于把第 k k k次观测中与前 k − 1 k-1 k1次观测相关的信息去掉,留下新的信息。

    进一步推倒可得到递推算法;

    θ ^ 0 = μ θ \hat{\theta}_0=\mu_\theta θ^0=μθ

    M 0 = C θ M_0=C_\theta M0=Cθ

    f o r   1 : K for \ 1:K for 1:K

    K k = M k − 1 H k T ( H k M k − 1 H k T + C n k ) − 1 K_k=M_{k-1}{H_k}^T(H_kM_{k-1}{H_k}^T+C_{n_k})^{-1} Kk=Mk1HkT(HkMk1HkT+Cnk)1

    θ ^ k = θ ^ k − 1 + K k ( X k − H k θ ^ k − 1 − μ n k ) \hat{\theta}_k=\hat{\theta}_{k-1}+K_k(X_k-H_k\hat{\theta}_{k-1}-\mu_{n_k}) θ^k=θ^k1+Kk(XkHkθ^k1μnk)

    M k = ( I − K k H k ) M k − 1 M_k=(I-K_kH_k)M_{k-1} Mk=(IKkHk)Mk1

    e n d end end

    LS算法

    LS算法的特点是不需要各类参数以及噪声的先验信息,相当于直接把真实值看成参数,并且直接在 X X X上面进行投影。然后误差均方最小。

    解析法

    解析法与LSME算法一样,只是目标函数变成了 ( X − H θ ^ ) T ( X − H θ ^ ) (X-H\hat{\theta})^T(X-H\hat{\theta}) (XHθ^)T(XHθ^)

    求导=0得:

    θ ^ = ( H T H ) − 1 H T X \hat{\theta}=(H^TH)^{-1}H^TX θ^=(HTH)1HTX

    迭代法

    令系统输出的真实值为 X r , X_r, Xr,,观测值为 X X X

    递推原理如下:

    O P [ X r ∣ X ( k ) ] = O P [ X r ∣ X ( k − 1 ) ] + O P [ M ∣ N ] OP[X_r|X(k)]=OP[X_r|X(k-1)]+OP[M|N] OP[XrX(k)]=OP[XrX(k1)]+OP[MN]

    M = X r − O P [ X r ∣ X ( k − 1 ) ] M=X_r-OP[X_r|X(k-1)] M=XrOP[XrX(k1)]

    N = x k − O P [ x k ∣ X ( k − 1 ) ] N=x_k-OP[x_k|X(k-1)] N=xkOP[xkX(k1)]

    直线拟合

    %%%本程序基于LMSE算法,利用20个点的数据拟合直线。
    
    %%产生数据
    clear;clc;
    N=50;
    x=1:1:N; 
    k=1;
    b=0.5;
    
    n=normrnd(0.6,1.5,[N,1]);  %N(0.6,0.3) 20*1的噪声
    y=k*x'+b+n;
    
    
    %%%把数据转换为观测方程
    X=y;
    AT=1:N;
    %H=[X,ones(N,1)];
    %问题一 H矩阵是模型矩阵,里面不可能有观测量X
    H=[AT',ones(N,1)];
    
    %%给定初始值
    u_theta=[0.5;0.8];     %theta均值矩阵
    C_theta=[0.1,0;0,0.4]';%theta协方差矩阵
    
    u_n=ones(N,1);           %n的均值矩阵
    C_n=diag(0.3*ones(N,1)); %n的协方差矩阵
    
    %%LMSE计算解析解:
    %假设观测与噪声独立的
    
    %theta=u_theta+C_theta*H'/(H*C_theta*H'+C_n)*(X-H*u_theta-u_n);
    %问题二 多减了u_n
    theta=u_theta+C_theta*H'/(H*C_theta*H'+C_n)*(X-H*u_theta);
    
    
    %%%下面展示利用递推算法;
    %%给定初始条件
    
    M=C_theta;
    theta_1=u_theta;
    %以上相当于迭代第一次
    
    for i=2:N
      
        %K=M*H(1:i,:)'/(H(1:i,:)*M*H(1:i,:)'+C_n(1:i,1:i));%计算K矩阵
        %问题三 递推过程中,H矩阵一直都是1*2的,元素值是随采样时刻变化的
        %C_n是2*1的
        H_1=[i;1]';%12列的递推H矩阵
        K=M*H_1'/(H_1*M*H_1'+C_n(i,i));%21列的矩阵
        theta_1=theta_1+K*(X(i,1)-H_1*theta_1);%更新theta矩阵
        
        %更新M矩阵
        [k,l]=size(M);
        M=(eye(k)-K*H_1)*M;
           
    end
       
       
    %%下面利用最小二乘法
    theta_2=(H'*H)\H'*X;
    
    %%作图对比
    figure(1);
    plot(x',y,'*');  %观测点
    
    hold on;
    x=1:0.1:N;
    H_=[x',ones(length(x),1)];
    y_=H_*theta;
    
    plot(x',y_,'r');   %LMSE解析法
    
    hold on;
    
    y_1=H_*theta_1;
    plot(x',y_1,'g');  %LMSE迭代法 
    
    hold on;
    y_2=H_*theta_2;
    plot(x',y_2,'b');  %LS算法
    
    legend('测量曲线','LMSE解析法','LMSE迭代法','LS');
    hold off
    
    
    

    效果:

    在这里插入图片描述
    三种算法拟合效果几乎一样。

    参考文献:

    赵树杰, 赵建勋. 信号检测与估计理论[M]. 电子工业出版社, 2013.

    展开全文
  • 在未知线性回归模型测量误差的协方差矩阵和非零均值 由非模型化误差及测量设备系统性误差组成 情况下,提出一种回归参数的 “最小均方误差佑计” ,证明了其优 良性。还对稳健估计、测量精度分析 中随机与系统性误差...
  • 2019/5/6 线性最小均方误差LLMS

    千次阅读 2019-05-06 10:37:24
    笔记来自于MIT open course的Introduction to Probability Lecture17 (Youtube上可搜) 个人感觉LLMS这个概念比LMS好在可以通过先确定公式,然后由计算机完成求导和系数确定的工作,虽然不是最精确但是计算上却容易...

    笔记来自于MIT open course的Introduction to Probability Lecture17 (Youtube上可搜)

    个人感觉LLMS这个概念比LMS好在可以通过先确定公式,然后由计算机完成求导和系数确定的工作,虽然不是最精确但是计算上却容易了许多。
    现在这个阶段还不知道会应用在哪里,下面是一些原理的笔记。在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    在这里插入图片描述

    展开全文
  • 在这篇提交中,我提出了一种使用最小均方 (LMS) 算法在频域中估计线性信道的方法。 选择长度为“N”的随机输入信号,然后使用 (PSK/QAM) 调制方案进行调制(取决于用户选择)。 该程序还显示估计的脉冲响应,通道的...
  • 线性最小方差估计理论推导

    千次阅读 2020-04-26 23:43:24
    也叫线性最小均方误差估计,顾名思义,就是使估计误差的平方和的均值达到最小。 理论推导 假设系统z=Hx+ϵz=Hx+\epsilonz=Hx+ϵ已知,xxx为真实值,zzz为观测到的数据,我们需要利用观测到的数据去估计真值,故被...
  • 线性最小方差估计的递推算法推导,详细推导了最小方差估计算法
  • 最小方差估计(最小均方误差MMSE,也称条件期望估计) 使方差最小即: X:系统状态量X:系统状态量X:系统状态量 V:干扰噪声V:干扰噪声V:干扰噪声 X~:估计值与系统状态误差\tilde{X}:估计值与系统状态误差X~:估计值与系统...
  • 很多东西再看第二遍的时候,都有一种恍然大悟的感觉 ——zhangfan_space 参数估计方法 现代控制理论中往往要通过观测值对系统内部结构参数进行...现代控制理论中的经典参数估计包括:最小方差估计线性最小方差估计...
  • 卡尔曼滤波就是线性最小方差估计 你根据线性最小方差估计就可以推导出卡尔曼滤波那些东西。 下面是截图自我的notability的笔记 下面摘自:https://blog.csdn.net/victor_zy/article/details/82862904 ...
  • 本文档包含用于线性信道估计的 VSS-LMS MATLAB 代码。
  • 然后,基于最小均方误差(MMSE)准则的迭代实现,提出了一种鲁棒的风速估计器,简称为II-MMSE。 作为一种稀疏估计方法,II-MMSE自然地考虑了阵列观测数据中的噪声协方差信息,因此不需要用户选择任何超参数。 此外...
  • 最小均方算法

    千次阅读 2018-06-06 15:28:56
    引用《神经网络与机器学习》一文中的一句话,“Rosenblatt感知器是解决线性可分模式分类问题的第一个学习算法,而最小均方算法(LMS)是第一个解决如预测和信道均等化等问题的线性自适应滤波算法。”首先介绍LMS算法...
  • 因此,本文提出了一种基于最小均方误差准则的快速交叉项抑制算法。此算法利用匹配滤波结果,因此其可以应用于现存的基于直接伪随机噪声码相关方法的直扩接收机。本质上,本算法是一种同时对各个单个非确定码相位延时...
  • 卡尔曼滤波器可以被解释为一种最小化最小均方误差的反馈方法。 它可用于解决非线性最小二乘优化问题。 该函数提供了一种使用无迹卡尔曼滤波器解决非线性最小二乘优化问题的方法。 包括三个示例:一般优化问题、求解...
  • 1 基于最小值控制的噪声估计 Cohen 和 Berdugo 提出了一种基于最小值控制的递归平均(MCRA: Minima Controlled Recursive Averageing)方法来估计噪声。该方法由带噪语音的局部能量值与一定时间范围内的最小值的...
  • 线性回归均方误差(MSE)的推导

    千次阅读 2020-05-24 11:56:22
    刚开始学习机器学习的时候就接触了均方误差(MSE,Mean Squared Error),当时就有疑惑,这个式子是怎么推导的,但是因为懒没有深究。今天看到了唐宇迪老师的机器学习课程,终于理解他是怎么推导的了。 问题描述 ...
  • 1.4.0 参数估计基础 在实际问题中,发现信号的基础上,还需要测定信号的参数,但由于信号要受到随机噪声的污染,不可能精确的测定信号的参数,需要使用统计估计的方法尽可能精确地对其估计。如果信号参数是随机变量...
  • 最小均方误差(MMSE)

    千次阅读 2020-08-19 17:41:54
    什么是最小均方误差?让我们从信道模型说起 MMSE是一种方法,让接到的数据尽可能更加接近发送的数据,所以MMSE的目的就是找一个矩阵G,来让GY更加接近x   接下来我们的目标就是解决这个式子GY-x,让GY更加...
  • 文章目录前言—最优状态估计与滤波1、最小均方滤波(Least Mean Square, LMS)2、线性卡尔曼滤波(Linear Kalman Filter, KF)3、扩展卡尔曼滤波(Extend Kalman Filter, EKF)4、无极卡尔曼滤波(Unscented Kalman ...
  • 【图像处理】线性、位置不变退化图像的复原基础(维纳滤波,最小均方滤波,几何滤波)
  • 最小均方误差函数 第一讲里,我们提到了最小均方误差函数,给出一组有 mm 个样本的训练集,我们希望找到合适的参数 θ\boldsymbol{\theta}, 使得预测值 hθ(x)h_\theta(x) 与目标值尽可能接近。为了估计参数 θ\...
  • Python实现最小均方算法(lms)

    千次阅读 2017-05-07 15:58:06
    lms算法跟Rosenblatt感知器相比,主要区别就是权值修正方法不一样。lms采用的是批量修正算法,Rosenblatt感知... 算法:最小均方算法(lms) 均方误差:样本预测输出值与实际输出值之差平方的期望值,记为MES 设:obser
  • 根据高斯-马尔可夫定理,古典最小二乘估计线性测量系统中,在测量噪声为零均值,同方差和独立的情况下,是最佳线性无偏估计(Best linear unbias estimator - BLUE),其中最佳指的是最小二乘估计值的方差与其他...
  • 自适应算法所采用的最优准则有最小均方误差(LMS)准则,最小二乘(LS)准则、最大信噪比准则和统计检测准则等,其中最小均方误差(LMS)准则和最小二乘(LS)准则是目前最为流行的自适应算法准则。x(n)代表n时刻的输入信号...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 7,417
精华内容 2,966
关键字:

线性最小均方估计