精华内容
下载资源
问答
  • 卡尔曼滤波与经典最小二乘法 二者的相关比较
  • 卡尔曼滤波最小二乘法、维纳滤波之我见 频域:最小二乘滤波、维纳滤波; 时域:卡尔曼滤波。 最小二乘滤波维纳滤波均是对系统的频域特性进行估计,得到系统的传递函数。 卡尔曼滤波对系统的描述,是基于...

    卡尔曼滤波、最小二乘法、维纳滤波之我见

    算法要抓住三个方面:模型、策略、求解的方法。

    算法模型策略求解的方法
    最小二乘法传递函数误差平方和最小目标函数导数为0
    卡尔曼滤波状态空间均方差最小先预测,后修正
    维纳滤波传递函数均方差最小目标函数导数为0

    其实,你说最小二乘可以用在状态空间上吗?完全可以,只要知道状态及其导数就可以。但是跟卡尔曼滤波本质不同在于,需要均方差最小,所以可以定义一种概率分布,使二者相等。
    最小二乘法被玩出花的是序贯最小二乘,最容易让人和卡尔曼滤波分不清,因为大家都是迭代求解。但是其实仔细看,其实序贯最小二乘是假设:
    wk+1=[wk, Δ \Delta Δw]
    然后寻找 Δ \Delta Δw使
    min||wk+1x-y||2=min|| Δ \Delta Δw x- Δ \Delta Δy||2
    可以看见,与卡尔曼滤波比较:1.这里没有预测;2.这里的策略不同。反而使通过简单变形,就可以变成在线的关于差值系统的最小二乘,因此尽管是不断迭代,还是算作最小二乘方法。

    同时,也有人用卡尔曼滤波解决最小二乘可以解决的问题,当然可以,但是需要先把模型换成状态空间模型,这个是刚需啊。。
    比如拟合曲线,就需要用离散的状态空间模型,只不过:
    xk+1=xk+v
    也就是状态空间的A矩阵变成了单位阵。

    详细一点:
    频域:最小二乘滤波、维纳滤波;
    时域:卡尔曼滤波。

    最小二乘滤波与维纳滤波均是对系统的频域特性进行估计,得到系统的传递函数。
    卡尔曼滤波对系统的描述,是基于状态空间的描述,即估计系统的内部状态量,进而对系统进行描述。

    从方法上讲,最小二乘寻找的是一种投影方法,可以把输出空间投影到输入空间张成的子空间上,并使误差最小(误差与子空间垂直时,最小),关注误差的二范数最小
    维纳滤波关注误差的均方误差,即二范数的均值最小。
    卡尔曼滤波亦为关注误差的均方误差,但是可以适应于非平稳过程。

    展开全文
  • 基于MATLAB的卡尔曼滤波与最小二乘滤波仿真实验设计
  • 为了提高运动矢量估计的精度,应用加权最小二乘法得到相邻帧间的刚性变换矩阵,并经过卡尔曼滤波进行运动平滑得到扫描运动矢量并补偿,最终得到实时的稳定视频。实验表明,视频序列稳像后的帧间变换保真度有所提高,...
  • 最优估计 – kalman and lsm kalman Filter 和 least ...线性最小方差估计:将估计量限制为观测值的线性函数,已知观测量Z和和被估计量X一二阶矩(EX,Var{X},EZ,Var{Z},Cov{X,Z}),使估计误差的方差最小,即最小化t...

    最优估计 – kalman and lsm

    kalman Filter 和 least square 目的均为最优化某一指标,指标是优化的关键:

    常用的估计准则有:

    • 无偏估计:估计值的期望等于被估计参数的真实值。

    • 线性最小方差估计:将估计量限制为观测值的线性函数,已知观测量Z和和被估计量X一二阶矩(EX,Var{X},EZ,Var{Z},Cov{X,Z}),使估计误差的方差最小,即最小化 t r { E [ X ~ − E X ~ ] [ X ~ − E X ~ ] T } tr\{E[\tilde{X}-E\tilde{X}][\tilde{X}-E\tilde{X}]^{T}\} tr{E[X~EX~][X~EX~]T} , X ~ \tilde{X} X~为估计误差(等价于最小化均方误差阵,若为无偏估计)可得其无偏估计值为 X ~ L M V ( Z ) = E X + c o v ( X , Z ) ( v a r ( Z ) ) − 1 [ Z − E Z ] \tilde{X}_{LMV}(Z)=EX+cov(X,Z)(var(Z))^{-1}[Z-EZ] X~LMV(Z)=EX+cov(X,Z)(var(Z))1[ZEZ]对于观测模型Z=HX+V,上述条件若已知

      { E X = μ x , V a r ( X ) = P x , E V = 0 , V a r ( V ) = R , E ( X V T ) = 0 } \{EX=\mu_x,Var(X)=P_x,EV=0,Var(V)=R,E(XV^T)=0\} {EX=μx,Var(X)=Px,EV=0,Var(V)=R,E(XVT)=0} 即可得到。

    • 最小二乘估计:对数据(X、Z)的统计特性一无所知,但仍需对X进行估计,目标是最小化残差1平方和。

      满足最小方差必满足残差平方和最小,反之则不成立。

    经典最小二乘

    针对隐状态X,若其无法直接观测,但间接获取其观测值 Z = [ z 1 , z 2 , … , z n ] T Z=[z_1,z_2,\dots,z_n]^T Z=[z1,z2,,zn]T ,若其观测值为状态值的线性函数:
    Z i = H i X + V i , i = 1 , … , n Z_i=H_iX+V_i,i=1,\dots,n Zi=HiX+Vi,i=1,,n
    z i z_i zi为第i次测量的观测值, H i H_i Hi为第i次测量的观测模型(设计矩阵,实验的观测值), V i V_i Vi为第i次测量的噪声(误差)。

    则第i次测量的估计误差:
    e i ^ = z i − H i X ^ \hat{e_i}=z_i-H_i\hat{X} ei^=ziHiX^
    则n次测量的误差(残差)平方和为优化指标:
    J ( X ^ ) = ∑ i = 1 n ( z i − H i X ^ ) 2 = ( Z − H X ^ ) T ( Z − H X ^ ) = t r [ ( Z − H X ^ ) ( Z − H X ^ ) T ] J(\hat{X})=\sum_{i=1}^{n}{(z_i-H_i\hat{X})^2}=(Z-H\hat{X})^T(Z-H\hat{X}) \\ =tr[(Z-H\hat{X})(Z-H\hat{X})^T] J(X^)=i=1n(ziHiX^)2=(ZHX^)T(ZHX^)=tr[(ZHX^)(ZHX^)T]
    ∂ J ∂ X ^ = 0 \frac{\partial{J}}{\partial{\hat{X}}}=0 X^J=0 ,可得最小二乘估计值:
    X ^ L S = ( H T H ) − 1 H T Z \hat{X}_{LS}=(H^TH)^{-1}H^TZ X^LS=(HTH)1HTZ
    Z = H X + V Z=HX+V Z=HX+V此时状态的估计误差:
    X ~ L S = X − X ^ L S = − ( H T H ) − 1 H T V \tilde{X}_{LS}=X-\hat{X}_{LS}=-(H^TH)^{-1}H^TV X~LS=XX^LS=(HTH)1HTV
    若测量噪声均值为0,则 E ( X ~ L S ) = 0 E(\tilde{X}_{LS})=0 E(X~LS)=0,此时最小二乘估计为**无偏估计**,状态估计误差的(协)方差[^ 2] V a r ( X ~ L S ) = E [ ( X ~ − E X ~ ) ( X ~ − E X ~ ) T ] Var(\tilde{X}_{LS})=E[(\tilde{X}-E\tilde{X})(\tilde{X}-E\tilde{X})^T] Var(X~LS)=E[(X~EX~)(X~EX~)T]与估计量的均方误差矩阵 E [ X − X ^ ] [ X − X ^ ] T E[X-\hat{X}][X-\hat{X}]^T E[XX^][XX^]T相等。可见标准最小二乘不需要噪声V的任何统计信息。

    由(5)式可得:
    V a r ( X ~ L S ) = E [ X − X ^ ] [ X − X ^ ] T = ( H T H ) − 1 H T E ( V V T ) H ( H T H ) − 1 = ( H T H ) − 1 H T R H ( H T H ) − 1 \begin{aligned} Var(\tilde{X}_{LS})=E[X-\hat{X}][X-\hat{X}]^T & = (H^TH)^{-1}H^TE(VV^T)H(H^TH)^{-1}\\ &=(H^TH)^{-1}H^TRH(H^TH)^{-1} \end{aligned} Var(X~LS)=E[XX^][XX^]T=(HTH)1HTE(VVT)H(HTH)1=(HTH)1HTRH(HTH)1
    其中 R = E ( V V T ) R=E(VV^T) R=E(VVT)为测量误差(噪声)的(协)方差阵。

    加权最小二乘(weighted least square)

    在经典最小二乘中,假定每一次测量的权重相同,但是一般来说近期数据比远期数据影响更大,因此引入加权最小二乘,其指标形式:
    J W ( X ^ ) = ∑ i = 1 n ( z i − H i X ^ ) 2 = ( Z − H X ^ ) T W ( Z − H X ^ ) J_W(\hat{X})=\sum_{i=1}^{n}{(z_i-H_i\hat{X})^2}=(Z-H\hat{X})^TW(Z-H\hat{X}) JW(X^)=i=1n(ziHiX^)2=(ZHX^)TW(ZHX^)
    同样使其偏导数为0,可得
    X ^ L S W = ( H T W H ) − 1 H T W Z \hat{X}_{LSW}=(H^TWH)^{-1}H^TWZ X^LSW=(HTWH)1HTWZ


    由附录2,若噪声不满足同方差,则普通最小二乘(4)并不是BLUE,此时噪声的协方差阵

    E [ V V T ] = σ 2 R , R ≠ I E[VV^T]=\sigma^2R,R\neq{I} E[VVT]=σ2R,R=I , R = [ r 1 ⋱ r n ] R=\begin{bmatrix}r_1\\&\ddots\\&& r_n\end{bmatrix} R=r1rn,即原模型存在异方差性。

    R = D D T , D = [ r 1 ⋱ r n ] R=DD^T,D=\begin{bmatrix}\sqrt{r_1}\\&\ddots\\&& \sqrt{r_n}\end{bmatrix} R=DDT,D=r1 rn ,用 D − 1 D^{-1} D1同时左乘 Z = H X + V Z=HX+V Z=HX+V两端得到新的模型:
    D − 1 Z = D − 1 H X + D − 1 V Z ⋆ = H ⋆ X + V ⋆ \begin{aligned} D^{-1}Z&=D^{-1}HX+D^{-1}V \\ Z^{\star}&=H^{\star}X+V^{\star} \end{aligned} D1ZZ=D1HX+D1V=HX+V
    此时,原模型的加权最小二乘估计量为无偏的。
    E [ V ⋆ V ⋆ T ] = E [ D − 1 V V T D − 1   T ] = D − 1 E [ V V T ] D − 1   T = σ 2 D − 1 R D − 1   T = σ 2 I \begin{aligned} E[V^{\star}V^{\star T}]&=E[D^{-1}VV^TD^{-1\ T}]\\ &=D^{-1}E[VV^T]D^{-1\ T}\\ &=\sigma^2D^{-1}RD^{-1\ T}\\ &=\sigma^2I \end{aligned} E[VVT]=E[D1VVTD1 T]=D1E[VVT]D1 T=σ2D1RD1 T=σ2I
    此时得到的参数估计为:
    X ^ L S W = ( H ⋆ T H ⋆ ) − 1 H ⋆ T Z ⋆ = ( H T R − 1 H ) − 1 H T R − 1 Z \begin{aligned} \hat{X}_{LSW}&=(H^{\star T}H^{\star})^{-1}H^{\star T}Z^{\star}\\ &=(H^TR^{-1}H)^{-1}H^TR^{-1}Z \end{aligned} X^LSW=(HTH)1HTZ=(HTR1H)1HTR1Z
    可以证明(见附录),当 W = R − 1 W=R^{-1} W=R1时,最小二乘估计时缺少初值条件下的线性无偏最小方差估计(BLUE,Best Linear Unbiased Estimation)——即能够使估计误差的方差阵最小,又称马尔可夫估计,其中
    R = E [ V V T ] R=E[VV^T] R=E[VVT]
    为随机噪声的(协)方差阵(对称正定阵)。

    递推最小二乘(Recursive Least Square,RLS)

    上述方法进行一次估计需要所有历史数据,不利于在线估计,考虑前n次测量:
    Z n = H n X + V n Z_n=H_nX+V_n Zn=HnX+Vn
    则加权的最小二乘估计为:
    X ^ L S W ( n ) = ( H n T R n − 1 H n ) − 1 H n T R n − 1 Z n \hat{X}_{LSW}(n)=(H_{n}^TR_{n}^{-1}H_n)^{-1}H_{n}^TR_{n}^{-1}Z_n X^LSW(n)=(HnTRn1Hn)1HnTRn1Zn
    估计误差的(协)方差矩阵为:
    P n = E [ X ~ L S W ( n ) X ~ L S W T ( n ) ] = E [ − ( H T R − 1 H ) − 1 ] H T R − 1 V V T R − 1 H ( H T R − 1 H ) − 1 = ( H T R − 1 H ) − 1 H T R − 1 H ( H T R − 1 H ) − 1 = ( H T R − 1 H ) − 1 \begin{aligned} P_n&=E[\tilde{X}_{LSW}(n)\tilde{X}_{LSW}^T(n)]\\ &=E[-(H^TR^{-1}H)^{-1}]H^TR^{-1}VV^TR^{-1}H(H^TR^{-1}H)^{-1}\\ &=(H^TR^{-1}H)^{-1}H^TR^{-1}H(H^TR^{-1}H)^{-1}\\ &=(H^TR^{-1}H)^{-1} \end{aligned} Pn=E[X~LSW(n)X~LSWT(n)]=E[(HTR1H)1]HTR1VVTR1H(HTR1H)1=(HTR1H)1HTR1H(HTR1H)1=(HTR1H)1
    结合上述两式,可得:
    X ^ L S W ( n ) = P n H n T R n − 1 Z n \hat{X}_{LSW}(n)=P_nH_{n}^TR_{n}^{-1}Z_n X^LSW(n)=PnHnTRn1Zn
    现得到一个新的测量值:
    z n + 1 = H n + 1 X + v n + 1 z_{n+1}=H_{n+1}X+v_{n+1} zn+1=Hn+1X+vn+1
    添加到矩阵中:
    X ^ L S W ( n + 1 ) = ( H n + 1 T R n + 1 − 1 H n + 1 ) − 1 H n + 1 T R n + 1 − 1 Z n + 1 \hat{X}_{LSW}(n+1)=(H_{n+1}^TR_{n+1}^{-1}H_{n+1})^{-1}H_{n+1}^TR_{n+1}^{-1}Z_{n+1} X^LSW(n+1)=(Hn+1TRn+11Hn+1)1Hn+1TRn+11Zn+1
    新的测量噪声加入到原本的测量噪声矩阵中:R阵应为对角阵:
    R k + 1 − 1 = [ R n − 1 0 0 r n + 1 − 1 ] R_{k+1}^{-1}= \begin{bmatrix} R_n^{-1} & 0 \\0&r^{-1}_{n+1} \end{bmatrix} Rk+11=[Rn100rn+11]
    将式子展开:
    P n + 1 − 1 = H n + 1 T R n + 1 − 1 H n + 1 = [ H n T , h n + 1 T ] [ R n − 1 0 0 r n + 1 − 1 ] [ H n h n + 1 ] = H n T R n − 1 H n + h n + 1 T r n + 1 − 1 h n + 1 P_{n+1}^{-1}=H_{n+1}^TR_{n+1}^{-1}H_{n+1}=[H_n^T,h_{n+1}^T] \begin{bmatrix} R_n^{-1} & 0 \\0&r^{-1}_{n+1} \end{bmatrix} \begin{bmatrix} H_n\\h_{n+1} \end{bmatrix} =H_n^TR_n^{-1}H_n+h_{n+1}^Tr_{n+1}^{-1}h_{n+1} Pn+11=Hn+1TRn+11Hn+1=[HnT,hn+1T][Rn100rn+11][Hnhn+1]=HnTRn1Hn+hn+1Trn+11hn+1
    即:
    P n + 1 − 1 = P n − 1 + h n + 1 T r n + 1 − 1 h n + 1 P_{n+1}^{-1}=P_n^{-1}+h_{n+1}^Tr_{n+1}^{-1}h_{n+1} Pn+11=Pn1+hn+1Trn+11hn+1
    综上,可以推得:
    P n + 1 = P n − P n h n + 1 T [ h n + 1 P n h n + 1 T + r n + 1 ] − 1 h n + 1 P n K n + 1 = P n + 1 h n + 1 T r n + 1 − 1 X ^ L S W ( n + 1 ) = X ^ L S W ( n ) + K n + 1 [ z n + 1 − h n + 1 X ^ L S W ( n ) ] \begin{aligned} P_{n+1}&=P_n-P_nh_{n+1}^T[h_{n+1}P_nh_{n+1}^T+r_{n+1}]^{-1}h_{n+1}P_n\\ K_{n+1} &= P_{n+1}h_{n+1}^Tr_{n+1}^{-1}\\ \hat{X}_{LSW}(n+1)&=\hat{X}_{LSW}(n)+K_{n+1}[z_{n+1}-h_{n+1}\hat{X}_{LSW}(n)] \end{aligned} Pn+1Kn+1X^LSW(n+1)=PnPnhn+1T[hn+1Pnhn+1T+rn+1]1hn+1Pn=Pn+1hn+1Trn+11=X^LSW(n)+Kn+1[zn+1hn+1X^LSW(n)]
    其中 K n + 1 K_{n+1} Kn+1可将(31)代入展开为:
    K n + 1 = P n h n + 1 T [ h n + 1 P n h n + 1 T + r n + 1 ] − 1 K_{n+1} = P_nh_{n+1}^T[h_{n+1}P_nh_{n+1}^T+r_{n+1}]^{-1} Kn+1=Pnhn+1T[hn+1Pnhn+1T+rn+1]1
    因此 P n + 1 P_{n+1} Pn+1亦可表示为:
    P n + 1 = P n − K n + 1 h n + 1 P n P_{n+1}=P_n-K_{n+1}h_{n+1}P_n Pn+1=PnKn+1hn+1Pn

    卡尔曼滤波

    若被估计量X不随时间变化,或随时间缓慢变化则为“静态估计”,而被估计量随时间变化为“动态估计”。

    (待填)

    参考:

    https://blog.csdn.net/qinruiyan/article/details/50793114

    《最优估计理论》刘胜,张红梅,科学出版社

    最佳线性无偏估计(GM假设)

    假设多元线性回归模型: Z = H X + V Z=HX+V Z=HX+V
    Z = ( z 1 , … , z n ) T H = [ h i j ] n × p X = ( x o , … , x p ) V = ( v 0 , … , v n ) \begin{aligned}Z&=(z_1,\dots,z_n)^T\\H&=\begin{bmatrix}h_{ij}\end{bmatrix}_{n\times{p}}\\X&=(x_o,\dots,x_p)\\V&=(v_0,\dots,v_n)\end{aligned} ZHXV=(z1,,zn)T=[hij]n×p=(xo,,xp)=(v0,,vn)
    则GM假设:
    E ( V ∣ H ) = 0 , ∀ H   ( 零 均 值 ) V a r ( V ∣ H ) = E ( V V T ∣ H ) = σ 2 I n   ( 同 方 差 且 不 相 关 ) \begin{aligned}E(V|H)&=0,\forall H\ (零均值)\\Var(V|H)&=E(VV^T|H)=\sigma^2I_n\ (同方差且不相关)\end{aligned} E(VH)Var(VH)=0,H ()=E(VVTH)=σ2In ()
    则此时对参数X的最佳线性无偏估计为:
    X ^ = ( H T H ) − 1 H T Z \hat{X}=(H^TH)^{-1}H^TZ X^=(HTH)1HTZ

    最小二乘估计与最小方差估计等价条件证明:

    在这里插入图片描述

    各种估计方法的比较:

    >

    [外链图片转存中…(img-PDFlGI9x-1576551483788)]


    1. 残差在数理统计中是指实际观察值和估计值之间的差。若设线性回归模型为 Z = H X + V Z=HX+V Z=HX+V ,其中Z为n维输出向量,H是 n × ( p + 1 ) n\times(p+1) n×(p+1) 阶设计矩阵,X是p+1维向量,V为n维随机变量(扰动)。则回归系数的估计值 X ^ = ( H T H ) − 1 H T Z \hat{X}=(H^TH)^{-1}H^TZ X^=(HTH)1HTZ ,拟合值 Z ^ = H X ^ = H ( H T H ) − 1 H T Z \hat{Z} = H\hat{X}=H(H^TH)^{-1}H^TZ Z^=HX^=H(HTH)1HTZ,残差为 ϵ ^ = z i − z i ^ = z i − H i X ^ \hat{\epsilon}=z_i-\hat{z_i}=z_i-H_i\hat{X} ϵ^=zizi^=ziHiX^ ,其由观测真值和H阵给出,不考虑噪声V。
      [^ 2]: https://zh.wikipedia.org/wiki/%E5%8D%8F%E6%96%B9%E5%B7%AE%E7%9F%A9%E9%98%B5在这里插入图片描述 ↩︎

    2. 在线性回归模型中,如果随机噪声(误差)满足零均值、同方差且互不相关,则回归系数的最优线性无偏估计(BLUE,Best Linear unbiased estimator)就是普通最小二乘估计。 ↩︎

    展开全文
  • 最小二乘法卡尔曼滤波的关系

    千次阅读 2019-06-05 09:46:46
    来看一个生活中的例子。比如说,有五把尺子测量同一个线段的长度,测量值为9.8,9.9,10,10.1,10.2 之所以出现不同的值可能因为:...对于这个问题,可以用最小二乘的思路来解决。 换一种思路来思考刚才的问题。 ...

    来看一个生活中的例子。比如说,有五把尺子测量同一个线段的长度,测量值为9.8,9.9,10,10.1,10.2
    可是到底线段的真值是多少呢?用什么方法估计能得到最优估计呢?

    1.最小二乘法

    之所以出现不同的值可能因为:不同厂家的尺子的生产精度不同, 尺子材质不同,热胀冷缩不一样。总之就是有误差,这种情况下,一般取平均值来作为线段的长度(这样有道理吗?)。
    用误差平方来代表误差,就是最小二乘的解决思路。
    最小二乘法把求得的误差平方和最小的值当做真值。
    假设线段的长度观测x服从高斯分布,设b为真值,观测x可以表示如下。
    x = b + w x=b+w x=bw
    其中w为高斯噪声。假设我们有N个观测数据,想根据这些数据点求出直线的参数b。
    可以建模为求所有误差的平方和最小。
    min ⁡ b 1 2 ∑ i = 1 N ∥ x i − b ∥ 2 \min_{b}\frac{1}{2}\sum_{i=1}^{N}\left \| x_{i}-b \right \|^{2} bmin21i=1Nxib2

    1.1最小二乘解法1:对其求导,导数为0的时候取得最小值

    设误差平方和为
    S = ( b − x 1 ) 2 + ( b − x 2 ) 2 + ( b − x 3 ) 2 + ( b − x 4 ) 2 + ( b − x 5 ) 2 S=(b-x_{1})^2+(b-x_{2})^2+(b-x_{3})^2+(b-x_{4})^2+(b-x_{5})^2 S=(bx1)2+(bx2)2+(bx3)2+(bx4)2+(bx5)2
    求导
    d S d b = 2 ∗ ( ( b − x 1 ) + ( b − x 2 ) + ( b − x 3 ) + ( b − x 4 ) + ( b − x 5 ) ) \frac{{dS}}{{db}}=2*((b-x_{1})+(b-x_{2})+(b-x_{3})+(b-x_{4})+(b-x_{5})) dbdS=2((bx1)+(bx2)+(bx3)+(bx4)+(bx5))
    解之得
    b = x 1 + x 2 + x 3 + x 4 + x 5 5 b=\frac{x_{1}+x_{2}+x_{3}+x_{4}+x_{5}}{5} b=5x1+x2+x3+x4+x5
    发现就是平均值

    2.最大似然估计

    我们对勒让德的猜测,即最小二乘法,仍然抱有怀疑,万一这个猜测是错误的怎么办?
    数学王子高斯(1777-1855)也像我们一样心存怀疑。
    高斯换了一个思考框架,通过概率统计那一套来思考。
    每次测量值和真值存在误差
    ε i = b − x i \varepsilon_{i} =b-x_{i} εi=bxi
    这些误差最终会形成一个概率分布,只是现在不知道误差的概率分布是什么。假设概率密度函数为: p ( ε ) p(\varepsilon) p(ε)
    再假设一个联合概率,这样方便把所有的测量数据利用起来

    L ( b ) = p ( ε 1 ) p ( ε 2 ) p ( ε 3 ) p ( ε 4 ) p ( ε 5 ) = p ( b − x 1 ) p ( b − x 2 ) p ( b − x 3 ) p ( b − x 4 ) p ( b − x 5 ) L(b)=p(\varepsilon_{1})p(\varepsilon_{2})p(\varepsilon_{3})p(\varepsilon_{4})p(\varepsilon_{5})\\=p(b-x_{1})p(b-x_{2})p(b-x_{3})p(b-x_{4})p(b-x_{5}) L(b)=p(ε1)p(ε2)p(ε3)p(ε4)p(ε5)=p(bx1)p(bx2)p(bx3)p(bx4)p(bx5)
    那么在什么样的情况下最可能产生现在的观测数据呢?这就是最大似然估计的问题。
    对于以上问题就是,如何能够使联合概率密度函数L(b)最大?即如何使
    求最大值就是对于函数求导使导数等于零
    d L ( b ) d b = 0 \frac{{dL(b)}}{{db}}=0 dbdL(b)=0
    如果知道概率密度函数,就能求出真值。
    高斯想,如果最小二乘法是对的,那么 b = x ˉ b=\bar{x} b=xˉ时应该取最大值,即

    d L ( b ) d b ∣ b = x ˉ = 0 \frac{dL(b)}{{db}}|_{b=\bar{x}} =0 dbdL(b)b=xˉ=0
    这是一个关于变量b微分方程,解这个微分方程得到概率密度函数:
    p ( ε ) = 1 σ 2 π e − ε 2 2 σ 2 p(\varepsilon ) = \frac{1}{\sigma\sqrt{2\pi} }e^{ -\frac{\varepsilon ^2}{2\sigma^2}} p(ε)=σ2π 1e2σ2ε2
    这是正态分布。也就是说,
    如果误差的分布是正态分布,那么最小二乘得到的是最可能的值(概率最大的值)。
    b = x ˉ ⇔ p ( ε ) = 1 σ 2 π e − ε 2 2 σ 2 b=\bar{x}\Leftrightarrow p(\varepsilon ) = \frac{1}{\sigma\sqrt{2\pi} }e^{ -\frac{\varepsilon ^2}{2\sigma^2}} b=xˉp(ε)=σ2π 1e2σ2ε2
    如上,如果误差的分布服从均值为0方差为 σ \sigma σ正态分布,且每次观测都独立。那么求最大似然函数过程如下:
    首先设总体X的概率密度分布如下
    p ( x , b ) = 1 σ 2 π e − ( x − b ) 2 2 σ 2 p(x,b) = \frac{1}{\sigma\sqrt{2\pi} }e^{ -\frac{(x-b) ^2}{2\sigma^2}} p(x,b)=σ2π 1e2σ2(xb)2
    其中b为未知数, x 1 , x 2 , . . . x n x_{1},x_{2},...x_{n} x1,x2,...xn为样本值。求参数b的最大似然估计。
    本例中n=5,
    最大似然函数如下
    L ( b ) = ∏ i = 1 n p ( x i , b ) L(b)=\prod\limits_{i = 1}^n {p({x_i},b)} L(b)=i=1np(xi,b)
    对其取负对数,变为
    l n ( L ( b ) ) = n l n ( 2 π σ 2 ) + 1 2 ∑ i = 1 n ( x i − b ) 2 σ 2 ln(L(b))=nln(2\pi\sigma^2)+\frac{1}{2}\sum\limits_{i = 1}^n { \frac{(x_{i}-b) ^2}{\sigma^2}} ln(L(b))=nln(2πσ2)+21i=1nσ2(xib)2
    l n ( L ( b ) ) ln(L(b)) ln(L(b))对待求参数b求导,并令其等于零。
    d L ( b ) d b = 1 σ 2 ∑ i = 1 n ( x i − b ) = 0 \frac{dL(b)}{{db}} =\frac{1}{\sigma^2}\sum\limits_{i = 1}^n { (x_{i}-b) }=0 dbdL(b)=σ21i=1n(xib)=0
    解之得
    b = x ˉ = ∑ i = 1 n x i n b=\bar{x}=\frac{\sum\limits_{i = 1}^n {{x_i}} }{n} b=xˉ=ni=1nxi

    https://www.cnblogs.com/kekeoutlook/p/9088255.html
    https://www.optbbs.com/thread-229078-1-1.html
    https://www.zhihu.com/question/36339816
    最小二乘理解参考
    http://www.360doc.com/content/18/0706/10/15930282_768242401.shtml
    极大似然估计习题参考
    https://wenku.baidu.com/view/437fdabecaaedd3382c4d3d3.html

    展开全文
  • 最小二乘法与Kalman滤波的对比1 最小二乘方法2 Kalman滤波3 两者联系 单点定位是以GPS卫星和用户接收机天线之间的距离观测量为基础, 并根据卫星坐标来确定接收机天线所对应的观测点的坐标。因其模型解算简单, 定位...

    最小二乘法与卡尔曼滤波(Kalman)的对比

    单点定位是以GPS卫星和用户接收机天线之间的距离观测量为基础, 并根据卫星坐标来确定接收机天线所对应的观测点的坐标。因其模型解算简单, 定位快速等优点, 而被广泛应用于车辆、船舶导航, 地质勘探等领域。

    目前, 伪距定位解算的经典方法主要是将观测方程按照泰勒级数展开, 取一次项线性化后再根据最小二乘原理进行解算。


    1 最小二乘方法

    最小二乘迭代法求解最优解的基本原则就是将观测误差的平方和最小化。

    最小二乘解法只是单纯的认为各个观测历元间是相互独立的, 前一时刻的观察结果不会对下一时刻的观察结果产生任何影响。

    在这里插入图片描述
    在这里插入图片描述

    最小二乘法只能利用当前的观测量,不能对观测量进行误差分析,因此定位结果受观测量的误差影响比较大,精度不高,但最小二乘法在初始迭代时收敛速度很快,受接收机初始概略坐标的影响较小。


    2 Kalman滤波

    Kalman滤波法求取最优解的原则是使状态误差的方差达到最小,进而得到一个对状态的较优估计。

    卡尔曼滤波是一套基于状态空间的递推滤波算法,其模型包括状态空间模型观测模型。前者通过状态方程来描写相邻时刻的状态转移变化规律, 后者则反映了实际观测量与状态变量之间的关系。滤波问题就是结合观测信息及状态转移规律来得到系统状态的最优估计。

    在这里插入图片描述

    Kalman滤波则认为各观察历元在时间具有相关性,即前一时刻的观测结果对后一时刻的观察会产生影响,差别仅是影响程度的大小,在解算下一时刻的结果时必须考虑上一时刻结果对现在的影响,因此Kalman滤波具有很好的平滑性。

    卡尔曼滤波不需要存储大量数据,能方便地进行动态数据的实时处理,但利用伪距作为观测量进行卡尔曼滤波时,需要接收机初始位置的概略坐标。如果概略坐标偏差很大,导致量测方程不准确,容易造成滤波发散,而且实时性较差。


    3 两者联系

    在卡尔曼滤波的应用中若将时间因素固定,则卡尔曼滤波退化为经典最小二乘法。在通常情况下必须进行迭代计算,计算过程比经典最小二乘法复杂,但解的精度不会有任何改善。


    参考文献:

    [1] 滕云龙,陈小平,唐应辉.提高GPS定位精度的改进卡尔曼滤波算法研究[J].现代电子技术,2008(03):4-6.

    [2] 张月超,陈义,胡川.Kalman滤波在GNSS伪距单点定位中的应用[J].全球定位系统,2013,38(06):31-35+57.

    [3] 王辂,郑宏兴,邓东民,万小凤.卡尔曼滤波和最小二乘法结合的机动目标轨迹仿真[J].天津职业技术师范大学学报,2016,26(01):10-13.

    [4] 刘春,马颖.改进卡尔曼滤波在北斗伪距定位中的研究[J].电子测量与仪器学报,2016,30(05):779-785.

    [5]王祖荫.卡尔曼滤波与经典最小二乘法[J].岩矿测试,1993(01):65-67.

    展开全文
  • 一、最小二乘法和最大似然估计 最小二乘法可以从Cost/Loss function角度去想,这是统计(机器)学习里面一个重要概念,一般建立模型就是让loss function最小,而最小二乘法可以认为是 loss function = (y_hat -y )...
  • 基于最小二乘法三阶模型辨识,基于三阶RC的卡尔曼滤波SOC估算模型
  • 一、什么是卡尔曼滤波  在雷达目标跟踪中,通常会用到Kalman滤波来形成航迹,以前没有学过机器学习相关知识,学习Kalman时,总感觉公式看完就忘,而且很多东西云里雾里并不能深入理解,最后也就直接套那几个递推...
  • 卡尔曼滤波在我当学生的时候就用过,但是当年我似乎就是套公式,没有理解其精髓,加之时间久了有点模糊,突然需要指导学生使用,有了强烈的陌生感觉,不得不逼自己再一次捡起。自己学会和教会别人是学习的两个层次,...
  • 为了提高伪卫星的定位精度,在研究伪卫星星历误差传递规律和伪距...仿真结果表明,传统的扩展卡尔曼滤波算法相比,提出的算法能够有效减小伪卫星位置误差对用户定位精度的影响,提高独立组网伪卫星系统的定位精度。
  • 卡尔曼滤波

    2021-08-19 14:54:44
    1.卡尔曼滤波 matlab卡尔曼滤波视频 2.扩展卡尔曼滤波(EKF) 扩展卡尔曼滤波用于非线性模型的状态估计,参考博客: 参考博客1 参考博客2 参考博客3 参考博客4 3.无迹卡尔曼滤波(UKF) 具体步骤: (1) sigma点采样 (2)...
  • Kalman filter和Least Square的目标都是误差最小化,Least Square是优化方法中的一种特殊情况,而卡尔曼滤波又是Least Square的一种特殊情况。 优化的目标是一个优化问题的关键,它决定了我们后续的算法选择。 ...
  • 5.13 卡尔曼滤波

    2020-05-02 23:09:03
    卡尔曼滤波和递归最小二乘法形式上极其相似。递归最小二乘法最优解更新公式为 x^m=x^m−1+Kmϵmϵm=bm−armTx^m−1 \mathbf{\hat{x}_{m}} =\mathbf{\hat{x}_{m-1}}+K_{m}\epsilon_{m}\\ \epsilon_{m} = b_{m}-\...
  • 深入理解卡尔曼滤波算法

    千次阅读 2020-10-27 21:10:56
    卡尔曼滤波也是一种最优估计算法,常见的最优估计算法有“最小二乘法”。 概述 卡尔曼滤波算法从名称上来看落脚点是一个滤波算法,一般的滤波算法都是频域滤波,而卡尔曼滤波算法是一个时域滤波,这就是它的强大之处...
  • 不同:最小二乘法定义数据估计值之间的误差,在状态量x、观测量z均满足高斯分布条件下,通过最小化概率密度负对数,建立误差关于状态量、观测量的方程,用求解最小二乘的方法进行求解; 卡尔曼滤波直接利用k-1时刻...
  • 最小二乘法卡尔曼滤波 很多人都疑惑,一个滤波问题怎么才能用得上卡尔曼滤波呢?扩展卡尔曼滤波又和卡尔曼滤波有什么关系?本篇博客不讲这些内容之间的推导关系,毕竟已经有无数人详细讲解了这个过程,这里只大概...
  • 卡尔曼滤波公式推导

    2020-05-05 14:48:01
    kalman filter 最小二乘法卡尔曼滤波 最小二乘法是解决线性、非线性拟合问题的一般方法, 基于最朴素的假设(无偏估计、最小化误差)推导得到, 通常表现为代价函数的形式, 即统计样本的误差平方和(或均). 对于一个...
  • 组合导航 GPS GLONASS 多普勒 惯性导航 卡尔曼滤波 最小二乘法 PPT课件,里面有许多公式值得一看! 包含算例,公式推导过程,图片等等
  • 卡尔曼滤波方程的推导有多种方式,有从**随机过程**的角度切入的,但这种方法涉及到很多积分及随机过程的知识,难以理解。也有从**最小二乘**的角度切入的,这种方式只需矩阵论及少量随机过程的知识,西工大的严恭敏...
  • 针对利用平方根无极卡尔曼算法估算电池SOC时,因噪声协方差为常量带来的误差,在平方根无极卡尔曼滤波(SR-UKF)算法的基础,改进了算法,把每次测量的输出值残差的协方差作为噪声的协方差,得到自适应平方根无极卡尔曼滤波...
  • 古典最小二乘估计,加权最小二乘估计,递归最小二乘估计以及卡尔曼滤波 古典最小二乘估计,以测量误差的平方和作为损失函数。 根据高斯-马尔可夫定理,古典最小二乘估计在线性测量系统中,在测量噪声为零均值,同方...
  • 卡尔曼滤波估计电池SOC 电池采用三阶模型,最小二乘法辨识模型参数 包括simulink仿真和MATLAB程序代码 能够正常运行
  • 卡尔曼滤波算法

    2018-10-13 21:42:55
    最小二乘法线性拟合,数值计算方法中的一种经典算法 (Least_squares algorithm linear fitting curves,A kind of classic algorithm of the number calculation )
  • 卡尔曼滤波-EKF

    千次阅读 2021-01-12 14:30:11
    EKF称为扩展卡尔曼滤波,他和标准卡尔曼滤波有何区别呢?他的出现主要是为了解决在非线性系统下的最优估计问题,前面我们提到标准卡尔曼滤波只适用于线性系统,对于非线性系统我们可以用EKF来进行最优估计。 GitHub ...
  • 卡尔曼滤波OpenCV源码解析卡尔曼滤波核心OpenCV代码详解init()predict()correct()举个例子 卡尔曼滤波核心 参考文献: https://www.cs.unc.edu/~welch/media/pdf/kalman_intro.pdf ...翻译原文没意思,关键要理解每个...
  • 上一篇文章从概率密度函数的角度推导了卡尔曼滤波公式(卡尔曼滤波公式推导(1)),接下来从矩阵的最小二乘法的角度来推导。 在预测和更新阶段分别能得到两个近似状态向量真实值的值,记为x^predict=x^k−\hat x^{...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 568
精华内容 227
关键字:

卡尔曼滤波与最小二乘法