最小二乘估计 订阅
最小二乘估计是一个经济术语。 展开全文
最小二乘估计是一个经济术语。
信息
类    型
经济术语
中文名
最小二乘估计 [1]
方法词语释义
最小二乘估计是高斯,C.F.(Gauss,Carl Friedrich) 在1974年提出的参数估计法,其特点是算法简单,不必知道被估计量及量测量有关的统计信息。设第i次量测Zi为Zi=HiX+Vi式中:Zi为mi维向量;Hi、Vi为第i次量测的量测矩阵和随机量测噪声。描述r次量测的量测方程为Z=HX+V式中:Z、V为维向量,H为m×n矩阵。 [1] 
收起全文
精华内容
下载资源
问答
  • 应用matlab实现的高等数理统计最小二乘估计源码 Matlab implementation of higher application of mathematical statistics source least squares estimation
  • 递推最小二乘估计(RLS)及模型阶次辨识(F-Test)matlab程序,可直接运行,结果分析见博客。
  • 提出了基于复数U-D分解的复参数最小二乘估计方法。在传统的加权遗忘因子法的递推算法中,方差矩阵P(k)由于衰减很快而极易失去正定性。为了保证参数估计的收敛性,利用复数U-D分解,将方差矩阵P(k)进行U-D分解,...
  • 普通最小二乘估计对数据进行一元线性回归分析原理,附详细推导
  • 本文首先用最小二乘估计的方法构造混合线性模型参数的估计量,在一定的假设条件下,进行数值模拟,以说明所构造的估计量的有效性。并给出一个实际算例来体现混合线性模型在实际当中的重要应用。
  • 最小二乘估计

    千次阅读 2020-02-26 10:09:11
    1、最小二乘估计 最小二乘估计最早是由高斯在1795年提出。设状态变量为XXX,观测变量为ZZZ,观测噪声为VVV,则第iii次观测可以表示为: Zi=HiX+ViZ_i=H_iX+V_iZi​=Hi​X+Vi​ 最小二乘估计的目标是找到X=X^X=\hat{X}...

    1、最小二乘估计

    最小二乘估计最早是由高斯在1795年提出。设状态变量为 X X X,观测变量为 Z Z Z,观测噪声为 V V V,则第 i i i次观测可以表示为:
    Z i = H i X + V i Z_i=H_iX+V_i Zi=HiX+Vi
    最小二乘估计的目标是找到 X = X ^ X=\hat{X} X=X^使得:
    J ( X ) = ( Z − H X ) T ( Z − H X ) J(X) = (Z-HX)^T(Z-HX) J(X)=(ZHX)T(ZHX)
    最小。
    上式对 X X X求偏导,并令之为 0 0 0,可得: X ^ = ( H T H ) − 1 H T Z \hat{X}=(H^TH)^{-1}H^TZ X^=(HTH)1HTZ
    X ~ = X − X ^ \tilde{X}=X-\hat{X} X~=XX^为估计误差,
    则有:
    E [ X ~ ] = 0 E[\tilde{X}]=0 E[X~]=0
    E [ X ~ X ~ T ] = ( H T H ) − 1 H T R H ( H T H ) − 1 E[\tilde{X}\tilde{X}^T]=(H^TH)^{-1}H^TRH(H^TH)^{-1} E[X~X~T]=(HTH)1HTRH(HTH)1

    • 当使用单一仪器多次测量时,采用最小二乘估计可以减小估计的方差。( R k , R 为 噪 声 方 差 , k 为 观 测 次 数 \frac{R}{k},R为噪声方差,k为观测次数 kR,Rk
    • 但是如果使用不同精度的测量仪器时,采用最小二乘估计可能出现估计方差大于单一传感器方差的情况,这时候就要引入加权最小二乘估计。

    2、加权最小二乘估计

    加权最小二乘估计引入了权值矩阵 W W W,此时
    J ( X ) = ( Z − H X ) T W ( Z − H X ) J(X) = (Z-HX)^TW(Z-HX) J(X)=(ZHX)TW(ZHX)
    同上,求得 X ~ = ( H T W H ) − 1 H T W Z \tilde{X}=(H^TWH)^{-1}H^TWZ X~=(HTWH)1HTWZ
    此时, E [ X ~ X ~ T ] = ( H T W H ) − 1 H T W R W H ( H T W H ) − 1 E[\tilde{X}\tilde{X}^T]=(H^TWH)^{-1}H^TWRWH(H^TWH)^{-1} E[X~X~T]=HTWH)1HTWRWH(HTWH)1
    W = R − 1 W=R^{-1} W=R1时, E [ X ~ X ~ T ] = ( H T R − 1 H ) − 1 E[\tilde{X}\tilde{X}^T]=(H^TR^{-1}H)^{-1} E[X~X~T]=HTR1H)1取得最小,此时的 X ~ \tilde{X} X~称为马尔可夫估计。
    下面是证明:
    正定矩阵 R R R可以表示为 S T S S^TS STS( S S S满秩)
    令:
    A = H T S − 1 A=H^TS^{-1} A=HTS1
    B = S W H ( H T W H ) − 1 B=SWH(H^TWH)^{-1} B=SWH(HTWH)1
    则有:
    A B = I AB=I AB=I
    B T B = ( H T W H ) − 1 H T W R W H ( H T W H ) − 1 B^TB=(H^TWH)^{-1}H^TWRWH(H^TWH)^{-1} BTB=HTWH)1HTWRWH(HTWH)1
    由施瓦茨不等式有: B T B ≥ ( A B ) T ( A A T ) − 1 ( A B ) = ( H T R − 1 H ) − 1 B^TB\geq(AB)^T(AA^T)^{-1}(AB)=(H^TR^{-1}H)^{-1} BTB(AB)T(AAT)1(AB)=(HTR1H)1
    即证。

    参考文献:卡尔曼滤波与组合导航原理(西工大版)

    展开全文
  • MATLAB语言在非线性最小二乘估计中的应用-MATLAB语言在非线性最小二乘估计中的应用.PDF MATLAB语言在非线性最小二乘估计中的应用.PDF
  • 通过对非线性最小二乘估计理论的研究,提出动力学模型参数的最小二乘估计,并设计出相应的估计器,基于现场数据给予模型较为准确的定论。应用于曲柄滑块机构中滑块与滑动面间的摩擦系数的估计,经过较少的迭代次数...
  • 利用约束规划及计算数学理论,讨论自回归模型参数的精确估计方法,给出求解参数的方法,计算量约为O(N)...此估计与原来的损失样本信息条件下的最小二乘估计法求解的工作量O(N)基本等价,因此是一个可行的精确估计方法.
  • 节点自身定位是目前无线传感器网络领域研究的重点之一,定位误差累积问题是节点定位中必须解决的一个关键问题,利用加权最小二乘估计的方法可以有效抑制累积误差的影响。介绍了如何将加权最小二乘估计应用于节点定位...
  • 本文考虑截断回归模型,给出r基于截断数据估计回归参数的一种新方法,此处并不设定残差分布.我们使用早先的关于误差分布非参数估计的结果,在某些正则条件下建立了估计量的相合性。并给出实例说明我们的结果是Heckman...
  • 根据加速度分段方法,分别利用两段递推最小二乘算法得到行驶阻力及质量的估计值.在电动轮驱动电动汽车平台上分别进行了沥青、塑胶及碎石路面上以及坡道上的试验,分析了行驶阻力与质量辨识的误差与收敛情况,并针对...
  • 最小二乘估计面向的估计问题最小二乘估计加权最小二乘估计递推形式 面向的估计问题 现有一色环模糊的电阻,不知道其真实电阻值,但是手头有一个万用表。由于测量方法和万用表精度问题,测量误差不可避免。这就需要...

    最小二乘估计面向的问题

    现有一色环模糊的电阻,不知道其真实电阻值,但是手头有一个万用表。由于测量方法和万用表精度问题,测量误差不可避免。这就需要我们从具有加性噪声的量测中估计出电阻的真值。电阻真值是个未知的恒定标量。为了使问题描述更具有普遍性,将电阻真值看作一恒定向量,也就是说,待估计量的数值是不随着时间改变的

    下面用数学术语来描述这个估计问题,假设 x x x是一个 n n n维待估计的未知恒定向量,现在有 k k k个量测数据 y 1 , y 2 , . . . , y k y_1,y_2,...,y_k y1,y2,...,yk,如何得到真值 x x x的最优估计 x ^ \hat{x} x^,便是最小二乘估计解决的问题。假设每个量测数据是真值的线性组合并加上噪声 y 1 = H 11 x 1 + H 12 x 2 + . . . + H 1 n x n + ν 1 ⋮ y k = H k 1 x 1 + H k 2 x 2 + . . . + H k n x n + ν k y_{1}=H_{11}x_{1}+H_{12}x_{2}+...+H_{1n}x_{n}+\nu_{1}\\ \vdots\\ y_{k}=H_{k1}x_{1}+H_{k2}x_{2}+...+H_{kn}x_{n}+\nu_{k} y1=H11x1+H12x2+...+H1nxn+ν1yk=Hk1x1+Hk2x2+...+Hknxn+νk上式可以看做由 k k k个方程组解得 n n n个未知数,方程有且只有唯一解则满足 k ≥ n k\ge n kn,量测数据是线性独立的,将其写成矩阵的形式为 y = H x + ν y=Hx+\nu y=Hx+ν待估量 x x x和量测 y y y之间的观测矩阵 H H H假定是已知的。

    最小二乘估计(Least squares estimation)

    最优准则的选取不同决定了不同的估计方法。其中最为直观的一种方法为:最优估计 x ^ \hat{x} x^可以使所有量测的误差总体达到最小,这便是最小二乘估计采取的最优准则。第 i i i个量测残差为 ε i = y i − H i x ^ \varepsilon_{i}=y_{i}-H_{i}\hat{x} εi=yiHix^所有量测误差之和为 J = ε 1 2 + ε 2 2 + . . . + ε k 2 = ε T ε J=\varepsilon_{1}^2+\varepsilon_{2}^2+...+\varepsilon_{k}^2=\varepsilon^{T}\varepsilon J=ε12+ε22+...+εk2=εTε其中 ε = y − H x ^ \varepsilon=y-H\hat{x} ε=yHx^,将 J J J改写为 J = ( y − H x ^ ) T ( y − H x ^ ) = y T y − y T H x ^ − x ^ T H T y + x ^ T H T H x ^ J=(y-H\hat{x})^{T}(y-H\hat{x})=y^Ty-y^TH\hat{x}-\hat{x}^TH^Ty+\hat{x}^TH^TH\hat{x} J=(yHx^)T(yHx^)=yTyyTHx^x^THTy+x^THTHx^ J J J x ^ \hat{x} x^的一阶偏导等于0,找到使 J J J最小的值 x ^ \hat{x} x^ ∂ J ∂ x ^ = − y T H − y T H + 2 x ^ T H T H = 0 \dfrac{\partial J}{\partial \hat{x}}=-y^TH-y^TH+2\hat{x}^TH^TH=0 x^J=yTHyTH+2x^THTH=0得到估计值 x ^ = ( H T H ) − 1 H T y \hat{x}=(H^TH)^{-1}H^Ty x^=(HTH)1HTy并且二阶导数为 ∂ 2 J ∂ x ^ 2 = 2 H T H \dfrac{\partial^2J}{\partial\hat{x}^2}=2H^TH x^22J=2HTH,这是一个正半定阵,那么 x ^ \hat{x} x^为最小值点。

    加权最小二乘估计(Weighted least squares estimation)

    让我们回到最初电阻测量的问题,不同的是,现在有多个价位的万用表可供使用,不同价位的万用表测量精度不同,表现在噪声的方差大小不一。这使得不同精度万用表测得数据的可信度也是不一样的,精度差的万用表测量的可信度较低,但无论精度如何,量测数据都不应丢弃,因为即使可信度较低的量测仍包含少量信息。

    假定每次测量的噪声是零均值且独立的,噪声协方差矩阵为 R = E ( ν ν T ) = ( σ 1 2 ⋯ 0 ⋮ ⋱ ⋮ 0 ⋯ σ k 2 ) R=E(\nu\nu^T)=\begin{pmatrix} \sigma_1^2&\cdots&0\\ \vdots&\ddots&\vdots\\ 0&\cdots& \sigma_k^2 \end{pmatrix} R=E(ννT)=σ1200σk2其中 σ i 2 = E [ ν i 2 ] \sigma_i^2=E[\nu_i^2] σi2=E[νi2],方差越大可信度越低。因此,对量测方差进行加权,加权后的总体误差为 J = ε 1 2 σ 1 2 + ε 2 2 σ 2 2 + . . . + ε k 2 σ k 2 = ε T R − 1 ε J=\dfrac{\varepsilon_{1}^2}{\sigma_1^2}+\dfrac{\varepsilon_{2}^2}{\sigma_2^2}+...+\dfrac{\varepsilon_{k}^2}{\sigma_k^2}=\varepsilon^{T}R^{-1}\varepsilon J=σ12ε12+σ22ε22+...+σk2εk2=εTR1ε ε = y − H x ^ \varepsilon=y-H\hat{x} ε=yHx^代入展开得到 J = y T R − 1 y − y T R − 1 H x ^ − x ^ T H T R − 1 y + x ^ T H T R − 1 H x ^ J=y^TR^{-1}y-y^TR^{-1}H\hat{x}-\hat{x}^TH^TR^{-1}y+\hat{x}^TH^TR^{-1}H\hat{x} J=yTR1yyTR1Hx^x^THTR1y+x^THTR1Hx^ x ^ \hat{x} x^求一阶导为 ∂ J ∂ x ^ = − y T R − 1 H − y T R − 1 H + 2 x ^ T H T R − 1 H = 0 \dfrac{\partial J}{\partial \hat{x}}=-y^TR^{-1}H-y^TR^{-1}H+2\hat{x}^TH^TR^{-1}H=0 x^J=yTR1HyTR1H+2x^THTR1H=0得到估计值 x ^ = ( H T R − 1 H ) − 1 H T R − 1 y \hat{x}=(H^TR^{-1}H)^{-1}H^TR^{-1}y x^=(HTR1H)1HTR1y注意量测噪声存在逆矩阵, R R R是非奇异矩阵,也就是说加权最小二乘要求每个测量数据被噪声干扰。 J J J x ^ \hat{x} x^的二阶偏导为 2 H T R − 1 H 2H^TR^{-1}H 2HTR1H,它是一个正半定阵。

    递推最小二乘估计(Recursive least squares estimation)

    递推最小二乘估计

    上述最小二乘估计是建立在已获得全部量测数据的基础之上,若想在测量数据的同时,实现对真值的最小二乘估计则需要用到递推形式。已知 k − 1 k-1 k1时刻的估计值 x ^ k − 1 \hat{x}_{k-1} x^k1 k k k时刻的量测 y k y_k yk,实现估计 x ^ k \hat{x}_k x^k k k k时刻的观测数据获得根据 y k = H k x + ν k y_k=H_kx+\nu_k yk=Hkx+νk k k k时刻估计和 x ^ k − 1 \hat{x}_{k-1} x^k1以及 y k y_k yk的关系为 x ^ k = x ^ k − 1 + K k ( y k − H k x ^ k − 1 ) \hat{x}_k=\hat{x}_{k-1}+K_{k}(y_k-H_{k}\hat{x}_{k-1}) x^k=x^k1+Kk(ykHkx^k1)括号里被称作修正项, K k K_k Kk是修正增益,首先考虑估计的无偏性(估计的无偏性是指估计值 x ^ \hat{x} x^的期望等于真值 x x x,i.e. E [ x − x ^ ] = 0 E[x-\hat{x}]=0 E[xx^]=0 E [ x − x ^ k ] = E [ x − x ^ k − 1 − K k ( H k x + ν k − H k x ^ k − 1 ) ] = E [ ε k − 1 − K k H k ε k − 1 − K k ν k ] = ( I − K k H k ) E [ ε k − 1 ] − K k E [ ν k ] \begin{aligned}E[x-\hat{x}_k]&=E[x-\hat{x}_{k-1}-K_{k}(H_kx+\nu_k-H_{k}\hat{x}_{k-1})]\\&=E[\varepsilon_{k-1}-K_kH_k\varepsilon_{k-1}-K_k\nu_k]\\&=(I-K_kH_k)E[\varepsilon_{k-1}]-K_kE[\nu_k]\end{aligned} E[xx^k]=E[xx^k1Kk(Hkx+νkHkx^k1)]=E[εk1KkHkεk1Kkνk]=(IKkHk)E[εk1]KkE[νk]如果 E [ ν k ] = 0 E[\nu_k]=0 E[νk]=0 E [ ε k − 1 ] = 0 E[\varepsilon_{k-1}]=0 E[εk1]=0,则 E [ ε k ] = 0 E[\varepsilon_{k}]=0 E[εk]=0。若初值设置等于真值,那么所有时刻的估计值都等于真值,并且不受增益 K k K_k Kk的影响。

    最优准则

    递归最小二乘估计的最优准则为,使 k k k时刻估计误差方差之和最小,数学表述为 J k = E [ ( x 1 − x ^ 1 ) 2 ] + E [ ( x 2 − x ^ 2 ) 2 ] + ⋯ + E [ ( x n − x ^ n ) 2 ] = E [ ε x 1 , k 2 + ε x 2 , k 2 + ⋯ + ε x n , k 2 ] = E [ Tr ( ε k ε k T ) ] = Tr P k \begin{aligned}J_k&=E[(x_1-\hat{x}_1)^2]+E[(x_2-\hat{x}_2)^2]+\cdots+E[(x_n-\hat{x}_n)^2]\\&=E[\varepsilon_{x1,k}^2+\varepsilon_{x2,k}^2+\cdots+\varepsilon_{xn,k}^2]\\&=E[\text{Tr}(\varepsilon_{k}\varepsilon_{k}^T)]\\&=\text{Tr}P_{k}\end{aligned} Jk=E[(x1x^1)2]+E[(x2x^2)2]++E[(xnx^n)2]=E[εx1,k2+εx2,k2++εxn,k2]=E[Tr(εkεkT)]=TrPk P k P_k Pk展开得到 P k = E [ ε k ε k T ] = ( I − K k H k ) E [ ε k − 1 ε k − 1 T ] ( I − K k H k ) T + K k E [ ν k ν k T ] K k T = ( I − K k H k ) P k − 1 ( I − K k H k ) T + K k R k K k T \begin{aligned} P_k&=E[\varepsilon_{k}\varepsilon_{k}^T]\\&=(I-K_kH_k)E[\varepsilon_{k-1}\varepsilon_{k-1}^T](I-K_kH_k)^T+K_kE[\nu_k\nu_k^T]K_k^T\\&=(I-K_kH_k)P_{k-1}(I-K_kH_k)^T+K_kR_kK_k^T\end{aligned} Pk=E[εkεkT]=(IKkHk)E[εk1εk1T](IKkHk)T+KkE[νkνkT]KkT=(IKkHk)Pk1(IKkHk)T+KkRkKkT该式由于对称性保证了良好协方差矩阵的正定性,后面将会举例说明在计算精度有限的系统上,这种形式能保证数值计算。有矩阵求导公式 ∂ Tr ( A B A T ) ∂ A = 2 A B \dfrac{\partial \text{Tr}(ABA^T)}{\partial A}=2AB ATr(ABAT)=2AB(要求 B B B是对称阵)。 J k J_k Jk K k K_k Kk求偏导为 ∂ J k ∂ K k = 2 ( I − K k H k ) P k − 1 ( − H k T ) + 2 K k R k \dfrac{\partial J_k}{\partial K_k}=2(I-K_kH_k)P_{k-1}(-H_k^T)+2K_kR_k KkJk=2(IKkHk)Pk1(HkT)+2KkRk一阶偏导数等于零,计算得到增益 K k K_k Kk K k = P k − 1 H k T ( H k P k − 1 H k T + R k ) − 1 K_k=P_{k-1}H_k^T(H_kP_{k-1}H_k^T+R_k)^{-1} Kk=Pk1HkT(HkPk1HkT+Rk)1

    递推最小二乘估计步骤

    计算增益
    K k = P k − 1 H k T ( H k P k − 1 H k T + R k ) − 1 K_k=P_{k-1}H_k^T(H_kP_{k-1}H_k^T+R_k)^{-1} Kk=Pk1HkT(HkPk1HkT+Rk)1
    估计值更新
    x ^ k = x ^ k − 1 + K k ( y k − H k x ^ k − 1 ) \hat{x}_k=\hat{x}_{k-1}+K_{k}(y_k-H_{k}\hat{x}_{k-1}) x^k=x^k1+Kk(ykHkx^k1)
    协方差更新
    P k = ( I − K k H k ) P k − 1 ( I − K k H k ) T + K k R k K k T P_k=(I-K_kH_k)P_{k-1}(I-K_kH_k)^T+K_kR_kK_k^T Pk=(IKkHk)Pk1(IKkHk)T+KkRkKkT

    协方差更新公式的三种形式

    协方差更新公式有三种形式,在数学上是等价的,但三者在数值计算上有所不同,分别为
    P k = ( I − K k H k ) P k − 1 ( I − K k H k ) T + K k R k K k T P k = ( I − K k H k ) P k − 1 P k = [ P k − 1 − 1 + H k T R k − 1 H k ] − 1 \begin{aligned}&P_k=(I-K_kH_k)P_{k-1}(I-K_kH_k)^T+K_kR_kK_k^T\\&P_k=(I-K_kH_k)P_{k-1}\\&P_k=[P_{k-1}^{-1}+H_k^TR_k^{-1}H_k]^{-1}\end{aligned} Pk=(IKkHk)Pk1(IKkHk)T+KkRkKkTPk=(IKkHk)Pk1Pk=[Pk11+HkTRk1Hk]1第二种形式计算更为简便,但无法确保协方差的正定性;相比之下,第一种形式在结构上对称,能保证协方差矩阵的正定。
    例: 假设 H 1 = 1 , R 1 = 0 H_1=1,R_1=0 H1=1,R1=0,初始协方差设为 P 0 = 6 P_0=6 P0=6,计算精度只能达到 0.001 0.001 0.001,计算增益 K 1 K_1 K1 K 1 = P 0 ( P 0 ) − 1 = 6 ( 1 6 ) = ( 6 ) ( 0.167 ) = 1.002 K_1=P_0(P_0)^{-1}=6(\dfrac{1}{6})=(6)(0.167)=1.002 K1=P0(P0)1=6(61)=(6)(0.167)=1.002若用第二种协方差更新形式得到 P 1 P_1 P1 P 1 = ( 1 − K 1 ) P 0 = ( − 0.002 ) ( 6 ) = − 0.012 P_1=(1-K_1)P_0=(-0.002)(6)=-0.012 P1=(1K1)P0=(0.002)(6)=0.012这样计算的方差是个负值,显然是错误的。若采用第一种对称形式计算 P 1 = ( 1 − 1.002 ) P 0 ( 1 − 1.002 ) = 0 P_1=(1-1.002)P_0(1-1.002)=0 P1=(11.002)P0(11.002)=0因为超出计算机计算精度,所得结果为0,这在理论上是个合理的值。第一种协方差更新公式在计算精度有限情况下保证了协方差矩阵的正定。

    展开全文
  • 文章目录Reference最小二乘估计加权最小二乘估计 Reference Matrix Differentiation 加权最小二乘法与局部加权线性回归 卡尔曼滤波与组合导航原理(1-2讲) 最小二乘估计 Z=HX+VZ = HX + VZ=HX+V where, Z is the ...

    Reference

    最小二乘估计

    Z = H X + V Z = HX + V Z=HX+V
    where, Z is the m m m dimension observation vector; X X X is a n n n dimension state vector; H H H is a m ∗ n m * n mn matrix; V V V is noise vector, E ( V ) = 0 , C o v ( V ) = E ( V V T ) = R E(V) = 0, Cov(V) = E(VV^T) = R E(V)=0,Cov(V)=E(VVT)=R

    优化方程如下
    m i n ∣ ∣ Z − H X ∣ ∣ 2 min ||Z-HX||^2 minZHX2

    X X X求导,令其结果为0, 求出 X X X的最小方差估计

    X ^ = ( H T H ) − 1 H T Z \hat{X} = (H^TH)^{-1}H^TZ X^=(HTH)1HTZ

    加权最小二乘估计

    优化方程如下,相当与加入了信息矩阵(协方差矩阵的逆)
    m i n ( Z − H X ) T R − 1 ( Z − H X ) min (Z-HX)^TR^{-1}(Z-HX) min(ZHX)TR1(ZHX)

    X X X求导,令其结果为0, 求出 X X X的最优估计
    X ^ = ( H T R − 1 H ) − 1 H T R − 1 Z \hat{X} = (H^TR^{-1}H)^{-1}H^TR^{-1}Z X^=(HTR1H)1HTR1Z

    递推最小二乘法

    在这里插入图片描述
    分别对方差阵和状态估计进行递推,其实就是用上一时刻信息来表示当前状态的估计
    在这里插入图片描述
    在这里插入图片描述

    由于从 P k − 1 P_{k-1} Pk1计算 P k P_k Pk需要求逆,这太烦了,利用矩阵求逆的公式。大概思路是, A A A是一个分块矩阵,写成两个三角阵的矩阵乘积,然后求inverse得到对应的求逆公式。
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    展开全文
  • 广义最小二乘估计

    千次阅读 2019-05-03 22:08:26
    最小二乘估计的使用前提总是假设线性回归模型的误差是等方差且不相关的,即Cov(e)=σ2ICov(e)=\sigma ^{2}ICov(e)=σ2I,虽然在许多情况下,这个假定可以认为近似地成立,但有时我们的确要考虑假定不成了时的情况。...

    最小二乘估计的使用前提总是假设线性回归模型的误差是等方差且不相关的,即 C o v ( e ) = σ 2 I Cov(e)=\sigma ^{2}I Cov(e)=σ2I,虽然在许多情况下,这个假定可以认为近似地成立,但有时我们的确要考虑假定不成立时的情况。
    为了讨论的简单,我们假定以下的的 Σ \Sigma Σ(正常情况下是有参数的)是完全已知的。
    我们讨论的模型: { y = X β + e , ( ∗ ) E ( e ) = 0 , C o v ( e ) = σ 2 Σ \begin{cases}y=X\beta +e,\quad(*)\\E(e)=0,\\Cov(e)=\sigma^2\Sigma \end{cases} y=Xβ+e,()E(e)=0,Cov(e)=σ2Σ
    (注: Σ \Sigma Σ是正定矩阵,故存在 P n × n P_{n\times n} Pn×n使得 Σ = P ′ Λ P \Sigma=P'\Lambda P Σ=PΛP,并记 ( Σ − 1 2 ) 2 = Σ − 1 (\Sigma^{-\frac{1}{2}})^2=\Sigma^{-1} (Σ21)2=Σ1)
    Σ − 1 2 \Sigma^{-\frac{1}{2}} Σ21左乘 ( ∗ ) (*) ()式,得 Σ − 1 2 y = Σ − 1 2 X β + Σ − 1 2 e \Sigma^{-\frac{1}{2}}y=\Sigma^{-\frac{1}{2}}X\beta +\Sigma^{-\frac{1}{2}}e Σ21y=Σ21Xβ+Σ21e Z = Σ − 1 2 y , U = Σ − 1 2 X β , ε = Σ − 1 2 e Z=\Sigma^{-\frac{1}{2}}y, U= \Sigma^{-\frac{1}{2}}X\beta,\varepsilon=\Sigma^{-\frac{1}{2}}e Z=Σ21y,U=Σ21Xβ,ε=Σ21e,即得到了以个满足基本假定的新模型(我们可以计算新模型期望和协方差阵,发现确实满高斯-马尔可夫假定计算协方差时用到公式 C o v ( A X ) = A C o v ( X ) A ′ Cov(AX)=ACov(X)A' Cov(AX)=ACov(X)A): \quad Z = U + ε Z=U+\varepsilon Z=U+ε, 因而我们可以得到新模型的最小二乘估计 β ∗ = ( U ′ U ) − 1 U ′ Z = ( X ′ Σ − 1 X ) − 1 X ′ Σ − 1 y \beta^*=(U'U)^{-1}U'Z=(X'\Sigma^{-1}X)^{-1}X'\Sigma^{-1}y β=(UU)1UZ=(XΣ1X)1XΣ1y一般地,我们就称 β ∗ \beta^* β为广义最小二乘估计。
    定理: \quad 对于线性回归模型 ( ∗ ) (*) ()的广义最小二乘估计 β ∗ \beta^* β,有以下性质:

    1. E ( β ∗ ) = β E(\beta^*)=\beta E(β)=β
    2. C o v ( β ∗ ) = σ 2 ( X ′ Σ − 1 X ) − 1 Cov(\beta^*)=\sigma^2(X'\Sigma^{-1}X)^{-1} Cov(β)=σ2(XΣ1X)1
    3. 对于任意 c n × 1 c_{n\times1} cn×1向量, c ′ β ∗ c'\beta^* cβ c ′ β c'\beta cβ的唯一的最小方差无偏估计。(说明对于一般线性回归模型 ( ∗ ) , (*), (),广义最小二乘估计总是优于普通最小二乘估计的)
    展开全文
  • 利用matlab实现最小二乘估计

    千次阅读 2020-05-31 15:44:31
    最小二乘估计概念 古典最小二乘估计 tic clc; clear; %首先假定量测量值如下 mul=[100,200,300]; sigma=[4,0,0;0,4,0;0,0,16]; data=mvnrnd(mul,sigma,100); %假定量测量Z是按照100个x,y,z交替排列 Z=zeros(300,1...
  • 线性回归方程参数的最小二乘估计

    千次阅读 2020-02-29 21:55:10
    一共两个部分,第一,线性模型和最小二乘估计方法的概括。第二, 基于最小二乘估计方法,实现线性回归方程中回归参数的估计。并且和statsmodels中的方法进行对比。 1.线性模型和最小二乘方法 线性模型是指预测值是...
  • 递推最小二乘估计Matlab仿真

    千次阅读 2020-07-16 10:30:52
    递推最小二乘估计Matlab仿真递推最小二乘估计理论仿真背景Matlab程序仿真动图 递推最小二乘估计理论 递推最小二乘是卡尔曼滤波的重要基础,关于最小二乘理论可以参见之前的文章( 最小二乘估计(Least squares ...
  • 最小二乘估计 author:hwb version:0.01 现代信号处理作业,细节后续再填 文章目录最小二乘估计matlab仿真代码仿真结果结语 matlab仿真代码 clear clc set(groot,'defaultLineLineWidth',2) % 设置线宽,不然太小了 N...
  • 递推最小二乘实现参数估计,对不确定的系统有良好的参数估计效果。
  • 最小二乘估计矩阵形式的推导

    千次阅读 2020-03-23 02:44:23
    最小二乘估计矩阵形式的推导 最近写文章有用到一些算法,自己推一下,顺便mark下来。 这么久没上csdn居然都能写Tex了(666) 考虑一般线性回归模型(OLR) 考虑只含有一个指标的一般线性回归模型(ordinary linear ...
  • ORTHLLS2D 返回线 ax + by + c = 0 参数的正交线性最小二乘估计函数 f = OrthLLS2D(x, y) 输入 x 和 y 必须是大小相等的实向量。 输出 f 是实向量 [abc],其中 a、b 和 c 是线性方程的估计参数。 由于F. Carr先生...
  • 本文详细的讲解了最小二乘估计回归系数的数学步骤,对于理解最小二乘回归的原理有很大帮助。
  • R语言计算线性回归的最小二乘估计

    千次阅读 2021-06-04 21:03:02
    R语言计算线性回归的最小二乘估计 全称:线性回归的最小二乘法(OLS回归),ordinary least square,字面翻译:普通最小平方; 内容:包括三个部分:简单线性回归、多项式回归、多元线性回归; 原理:最小二乘法,...
  • 最小二乘状态估计

    2017-10-10 10:27:24
    基于最小二乘法编写的MATLAB状态估计程序,附有14节点和30节点算例。
  • 在此代码中,我们考虑了MIMO OFDM系统的最小平方误差信道估计。 用户可以访问MIMO OFDM系统的设计参数和信道状态信息。 L抽头瑞利衰落信道被视为在任何一对发射天线和接收天线之间。 将仿真结果得到的LSE信道的均方...
  • 首先基于Potthoff-Roy变换后的生长曲线模型,采用不同的惩罚函数:HardThresholding函数,LASSO,ENET,改进LASSO,SACD给出了参数矩阵的惩罚最小二乘估计。接着对不做变换的生长曲线模型,直接定义其惩罚最小二乘估计,基于...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 18,847
精华内容 7,538
关键字:

最小二乘估计