精华内容
下载资源
问答
  • 加权最小二乘法

    千次阅读 2020-03-26 19:54:54
    加权最小二乘法 参考文献 加权最小二乘法与局部加权线性回归 逻辑 普通最小二乘法OLS 加权最小二乘法 (1) 广义最小二乘法(加权最小二乘法是广义最小二乘法的一种特殊情形) (2) 加权最小二乘法 (3) 广义最小二乘 &...

    加权最小二乘法

    参考文献

    加权最小二乘法与局部加权线性回归

    逻辑

    1. 普通最小二乘法OLS
    2. 加权最小二乘法
      (1) 广义最小二乘法(加权最小二乘法是广义最小二乘法的一种特殊情形)
      (2) 加权最小二乘法
      (3) 广义最小二乘 & 普通最小二乘模型 的转换

    一 普通最小二乘法OLS

    普通最小二乘法的回归模型:Y=Xβ+ϵY=Xβ+\epsilon
    Y:n1,X:np,ϵ:p1,Y: n∗1, X: n∗p, \epsilon: p∗1, 由于有常数项,所以自变量个数其实是 p1p-1 个.

    普通最小二乘法就是使得 残差平方和 最小:RSS(β)=YXβ2=(YXβ)T(YXβ).RSS(β)=||Y−Xβ||^2=(Y−Xβ)^T(Y−Xβ). β\beta 的估计:β^=(XTX)1XTY.\hat{\beta}=(X^TX)^{−1}X^TY.
    在这里插入图片描述
    在该假设下,估计 β^\hat{\beta}ββ 所有线性无偏估计中方差最小的。

    二 加权最小二乘法

    加权最小二乘法是广义最小二乘法的一种特殊情形,普通最小二乘法是一种特殊的加权最小二乘法。
    普通最小二乘法 \in 加权最小二乘法 \in 广义最小二乘法

    1 广义最小二乘法

    广义最小二乘法模型:
    在这里插入图片描述
    ΣΣ 是我们已知的一个 nnn∗n 正定对称矩阵,其中 σ2σ^2 不一定是已知的。且不要求误差项 ϵ\epsilon 的各分量间互不相关了。

    广义最小二乘法就是使得 广义残差平方和 最小:RSS(β)=(YXβ)TΣ1(YXβ).RSS(β)=(Y−Xβ)^TΣ^{-1}(Y−Xβ). ββ 的估计:β^=(XTΣ1X)1XTΣ1Y.\hat{β}=(X^TΣ^{-1}X)^{-1}X^TΣ^{-1}Y.

    2 加权最小二乘法

    加权最小二乘法:对上述的 ΣΣ 取一种特殊的矩阵——对角阵,且这个对角阵的对角元都是常数,也就是权重 wiw_i 的倒数.
    Cov(ϵ)=σ2Σ=σ2(1w10001w20001wn) Cov(\epsilon)=σ^2Σ=σ^2 \left( \begin{matrix} \frac{1}{w_1} & 0 & \cdots & 0 \\ 0 & \frac{1}{w_2} & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & \frac{1}{w_n} \\ \end{matrix} \right) ωiω_i 表示第 ii 个样本在回归里的权重,从上式可以看出来,具有较大权的样本具有较小的方差,因此,它在回归问题里显得更加重要。

    不妨用 WW 来表示权重矩阵,那么 W=Σ1W=Σ^{-1},此时,我们用广义最小二乘的方法来求系数的估计,即最小化广义残差平方和:RSS(β)=(YXβ)TW(YXβ).RSS(β)=(Y−Xβ)^TW(Y−Xβ). ββ 的估计结果为:β=(XTWX)1XTWY.β^=(X^TWX)^{−1}X^TWY.

    3 加权最小二乘 & 普通最小二乘模型 的转换

    Σ1Σ^{-1} 的平方根 CC
    C=W=Σ1(w1000w2000wn) C=\sqrt{W}=\sqrt{Σ^{-1}} \left( \begin{matrix} \sqrt{w_1} & 0 & \cdots & 0 \\ 0 & \sqrt{w_2} & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & \sqrt{w_n} \\ \end{matrix} \right)
    对加权最小二乘法回归模型 Y=Xβ+ϵY=Xβ+\epsilon 的每一项乘以 CCCY=CXβ+Cϵ.CY=CXβ+C\epsilon. CϵC\epsilon 的协方差阵为:Var(Cϵ)=CVar(ϵ)CT=C σ2Σ CT=C σ2(CTC)1 CT=σ2In.Var(C\epsilon)=CVar(\epsilon)C^T=C\ σ^2Σ\ C^T=C\ σ^2(C^TC)^{-1}\ C^T=σ^2I_n.就是满足 GaussMarkovGauss-Markov 假设的普通线性回归模型了.

    不妨重新对变量命名:Z=Mβ+dZ=Mβ+d其中,Z=CY=(w1 y1w2 y2wn yn) Z=CY= \left( \begin{matrix} \sqrt{w_1}\ y_1 \\ \sqrt{w_2}\ y_2 \\ \vdots \\ \sqrt{w_n}\ y_n \\ \end{matrix} \right)
    M=CX=(w1w1 x11w1 x1,p1w2w2 x21w2 x2,p1wnwn xn1wn xn,p1) M=CX= \left( \begin{matrix} \sqrt{w_1} & \sqrt{w_1}\ x_{11} & \cdots & \sqrt{w_1}\ x_{1,p-1} \\ \sqrt{w_2} & \sqrt{w_2}\ x_{21} & \cdots & \sqrt{w_2}\ x_{2,p-1} \\ \vdots & \vdots & \ddots & \vdots \\ \sqrt{w_n} & \sqrt{w_n}\ x_{n1} & \cdots & \sqrt{w_n}\ x_{n,p-1} \\ \end{matrix} \right)
    d=Cϵd=C\epsilon 新模型用普通最小二乘所估计出来的 β^\hat{β} 和原模型(加权最小二乘模型)是一样的,而且线性无偏方差最小的性质和分布,检验等都可以用起来了,如 R2R^2 及显著性检验等来看拟合的好坏。

    展开全文
  • 1/4最小二乘法和加权最小二乘法-50-40-30-20-1001020304050-0.100.10.20.30.40.50.6tRx1x23.3.3(WLS)为了降低节点成本应尽可能减小锚节点在WSN中所占的比例,但势必会减小锚节点的覆盖率,从而增加了定位的难度。...

    1

    /

    4

    最小二乘法和加权最小二乘法

    -50-40-30-20-1001020304050-0.100.10.20.30.40.50.6tRx1

    x23.

    3.

    3

    (

    WLS

    )

    为了降低节点成本应尽可能减小锚节点在

    WSN

    所占的比例,

    但势必会减小锚节点的覆盖率,

    从而增加了定位的难

    度。

    为了解决此问题,

    很多定位算法将已经定位的未知节点转化为

    锚节点,

    迭代定位从而定位整个网络的节点。

    但是这种方法又引来了一个新的问题:

    升级的锚节点本身可能存在较大的定位误差,

    而在下一轮的定

    位中有可能会引进更大的误差,

    当网络规模比较大时,

    这种迭代定

    位造成的累积误差将无法接受。

    所以人们又引入了

    加权最小二乘法

    [23],[24]

    根据每个节点的定位精度,

    在加权最小二乘法中采用不同的加

    权系数来进行定位估计,

    从而提高定位精度。

    加权最小二乘法可根据下式求解:

    X0wls=(ATWA)-1ATWb

    (

    3-18

    )

    此式中

    W

    加权矩阵,

    为保证

    X0wls

    是最小方差无偏估计,

    一般要求

    W

    在实

    际应用中为对称正定矩阵。

    可利用许瓦兹的不等式证明,

    在测距误差与距离之比服从独立

    分布的高斯随机变量的情况下,

    W=R-1

    时的估计均方误差最小,

    R

    测距误差的方差矩阵,

    R=E{NNT}

    展开全文
  • 今天这篇来讲讲加权最小二乘法(WLS),加权最小二乘是在普通的最小二乘回归(OLS)的基础上进行改造的,主要是用来解决异方差问题的。OLS的常规形式如下:我们在前面讲过OLS有几个基本假定,其中一个就是ui是随机干扰项...

    今天这篇来讲讲加权最小二乘法(WLS),加权最小二乘是在普通的最小二乘回归(OLS)的基础上进行改造的,主要是用来解决异方差问题的。

    OLS的常规形式如下:

    94096d88e3d8b35aa1e4d3aadb862dff.png

    我们在前面讲过OLS有几个基本假定,其中一个就是ui是随机干扰项,即随机波动的,不受其他因素的影响,即在x取不同值时var(ui)都是一个固定的常数。但有的时候ui不是随机干扰项,而是与x的取值有关的,比如在研究年龄和工资收入的之间的关系时,随着年龄越大,ui的波动是会越大的,即var(ui)不是常数了,这就是出现了异方差。此时的数据不满足OLS的基本假定,所以如果直接使用OLS进行估计,会使估计出来的结果是有偏的。

    如果我们在估计的时候可以把不同x的对应的ui的大小考虑进去的话,得到的结果应该就是ok的。那我们应该如何考虑进去呢?

    假设不同x对应的ui的波动(方差)为σi^2,我们在OLS基本方程左右两边同时除σi,最后得到如下结果:

    dada1a47d01ebdb05ec152f3072181c4.png

    为了让方程看起来更加熟悉一点,我们再做一个变换:

    7894e93ed42480285e14d4383d3eff3c.png

    变换后的方程是不是就和普通的OLS的方程形式是一样的了,此时的方程也满足基本的OLS假定,因为我们把不同x对应的σi给除掉了。就可以利用普通OLS方程的方法进行求解了。我们把这种变换后的方程称为WLS,即加权最小二乘法。

    虽然整体思路上没啥问题了,但是这里还有一个关键问题就是σi怎么获取呢?

    先用普通最小二乘OLS的方法去估计去进行估计,这样就可以得到每个x对应实际的残差ui,然后将ui作为σi。1/ui作为权重在原方程左右两边相乘,将得到的新的样本值再去用普通最小二乘估计即可。

    以上就是关于加权最小二乘的一个简单介绍。

    展开全文
  • 文章目录那什么什么是加权最小二乘法?异方差的修正 在需要人为地改变观测量的权重的应用场合中,都会涉及到加权最小二乘法的应用。 那什么什么是加权最小二乘法加权最小二乘法的概念: 加权最小二乘是对原模型...

    在需要人为地改变观测量的权重的应用场合中,都会涉及到加权最小二乘法的应用。

    那什么什么是加权最小二乘法?

    加权最小二乘法的概念:
    加权最小二乘是对原模型进行加权,是该模型成为 一个新的不存在异方差性的模型,然后对该新模型使用普通最小二乘法估计其参数进行优化。

    相关概念梳理:

    异方差性的解释:随机误差的方差不全相等。异方差性是相对于同方差而言的,同方差是为了保证回归参数估计量具有良好的统计特性。也就是线性回归函数中的随机误差项(扰动项)必须满足同方差性,即方差都相同。

    异方差性存在的影响:如果随机误差项的均值为零,则彼此独立,但是方差不等,即使最小二乘估计具有无偏性和一致性,但却不是最优线性无偏估计。因此回归模型的预测值会波动较大

    无偏性:
    如果总体参数为seta,seta1为估计量,如果E(seta1)=seta,那么seta1为seta的无偏估计量。

    一致性:
    样本数目越大,估计量就越来越接近总体参数的真实值。如果seta1在seta周围震荡,那么满足无偏性却不满足一致性。

    有效性:
    指估计量与总体参数的离散程度,如果两个估计量都是无偏的,那么离散程度较小的估计量相对来说是有效的,离散程度用方差来衡量。

    如果线性回归模型存在异方差性,则用传统的最小二乘法估计模型,所得到的参数估计不是有效估计量,也无法对参数模型参数进行有关显著性检验。这时异方差性就破坏了古典的模型,用正常的无权重最小二乘就不能进行正确估计。

    异方差的修正

    如果模型检验出存在异方差性,就用加权最小二乘法进行估计。
    加权最小二乘法的基本思想:
    对原模型进行加权,使之变成一个新的不存在异方差性的模型,然后再采用 OLS 估计其参数。

    附注:本文不涉及具体公式的推导,二是从概念上进行理解。

    展开全文
  • k k 1 matlab最小二乘法拟合 [a,Jm...卡尔曼MATLAB-最小二乘法例子的代码_信息与通信_工程科技_专业资料。 Ts...最小二乘法曲线拟合原理及matlab实现_数学_自然科学_专业资料。曲线拟合(c...[10x10 double] df: 22 ...
  • 1. Theory2. Implementation in RThe following R code uses IRLS algorithm to estimate parametersof Logistic Regression model, and the sample data we used is fromMachine Learning Ex4 - Logistic Regressio...
  • 396525157492898145其中,x和y是样本平均值;求和2516595即,x=AVERAGE(knownx's),y=AVERAGE(known_y's)。求平均5计数5斜率SLOPE()斜率m=0.5截距INTERCEPT()截距b=0.5相关系数CORREL()相关系数r=1一元幂函数/指数...
  • 通过联合加权最小二乘法进行边缘保留图像分解
  • 所谓回归分析实际上就是根据统计数据建立一个方程, 用这个方程来描述不同变量之间的关系, 而这个关系又无法做到想像函数关系那样准确, 因为即使你重复全部控制...首先普通最小二乘法是作为回归来使用,将预测值...
  • 今天这篇来讲讲加权最小二乘法(WLS),加权最小二乘是在普通的最小二乘回归(OLS)的基础上进行改造的,主要是用来解决异方差问题的。OLS的常规形式如下:我们在前面讲过OLS有几个基本假定,其中一个就是ui是随机干扰项...
  • 使用结构随机投影和加权最小二乘法进行稳健的视觉跟踪
  • 总第222篇/张俊红今天这篇来讲讲加权最小二乘法(WLS),加权最小二乘是在普通的最小二乘回归(OLS)的基础上进行改造的。主要是用来解决异方差问题的,关于异方差可以看看:讲讲什么是异方差OLS的常规形式如下:我们在...
  • 通过加权最小二乘法对时钟同步进行修正,获得了较为理想的结果。同学们对加权最小二乘法感兴趣的赶紧下载吧。
  • 5.4 加权最小二乘法

    2020-05-02 22:47:34
    5.4 加权最小二乘法 最小二乘法是使 ∑i(bi−ariTx)2\sum_i (b_i-\mathbf{a}^T_{ri}\mathbf{x})^2∑i​(bi​−ariT​x)2 最小,这表明每次测量的重要性一样,但实际中有时存在某些测量更重要,某些更不重要。以第一...
  • 针对经典的暗通道理论算法在处理雾天图像时天空区域出现光晕和亮度损失的问题, 提出了一种基于边界限制加权最小二乘法滤波的雾天图像增强算法。该方法根据雾天图像的直方图特性, 分割出天空区域, 并求解出了全局大气...
  • 所谓回归分析实际上就是根据统计数据建立一个方程, 用这个方程来描述不同变量之间的关系, 而这个关系又无法做到想像函数关系那样准确, 因为即使你重复...首先普通最小二乘法是作为回归来使用,将预测值和真实值...
  • Eviews关于加权最小二乘法(WLS)中权重W的问题使用Eviews7,多元线性模型中,怎么做进行加权最小二乘法啊?也就是WLS。权重W该怎么求呢?补充:我的变量数据有负数。请详细一点,好吗?解答:加权最小二乘法用于处理...
  • 行文思路:最小二乘法原理介绍利用 leastsq() 函数进行最小二乘法拟合拟合注意事项利用curve_fit 进行最小二乘法拟合总结:参考文献实现代码一,最小二乘法拟合最小二乘法是一种数学优化技术,它通过最小化误差的...
  • 通过分析图像中成像的各个要素,采用了线性变化和非线性变换的方法实现对图像成像要素的增强,并采用加权最小二乘法对增强算法给予一定的优化,最后给出图像各个阶段的效果图以及仿真。通过仿真实验,得出算法可以...
  • 解决异方差问题--加权最小二乘法
  • 最小二乘法(又称最小平方法)是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据,并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还...
  • 对多篇最小二乘法相关的资料的整合,如有错误,敬请指正! 原文地址 线性回归 线性回归假设数据集中特征与结果存在着线性关系: y=mx+c y = mx+c y=mx+c y为结果,x为特征,m为系数,c为系数 我们需要找到m...
  • 转自个人微信公众号【Memo_Cleon】的统计学习笔记:加权线性回归(加权最小二乘法回归)。残差恒定是线性回归建模的一个前提条件,《线性回归中的方差齐性探察》一文曾介绍过各种线性回归的方差齐性的检验方法。如果...
  • 最小二乘法解决的问题:Ax=C 无解下的最优解例子1:一条过原点的直线OA,C是直线外一点,求C在OA上的投影点P例子1例子2:已知三个不在一条直线上的点A,B,C,求一条直线,使A,B,C到直线的距离和最小例子2例子3:已知...
  • 在求解分离得到的新变量的过程中,引入迭代重加权最小二乘法(IRLS)处理L1范式的不可微分问题。实验结果表明,提出的算法有效地解决了图像复原问题;与同类的一些算法相比,该算法在复原速度和复原效果方面均具有...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 400
精华内容 160
关键字:

加权最小二乘法