精华内容
下载资源
问答
  • 高斯牛顿
  • 最小wrt X CostFunc(X) = beta*(W_ls*F(X)) + (1 - beta)*(max(W_mm*F(X))) 受制于: A*X <= B,Aeq*X = Beq(线性约束) C(X) <= 0,Ceq(X) = 0(非线性约束) LB <= X <= UB(边界)
  • DWLS:使用阻尼加权最小二乘法的基因表达解卷积 阻尼加权最小二乘法 (DWLS) 是一种基因表达反卷积的估计方法,其中大量 RNA-seq 数据集的细胞类型组成是通过计算推断出来的。 该方法纠正了对以高表达基因为特征和/或...
  • 使用自适应迭代加权加权最小二乘法进行基线校正 它是使用cholesky分解和反向Cuthill-Mckee方法的的javascript实现,用于减少稀疏线性系统的带宽,从而获得快速的基线拟合器。 安装 $ npm install ml-airpls 例子 ...
  • 首先采用正余弦均值滤波法去除InSAR图像噪声,然后提出一种改进的最小二乘法,即四向加权最小二乘法,应用该算法进行相位解缠实验。实验结果表明,正余弦均值滤波法不仅对去除噪声非常有效,而且很好的保持了图像...
  • 通过分析图像中成像的各个要素,采用了线性变化和非线性变换的方法实现对图像成像要素的增强,并采用加权最小二乘法对增强算法给予一定的优化,最后给出图像各个阶段的效果图以及仿真。通过仿真实验,得出算法可以...
  • 加权最小二乘法

    千次阅读 2020-03-26 19:54:54
    加权最小二乘法 参考文献 加权最小二乘法与局部加权线性回归 逻辑 普通最小二乘法OLS 加权最小二乘法 (1) 广义最小二乘法(加权最小二乘法是广义最小二乘法的一种特殊情形) (2) 加权最小二乘法 (3) 广义最小二乘 &...

    加权最小二乘法

    参考文献

    加权最小二乘法与局部加权线性回归

    逻辑

    1. 普通最小二乘法OLS
    2. 加权最小二乘法
      (1) 广义最小二乘法(加权最小二乘法是广义最小二乘法的一种特殊情形)
      (2) 加权最小二乘法
      (3) 广义最小二乘 & 普通最小二乘模型 的转换

    一 普通最小二乘法OLS

    普通最小二乘法的回归模型: Y = X β + ϵ Y=Xβ+\epsilon Y=Xβ+ϵ
    Y : n ∗ 1 , X : n ∗ p , ϵ : p ∗ 1 , Y: n∗1, X: n∗p, \epsilon: p∗1, Y:n1,X:np,ϵ:p1, 由于有常数项,所以自变量个数其实是 p − 1 p-1 p1 个.

    普通最小二乘法就是使得 残差平方和 最小: R S S ( β ) = ∣ ∣ Y − X β ∣ ∣ 2 = ( Y − X β ) T ( Y − X β ) . RSS(β)=||Y−Xβ||^2=(Y−Xβ)^T(Y−Xβ). RSS(β)=YXβ2=(YXβ)T(YXβ). β \beta β 的估计: β ^ = ( X T X ) − 1 X T Y . \hat{\beta}=(X^TX)^{−1}X^TY. β^=(XTX)1XTY.
    在这里插入图片描述
    在该假设下,估计 β ^ \hat{\beta} β^ β β β 所有线性无偏估计中方差最小的。

    二 加权最小二乘法

    加权最小二乘法是广义最小二乘法的一种特殊情形,普通最小二乘法是一种特殊的加权最小二乘法。
    普通最小二乘法 ∈ \in 加权最小二乘法 ∈ \in 广义最小二乘法

    1 广义最小二乘法

    广义最小二乘法模型:
    在这里插入图片描述
    Σ Σ Σ 是我们已知的一个 n ∗ n n∗n nn 正定对称矩阵,其中 σ 2 σ^2 σ2 不一定是已知的。且不要求误差项 ϵ \epsilon ϵ 的各分量间互不相关了。

    广义最小二乘法就是使得 广义残差平方和 最小: R S S ( β ) = ( Y − X β ) T Σ − 1 ( Y − X β ) . RSS(β)=(Y−Xβ)^TΣ^{-1}(Y−Xβ). RSS(β)=(YXβ)TΣ1(YXβ). β β β 的估计: β ^ = ( X T Σ − 1 X ) − 1 X T Σ − 1 Y . \hat{β}=(X^TΣ^{-1}X)^{-1}X^TΣ^{-1}Y. β^=(XTΣ1X)1XTΣ1Y.

    2 加权最小二乘法

    加权最小二乘法:对上述的 Σ Σ Σ 取一种特殊的矩阵——对角阵,且这个对角阵的对角元都是常数,也就是权重 w i w_i wi 的倒数.
    C o v ( ϵ ) = σ 2 Σ = σ 2 ( 1 w 1 0 ⋯ 0 0 1 w 2 ⋯ 0 ⋮ ⋮ ⋱ ⋮ 0 0 ⋯ 1 w n ) Cov(\epsilon)=σ^2Σ=σ^2 \left( \begin{matrix} \frac{1}{w_1} & 0 & \cdots & 0 \\ 0 & \frac{1}{w_2} & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & \frac{1}{w_n} \\ \end{matrix} \right) Cov(ϵ)=σ2Σ=σ2w11000w21000wn1 ω i ω_i ωi 表示第 i i i 个样本在回归里的权重,从上式可以看出来,具有较大权的样本具有较小的方差,因此,它在回归问题里显得更加重要。

    不妨用 W W W 来表示权重矩阵,那么 W = Σ − 1 W=Σ^{-1} W=Σ1,此时,我们用广义最小二乘的方法来求系数的估计,即最小化广义残差平方和: R S S ( β ) = ( Y − X β ) T W ( Y − X β ) . RSS(β)=(Y−Xβ)^TW(Y−Xβ). RSS(β)=(YXβ)TW(YXβ). β β β 的估计结果为: β = ( X T W X ) − 1 X T W Y . β^=(X^TWX)^{−1}X^TWY. β=(XTWX)1XTWY.

    3 加权最小二乘 & 普通最小二乘模型 的转换

    Σ − 1 Σ^{-1} Σ1 的平方根 C C C
    C = W = Σ − 1 ( w 1 0 ⋯ 0 0 w 2 ⋯ 0 ⋮ ⋮ ⋱ ⋮ 0 0 ⋯ w n ) C=\sqrt{W}=\sqrt{Σ^{-1}} \left( \begin{matrix} \sqrt{w_1} & 0 & \cdots & 0 \\ 0 & \sqrt{w_2} & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & \sqrt{w_n} \\ \end{matrix} \right) C=W =Σ1 w1 000w2 000wn
    对加权最小二乘法回归模型 Y = X β + ϵ Y=Xβ+\epsilon Y=Xβ+ϵ 的每一项乘以 C C C C Y = C X β + C ϵ . CY=CXβ+C\epsilon. CY=CXβ+Cϵ. C ϵ C\epsilon Cϵ 的协方差阵为: V a r ( C ϵ ) = C V a r ( ϵ ) C T = C   σ 2 Σ   C T = C   σ 2 ( C T C ) − 1   C T = σ 2 I n . Var(C\epsilon)=CVar(\epsilon)C^T=C\ σ^2Σ\ C^T=C\ σ^2(C^TC)^{-1}\ C^T=σ^2I_n. Var(Cϵ)=CVar(ϵ)CT=C σ2Σ CT=C σ2(CTC)1 CT=σ2In.就是满足 G a u s s − M a r k o v Gauss-Markov GaussMarkov 假设的普通线性回归模型了.

    不妨重新对变量命名: Z = M β + d Z=Mβ+d Z=Mβ+d其中, Z = C Y = ( w 1   y 1 w 2   y 2 ⋮ w n   y n ) Z=CY= \left( \begin{matrix} \sqrt{w_1}\ y_1 \\ \sqrt{w_2}\ y_2 \\ \vdots \\ \sqrt{w_n}\ y_n \\ \end{matrix} \right) Z=CY=w1  y1w2  y2wn  yn
    M = C X = ( w 1 w 1   x 11 ⋯ w 1   x 1 , p − 1 w 2 w 2   x 21 ⋯ w 2   x 2 , p − 1 ⋮ ⋮ ⋱ ⋮ w n w n   x n 1 ⋯ w n   x n , p − 1 ) M=CX= \left( \begin{matrix} \sqrt{w_1} & \sqrt{w_1}\ x_{11} & \cdots & \sqrt{w_1}\ x_{1,p-1} \\ \sqrt{w_2} & \sqrt{w_2}\ x_{21} & \cdots & \sqrt{w_2}\ x_{2,p-1} \\ \vdots & \vdots & \ddots & \vdots \\ \sqrt{w_n} & \sqrt{w_n}\ x_{n1} & \cdots & \sqrt{w_n}\ x_{n,p-1} \\ \end{matrix} \right) M=CX=w1 w2 wn w1  x11w2  x21wn  xn1w1  x1,p1w2  x2,p1wn  xn,p1
    d = C ϵ d=C\epsilon d=Cϵ 新模型用普通最小二乘所估计出来的 β ^ \hat{β} β^ 和原模型(加权最小二乘模型)是一样的,而且线性无偏方差最小的性质和分布,检验等都可以用起来了,如 R 2 R^2 R2 及显著性检验等来看拟合的好坏。

    展开全文
  • 我们的方法包括三个主要步骤:通过窗口化的变化相似度测量方法来抑制高对比度细节,检测显着边缘以生成边缘引导图像,并使用加权最小二乘框架拟合原始形状。 实验结果表明,即使纹理和结构的比例相似,所提出的方法...
  • 1/4最小二乘法和加权最小二乘法-50-40-30-20-1001020304050-0.100.10.20.30.40.50.6tRx1x23.3.3(WLS)为了降低节点成本应尽可能减小锚节点在WSN中所占的比例,但势必会减小锚节点的覆盖率,从而增加了定位的难度。...

    1

    /

    4

    最小二乘法和加权最小二乘法

    -50-40-30-20-1001020304050-0.100.10.20.30.40.50.6tRx1

    x23.

    3.

    3

    (

    WLS

    )

    为了降低节点成本应尽可能减小锚节点在

    WSN

    所占的比例,

    但势必会减小锚节点的覆盖率,

    从而增加了定位的难

    度。

    为了解决此问题,

    很多定位算法将已经定位的未知节点转化为

    锚节点,

    迭代定位从而定位整个网络的节点。

    但是这种方法又引来了一个新的问题:

    升级的锚节点本身可能存在较大的定位误差,

    而在下一轮的定

    位中有可能会引进更大的误差,

    当网络规模比较大时,

    这种迭代定

    位造成的累积误差将无法接受。

    所以人们又引入了

    加权最小二乘法

    [23],[24]

    根据每个节点的定位精度,

    在加权最小二乘法中采用不同的加

    权系数来进行定位估计,

    从而提高定位精度。

    加权最小二乘法可根据下式求解:

    X0wls=(ATWA)-1ATWb

    (

    3-18

    )

    此式中

    W

    加权矩阵,

    为保证

    X0wls

    是最小方差无偏估计,

    一般要求

    W

    在实

    际应用中为对称正定矩阵。

    可利用许瓦兹的不等式证明,

    在测距误差与距离之比服从独立

    分布的高斯随机变量的情况下,

    W=R-1

    时的估计均方误差最小,

    R

    测距误差的方差矩阵,

    R=E{NNT}

    展开全文
  • 通过加权最小二乘法对时钟同步进行修正,获得了较为理想的结果。同学们对加权最小二乘法感兴趣的赶紧下载吧。
  • 加权最小二乘法matlab

    2021-04-22 09:30:32
    k k 1 matlab最小二乘法拟合 [a,Jm...卡尔曼MATLAB-最小二乘法例子的代码_信息与通信_工程科技_专业资料。 Ts...最小二乘法曲线拟合原理及matlab实现_数学_自然科学_专业资料。曲线拟合(c...[10x10 double] df: 22 ...

    k k 1;v?k zk h?k k 1 matlab最小二乘法拟合 [a,Jm...

    卡尔曼MATLAB-最小二乘法例子的代码_信息与通信_工程科技_专业资料。 Ts...

    最小二乘法曲线拟合原理及matlab实现_数学_自然科学_专业资料。曲线拟合(c...

    [10x10 double] df: 22 normr: 1.6178e-07 MATLAB 的最优化工具箱还提供了 lsqcurvefit()函数命令进行最小二乘曲线拟合(Solve nonlinear curve-fitting (data-......

    基于matlab的最小二乘法应用_数学_自然科学_专业资料。基于 matlab 非线性曲线最小二乘拟摘要:在工程计算与科学研究中,常常需要从一组测量数据出发,寻找变量 x ......

    最小二乘法的基本原理和多项式拟合 matlab 实现 最小二乘法的基本原理和多项式拟合 matlab 实现 最小二乘 法的基本原理和多项式拟合 一、 最小二乘法的基本原理......

    计 082-2 班 学号 撰写时间: 撰写时间: 2012-3-1 成绩评定: 成绩评定: 自动化专业综合设计报告 一.设计目的 1、学会用 Matlab 实现最小二乘法辨识系统参数......

    7 MATLAB 的最优化工具箱还提供了 lsqcurvefit()函数命令进行最小二乘曲线拟 合(Solve nonlinear curve-fitting (data-fitting) problems in least-squares sense)......

    1.目的 目的 1.1 掌握系统辨识的理论、方法及应用 1.2 熟练 Matlab 下最小二乘法编程 1.3 掌握 M 序列产生方法 2.设备 设备 PC 机 1 台(含 Matlab ......

    ? z?k ? ? h v 1 matlab最小二乘法拟合 [a,Jm]=lsq...

    matlab 最小二乘法拟合 最小二乘法在曲线线合中比线普遍。线合的模型主要有 ...

    h(k )θ (k ) [ ] matlab最小二乘法拟合 1 matlab最小二乘法拟合 [a,Jm]=lsqcurvefit(fun,a0,x,y);fun不支持句柄函数 a0为最优化的初始值,fun为......

    MATLAB最小二乘法函数逼近_数学_自然科学_专业资料。禁止复制 北京石油化工学院 Onlyunited 最小二乘法求函数逼近最小二乘法求函数逼近算法: 最小二乘拟合是在......

    7 MATLAB 的最优化工具箱还提供了 lsqcurvefit()函数命令进行最小二乘曲线 拟合 (Solve nonlinear curve-fitting (data-fitting) problems in least-squares sense)......

    MATLAB最小二乘法拟合直线的程序_经济学_高等教育_教育专区。最小二乘法拟合直线 程序: function linear_fit %最小二乘法拟合直线 clear; clc; prompt={'Name......

    . - 现代测量数据处理方法 学生课题论文 论文题目:最小二乘曲线拟合及其 MATLAB 实现 学院:土木工程学院 年级专业班:2013 级测绘工程一班 学生 XX: 学生学号: ......

    最小二乘法多项式拟合 Matlab 具有友好的编程界面,强大的计算能力,和出色的...

    7 MATLAB 的最优化工具箱还提供了 lsqcurvefit()函数命令进行最小二乘曲线 拟合 (Solve nonlinear curve-fitting (data-fitting) problems in least-squares sense)......

    最小二乘法曲线拟合_原理及matlab实现_数学_自然科学_专业资料。曲线拟合(...

    曲线拟合的最小二乘法 学院:光电信息学院 姓名:赵海峰 学号: 200820501001 一、曲线拟合的最小二乘法原理: 由已知的离散数据点选择与实验点误差最小的曲线 若记......

    展开全文
  • 对多篇最小二乘法相关的资料的整合,如有错误,敬请指正! 原文地址 线性回归 线性回归假设数据集中特征与结果存在着线性关系: y=mx+c y = mx+c y=mx+c y为结果,x为特征,m为系数,c为系数 我们需要找到m...

    对多篇最小二乘法相关的资料的整合,如有错误,敬请指正!
    原文地址1
    原文地址2

    线性回归

    线性回归假设数据集中特征与结果存在着线性关系:
    y = m x + c y = mx+c y=mx+c
    y为结果,x为特征,m为系数,c为系数
    我们需要找到m、c使得m*x+c得到的结果y与真实的y误差最小,这里使用平方差来衡量估计值与真实值得误差(如果只用差值就可能会存在负数);用于计算真实值与预测值的误差的函数称为:平方损失函数(square loss function);这里用L表示损失函数,所以有:
    L n = ( y n − ( m x n + c ) ) 2 L_n = (y_n-(mx_n+c))^2 Ln=(yn(mxn+c))2
    整个数据集上的平均损失为:
    L = 1 N ∑ n = 1 N ( y n , f ( x n ; c , m ) ) L=\frac{1}{N} \sum_{n=1}^{N}(y_n,f(x_n;c,m)) L=N1n=1N(yn,f(xn;c,m))

    我们要求得最匹配的mc使得L最小;数学表达式可以表示为:
    arg ⁡ m   min ⁡ c   1 N ∑ n = 1 N L n ( y n ; c , m ) {\arg\limits_m}\ {\min\limits_c}\ \frac{1}{N}\sum_{n=1}^{N}L_n(y_n;c,m) marg cmin N1n=1NLn(yn;c,m)
    最小二乘法用于求目标函数的最优解,它通过最小化误差的平方和寻找匹配项所以又称为:最小平方法;这里将用最小二乘法求得线性回归的最优解;

    最小二乘法

    数据集有1…N个数据组成,每个数据由{x,y}构成,x表示特征,y为实际结果;这里将线性回归模型定义为:
    f ( x ; m , c ) = m x + c f(x;m,c)=mx+c f(x;m,c)=mx+c
    平均损失函数为:
    L = 1 N ∑ n = 1 N L n ( y n , f ( x n ; c , m ) ) = 1 N ∑ n = 1 N ( y n − f ( x n ; c , m ) ) 2 = 1 N ∑ n = 1 N ( y n − ( c + m x n ) ) 2 = 1 N ∑ n = 1 N ( y n − c − m x n ) ( y n − c − m x n ) = 1 N ∑ n = 1 N ( y n 2 − 2 y n c − 2 y n m x + c 2 + 2 c m x + m 2 x n 2 ) = 1 N ∑ n = 1 N ( y n 2 − 2 y n c + 2 m x ( c − y n ) + c 2 + m 2 x n 2 ) \begin{aligned} L &amp;=\frac{1}{N}\sum_{n=1}^{N}L_n(y_n,f(x_n;c,m))\\ &amp;=\frac{1}{N}\sum_{n=1}^{N}(y_n-f(x_n;c,m))^2\\ &amp;=\frac{1}{N}\sum_{n=1}^{N}(y_n-(c+mx_n))^2\\ &amp;=\frac{1}{N}\sum_{n=1}^{N}(y_n-c-mx_n)(y_n-c-mx_n)\\ &amp;=\frac{1}N\sum_{n=1}^{N}(y_n^2-2y_nc-2y_nmx+c^2+2cmx+m^2x_n^2)\\ &amp;=\frac{1}{N}\sum_{n=1}^{N}(y_n^2-2y_nc+2mx(c-y_n)+c^2+m^2x_n^2)\\ \end{aligned} L=N1n=1NLn(yn,f(xn;c,m))=N1n=1N(ynf(xn;c,m))2=N1n=1N(yn(c+mxn))2=N1n=1N(yncmxn)(yncmxn)=N1n=1N(yn22ync2ynmx+c2+2cmx+m2xn2)=N1n=1N(yn22ync+2mx(cyn)+c2+m2xn2)

    要使L最小,其关于cm的偏导数为0,所以求偏导数,得出后让导数等于0,并对cm求解便能得到最小的L,此时的cm便是最匹配该模型的;

    关于c的偏导数:

    因为求得是关于c的偏导数,因此把L的等式中不包含c的项去掉,得到:
    1 N ∑ n = 1 N ( c 2 − 2 y n c + 2 c m x n ) \frac{1}{N}\sum_{n=1}^{N}(c^2-2y_nc+2cmx_n) N1n=1N(c22ync+2cmxn)
    整理式子把不包含下标n的往累加和外移得到:
    c 2 + 2 c m 1 N ( ∑ n = 1 N x n ) − 2 c 1 N ( ∑ n = 1 N y n ) c^2+2cm\frac{1}{N}(\sum_{n=1}^{N}x_n)-2c\frac{1}{N}(\sum^{N}_{n=1}y_n) c2+2cmN1(n=1Nxn)2cN1(n=1Nyn)
    那么对c求偏导数得:
    ∂ L ∂ c = 2 c + 2 m 1 N ( ∑ n = 1 N x n ) − 2 N ( ∑ n = 1 N y n ) \frac{\partial L }{\partial c}=2c+2m\frac{1}{N}(\sum_{n=1}^{N}x_n)-\frac{2}{N}(\sum_{n=1}^{N}y_n) cL=2c+2mN1(n=1Nxn)N2(n=1Nyn)

    关与m的偏导数:

    因为求得是关于m的偏导数,因此把L的等式中不包含m的项去掉,得到:
    1 N ∑ n = 1 N ( m 2 x n 2 − 2 y n m x n + 2 c m x n ) \frac{1}{N}\sum_{n=1}^{N}(m^2x_n^2-2y_nmx_n+2cmx_n) N1n=1N(m2xn22ynmxn+2cmxn)
    整理式子把不包含下标n的往累加和外移得到:
    m 2 1 N ∑ n = 1 N ( x n 2 ) + 2 m 1 N ∑ n = 1 N x n ( c − y n ) m_2\frac{1}{N}\sum_{n=1}^{N}(x_n^2)+2m\frac{1}{N}\sum_{n=1}^{N}x_n(c-y_n) m2N1n=1N(xn2)+2mN1n=1Nxn(cyn)
    那么对m求偏导数得:
    ∂ L ∂ m = 2 m 1 N ∑ n = 1 N ( x n 2 ) + 2 N ∑ n = 1 N x n ( c − y n ) \frac{\partial L }{\partial m}=2m\frac{1}{N}\sum_{n=1}^{N}(x_n^2)+\frac{2}{N}\sum_{n=1}^{N}x_n(c-y_n) mL=2mN1n=1N(xn2)+N2n=1Nxn(cyn)

    求解mc

    令关于c的偏导数等于0,求解:
    2 c + 2 m 1 N ( ∑ n = 1 N x n ) − 2 N ( ∑ n = 1 N y n ) = 0 2c+2m\frac{1}{N}(\sum_{n=1}^{N}x_n)-\frac{2}{N}(\sum_{n=1}^{N}y_n)=0 2c+2mN1(n=1Nxn)N2(n=1Nyn)=0

    2 c = 2 N ( ∑ n = 1 N y n ) − 2 m 1 N ( ∑ n = 1 N x n ) 2c=\frac{2}{N}(\sum_{n=1}^{N}y_n)-2m\frac{1}{N}(\sum_{n=1}^{N}x_n) 2c=N2(n=1Nyn)2mN1(n=1Nxn)

    c = 1 N ( ∑ n = 1 N y n ) − m 1 N ( ∑ n = 1 N x n ) c=\frac{1}{N}(\sum_{n=1}^{N}y_n)-m\frac{1}{N}(\sum_{n=1}^{N}x_n) c=N1(n=1Nyn)mN1(n=1Nxn)

    从上求解得到的值可以看出,上面式子中存在两个平均值:
    x ‾ = 1 N ( ∑ n = 1 N x n ) , y ‾ = 1 N ( ∑ n = 1 N y n ) \overline{x}=\frac{1}{N}(\sum_{n=1}^{N}x_n),\overline{y}=\frac{1}{N}(\sum_{n=1}^{N}y_n) x=N1(n=1Nxn),y=N1(n=1Nyn)
    则:
    c = y ‾ − m x ‾ c=\overline{y}-m\overline{x} c=ymx
    令关于m的偏导数等于0,求解:
    2 m 1 N ∑ n = 1 N ( x n 2 ) + 2 N ∑ n = 1 N x n ( c − y n ) = 0 2m\frac{1}{N}\sum_{n=1}^{N}(x_n^2)+\frac{2}{N}\sum_{n=1}^{N}x_n(c-y_n)=0 2mN1n=1N(xn2)+N2n=1Nxn(cyn)=0
    c和平均值关系带入得:
    m 1 N ∑ n = 1 N ( x n 2 ) + 1 N ∑ n = 1 N x n ( y ‾ − m x ‾ − y n ) = 0 m\frac{1}{N}\sum_{n=1}^{N}(x_n^2)+\frac{1}{N}\sum_{n=1}^{N}x_n(\overline{y}-m\overline{x}-y_n)=0 mN1n=1N(xn2)+N1n=1Nxn(ymxyn)=0

    m ( 1 N ∑ n = 1 N ( x n 2 ) − 1 N x ‾ ∑ n = 1 N x n ) = 1 N ∑ n = 1 N ( x n y n − x n y ‾ ) m(\frac{1}{N}\sum_{n=1}^{N}(x_n^2)-\frac{1}{N}\overline{x}\sum_{n=1}^{N}x_n)=\frac{1}{N}\sum_{n=1}^{N}(x_ny_n-x_n\overline{y}) m(N1n=1N(xn2)N1xn=1Nxn)=N1n=1N(xnynxny)

    令:
    x 2 ‾ = 1 N ∑ n = 1 N ( x n 2 ) ,   x y ‾ = 1 N ∑ n = 1 N ( x n y n ) \overline{x^2} =\frac{1}{N}\sum_{n=1}^{N}(x_n^2), \ \overline{xy}=\frac{1}{N}\sum_{n=1}^{N}(x_ny_n) x2=N1n=1N(xn2), xy=N1n=1N(xnyn)
    则:
    m = x y ‾ − x ‾   y ‾ x 2 ‾ − x ‾ 2 m=\frac{\overline{xy}-\overline{x}\ \overline{y}}{\overline{x^2}-\overline{x}^2} m=x2x2xyx y
    至此,mc都已计算出

    加权最小二乘法:

    前面所求解的一般最小二乘法将时间序列中的各项数据的重要性同等看待,而事实上时间序列各项数据对未来的影响作用应是不同的。一般来说,近期数据比起远期数据对未来的影响更大。因此比较合理的方法就是使用加权的方法,对近期数据赋以较大的权数,对远期数据则赋以较小的权数。加权最小二乘法采用指数权数W(0<W<1),加权以后求得的参数估计值应满足:
    L n = W n ( y n − ( m x n + c ) ) 2 L_n = W_n(y_n-(mx_n+c))^2 Ln=Wn(yn(mxn+c))2

    L = 1 N ∑ n = 1 N W n ( y n , f ( x n ; c , m ) ) L=\frac{1}{N} \sum_{n=1}^{N}W_n(y_n,f(x_n;c,m)) L=N1n=1NWn(yn,f(xn;c,m))

    arg ⁡ m   min ⁡ c   1 N ∑ n = 1 N L n ( y n ; c , m ) = arg ⁡ m   min ⁡ c   1 N ∑ n = 1 N W n ( y n − ( m x n + c ) ) 2 {\arg\limits_m} \ {\min \limits_{c}}\ \frac{1}{N}\sum_{n=1}^{N}L_n(y_n;c,m)={\arg\limits_m}\ {\min\limits_c}\ \frac{1}{N}\sum_{n=1}^{N}W_n(y_n-(mx_n+c))^2 marg cmin N1n=1NLn(yn;c,m)=marg cmin N1n=1NWn(yn(mxn+c))2

    同理,平均损失函数为:
    L = 1 N ∑ n = 1 N L n ( y n , f ( x n ; c , m ) ) = 1 N ∑ n = 1 N W n ( y n − f ( x n ; c , m ) ) 2 = 1 N ∑ n = 1 N W n ( y n − ( c + m x n ) ) 2 = 1 N ∑ n = 1 N W n ( y n − c − m x n ) ( y n − c − m x n ) = 1 N ∑ n = 1 N W n ( y n 2 − 2 y n c − 2 y n m x + c 2 + 2 c m x + m 2 x n 2 ) = 1 N ∑ n = 1 N W n ( y n 2 − 2 y n c + 2 m x ( c − y n ) + c 2 + m 2 x n 2 ) \begin{aligned} L &amp;=\frac{1}{N}\sum_{n=1}^{N}L_n(y_n,f(x_n;c,m))\\ &amp;=\frac{1}{N}\sum_{n=1}^{N}W_n(y_n-f(x_n;c,m))^2\\ &amp;=\frac{1}{N}\sum_{n=1}^{N}W_n(y_n-(c+mx_n))^2\\ &amp;=\frac{1}{N}\sum_{n=1}^{N}W_n(y_n-c-mx_n)(y_n-c-mx_n)\\ &amp;=\frac{1}N\sum_{n=1}^{N}W_n(y_n^2-2y_nc-2y_nmx+c^2+2cmx+m^2x_n^2)\\ &amp;=\frac{1}{N}\sum_{n=1}^{N}W_n(y_n^2-2y_nc+2mx(c-y_n)+c^2+m^2x_n^2) \end{aligned} L=N1n=1NLn(yn,f(xn;c,m))=N1n=1NWn(ynf(xn;c,m))2=N1n=1NWn(yn(c+mxn))2=N1n=1NWn(yncmxn)(yncmxn)=N1n=1NWn(yn22ync2ynmx+c2+2cmx+m2xn2)=N1n=1NWn(yn22ync+2mx(cyn)+c2+m2xn2)

    要使L最小,其关于cm的偏导数为0,所以求偏导数,得出后让导数等于0,并对cm求解便能得到最小的L,此时的cm便是最匹配该模型的;

    关于c的偏导数:

    因为求得是关于c的偏导数,因此把L的等式中不包含c的项去掉,得到:
    1 N ∑ n = 1 N W n ( c 2 − 2 y n c + 2 c m x n ) \frac{1}{N}\sum_{n=1}^{N}W_n(c^2-2y_nc+2cmx_n) N1n=1NWn(c22ync+2cmxn)
    整理式子把不包含下标n的往累加和外移得到:
    c 2 1 N ∑ n = 1 N W n + 2 c m 1 N ( ∑ n = 1 N W n x n ) − 2 c 1 N ( ∑ n = 1 N W n y n ) c^2\frac{1}{N}\sum_{n=1}^{N}W_n+2cm\frac{1}{N}(\sum_{n=1}^{N}W_nx_n)-2c\frac{1}{N}(\sum^{N}_{n=1}W_ny_n) c2N1n=1NWn+2cmN1(n=1NWnxn)2cN1(n=1NWnyn)
    那么对c求偏导数得:
    ∂ L ∂ c = 2 c 1 N ∑ n = 1 N W n + 2 m 1 N ( ∑ n = 1 N W n x n ) − 2 N ( ∑ n = 1 N W n y n ) \frac{\partial L }{\partial c}=2c\frac{1}{N}\sum_{n=1}^{N}W_n+2m\frac{1}{N}(\sum_{n=1}^{N}W_nx_n)-\frac{2}{N}(\sum_{n=1}^{N}W_ny_n) cL=2cN1n=1NWn+2mN1(n=1NWnxn)N2(n=1NWnyn)

    关与m的偏导数:

    因为求得是关于m的偏导数,因此把L的等式中不包含m的项去掉,得到:
    1 N ∑ n = 1 N W n ( m 2 x n 2 − 2 y n m x n + 2 c m x n ) \frac{1}{N}\sum_{n=1}^{N}W_n(m^2x_n^2-2y_nmx_n+2cmx_n) N1n=1NWn(m2xn22ynmxn+2cmxn)
    整理式子把不包含下标n的往累加和外移得到:
    m 2 1 N ∑ n = 1 N ( W n x n 2 ) + 2 m 1 N ∑ n = 1 N W n x n ( c − y n ) m^2\frac{1}{N}\sum_{n=1}^{N}(W_nx_n^2)+2m\frac{1}{N}\sum_{n=1}^{N}W_nx_n(c-y_n) m2N1n=1N(Wnxn2)+2mN1n=1NWnxn(cyn)
    那么对m求偏导数得:
    ∂ L ∂ m = 2 m 1 N ∑ n = 1 N ( W n x n 2 ) + 2 N ∑ n = 1 N W n x n ( c − y n ) \frac{\partial L }{\partial m}=2m\frac{1}{N}\sum_{n=1}^{N}(W_nx_n^2)+\frac{2}{N}\sum_{n=1}^{N}W_nx_n(c-y_n) mL=2mN1n=1N(Wnxn2)+N2n=1NWnxn(cyn)

    求解mc

    令关于c的偏导数等于0,求解:
    2 c 1 N ∑ n = 1 N W n + 2 m 1 N ( ∑ n = 1 N W n x n ) − 2 N ( ∑ n = 1 N W n y n ) = 0 2c\frac{1}{N}\sum_{n=1}^{N}W_n+2m\frac{1}{N}(\sum_{n=1}^{N}W_nx_n)-\frac{2}{N}(\sum_{n=1}^{N}W_ny_n)=0 2cN1n=1NWn+2mN1(n=1NWnxn)N2(n=1NWnyn)=0

    2 c = 2 N ( ∑ n = 1 N W n y n ) − 2 m ( 1 N ∑ n = 1 N W n x n ) 1 N ∑ n = 1 N W n 2c=\frac{\frac{2}{N}(\sum_{n=1}^{N}W_ny_n)-2m(\frac{1}{N}\sum_{n=1}^{N}W_nx_n)}{\frac{1}{N}\sum_{n=1}^{N}W_n} 2c=N1n=1NWnN2(n=1NWnyn)2m(N1n=1NWnxn)

    c = 1 N ( ∑ n = 1 N W n y n ) − m ( 1 N ∑ n = 1 N W n x n ) 1 N ∑ n = 1 N W n c=\frac{\frac{1}{N}(\sum_{n=1}^{N}W_ny_n)-m(\frac{1}{N}\sum_{n=1}^{N}W_nx_n)}{\frac{1}{N}\sum_{n=1}^{N}W_n} c=N1n=1NWnN1(n=1NWnyn)m(N1n=1NWnxn)

    令关于m的偏导数等于0,求解:
    2 m 1 N ∑ n = 1 N ( W n x n 2 ) + 2 N ∑ n = 1 N W n x n ( c − y n ) = 0 2m\frac{1}{N}\sum_{n=1}^{N}(W_nx_n^2)+\frac{2}{N}\sum_{n=1}^{N}W_nx_n(c-y_n)=0 2mN1n=1N(Wnxn2)+N2n=1NWnxn(cyn)=0
    c和平均值关系带入得:
    2 m 1 N ∑ n = 1 N ( W n x n 2 ) + 2 N ∑ n = 1 N W n x n ( 1 N ( ∑ n = 1 N W n y n ) − m 1 N ( ∑ n = 1 N W n x n ) 1 N ∑ n = 1 N W n − y n ) = 0 2m\frac{1}{N}\sum_{n=1}^{N}(W_nx_n^2)+\frac{2}{N}\sum_{n=1}^{N}W_nx_n(\frac{\frac{1}{N}(\sum_{n=1}^{N}W_ny_n)-m\frac{1}{N}(\sum_{n=1}^{N}W_nx_n)}{\frac{1}{N}\sum_{n=1}^{N}W_n}-y_n)=0 2mN1n=1N(Wnxn2)+N2n=1NWnxn(N1n=1NWnN1(n=1NWnyn)mN1(n=1NWnxn)yn)=0

    m = ( 1 N ∑ n = 1 N W n x n y n ) ∗ ( 1 N ∑ n = 1 N W n ) − ( 1 N ∑ n = 1 N W n x n ) ∗ ( 1 N ∑ n = 1 N W n y n ) ( 1 N ∑ n = 1 N W n x n 2 ) ∗ ( 1 N ∑ n = 1 N W n ) − ( 1 N ∑ n = 1 N W n x n ) ∗ ( 1 N ∑ n = 1 N W n y n ) m = \frac{(\frac{1}{N}\sum_{n=1}^{N}W_nx_ny_n)*(\frac{1}{N}\sum_{n=1}^{N}W_n)-(\frac{1}{N}\sum_{n=1}^{N}W_nx_n)*(\frac{1}{N}\sum_{n=1}^{N}W_ny_n)}{(\frac{1}{N}\sum_{n=1}^{N}W_nx_n^2)*(\frac{1}{N}\sum_{n=1}^{N}W_n)-(\frac{1}{N}\sum_{n=1}^{N}W_nx_n)*(\frac{1}{N}\sum_{n=1}^{N}W_ny_n)} m=(N1n=1NWnxn2)(N1n=1NWn)(N1n=1NWnxn)(N1n=1NWnyn)(N1n=1NWnxnyn)(N1n=1NWn)(N1n=1NWnxn)(N1n=1NWnyn)

    至此,mc都已计算出

    矩阵推导部分

    一个n×n的矩阵A的迹是指A的主对角线上各元素的总和,记作tr(A)。即
    t r ( A ) = ∑ i = 1 n a i i tr(A)=\sum_{i=1}^{n}a_{ii} tr(A)=i=1naii

    • 定理一:tr(AB)=tr(BA)

    证明:
    t r ( A B ) = ∑ i = 1 n ( A B ) i i = ∑ i = 1 n ∑ j = 1 m a i j b j i = ∑ j = 1 m ∑ i = 1 n b j i a i j = ∑ j = 1 m ( B A ) j j = t r ( B A ) tr(AB)=\sum_{i=1}^{n}(AB)_{ii}=\sum_{i=1}^{n}\sum_{j=1}^{m}a_{ij}b_{ji}=\sum_{j=1}^{m}\sum_{i=1}^{n}b_{ji}a_{ij}=\sum_{j=1}^{m}(BA)_{jj}=tr(BA) tr(AB)=i=1n(AB)ii=i=1nj=1maijbji=j=1mi=1nbjiaij=j=1m(BA)jj=tr(BA)

    • 定理二:
      t r ( A B C ) = t r ( C A B ) = t r ( B C A ) tr(ABC)=tr(CAB)=tr(BCA) tr(ABC)=tr(CAB)=tr(BCA)

    • 定理三:

    ∂ t r ( A B ) ∂ A = ∂ t r ( B A ) ∂ A = B T \frac{\partial{tr(AB)}}{\partial A}=\frac{\partial{tr(BA)}}{\partial A}=B^T Atr(AB)=Atr(BA)=BT

    其中Am×n的矩阵,Bn×m的矩阵
    t r ( A B ) = t r ( a 11 a 12 ⋯ a 1 n a 21 a 22 ⋯ a 2 n ⋮ ⋮ ⋱ ⋮ a m 1 a m 2 ⋯ a m n ) ( b 11 b 12 ⋯ b 1 m b 21 b 22 ⋯ b 2 m ⋮ ⋮ ⋱ ⋮ b n 1 b n 2 ⋯ b n m ) tr(AB)=tr\left(\begin{matrix}a_{11}&amp;a_{12}&amp;\cdots&amp;a_{1n}\\a_{21}&amp;a_{22}&amp;\cdots&amp;a_{2n}\\\vdots&amp;\vdots&amp;\ddots&amp;\vdots\\a_{m1}&amp;a_{m2}&amp;\cdots&amp;a_{mn}\end{matrix}\right) \left(\begin{matrix}b_{11}&amp;b_{12}&amp;\cdots&amp;b_{1m}\\b_{21}&amp;b_{22}&amp;\cdots&amp;b_{2m}\\\vdots&amp;\vdots&amp;\ddots&amp;\vdots\\b_{n1}&amp;b_{n2}&amp;\cdots&amp;b_{nm}\end{matrix}\right) tr(AB)=tra11a21am1a12a22am2a1na2namnb11b21bn1b12b22bn2b1mb2mbnm
    只考虑对角线上的元素,那么有
    t r ( A B ) = ∑ i = 1 n a 1 i b i 1 + ∑ i = 1 n a 2 i b i 2 + … + ∑ i = 1 n a m i b i m = ∑ i = 1 m ∑ j = 1 n a i j b j i tr(AB)=\sum_{i=1}^{n}a_{1i}b_{i1}+\sum_{i=1}^{n}a_{2i}b_{i2}+\ldots+\sum_{i=1}^{n}a_{mi}b_{im}=\sum_{i=1}^{m}\sum_{j=1}^{n}a_{ij}b_{ji} tr(AB)=i=1na1ibi1+i=1na2ibi2++i=1namibim=i=1mj=1naijbji

    ∂ t r ( A B ) ∂ a i j = b i j ⇒ ∂ t r ( A B ) ∂ A = B T \frac{\partial tr(AB)}{\partial a_{ij}}=b_{ij}\Rightarrow \frac{\partial tr(AB)}{\partial A}=B^T aijtr(AB)=bijAtr(AB)=BT

    • 定理四:

    ∂ t r ( A T B ) ∂ A = ∂ t r ( B A T ) ∂ A = B \frac{\partial{tr(A^TB)}}{\partial A}=\frac{\partial{tr(BA^T)}}{\partial A}=B Atr(ATB)=Atr(BAT)=B

    证明:
    ∂ t r ( A T B ) ∂ A = ∂ t r ( ( A T B ) T ) ∂ A = ∂ t r ( B T A ) ∂ A = ∂ t r ( A B T ) ∂ A = ( B T ) T = B \frac{\partial{tr(A^TB)}}{\partial A}=\frac{\partial{tr((A^TB)^T)}}{\partial A}=\frac{\partial{tr(B^TA)}}{\partial A}=\frac{\partial{tr(AB^T)}}{\partial A}=(B^T)^T=B Atr(ATB)=Atr((ATB)T)=Atr(BTA)=Atr(ABT)=(BT)T=B

    • 定理五:

    t r ( A ) = t r ( A T ) tr(A)=tr(A^T) tr(A)=tr(AT)

    • 定理六:如果a是实数,那么有tr(a)=a
    • 定理七:

    ∂ t r ( A B A T C ) ∂ A = C A B + C T A B T \frac{\partial tr(ABA^TC)}{\partial A}=CAB+C^TAB^T Atr(ABATC)=CAB+CTABT

    证明:
    ∂ t r ( A B A T C ) ∂ A = ∂ t r ( A B A T C ) ∂ A + ∂ t r ( A T C A B ) ∂ A = ( B A T C ) T + C A B = C T A B T + C A B \frac{\partial tr(ABA^TC)}{\partial A}=\frac{\partial tr(ABA^TC)}{\partial A}+\frac{\partial tr(A^TCAB)}{\partial A}=(BA^TC)^T+CAB=C^TAB^T+CAB Atr(ABATC)=Atr(ABATC)+Atr(ATCAB)=(BATC)T+CAB=CTABT+CAB

    最小二乘法矩阵推导:

    设:
    x = ( x 0 ( 1 ) x 0 ( 2 ) ⋯ x 0 ( m ) x 1 ( 1 ) x 1 ( 2 ) ⋯ x 1 ( m ) ⋮ ⋮ ⋱ ⋮ x n ( 1 ) x n ( 2 ) ⋯ x n ( m ) )          θ = ( θ 0 θ 1 ⋮ θ n )       X = x T       Y = ( y ( 1 ) y ( 2 ) ⋮ y ( m ) ) x=\left(\begin{matrix}x_0^{(1)}&amp;x_0^{(2)}&amp;\cdots&amp;x_0^{(m)}\\x_1^{(1)}&amp;x_1^{(2)}&amp;\cdots&amp;x_1^{(m)}\\\vdots&amp;\vdots&amp;\ddots&amp;\vdots\\x_n^{(1)}&amp;x_n^{(2)}&amp;\cdots&amp;x_n^{(m)} \end{matrix}\right)\ \ \ \ \ \ \ \ \theta=\left(\begin{matrix}\theta_0\\\theta_1\\\vdots\\\theta_n\end{matrix}\right)\ \ \ \ \ X=x^T\ \ \ \ \ Y=\left(\begin{matrix}y^{(1)}\\y{(2)}\\\vdots\\y_{(m)}\end{matrix}\right) x=x0(1)x1(1)xn(1)x0(2)x1(2)xn(2)x0(m)x1(m)xn(m)        θ=θ0θ1θn     X=xT     Y=y(1)y(2)y(m)
    其中x的每一列表示一组特征值,共n个,每一行表示有m组数据,θ表示每一个特征值的系数,X表示特征矩阵,Y表示实际的结果值。

    则:
    X θ − Y = ( ∑ i = 0 n x i ( 1 ) θ i − y ( 1 ) ∑ i = 0 n x i ( 2 ) θ i − y ( 2 ) ⋮ ∑ i = 0 n x i ( m ) θ i − y ( m ) ) = ( h θ ( x ( 1 ) ) − y ( 1 ) h θ ( x ( 2 ) ) − y ( 2 ) ⋮ h θ ( x ( m ) ) − y ( m ) ) X\theta-Y=\left(\begin{matrix}\sum_{i=0}^{n}x_i^{(1)}\theta_i-y^{(1)}\\\sum_{i=0}^{n}x_i^{(2)}\theta_i-y^{(2)}\\\vdots\\\sum_{i=0}^{n}x_i^{(m)}\theta_i-y^{(m)}\end{matrix}\right)=\left(\begin{matrix}h_\theta(x^{(1)})-y^{(1)}\\h_\theta(x^{(2)})-y^{(2)}\\\vdots\\h_\theta(x^{(m)})-y^{(m)}\end{matrix}\right) XθY=i=0nxi(1)θiy(1)i=0nxi(2)θiy(2)i=0nxi(m)θiy(m)=hθ(x(1))y(1)hθ(x(2))y(2)hθ(x(m))y(m)
    目标函数:
    J ( θ ) = 1 2 ∑ i = 1 m ( h θ ( x ( i ) ) − y ( i ) ) 2 = 1 2 t r [ ( X θ − Y ) T ( X θ − Y ) ] J(\theta)=\frac{1}{2}\sum_{i=1}^{m}(h_\theta(x^{(i)})-y^{(i)})^2=\frac{1}{2}tr[(X\theta-Y)^T(X\theta-Y)] J(θ)=21i=1m(hθ(x(i))y(i))2=21tr[(XθY)T(XθY)]
    使目标函数最小,得到的θ就是最匹配的解,对目标函数求导:
    ∂ J ( θ ) ∂ θ = 1 2 ∂ t r ( θ T X T X θ − θ T X T Y − Y T X θ + Y T Y ) ∂ θ = 1 2 [ ∂ t r ( θ T X T X θ ) ∂ θ − ∂ t r ( θ T X T Y ) ∂ θ − ∂ t r ( Y T X θ ) ∂ θ ] = 1 2 [ X T X θ + X T X θ − X T Y − X T Y ] = X T X θ − X T Y \begin{aligned} \frac{\partial J(\theta)}{\partial \theta} &amp;= \frac{1}{2}\frac{\partial tr(\theta^TX^TX\theta-\theta^T X^TY-Y^TX\theta+Y^TY)}{\partial \theta}\\&amp;= \frac{1}{2}[\frac{\partial tr(\theta^TX^TX\theta)}{\partial \theta}-\frac{\partial tr(\theta^T X^TY)}{\partial \theta}-\frac{\partial tr(Y^TX\theta)}{\partial \theta}]\\&amp; =\frac{1}{2}[X^TX\theta+X^TX\theta-X^TY-X^TY]\\&amp;=X^TX\theta-X^TY \end{aligned} θJ(θ)=21θtr(θTXTXθθTXTYYTXθ+YTY)=21[θtr(θTXTXθ)θtr(θTXTY)θtr(YTXθ)]=21[XTXθ+XTXθXTYXTY]=XTXθXTY
    令导数等于0求解:
    X T X θ − X T Y = 0 θ = ( X T X ) − 1 X T Y X^TX\theta-X^TY=0\\ \theta = (X^TX)^{-1}X^TY XTXθXTY=0θ=(XTX)1XTY

    加权最小二乘法矩阵推导:

    加权矩阵:
    W = ( w 1 0 0 ⋯ 0 0 w 2 0 ⋯ 0 0 0 w 3 ⋯ 0 ⋮ ⋮ ⋮ ⋱ ⋮ 0 0 0 ⋯ w m ) W=\left(\begin{matrix}w_1&amp;0&amp;0&amp;\cdots&amp;0\\0&amp;w_2&amp;0&amp;\cdots&amp;0\\0&amp;0&amp;w_3&amp;\cdots&amp;0\\\vdots&amp;\vdots&amp;\vdots&amp;\ddots&amp;\vdots\\0&amp;0&amp;0&amp;\cdots&amp;w_m\end{matrix}\right) W=w10000w20000w30000wm
    Wm×m的矩阵,此时目标函数为:
    J ( θ ) = 1 2 ∑ i = 1 m w i ( h θ ( x ( i ) ) − y ( i ) ) 2 = 1 2 t r [ ( X θ − Y ) T W ( X θ − Y ) ] J(\theta)=\frac{1}{2}\sum_{i=1}^{m}w_i(h_\theta(x^{(i)})-y^{(i)})^2=\frac{1}{2}tr[(X\theta-Y)^TW(X\theta-Y)] J(θ)=21i=1mwi(hθ(x(i))y(i))2=21tr[(XθY)TW(XθY)]
    同理,使目标函数最小,得到的θ就是最匹配的解,对目标函数求导:
    ∂ J ( θ ) ∂ θ = 1 2 ∂ t r ( θ T X T W X θ − θ T X T W Y − Y T W X θ + Y T W Y ) ∂ θ = 1 2 [ ∂ t r ( θ T X T W X θ ) ∂ θ − ∂ t r ( θ T X T W Y ) ∂ θ − ∂ t r ( Y T W X θ ) ∂ θ ] = 1 2 [ X T W X θ + X T W T X θ − X T W Y − X T W T Y ] \begin{aligned} \frac{\partial J(\theta)}{\partial \theta} &amp;= \frac{1}{2}\frac{\partial tr(\theta^TX^TWX\theta-\theta^T X^TWY-Y^TWX\theta+Y^TWY)}{\partial \theta}\\&amp;= \frac{1}{2}[\frac{\partial tr(\theta^TX^TWX\theta)}{\partial \theta}-\frac{\partial tr(\theta^T X^TWY)}{\partial \theta}-\frac{\partial tr(Y^TWX\theta)}{\partial \theta}]\\&amp; =\frac{1}{2}[X^TWX\theta+X^TW^TX\theta-X^TWY-X^TW^TY] \end{aligned} θJ(θ)=21θtr(θTXTWXθθTXTWYYTWXθ+YTWY)=21[θtr(θTXTWXθ)θtr(θTXTWY)θtr(YTWXθ)]=21[XTWXθ+XTWTXθXTWYXTWTY]
    又因为W是对角阵:
    ∂ J ( θ ) ∂ θ = 1 2 [ X T W X θ + X T W T X θ − X T W Y − X T W T Y ] = 1 2 [ X T W X θ + X T W X θ − X T W Y − X T W Y ] = X T W X θ − X T W Y \begin{aligned} \frac{\partial J(\theta)}{\partial \theta} &amp;=\frac{1}{2}[X^TWX\theta+X^TW^TX\theta-X^TWY-X^TW^TY]\\&amp;=\frac{1}{2}[X^TWX\theta+X^TWX\theta-X^TWY-X^TWY]\\&amp; =X^TWX\theta-X^TWY \end{aligned} θJ(θ)=21[XTWXθ+XTWTXθXTWYXTWTY]=21[XTWXθ+XTWXθXTWYXTWY]=XTWXθXTWY
    令导数等于0求解:
    X T W X θ − X T W Y = 0 θ = ( X T W X ) − 1 X T W Y X^TWX\theta-X^TWY=0\\ \theta = (X^TWX)^{-1}X^TWY XTWXθXTWY=0θ=(XTWX)1XTWY

    展开全文
  • 今天这篇来讲讲加权最小二乘法(WLS),加权最小二乘是在普通的最小二乘回归(OLS)的基础上进行改造的,主要是用来解决异方差问题的。OLS的常规形式如下:我们在前面讲过OLS有几个基本假定,其中一个就是ui是随机干扰项...
  • 如果出现了异方差,数据变换、方差稳健估计(使用三明治方差估计量)、加权最小二乘法回归、非参数回归都是可以考虑的方法。此次笔记介绍加权最小二乘法(weighted least square,WLS)回归。SPSS中至少有两个过程可以...
  • 首页专栏python文章详情0统计科学之加权最小二乘法张俊红发布于 今天 10:03今天这篇来讲讲加权最小二乘法(WLS),加权最小二乘是在普通的最小二乘回归(OLS)的基础上进行改造的,主要是用来解决异方差问题的。...
  • 所谓回归分析实际上就是根据统计数据建立一个方程, 用这个方程来描述不同变量之间的关系, 而这个关系又无法做到想像函数关系那样准确, 因为即使你重复全部控制...首先普通最小二乘法是作为回归来使用,将预测值...
  • 今天这篇来讲讲加权最小二乘法(WLS),加权最小二乘是在普通的最小二乘回归(OLS)的基础上进行改造的。主要是用来解决异方差问题的,关于异方差可以看看:讲讲什么是异方差 OLS的常规形式如下: 我们在前面讲过OLS有...
  • 用这个方程来描述不同变量之间的关系, 而这个关系又无法做到想像函数关系那样准确, 因为即使你重复全部控制条件,结果也还有区别, 这时通过让回归方程计算值和试验点结果间差值的平方和最小来建立 ...
  • 加权最小二乘法的理解

    千次阅读 2020-11-19 10:08:00
    文章目录那什么什么是加权最小二乘法?异方差的修正 在需要人为地改变观测量的权重的应用场合中,都会涉及到加权最小二乘法的应用。 那什么什么是加权最小二乘法加权最小二乘法的概念: 加权最小二乘是对原模型...
  • 【转】加权最小二乘法

    千次阅读 2020-06-26 11:44:00
    加权最小二乘、迭代最小二乘、抗差最小二乘、稳健最小二乘 他们细节的区别我就不过分研究了,不过这些最小二乘似乎表达的是一个意思: 构造权重函数,给不同测量值不同的权重,偏差大的值权重小,偏差小的权重大,...
  • 1. Theory2. Implementation in RThe following R code uses IRLS algorithm to estimate parametersof Logistic Regression model, and the sample data we used is fromMachine Learning Ex4 - Logistic Regressio...
  • 随着公司规模的扩大,收入趋于分化 或者,随着婴儿身高的增加,体重趋于分散 OLS的主要假设之一是数据的残差相同的,当不满足同方差的假设时,即存在异方差时候,我们需要另外的方法--加权最小二乘法(WLS)去处理。...
  • 针对经典的暗通道理论算法在处理雾天图像时天空区域出现光晕和亮度损失的问题, 提出了一种基于边界限制加权最小二乘法滤波的雾天图像增强算法。该方法根据雾天图像的直方图特性, 分割出天空区域, 并求解出了全局大气...
  • 标准的线性回归模型的假设之一是因变量方差齐性,即因变量或残差的方差不随自身预测值或其他自变量的值变化而变化。...异方差性如果还是使用普通最小二乘法进行估计,那么会造成以下问题1.估计量仍然具有无偏性,...
  • 异方差性和加权最小二乘法详解

    千次阅读 2020-03-13 14:27:09
    加权最小二乘是对原模型进行加权,是该模型成为 一个新的不存在异方差性的模型,然后对该新模型使用普通最小二乘法估计其参数进行优化。 异方差性的解释:随机误差的方差不全相等。异方差性是相对于同方差而言的...
  • (3)分别对第一步中计算的较粗细节和较细细节分别执行基于加权最小二乘(WLS)和基于Sigmoid函数的权重图细化。 (4)执行基于加权平均的较粗细节和较细细节的混合,以形成合成的无缝图像,而不会在大的不连续点...
  • 换句话说,我想用Numpy来计算WLS。我使用this Stackoverflow post作为参考,但是从Statsmodel到Numpy会产生完全不同的R²值。在下面的示例代码复制了这一点:import numpy as npimport statsmodels.formula.api as ...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 5,381
精华内容 2,152
关键字:

加权最小二乘法