-
UA STAT687 线性模型II 最小二乘理论2 约束最小二乘估计
2020-09-15 05:18:42UA STAT687 线性模型II 最小二乘理论2 约束最小二乘估计约束最小二乘估计的求解数值计算的思路系数估计量的解析式约束最小二乘估计的统计性质 约束最小二乘估计的求解 在线性模型y=Xβ+ϵy = X\beta+\epsilony=Xβ+...UA STAT687 线性模型II 最小二乘理论2 约束最小二乘估计
约束最小二乘估计的求解
在线性模型中,我们考虑的约束也是线性的。假设系数满足
并且属于的列空间(或者称为像空间),,也就是说这个约束方程有界。假设,即是个线性无关的可估函数。
下面我们尝试用Lagrange乘子法求解带约束的最小二乘:
用表示Lagrange函数,表示Lagrange乘子,则
这里用只是为了约掉2这个数值,让下面的正则方程形式上美观一点。计算Lagrange函数关于的梯度可以得到正则方程:
数值计算的思路
记, 约束方程可以写成
正则方程可以写成
合并起来就是
求解可以得到与的估计值,
系数估计量的解析式
数值上这样计算非常方便,但是我们想得到估计量的解析式。考虑正则方程,
将这个结果代入约束方程中,
前面我们假设了,并且,因此的逆与广义逆选取无关,这保证形式的唯一性。由此我们得到系数的估计量为
约束最小二乘估计的统计性质
在约束参数空间中,是的无偏估计,其中
与普通最小二乘法不同的是,约束最小二乘法的残差有更多自由度。普通最小二乘法总自由度为,回归自由度(系数的自由度)为;约束最小二乘法总自由度为,回归自由度与普通最小二乘一样,所以多出来的自由度属于残差。
证明
考虑,进一步化简得到
注意到与正交,因此上式等于
上一讲证明了
并且证明了一个恒等式:如果,则
接下来我们基于这个恒等式计算,
在参数空间中,第一项
计算第二项,根据上一讲的最后一个定理,
因此
这里,所以
证毕
-
§2 回归系数的最小二乘估计
2013-05-09 12:27:46设分别为的最小二乘估计值, 于是的观测值 , , (2.1) 其中为误差的估计值, 称为残差或剩余。令为的估计值, 则有 , (2.2) , , (2.3) (2.3)式表示实际值与估计值的偏离程度。欲使...设
分别为
的最小二乘估计值, 于是
的观测值
,
, (2.1)
其中
为误差
的估计值, 称为残差或剩余。令
为
的估计值, 则有
, (2.2)
,
, (2.3)
(2.3)式表示实际值
与估计值
的偏离程度。欲使估计值
与实际值
拟合的最好, 则应使残差平方和
达到最小, 为此, 我们可以应用微分求极值原理确定
, 即解下列方程组
, (2.4)
即
, (2.5)
整理并化简则得以下正规方程组:
, (2.6)
如果记(2.6)式的系数矩阵为
, 右端常数项矩阵记为
, 则有
, (2.7)
, (2.8)
因此正规方程(2.6)的矩阵形式为
, (2.9)
或
, (2.10)
其中
为正规方程中待定的未知实数向量, 如果系数矩阵
满秩, 则
存在, 此时有
, (2.11)
(2.11)式即为多元线性回归模型(1.2)式中参数的最小二乘估计。
正规方程组(2.6)亦可表达为下述另一种形式, 如果记
,
,
,
则由(2.6)式中第一等式可解出
, (2.12)
再将(2.12)代入到(2.6)其它各式中并经化简整理可得
, (2.13)
又由
,
,
,
,
如果记
,
, (2.14)
,
, (2.15)
则(2.13)式可以表示为
, (2.16)
(2.16)式称为正规方程组, 解此方程组可得
, 再代入到(2.12)式中则得
, 于是得回归方程
, (2.17)
(2.17)式称为回归超平面方程。
如果记(2.16)式的系数矩阵为
, 右端常数项向量为
, 则
,
,
且记
, 则正规方程组(2.16)的矩阵形式为
, (2.18)
解(2.18)得
, (2.19)
再代回到(2.12), 则得到
。
以下是一对多线性回归分析的两个例子。
例2.1 某养猪场估算猪的毛重, 测得14头猪的体长
(cm)、胸围
(cm)与体重
(kg)数据如表1, 试建立
与
及
的预测方程。
表2.1
序号
体长(
)
胸围(
)
体重(
)
1
41
49
28
2
45
58
39
3
51
62
41
4
52
71
44
5
59
62
43
6
62
74
50
7
69
71
51
8
72
74
57
9
78
79
63
10
80
84
66
11
90
85
70
12
92
94
76
13
98
91
80
14
103
95
81
经计算:
,
,
,
,
,
,
,
,
,
于是正规方程组为
,
解此方程组得
,
,
又
,
因此所求预测回归方程为
回归方程中系数
与
的含义是体长
每增加1cm, 则猪体重毛重平均增加0.522kg, 胸围
每增加1cm, 则猪体重毛重平均增加0.475kg。
例2.2 某地区二化螟的第一代成虫发生量
与四个因素有关, 这四个因素分别如下, 已知原始观测数据如表2.2, 试建立二化螟发生总量的回归方程。
: 冬季积雪期限(单位为周),
: 每年化雪日期(以2月1日为1),
: 二月份平均气温(℃),
: 三月份平均气温(℃),
: 二化螟发生总量(头),
经计算:
,
,
表2.2
序号
1
10
26
0.2
3.6
9
2
12
26
-1.4
4.4
17
3
14
40
-0.8
1.7
34
4
16
32
0.2
1.4
42
5
19
51
-1.4
0.9
40
6
16
33
0.2
2.1
27
7
7
26
2.7
2.7
4
8
7
25
1.0
4.0
27
9
12
17
2.2
3.7
13
10
11
24
-0.8
3.0
56
11
12
16
-0.5
4.9
15
12
7
16
2.0
4.1
8
13
11
15
1.1
4.7
20
154
347
4.7
41.2
312
11.8462
26.6923
0.3615
3.1692
24
,
于是
,
又
=24 + 0.99742×11.8462 + 1.62581×26.6923 + 11.19263×0.3615 + 16.95291×3.1692 = 136.98554,
因此所求二化螟发生总量的预测回归方程为
。
本系列转自:http://hutangao.blog.163.com/blog/static/4888314200982852442975/
-
最小二乘估计及证明
2018-07-16 16:30:59已知变量X和Y为线性关系(这里XY均为nx1的列向量),为了得知X和Y到底具有怎样的线性关系(也即求解X的系数),如果这是一个工程问题,我们解决这一问题的方法就是对X和Y进行采样,获得很多组样本,然后就能求解出...已知变量X和Y为线性关系(这里XY均为nx1的列向量),为了得知X和Y到底具有怎样的线性关系(也即求解X的系数),如果这是一个工程问题,我们解决这一问题的方法就是对X和Y进行采样,获得很多组样本,然后就能求解出系数了,按照线代的理论,系数矩阵为nxn方阵,且秩为n时,方程具有唯一解,如果采样点过多,也即方程的数目多于未知数的数目,则方程组无解,这时只能求出一个近似解,以不同的目的获得的近似解是不同的,如果为了使方程左右两边的误差的平方和最小,而获得的近似解,就是最小二乘解(所谓“二乘”,就是“平方”的意思,最小二乘就是最小平方和)。这个问题的证明在研究生的矩阵分析引论数学课上学过,现在也忘光了,只记得结论表达式了。
好歹还记得原理:对于一个超定方程组 AX=Y,求X。
解:假设X可能的解为Z,那么把Z代入X可得到Y1=AZ,那么建立目标函数J=e^T * e,其中e=(Y - Y1);必定有一个Z能够使得J最小,这个Z就是X的最小二乘解。
e^T * e就是Y的误差的平方和,能使得J取的最小值的解就是最小二乘解,求X的过程就是令J的一阶导为0。这都是废话,严格的求解方法如下:
例子:假设变量y是n个变量xi的线性组合,求系数。
设方程为AX=y,也即
为了计算出系数a1、a2、···an的值,我们至少需要n次X、Y的采样值,形如:
这样就能求解出系数a1、a2、···an的值了,如果采样样本不止n个,而是多于n个,也不要紧,虽然会会造成方程组无解,但是可以求出最小二乘解。
把方程组写成矩阵形式为:
XA=Y (式2)
至此,就求出了所有的系数ai
-----------------------------------------------------后记---------------------------------------------------------------------
又翻了电子版课本,把最小二乘的证明过程也贴上来:
证明过程在《矩阵分析引论》第30页。证明过程需要用到子空间的概念,这一概念的定义在第6页。
最后简单整理一下证明过程:
-
SPSS加权最小二乘估计的实现
2020-12-25 16:16:05多元加权最小二乘估计 选择“分析”-“回归”-“线性” 选入自变量与因变量 选择“保存”,在“残差”中将“未标准化”选中 选择“转换”-“计算变量” 输入如下公式,点击“确定” 选择“分析”-“相关”-“双变量...多元加权最小二乘估计
选择“分析”-“回归”-“线性”
选入自变量与因变量
选择“保存”,在“残差”中将“未标准化”选中
选择“转换”-“计算变量”
输入如下公式,点击“确定”
选择“分析”-“相关”-“双变量”
将如下变量选入框中,点击“斯皮尔曼”,点击“确定”
得到等级相关系数图表如下
选择“分析”-“回归”-“权重估计”,将以下变量选入框中,因为x2与ABSE的等级相关系数为0.721,大于X1与ABSE的等级相关系数为0.443,因此权重变量选择x2
得到结果如下
加权最小二乘的回归方程为y=-266.962+1.696x1+0.47x2 -
论文研究-加权最小二乘估计在无线传感器网络定位中的应用.pdf
2019-07-22 22:46:48节点自身定位是目前无线传感器网络领域...介绍了如何将加权最小二乘估计应用于节点定位以及如何合理地选择加权系数以降低定位误差。仿真实验表明,运用加权最小二乘估计可以有效地抑制误差累积的影响,提高定位精度。 -
最小二乘的几何解释
2019-04-10 16:00:40那么最小二乘估计形式为: ,L是loss function,包含了训练数据的所有误差,把误差分散在每个训练数据上。L(W)展开后的形式为: 。对展开式关于W求导后令倒数为0,得到 这就是回归系数的解析解。 ... -
基于最小二乘多项式的焊缝图像拟合研究
2021-01-12 17:33:48建立拟合焊缝的多项式函数模型,根据最小二乘原理,得到多项式函数最优估计解。Matlab仿真实验结果表明,九阶拟合函数的决定系数达到99.94%,最大残差为5.62 mm,在精度范围内能够准确拟合焊缝图像。 -
最小二乘回归,岭回归,Lasso回归,弹性网络
2019-09-28 06:52:521、对于普通最小二乘的系数估计问题,其依赖于模型各项的相互独立性。 2、当各项是相关的,且设计矩阵X的各列近似线性相关,那么,设计矩阵会趋向于奇异矩阵,这会导致最小二乘估计对于随机误差非常敏感,产生很大... -
飞机颤振模态参数辨识的频域广义整体最小二乘算法
2021-01-15 07:22:05采用一种适用于噪声环境的广义整体最小二乘算法,准确地辨识飞机的颤振模态参数.该算法结合有理传递函数模型,将带噪系统的辨识问题转化为广义整体最小二乘问题.利用线性的广义奇异值分解求解模型系数, 避免了非线性... -
Lasso Regression||Ridge Regression||正则化||范数L1、L2||最小二乘关系详解
2019-05-05 19:00:39对于普通最小二乘的系数估计问题,其依赖于模型各项的相互独立性。 当各项是相关的,且设计矩阵(design matrix) X 的各列近似线性相关, 那么,设计矩阵会趋向于奇异矩阵,这会导致最小二乘估计对于随机误差非常敏感... -
【R语言】非线性最小二乘
2018-02-16 12:48:08以误差的平方和最小为准则来估计非线性静态模型参数的一种参数估计...在最小二乘回归中,我们建立了一个回归模型,其中来自回归曲线的不同点的垂直距离的平方和被最小化。我们通常从定义的模型开始,并假设系数的... -
最小二乘拟合
2008-10-08 19:42:00这类问题通常有两种情况:一种是两个观测量x与y之间的函数形式已知,但一些参数未知,需要确定未知参数的最佳估计值;另一种是x与y之间的函数形式还不知道,需要找出它们之间的经验公式。后一种情况常假设x与y之间的... -
最小二乘拟合(转)good
2016-02-28 16:57:00这类问题通常有两种情况:一种是两个观测量x与y之间的函数形式已知,但一些参数未知,需要确定未知参数的最佳估计值;另一种是x与y之间的函数形式还不知道,需要找出它们之间的经验公式。后一种情况常假设x与y之间的... -
基于可见近红外光谱比较主成分回归、偏最小二乘回归和反向传播神经网络对土壤氮的预测研究
2021-02-09 03:28:33经一阶微分变换及Savizky-Golay平滑处理后,分别应用主成分回归(PCR)、偏最小二乘回归(PLSR)和反向传播神经网络(BPNN)3种方法建立土壤全氮(TN)的定量模型。 PCR与PLSR两线性模型的决定系数(R2)分别为0.74和0.8,其... -
详解回归分析中相关变量选择的方法和构建思想——岭回归、LASSO 回归、主成分回归和偏最小二乘回归
2020-12-26 13:09:12在线性回归模型中,其参数估计公式为 $\beta=\left(X^{T} X\right)^{-1}...解决这类问题可 以使用岭回归、LASSO 回归、主成分回归、偏最小二乘回归, 主要针对自变量之间存在多重共线性或者自变量个数多于样本量的情况。 -
运用高斯核模型进行最小二乘回归_计量经济学:一元线性回归模型的统计检验与预测...
2020-11-22 18:16:53图片来自网络,侵删断更一年了……终于想好要来填坑了!!!在进行了模型的参数估计之后,我们下一步就该进行“模型的检验”了,这既包括...一、拟合优度与可决系数拟合优度:模型对所有样本观测值的拟合程度。下... -
最小覆盖模型matlab_最小一乘回归系数估计及其MATLAB实现
2021-01-12 19:09:04最小一乘回归系数估计及其MATLAB实现王福昌;胡顺田;张艳芳【期刊名称】《防灾科技学院学报》【年(卷),期】2007(009)004【摘要】采用最小二乘准则进行回归分析和数据拟合时,容易受到奇异点的影响,最小一乘准则虽能很... -
研究论文-时变AR模型阶数确定与系数估计的方法.pdf
2019-08-07 15:24:43通过引入基函数,利用最小二乘算法对模型系数进行估计,从而将非平稳信号的时变模型转化为线性时不变模型,并比较了几种基函数的拟合性能.证明了由于墨西哥草帽小波基函数具有良好的时频特性并且在使用时无需预知... -
最小二乘法求解直线方程系数
2017-06-03 09:03:19引言最小二乘法是经典的参数稳健估计方法。核心思想是使得估计出的模型与实际数据之间误差...一群离散观测点,及其最小二乘估计直线方程直线方程直线方程的形式比较多,粗略统计有10种之多,如:一般式、点斜式、截距式 -
平稳时间序列参数估计
2017-06-22 09:06:51说明对未知参数的估计方法有三种:矩估计(运用p+q个样本的自相关系数估计总体的自相关系数),极大似然估计(使得联合密度函数达到最大的参数值),最小二乘估计(使得残差平方和达到最小的那组参数值即为最小二乘... -
回归系数的部分岭估计
2020-07-09 13:40:13为了改进存在复共线性的回归模型中回归系数的最小二乘估计的不足,利用构造岭估计的思想,只修正非常接近于零的那部分特征值,从而给出了回归系数的部分岭估计.在均方误差意义下,存在岭参数,使得回归系数的部分岭估计... -
M估计稳健回归(M-estimation)
2019-06-25 11:03:22M估计稳健回归的基本思想是采用迭代加权最小二乘估计回归系数,可以将目标优化函数写为: 相较于最小二乘估计目标优化函数为: 其中,称为影响函数。 令对求偏导,并令倒数等于0,得 其中,为的导函数 ... -
论文研究-时变弹性系数生产函数的非参数估计.pdf
2019-09-19 17:20:39文中通过现代统计学中的非参数推断方法,研究了时变弹性系数生产函数回归模型, 利用局部多 项式回归方法,给出了时变弹性系数函数的局部线性加权最小二乘估计.根据广义似然比检验,检验了弹性系数的时变性.结合中国的... -
参数估计_平稳时间序列分析之参数估计
2021-01-12 06:37:29对未知参数的估计方法有三种:矩估计(运用p+q个样本的自相关系数估计总体的自相关系数),极大似然估计(使得联合密度函数达到最大的参数值),最小二乘估计(使得残差平方和达到最小的那组参数值即为最小二乘估计)。... -
基于WTLS的井筒变形监测算法及方案设计
2020-06-02 20:27:15该算法通过同时对待求参数和系数矩阵进行估计,克服常规最小二乘系数矩阵受观测值随机误差影响;同时结合IGGⅢ三段权函数抗差因子,调整各观测值权函数,消除观测值粗差对最终变形估计值的影响,得到最优的井筒变形值。... -
对极大似然估计的理解
2019-04-06 12:22:07从估计形式看,区分为点估计与区间估计:从构造估计量的方法讲,有矩法估计、最小二乘估计、似然估计、贝叶斯估计等。 参数估计的目的 利用样本的已知信息,反推样本的具体环境,即反推参数值。 举例来说,一堆离散... -
一元线性回归决定系数_2.1 一元线性回归
2020-12-24 00:02:42一元线性回归这一章的概念并不多,基本上是围绕一元线性回归模型这一方程展开的,并对系数的估计、回归的方法(最小二乘)、回归方法也就是最小二乘的假设以及最小二乘一元线性回归的拟合优度R^2的介绍(1个中心+4个... -
论文研究-TLS估计的小波自适应零值绝缘子红外热像去噪.pdf
2019-09-08 17:37:58为了弥补传统Bayes估计的小波去噪方法依赖于小波系数先验分布模型的不足,针对零值绝缘子红外图像具有低信噪比特点,提出了基于总体最小二乘(TLS)估计的小波自适应零值绝缘子红外热像去噪方法。受噪声污染的零值...