目录
背景
多元线性回归
常规公式
拟合思路
最小二乘法的推导
将自变量系数与自变量整合为矩阵
模拟过程存在误差项
误差项符合高斯分布
最大似然函数的引入
自变量系数的估值求解
评估β的估值是否合理

背景
线性回归模型的建立是为了探究因变量与多个自变量间的关系。举个例子，你想去银行贷款，在贷款前你想知道你大概能贷到多少钱，以便为后期经济开销做进一步规划。那如果此刻有一个贷款预测模型可以使用，这个问题就可以得到快速的解决。因为你只需要向银行提供你的工资，年龄等信息，便可以得到一个贷款金额的预估值。
一般情况下，只要我们能得到足够数量的观测样本，便可以对现有的数据进行模型拟合，找到一个较为准确的模型来帮助我们预测。
多元线性回归
常规公式
多元线性回归模型的一般形式为：

Yi=β0+β1X1i+β2X2i+…+βkXki+μi （i=1,2,…,n）
其中，n表示观测样本数，Xk 为模型所包含的自变量，i 表示第i个观测样本，Yi为对应的第i个样本的贷款金额，βj（j=1,2,…,k)称为回归系数，代表着每个自变量对于Y值的影响大小。
拟合思路
在拟合过程中，每一个样本都对应着一个回归方程, 我们可以想象年龄和工资是两个特征，分别为x1和x2轴，而贷款金额数展示在Y轴。


图上高低不一的红点就代表着每一个样本所对应的方程式，我们需要在这些高低不一的样本中找到最合适的一条线来拟合这些数据，图中的绿色网格面就是一个假想的拟合平面。
最小二乘法的推导
那如何才能找到这条最合适的线呢？下面我们来聊一聊最小二乘法。
将自变量系数与自变量整合为矩阵
假设β1是年龄的系数，β2是工资的系数。

拟合的平面是：Yi=β0+β1iX1i+β2X2i（β0是截距/偏置项，对整体结果上调或下调，跟数据没有关系)
我们将上述的β,x整合为矩阵，其中为了简化推导公式，X矩阵中加入了x0=1这一项，与截距β0与之对应。

整合结果变为两个矩阵的乘积：$Y_β(x)=\sum_{i=0}^Nβ_i x_i=β^TX$
模拟过程存在误差项
从以上的图中我们可以看到，我们理想中的这个平面只能尽量去贴合各个样本点，但是平面的预测值和真实值始终还是存在着误差的。机器学习的理论思想就是，我们的理论模型和现实模型必然是存在差异的，只要我们合理限制这个差异就可以了。ε用于表示该误差。图片上传失败，找到原因后再重新编辑
对于每个样本：$Y_i=β^TX_i+\varepsilon_i$
误差项符合高斯分布
我们的样本中有n个观测值就会有n个误差，因为每个样本都是独立的，所以这个误差是独立的。由于每个样本都是找同一家银行贷款，所以样本的误差具有相同的分布，并且是服从均值为0方差为$\theta^2$的高斯分布( 从实际出发，做出了这样一个假设，实际不会正好是均值为0方差为$\theta^2$的高斯分布，但结果证明这个假设可以被我们的机器学习模型所接受和认可)。

① 由于误差符合高斯分布：$p({\varepsilon_i}) =\dfrac1 {\sqrt{2\pi}\delta}exp(-\dfrac{(\varepsilon_i)^2}{2\delta^2})$

② 由 $Y_i=β^TX_i+\varepsilon_i$ 可以得到 $Y_i-β^TX_i=\varepsilon_i$

③ 将该公式带入高斯分布式：

$p(y_i|x_i;β)=\dfrac1{\sqrt{2\pi}\delta}exp(-\dfrac{(y_i-β^TX_i)^2}{2\delta^2})$
最大似然函数的引入
上面我们说到每个样本的残差ε属于正态分布，我们可以将样本的$\varepsilon_i$概率累乘，累乘的结果越大，意味着预测结果成为真实值的概率越大。
得到结果如下：

$L(β)={\prod_{i=1}^m}p(y_i|x_i;β) ={\prod_{i=1}^m} \dfrac1{\sqrt{2\pi}\delta}exp(-\dfrac{(y_i-β^TX_i)^2}{2\delta^2})$
然后将以上函数转化为对数似然，这样乘积就可以转化为累加的形式，更方便我们计算：

① $log(L(β))={\sum_{i=1}^m} \dfrac1{\sqrt{2\pi}\delta}exp(-\dfrac{(y_i-β^TX_i)^2}{2\delta^2})$

$=mlog \dfrac1{\sqrt{2\pi}\delta}-  \dfrac1{\delta^2}\dfrac12\sum_{i=1}^m(y_i-β^TX_i)^2$
② 由于$mlog \dfrac1{\sqrt{2\pi}\delta}$始终为正，$-  \dfrac1{\delta^2}\dfrac12\sum_{i=1}^m(y_i-β^TX_i)^2$ 始终为负，只有当$\sum_{i=1}^m(y_i-β^TX_i)^2$最小时，log(L(β))才能最大。
③ 通过化简，最终只需得到以下公式的最小值即可：

$J(β)=\dfrac1{2}\sum_{i=1}^{m}(y_i-β^Tx_i)^2$            (这就是所谓的最小二乘法）
自变量系数的估值求解
接下来我们需要解决什么样的β可以使J(β)这个值最小。
① 第一步我们需要对最小二乘公式求偏导

② 当偏导等于0时，我们就可以得出$β=(X^TX)^{-1}X_TY$

③ 而样本数据中x和y是已知的，β便可以被求解
评估β的估值是否合理
通过上述的推导和计算过程，我们可以得到β的估计值。但如何判断β的估计值的合理性呢，我将在下一部分进行探讨。

Pr=Probability(概率)
多元线性回归
yi=β0+β1*xi1+β2*xi2+……+ei；
原假设Ho为βj=0，即线性回归的系数为0.通常使用Pr>|t|小于α时拒绝原假设Ho，认为系数不为0；否则接受原假设Ho，认为系数为0，系数没有通过检验。
某水稻糙米含铬量的观测值

x1
1.37
11.34
9.67
0.76
17.67
15.91
15.74
5.41
x2
9.08
1.89
 
 
 
 
 
 
y
4.93
1.86
 
 
 
 
 
 
/* 数据段 */                                                                                        
data ex;                                                                                             
input x1-x2 y@@; cards;                                                                                                                                  
1.37 9.08 4.93 11.34 1.89 1.86 9.67 3.06 2.33                                             
0.76 10.2 5.78 17.67 0.05 0.06 15.91 0.73 0.43                                                           
15.74 1.03 0.87  5.41 6.25 3.86                                                                        
;                                                                                                                                       
/*程序段*/                                                                                              
proc reg;/*调用回归模块*/                                                                   
model y=x1 x2 /cli; /*对y关于x1做回归，/cli表示求预测值与预测区间*/                                                                     
run;     
运行结果如下： 

(1)回归方程显著性检验
由Analysis of Variance表可知，F Value=392.52,Pr>F  的值（Probability概率）小于0.0001，远小于0.05，故拒绝原假设，接受备择假设，认为y与x1和x2之间具有显著的线性相关关系；
由R-Square的值为0.9937可知该方程的拟合度很高，样本观察值有99.37%的信息可以用回归方程进行解释，故拟合效果较好，认为y与x1和x2之间具有显著的线性相关关系.
(2)参数显著性检验
由Parameter Estimates表可知，对自变量x2，t的检验值为t=2.12，Pr>|t|的值等于0.0879，大于0.05，因此接受原假设Ho：β2=0，认为x2的系数应为0，说明x2的系数没有通过检验，为此需要在程序model y=x1 x2中去掉x2.
再次运行得到如下结果：

由参数估计表可知，对常数检验t值为t=33.9，Pr>|t|的值小于0.0001，远小于0.05，说明截距项（即常数项Intercept）通过检验，估计值为5.62117.
对自变量x1分析同样可以得知，x1系数通过检验，估计值为-0.31911.
(3)拟合区间
Output Statistics为样本的拟合结果。

以上为样本的拟合结果，其中Dep Var y为因变量的原始值，Predicted Value为y的拟合值，95% CL Predict为拟合值95%的的拟合区间，Residual为残差。例如，
第一组原函数值为4.93，拟合区间为[4.4662,5.9018],残差为4.93 - 5.184 =-0.254.
综合以上分析可以得到回归方程
y=-0.31911*x1+5.62177.
附
dependent variable 1.应变量; 应变数 2.因变量 3.因变数
Predicted Value 预测值，拟合值
Residual 残差所谓残差是指观测值与预测值（拟合值）之间的差，即是实际观察值与回归估计值的差。
 

导航
上一章：一元线性回归模型

下一章：放宽基本假定的模型

文章目录
导航
3.1多元线性回归模型
一、多元线性回归模型
二、多元线性回归的基本假设
3.2多元线性回归模型的参数估计
四、参数统计量的统计性质
五、样本容量问题
3.3多元线性回归模型的统计检验
一、拟合优度检验
二、方程总体线性的显著性检验(F检验)
三、变量的显著性检验(t检验)
四、参数的置信区间
3.4多元线性回归模型的预测
3.5可化为线性的多元非线性回归模型
一、模型的类型与变换
三、非线性普通最小二乘法
3.6受约束回归
一、模型参数的线性约束
二、对回归模型增加或减少解释变量
三、参数的稳定性


3.1多元线性回归模型
一、多元线性回归模型
●多元线性回归模型的一般形式为：

Y=β0+β1*X1+β2*X1+⋯+βk*X1+μ

其中k为解释变量的数目, βj (j=0,1,⋯,k)称为回归系数。上式也被称为总体随机函数的随机表达形式。人们习惯上把常数项看作一个虚变量的参数，在参数估计过程中该虚变量的样本观测值始终取1。这样，模型中解释变量的数目为k+1.

●总体随机函数的非随机表达形式：

E(Y|X1,X2,⋯,Xk)=β0+β1*X1+β2*X1+⋯+βk*X1

可见，多元回归分析是以多个解释变量的给定值为条件的回归分析.上式表示，各解释变量X值给定时Y的平均响应。β_j也被称为偏回归系数，表示在其他解释变量保持不变的情况下，Xj每变化一个单位时，Y的均值E(Y)的变化。
二、多元线性回归的基本假设
●为了使参数估计量具有良好的统计性质，对多元线性回归模型可做出类似于一元线性回归分析那样的若干基本假设：

①回归模型是正确设定的。

②解释变量X1,X2⋯,Xk是非随机的或固定的，且各Xj之间不存在严格的线性相关性(无完全多重共线性)。

③各解释变量Xj在所抽取的样本中具有变异性，而且随着样本容量的无限增加，各个解释变量的样本方差趋近于一个非零的有限常数。

④随机误差项具有条件零均值、同方差及不序列相关。

⑤解释变量与随机项不相关

⑥随机项满足正态分布。
3.2多元线性回归模型的参数估计
●多元线性回归在满足3.1节所列出的基本假设的情况下，可采用如下方法进行参数估计：

①普通最小二乘法

②最大似然法

③矩估计法
四、参数统计量的统计性质
●当多元回归模型满足基本假设时，其参数的最小二乘估计、最大似然估计及距估计仍然具有线性性、无偏性和有效性。同时，随着样本容量增加，即当n→+∞时，参数估计量具有渐进无偏、一致性及渐进有效性。
五、样本容量问题
●所谓“最小样本容量”，即从最小二乘原理和最大似然原理出发，欲得到参数估计量，不管参数估计量的质量如何，所要求的样本容量的下限。即样本容量必须不少于模型中解释变量的数目(包含常数项),这就是最小样本容量。

●虽然满足最小样本容量，可以得到参数估计量。但当样本容量n太小时，除了参数估计量不好以外，一些建立模型所需的后续工作也无法进行。所以一般经验认为，当n>=30或者至少n>=3(k + 1)时，才能说满足模型估计的一般要求。

●如果出现样本容量较小，甚至少于“最小样本容量”的情况，那么只依靠样本信息是无法完成模型估计的。这时需要引入非样本信息，如先验信息和后验信息，并采用其他估计方法，如贝叶斯估计方法，才能完成模型的参数估计。
3.3多元线性回归模型的统计检验
一、拟合优度检验
●可决系数与调整的可决系数

可决系数：


ESS为回归平方和, RSS为残差平方和,TSS为总离差平方和.
调整后的可决系数：



调整的可决系数与可决系数之间的关系：



●赤池信息准则(AIC)和施瓦茨准则(SC)

为了比较所含解释变量个数不同的多元回归模型的拟合优度，常用AIC准则和SC准则，其定义分别为:


二、方程总体线性的显著性检验(F检验)
●方程总体线性的显著性检验，旨在对模型中被解释变量与解释变量之间的线性关系在总体上是否显著成立，作出推断。

●方程显著性的F检验

F检验思想来源于总离差平方和的分解式：

TSS=ESS+RSS

F检验的统计量：
![](https://img-blog.csdnimg.cn/20200308224518904.png#pic_center)
服从自由度为(k,n-k-1)的F分布。

因此，给定显著性水平α，当：F>Fα (k,n-k-1)时，拒绝原假设，则原方程线性关系显著；反之，当：F<Fα (k,n-k-1)时，不能拒绝原假设，则原方程线性关系不显著.

●关于拟合优度检验和方程总体线性的显著性检验之间的关系:



由上式可知F与R2同向变化。当R2=0时，F = 1,当R2=1时，F为无穷大。因此，F检验是所估计回归方程的总显著性的一个度量，也是R2的一个显著性检验，亦即，检验原假设H0:β1=0,β2=0,⋯βk=0,等价于检验R2=0这一虚拟假设.

我们在应用中，不必对R2过分苛求，重要的是考察模型的经济关系是否合理。
三、变量的显著性检验(t检验)
●在一元线性回归中，t检验和F检验是一致的。

F=t2

●没有绝对的显著性水平。关键是考察变量在经济关系上是否对解释变量有影响，显著性检验起到验证作用；同时，还要看显著性水平不太高的变量在模型中的作用，不要简单地剔除变量。
四、参数的置信区间
●在1-α的置信度下βj的置信区间是：


3.4多元线性回归模型的预测
●若给定样本以外的解释变量的观测值X0,可以得到被解释变量的预测值：



严格的说这只是被解释变量预测值的估计值，而不是预测值。为了进行科学的预测，还需求出预测值的置信区间，包括均值E(Y0)和点预测值Y0的置信区间。

●给定1-α的置信水平下E(Y0)置信区间：


●给定1-α的置信水平下Y0的置信区间：


3.5可化为线性的多元非线性回归模型
●在实际生活中，经济变量的关系是复杂的，直接表现为线性关系的情况并不多。但是这些非线性模型又可以通过一些简单地数学处理，使之化为数学上的线性关系，从而可以运用线性回归的方法建立线性计量经济学模型。
一、模型的类型与变换
●模型的类型与变换

1.倒数模型、多项式模型与变量的直接置换法

2.幂函数模型、指数函数模型与函数变换法

3.复杂函数模型与级数展开法
三、非线性普通最小二乘法
●普通最小二乘原理

●高斯-牛顿迭代法

●牛顿-拉弗森迭代法

无论是高斯-牛顿迭代法还是牛顿-拉弗森迭代法，都存在一个问题，即如何保证迭代所逼近的是总体极小值(即最小值)而不是局部极小值？这就需要选择不同的初值，进行多次迭代求解。
3.6受约束回归
一、模型参数的线性约束
●在同一数据样本下，记无约束样本回归模型的矩阵式为：



记受约束样本回归模型的矩阵式为：



可以证明：



受约束样本回归模型的残差平方和不小于无约束样本回归模型的残差平方和，且两者总离差平方和相等，于是，受约束样本回归模型的回归平方和ESSR不大于无约束样本回归模型的回归平方和ESSU。这意味着，通常情况下，对模型施加约束条件会降低模型的解释能力。

但是，如果约束条件为真，则受约束回归模型与无约束回归模型具有相同的解释能力，从而使得RSSR和RSSU的差异变小。于是，可用RSSR-RSSU的大小来检验约束条件的真实性。
●我们可以通过如下F统计量对约束条件的真实性进行检验：



根据该统计量，如果约束条件为真，则F统计量较小，不能拒绝原假设；如果约束条件为假，则F统计量较大，拒绝原假设。
二、对回归模型增加或减少解释变量
●建立回归模型时，一个重要的问题是如何判断增加重要的解释变量或去除不必要的解释变量。t检验可以对单个变量的取舍进行判断，而线性约束模型的F检验，则能对多个变量的取舍同时进行判断。
●考虑如下两个回归模型：



(1)可以看成是(2)施加了如下约束条件的受约束回归：



相应的F统计量为：



另一个等价的式子：


R2U和R2R分别为无约束和受约束回归方程的可决系数。
三、参数的稳定性
●邹氏参数稳定性检验

●邹氏预测检验

多元线性回归模型及stata实现：总论
一、模型
Y=β0+β1X1+β2X2+⋯+βnXn+e

Y: Dependent variable（因变量、应变量、反应变量、响应变量、被解释变量等）
X1、X2⋯Xn：Independent variable（自变量、解释变量、控制变量）

如果重点探究一个因素与另一个因素的作用时，纳入模型的其他X通常称为叫控制变量
β1、β2⋯βn：偏回归系数、回归系数（每个βn表示控制其他X时，Xn每增加一个单位，对Y的边际效应）
e: 残差项、残差、扰动项等（代表不包含在模型中的解释变量和其他一些随机因素对被解释变量的总影响项）
β0，截距，常数项。表示所有自变量为0时的Y值。（有时候需要注意，如果自变量不可能等于0，这个值的意义需要考虑；如果需要真实的截距值，可以用Xi-Xmin，Xi-Xmean替代每个Xi。）

残差的性质非常重要

二、条件/假设
2.1 严格最小二乘估计（OLS）的条件和假设

假设1： 因变量为连续变量（二值、有序、计数等永其他模型）
假设2：Y与X1、X2⋯Xn之间存在线性关系（当然：X可以为分类）
假设3：独立性：因变量Y取值相互独立，即残差间相互独立，不存在自相关。主要和抽样、时间序列数据等有关 | 采用自回归模型（Autoregressive model，简称AR模型，用x预测 x（自己）；所以叫做自回归）等解决。
假设4：残差方差齐性：标准化残差的大小不随变量取值的改变而改变（残差图）
假设5：正态性：就自变量的任何一个线性组合，应变量y均服从正态分布，即要求残差ei服从正态分布

个
假设6：自变量间不存在共线性
假设7：不受异常值影响
条件8：样本量至少为自变量个数的5~10倍，20倍以上为宜

注：学者认为，至少大于30个，最好100个以上就可以算大样本了

而且，以上部分假设和条件在一定条件下是可以放松的。
2.2 放松的OLS假设：大样本OLS

假设1、2、6、7、8是必须的（线性性、不存在共线性、不受强离群值影响、样本量充足是必须得）；

假设3、4、5会做在一定程度的放松；即残差的球形假定（独立、正态、等方差）相对放松。
三、条件/假设的stata验证
stata回归命令
regression Y X1 X2 X3……Xn
reg Y X1 i.X2 X3……Xn / 若存在分类变量，在变量名称前加上i. 即可，如i.X2；stata 里面的命令可以缩写，只要缩写不产生歧义即可；

条件/假设

1. 假设1的判断：直接看，possion回归等需要验证（已经不属于简单的多元线性回归了）；

2.线性性的判断： 分别做Y与每个X之间的散点图、拟合图。不满足时可以转换数据，加平方项、三次方项、分段回归等；
scatter Y X1
scatter Y X2
……
lowess Y X1 
lowess Y X2

3. 自相关的判断：如果抽样没问题，不是时间序列数据，一般不会有自相关。若针对时间序列数据，可以如下检验；
如果原数据不是时间序列数据，则需要自行定义一个：
 gen n=_n / 生成一个时间序列的标志变量n
 tsset n / 将这个数据集定义为依据时间序列标志变量n定义的时间序列数据

检验方法
(1) 绘制残差图
predict e,r  / 生成残差值
scatter eLe  / 生成残差散点图

(2)  DW检验（杜宾-瓦特森检验）
estat dwatson / 杜宾-瓦特森检验

若DW值在1.8-2.2之间时接受原假设，说明模型不存在一阶自相关，若DW值接近0或4，则拒绝原假设，认为存在一阶自相关。若落在模糊区域，则无法判断。

DW接近2，残差间相关性差

DW接近0，残差间正相关

DW接近4，残差负相关
(3)BG检验
estat bgodfrey / BG检验

若输出的P-Value显著小于0.05，则拒绝原假设，认为存在序列相关。
4. 残差方差齐性的判断：残差的方差齐下，用异方差检验、绘制残差图等；
white检验
 imtest,white /  white检验

如果输出的P-Value显著小于0.05，则拒绝原假设，认为存在异方差性。

残差图
reg Y X1 X2…… / 先做完回归
rvfplot

5. 残差正态性：绘制标准化残差的直方图、茎叶图、正态概率分布图（PP图）等；

残差的偏度、峰度等
predict  residual_1 , residual / 得到残差，取名residual_1 
histogram residual_1 / 方法1. 绘制直方图看看
sum residual_1 ，detail / 方法2. 可以选择通过偏度、峰度来看
qnorm residual_1 / 方法3 ，QQ图
sktest residual_1 / 正态性检验 也可以用 swilk residual_1, sfrancia residual_1等

6. 多重共线性：VIF检验；
estat vif / 方差扩大因子法检验

VIF需要用在线性回归之后，若为logistic回归，先替换为线性回归，做完再做vif检验。

一般认为：

VIF≥3，有多重共线性；

VIF≥6，比较严重多重共线性

VIF≥10，非常严重的多重共线性；
7. 异常值检验：变量描述、箱式图；
graph box Y / 方法1 ， 绘制Y的箱式图
sum Y，detail  /  方法2 ， 对Y进行详细描述

当然，绘制散点图的时候就能发现异常值。
四、不满足条件 / 假设的解决办法
1. 不满足线性关系：用非线性回归模型，或变量转换、加多次项（平方项、三次方项）、分段回归等

2. 不满足残差独立性：自回归（Autoregressive model，简称ARM）、广义估计方程(Generalized Estimated Equation, GEE，多层线性模型（multi-level analysis model）

3. 不满足残差方差齐性、正态性：使用稳健标准差、 加权最小二乘法(Weighted Least Squares,WLS)、分层回归(hierarchical multiple regression)等

4. 不满足多重共线性：剔除部分自变量、逐步回归法选择变量、岭回归(Ridge Regression)等

5. 样本量不足：增加样本含量

当然，以上假设和条件在一定条件下是可以放松的。
推荐阅读：

正态性/方差齐性检验stata实现

stata学习笔记
博客持续更新

主要参考

陈强 计量经济学

医咖会

知乎

其他互联网资料