大家都知道两个变量进行相关性分析，最简单的是建立两个变量的散点图，通过计算R的平方来判定两个变量的相关性。但是实际的研究中，一个因变量是受到很多因素影响的。比如植被覆盖度不仅受到温度的影响，还有降水量和积温等影响，所以在分析相关性时简单建立两个变量的散点图是无法很好地分析他们的影响机制的。那么此时需要建立多个变量的多元线性回归方程。下面以植被覆盖度的案例来进行分析。
案例：年尺度的综合因素对植被覆盖度的影响分析
注： 因变量为植被覆盖度
自变量为温度、降水量和积温
工具：excel
（1） 将数据进行归一化处理：将多年的数据在excel中整理好。对数据进行归一化处理的目的是为了将数据都规范到【0，1】之间，那么归一化的方法可以参考——归一化的方法，本案例采用的是最大值最小值的归一化方法。
（2）进行线性回归：借助excel分析工具对数据进行多元线性回归。此步骤参考文章——借助excel工具进行线性多元回归方法，此博客已经将步骤写的很清晰，请大家认真参考。
（3）数据分析：进行多元线性回归模型进行分析的时候，主要看这些参数：Multiple R、R Square、标准误差、coefficient(系数)、P-value（P检验值）。


其中Multiple R、R Square范围为【0，1】值越大模型越好。标准误差值越小模型越好。P-value的值小于0.05证明，此变量与因变量具有相关性，若小于0.01则高度相关。那么此案例的多元线性模型方程为：

可以发现降水量对植被覆盖度的贡献较大，变量系数达到了0.9，且P值小于0.01，说明降水量与植被覆盖度高度相关。而温度和积温对植被覆盖度的贡献较小。
（4）总结：相比于建立散点图的单个因素的分析，多元线性回归可以综合考虑多个因素对变量的影响，故在影响因素分析方面具有优势。希望以上对大家有多帮助！

长路漫漫…
唯有坚持…

若有疑问可以一起交流~

目录

一、回归分析的介绍与分类

二、多元线性回归模型的条件

1. 线性理解与内生性问题研究

2. 异方差问题

3. 多重共线性问题

---

一、回归分析的介绍与分类

回归分析的任务是：通过研究自变量X和因变量Y的关系，尝试去解释Y的形成机制，进而达到通过X去预测Y的目的

三个关键字：相关性、因变量Y、自变量X

常见的回归分析有五类（划分的依据是因变量Y的类型）：

• 线性回归：因变量Y为连续性数值变量，例如GDP的增长率

• 0-1回归：因变量Y为0-1型变量，例如P2P公司研究借款人是否能按时还贷，那么Y可以设计为二值变量，Y=0时代表可以还贷，Y=1时代表不能还贷

• 定序回归：因变量Y为定序变量 ，例如1表示不喜欢，2表示一般般，3表示喜欢

• 计数回归：因变量Y为计数变量，例如管理学中的RFM模型，F代表一定时间内，客户到访的次数，次数其实就是一个非负整数

• 生存回归：因变量Y为生存变量（截断数据），例如研究产品寿命，企业寿命和人的寿命，假设做吸烟对寿命的影响，选取的样本中老王60岁，但是老王此时身体很健康 ，不能等老王去世再做研究，所以只能记他的寿命为60+，这种数据就是截断的数据

回归分析的使命：

1. 识别重要变量，那些自变量X是同Y真的相关

2. 判断相关性的方向，正相关还是反相关

3. 要估计权重

回归分析的分类

数据的分类

• 横截面数据：在某一时点收集的不同对象的数据，eg：全国各省份2021年GDP数据

• 时间序列数据：在同一对象在不同时间连续观察所得的数据，eg：某地方每隔一小时测得的温度数据

• 面板数据：横截面数据和时间序列数据综合在一起的一种数据

• 

二、多元线性回归模型的条件

• 模型符合线性模式

• X满秩（无多重共线性）

• 零均值价值 E(ξi​∣Xi​)=0 （自变量外生）无内生性问题

• 同方差：Var(ξi​∣Xi​)=σ

• 无自相关：Cov(ξi​,Xi​)=0

1. 线性理解与内生性问题研究

回归分析中对线性的理解

回归分析中的线性假定并不要求初始模型都呈严格的线性关系，自变量和因变量可以通过变量替换来转换成线性模型

例如：

标准化回归系数

我们通常得到的回归方程中的回归系数都是非标准化回归系数，表示的是在其他自变量不变的时候，该系数对应的自变量每增加一个单位的量，因变量就增加该系数的值，体现的是对因变量绝对的影响，并不能去判断不同自变量之间谁对因变量的影响大；而标准化回归系数就是指对数据进行标准化处理

标准化处理：讲原始数据减去它的均数后除以它的标准差，计算得到新的变量值，消除了量纲、数量级等差异的影响

标准化处理后得到的回归方程即为标准化回归方程，使得不同变量间具有可变性，标准回归系数的绝对值越大即对因变量的影响最大（只关注显著的回归系数）

stata操作：在regress 后添加参数b

regress y x1 x2 ... xk, b

对数据进行描述性统计的方法

• excel数据分析

• stata-summarize

Stata工具的使用

1. 数据的描述性统计

   • 定量数据：summarize 变量1 变量2 ...

   • 定性数据：tabulate 变量名, (gen(A))

     返回对应这个变量的频率分布表，可选择并生成对应的虚拟变量（以A开头）

     虚拟变量是针对定性数据而设置的特殊变量详细解释看Chapter7

2. 回归分析

   regression y x1 x2 ... xk（默认采用的是OLS普通最小二乘法）

利用Stata对数据进行回归分析的注意点

解释：

1. 上表格第一行依次为SS（sum of squares），df（degree of freedom），MS（mean square）

2. 右边的F(df of model, df of residual) = MS of Model / MS of Residual = 7.7543e+10/5.1386e+9 = 15.09

3. F值的H0假设是：所有的自变量predictor都对y不会产生影响，即所有predictor的coef都=0，所有的predictor都不significant

4. 下面的prob > F是指上述H0成立的可能性。当其趋于0时表示至少会有一些predictor的coef不为0（即相关）——模型合理

5. Adj R-squared 由于R2存在一个问题：无论什么predictor加到模型中，R2都会变大。为了避免这个问题，adjR2惩罚了模型的复杂度

6. 下面这张表格的第一列为coef回归系数

7. 第二列为Coef的Std.Err，值越小说明Coef的值越可信

8. 第三列t值=Coef / Std.Err，|t-statistics| > 2对应的predictor就是significant

9. 第三列是p > |t|，表示prob > |t|，值小于0.05一般就是significant

核心关注点：

模型是否合理：联合显著性检验，如果P值<0.05说明存在相关性，否则不存在

置信度高低（系数显著与否）：如果P值（蓝色）<0.1说明置信度>90%，<0.05说明置信度大于95%，Regession coeffient显著

2. 异方差问题

第一张为同方差：生成的线性模型到每个数据的垂直水平距离相差无几就是同方差； 后面三张即为不同类型的异方差

异方差的检验

1. 残差图检验（应该是稳定的平行于X轴） Stata中的操作：

   • rvfplot （画残差与拟合值的散点图）

   • rvpplot x （画残差与自变量X的散点图）

2. 怀特检验（white检验） Stata中的操作： 

   estat imtest, white

        怀特检验的原假设：不存在异方差         若p值<0.05说明在置信度95%以上认为原假设不成立

异方差的纠正

1. OLS+稳健的标准差

   如果发现存在异方差，一 种处理方法是，仍然进行OLS 回归，但使用稳健标准误。这是最简单，也是目前通用的方法。只要样本容量较大，即使在异方差的情况下，若使用稳健标准误，则所 有参数估计、假设检验均可照常进行。换言之，只要使用了稳健标准误，就可以与异方差“和平共处”了。

   Stata的操作： 

   regress y x1 x2 ... xk, robust

2. 广义最小二乘法GLS

Stock and Watson (2011)推荐，在大多数情况下应该使用“OLS + 稳健标准误”

3. 多重共线性问题

表现:

• 系数估计值符号相反

• 某些重要的解释变量t值低但是R2不低

• 当一不太重要的解释变量被删除后，回归结果显著变化

原因：

• 某一解释遍历可以由其他解释变量线性表示

• 解释变量享有共同的时间趋势

• 由于数据收集的基础不够宽，某些解释变量可能会一起变动

• 一个解释变量是另一个的滞后，二者往往遵循一个趋势

检验（VIF）

Stata操作： 

estat vif

Soution

逐步回归分析

较好在生成线性模型时就能避免多重共线性问题

• 向前逐步回归Forward selection：将自变量逐个引入模型，每引入一个后都要进行检验，显著时才加入回归模型 
缺点：随着以后的自变量的引入，原来显著的自变量也可能变成不显著
• 向后逐步回归Backward elimination：与向前逐步回归相反，先将所有自变量添加，之后一个个地尝试将自变量从模型中剔除，看整个模型解释因变量的变异是否有显著变化，之后将最没有解释力的剔除，不断迭代，直到没有需要被剔除的

Stata操作：

Forward selection:

stepwise regress y x1 x2 ... xk, pe(#1)

pe(#1) specifies the significance level for addition to the model; terms with p<#1 are eligible for addition（eg#1=0.05，当p值小于0.05时，认为显著，才可以被添加到模型中）

Backward elimination:

stepwise regress y x1 x2 .. xk, pr(#2)

pr(#2) specifies thr significance level for removal from the model; terms with p>#2 are eligible for removal（eg#2=0.75，当p值大于0.75时，认为不显著，剔除模型）

注意：在stata中，只有regress才会自动排除完全多重共线性，而采用逐步回归stepwise regress则不会，所以需要手动剔除掉造成完全多重共线性的自变量；可以在后面添加参加b和r，即标准化回归系数或稳健标准误

---

前言

回归分析是数据分析中最基础也是最重要的分析工具，绝大多数的数据分析问题，都可以使用回归的思想来解决。回归分析的任务就是，通过研究自变量X和因变量Y的相关关系，尝试去解释Y的形成机制，进而达到通过X去预测Y的目的。

常见的回归分析有五类：线性回归、0‐1回归、定序回归、计数回归和生存回归，其划分的依据是因变量Y的类型。本讲我们主要学习线性回归。

---

一、回归分析的分类

二、分析流程

1. 参考文章1：总结下R语言进行简单多元回归的基本步骤
2. 参考文章2：回归分析 | R语言 – 多元线性回归
3. 参考文章3：spass回归分析的基本步骤_多元统计分析-细化多元线性回归分析模型及步骤
4. 参考文章4：整理：多元线性回归建模全过程

---

三、注意事项

5. 解释型回归分析不用关注R方，预测型回归需要关注R方。

6. 做回归时，有时候不需要对数据进行归一化处理。
3.最好使用向后逐步回归，而不是向前逐步回归。
4. 需要进行描述性统计。