0.多元线性回归

多元线性回归是统计学中经常用到回归方法，一般需满足一下六个条件：

随机误差项是一个期望值或平均值为0的随机变量；

对于解释变量的所有观测值，随机误差项有相同的方差；

随机误差项彼此不相关；

解释变量是确定性变量，不是随机变量，与随机误差项彼此之间相互独立

解释变量之间不存在精确的(完全的)线性关系

随机误差项服从正态分布。

但以上六个条件算是比较严格的条件，在实践中大部分情况下难以满足。由于无法满足假设条件，因此多元线性回归也经常遇到多重共线性、自相关、异方差等问题。下面就总结下这三个常见的问题。

1.多重共线性

多重共线性是解释变量存在线性关系或者近似的线性关系，多重共线性影响的模型一般为底层是线性的模型，例如：回归、SVM等

如果变量间不存在多重共线性，则变量系数组成的矩阵应该是满秩的，且变量间不存在共线性不代表变量间不存在非线性关系

产生变量相关性的原因有很多，一般为经济变量之间的相同变化趋势，模型中包含滞后变量和截面数据等等

1.1多重共线性的检验

计算相关系数，因为相关系数是对线性相关的度量

对于线性回归来说，删除或者增加变量系数是不是有较大变化

系数的正负号是否与现实相违背

系数通不过显著性检验

变量之间做回归，计算可决系数和VIF=1/(1-可决系数)来度量，也称为方差扩大因子法

1.2多重共线性的影响后果

共线性使最小二乘法预估的参数不确定且估计值方差较大，方差较大又会导致参数的置信区间增大

回归显著但是回归系数通不过检验，甚至会出现回归系数的正负号的不到合理的解释

但是如果遇到必须使用这些变量度量且为了预测Y，则可以对这些变量进行线性组合

1.3多重共线性的处理方法

删除变量--这个方法一般不推荐使用，因为删除变量会导致异方差增大，异方差后面会讲到

增加样本容量--这个好像现实中也不是很好实现，毕竟能用的数据肯定都会用的，时效性不强的也没太大用

变换模型--对数据求差分；计算相对指标；吧相关变量做线性组合，即小类合并成大类；----比较靠谱的做法

逐步回归----常用方法，添加删除变量之后做可决系数、F检验和T检验来确定是否增加或者剔除变量，若果增加变量对这些指标的影响较小，也认为指标为多余的，如果增加指标引起R和F的变动且通不过T检验，说明存在共线性---常常使用的方法

岭回归---但是岭回归的参数k不好选择，k的选择严重影响方差和偏倚程度

2.异方差性

什么是异方差呢，我们前面写线性回归的时候说过，做线性回归应假定随机扰动项满足l平均值和同方差，同方差表示的是所有变量对其均值的分散程度相同，由于u=0，所以也可以说是Y围绕回归线均值的分散程度，但是如果u对不同x呈现的离散程度不同，则称u具有异方差性，也就是被解释变量的观测值分散程度随着解释变量的变化而 变化，也可以说异方差是某个解释变量引起的

2.1产生异方差的原因

模型的设定(例如多重共线性变量的删除，但是变量与y具有相关性，也会产生异方差)

测量误差和截面数据的影响

2.3异方差的影响

存在异方差将不能保证最小二乘法估计的方差最小，但是模型的拟合依然是无偏性和一致性，但不具有有效性，即不具有最小方差

异方差会导致参数的方差增大，如果还是使用不存在异方差时的方法进行估计，则会低估参数方差

破坏t检验和f检验的有效性

image

由于参数估计不满足方差最小，所以不是有效的，则对Y的预测也是无效的

2.4异方差的检验

相关图检验---观察随着x的增加y的离散程度是否增加，如果增加说明存在递增的异方差

残差图分析

image

image

image

White检验

基本思想是如果存在异方差，x与u存在相关关系，所以white检验不但可以检验异方差，还可以检验时哪个变量导致的异方差，但该方法要求大样本，但是解释变量过多又会导致丧失自由度，所以一般用u与预测值y和y的平方做回归，用F检验检验是否存在异方差，H0所有系数为0不存在异方差，否则存在异方差

2.5异方差的处理

加权最小二乘法

方差越小，样本偏离均值的程度越小，越重视，权重越大，否则越小，一般权重使用1/x,1/x2,1/根号x

模型对数变换，log之后缩小了异方差的范围

3.自相关

自相关即u存在自相关，即cov(u)不等于0，不满足线性回归的假定

3.1自相关产生的原因

经济活动滞后和经济系统的惯性

3.2自相关的后果

存在自相关将不能保证最小二乘法估计的方差最小，但是模型的拟合依然是无偏性和一致性，但不具有有效性，即不具有最小方差，所以估计的参数不是最佳线性无偏估计

低估真实的方差会导致高估t检验的值，夸大参数显著性，本来不重要的变量会变为重要的变量，失去t检验的意义

方差的变大导致预测变量的区间增加，降低了预测的精度

3.3自相关的检验

残差图---et与e(t-1)的相关图

DW检验

但是DW检验的前提条件较多，首先需要u为一阶自回归，而且回归必须存在常数项

image

image

image

image

3.4自相关的处理

差分法

科克伦--奥克特迭代

基本思想是对变量回归，求残差u，u=相关系数*u(t-1)+随机扰动项

然后根据计算出来的相关系数做差分，yt-相关系数y(t-1)=yt

用yt和xt做回归

然后令最终计算的参数=上一步计算的参数/(1-上一步的相关系数)

迭代直到两次相关系数相差很小时作为最佳的相关系数

多元线性回归模型是一种简单而且有效的数学模型，一直在各领域广泛使用。一个多元回归模型建好后，如何评价模型的优劣呢？

1. F值检验

因变量的总变异(数据与均值之差的平方和，记为SS_total)由回归平方和(因变量的变异中可以由自变量解释的部分，记为SSR)与误差平方和(记为SSE)构成，如果自变量引起的变异大于随机误差引起的变异，则说明因变量与至少一个自变量存在线性关系。回归平方和与误差平方和的比值记为F，F值服从F分布，通过查F分布概率表可得F值对应的概率，从而判断是否存在统计学意义。F值越大越好。

2. 偏回归系数检验

通过了F检验只说明因变量至少和一个自变量存在线性关系，但不是所有x都跟y存在线性关系。对每个变量的回归系数分别作t检验，假设回归系数为0，得到的概率值越小越好，一般取0.05作为临界值。

3. 标准化偏回归系数

y和x均经过标准化，均值为0，标准差为1，此时的回归结果常数项为0.消除了量纲的影响，更能直观表示自变量对因变量的影响。如果某项回归系数接近0，则说明该自变量与因变量的不具有线性关系，应当剔除。

4. 复相关系数R

指的是因变量与因变量的估计值(回归后得出的值)之间的简单线性相关系数，范围在0-1之间，一般来说，R值应大于0.9，但在某些社会科学研究中只要求R大于0.4，这是因为在社会科学研究中存在大量对因变量有影响却无法进行量化的因数，无法纳入模型研究。值得注意的是，即使向模型增加的变量没有统计学意义，R值也会增加，所以R值只作为参考。

5. 决定系数R²

因变量总变异中由模型中自变量解释部分的比例。也是越大越好，但是存在与R同样的问题。

R²=SSR/SS_total=1-SSE/SS_total

6.校正的决定系数R²_adj

将自变量的个数纳入了考量范围，解决了R² 的局限性，不会随着自变量的增加而增加。当模型中增加的自变量缺乏统计学意义时，校正的决定系数会减小。该项系数越大越好。

R²_adj=1-(n-1)(1- R²)/(n-p-1) n表示样本量，p表示模型中自变量个数

7.剩余标准差

误差均方的算术平方根，该值应明显小于因变量的标准差，越小越好。说明在引入模型自变量后，因变量的变异明显减小。

8. 赤池信息准则AIC

包含两部分，一部分反映拟合精度，一部分反映模型繁简程度(自变量个数越少模型越简洁)，该值越小越好。值得注意的是，用最小二乘法拟合模型与用最大似然估计拟合的模型，其AIC计算方法是不一样的，所以用AIC进行模型比较时应注意拟合的方法是相同的才行。

最小二乘法拟合时：AIC=nln(SSE/n)+2p

最大似然估计拟合时：AIC=-2ln(L)+2p L为模型的最大似然函数

以上8种数据很多统计软件都能方便地输出。

9.预测效果

在数据量较大时，可留一部分数据用作预测，根据预测结果判断模型优劣。