终于找到一篇全面而又简洁的讲多元线性回归模型检验方法的文章
 PDF下载地址
 链接：https://pan.baidu.com/s/1UbyZcMC1VRTmlCEaX4Vybg
 提取码：g481
 
具体内容
 
一、经济意义检验
 经济意义检验主要检验模型参数估计量在经济意义。其表现为检验求得的参数估计值的符号与大小是否合理，是否与根据人们的经验和经济理论所拟定的期望值相符合。如果不符，则要查找原因和采取必要的修正措施，重新建立模型。 
二、统计检验
 
1.拟合优度检验(${R^2}$检验) 拟合优度检验是检验回归方程对样本观测值的拟合程度，即检验所有解释变量与被解释变量之间的相关程度。 
2.方程显著性检验(F检验)
 方程显著性检验就是对模型中解释变量与被解释变
 量之间的线性关系在总体上是否显著成立作出推断。即
 检验被解释变量Y与所有解释变量戈l，石2，……，菇^之间
 的线性关系是否显著，方程显著性检验所应用的方法是
 数理统计学中假设检验。
 
3.变量显著性检验(t检验)
 R2检验和F检验都是将所有的解释变量作为一个整体来检验它们与被解释变量Y的相关程度以及回归效果，但对于多元回归模型，方程的总体显著性并不意味每个解释变量对被解释变量Y的影响都是显著的。如果某个解释变量并不显著，则应该从方程中把它剔除，重新建立更为简单的方程。所以必须对每个解释变量进行显著性检验。
 
三、计量经济学检验
 计量经济学检验是由计量经济学理论决定的，目的 在于检验模型的计量经济学性质。通常检验准则有随机 误差项的序列相关检验和异方差性检验，解释变量的多 重共线性检验等，其中最常用的是随机误差项的序列相 关检验。 在回归分析法中，假设随机误差项在不同的样本点 之间是不相关的，即si与8i(i≠_『)相互独立。但在实际 问题中，经常出现与此相违背的情况，占i与si(i≠．『)之 间存在相关性，称为序列相关。若存在序列相关，则此时 的回归模型无效，必须重新建立回归模型。 在序列相关中，最常见的是一阶自相关即占i与sf+l 相关，而对一阶自相关最常用的检验方法是DW检验法 
模型预测检验
 预测检验主要检验模型参数估计量的稳定性以及相对样本容量变化时的灵敏度，确定所建立的模型是否可以用于样本观测值以外的范围，即模型的所谓超样本特性。具体检验方法为： 
①利用扩大了的样本重新估计模型参数，将新的估计值与原来的估计值进行比较，并检验二者之间差距的显著性。
 ②将所建立的模型用于样本以外某一时期的实际预测，并将该预测值与实际观测值进行比较，并检验二者之间差距的显著性。

多元线性回归模型通常用来研究一个应变量依赖多个自变量的变化关系，如果二者的以来关系可以用线性形式来刻画，则可以建立多元线性模型来进行分析。
 
1.t检验
 
t检验是对单个变量系数的显著性检验，一般看p值； 如果p值小于0.05表示该自变量对因变量解释性很强。
 
2.F检验
 
F检验是对整体回归方程显著性的检验，即所有变量对被解释变量的显著性检验     
 
   
 
 
 
    
 
F检验其通常是用来分析用了超过一个参数的统计模型，以判断该模型中的全部或一部分参数是否适合用来估计母体。
 
3.P值
 
P值就是t检验用于检测效果的一个衡量度，t检验值大于或者p值小于0.05就说明该变量前面的系数显著，选的这个变量是有效的。
 
4.R方
 
拟合优度检验
 
   
 
R平方也有其局限性：R平方随着自变量的增加会变大，R平方和样本量是有关系的。因此，我们要到R平方进行修正。得到R平方值adjusted，来评判线性回归模型的拟合度。修正的方法：
 
     
 
n为样本数量，p为特征数量
 
消除了样本数量和特征数量的影响
5.调整后的R方
 
 
t检验 --用于对各变量系数显著性检验 --判断标准：一般用p值 0.05来衡量  小于0.05 显著    大于0.05不显著
 
 F检验 --整体回归方程显著性检验（所有自变量对因变量的整体解释） --判定：  需查统计分布表来确定
 
P值：就是用于t检验和F检验的衡量指标。
 
R方：整体回归方程拟合优度检验，R方的结果越接近于1越好，但是R方会因增加变量而增大，所以引进了调整R方检验。
 
调整R方：对R方检验的提升，避免受增加变量对R方的影响，配合向后删除模型观测。
 
不显著的原因概述：不显著有很多原因造成，可能是你的这个变量本身与被解释变量没有相关关系，所以不显著；也可能是解释变量过多，由多重共线性引起，也可能是其他原因。
 
 
 
在进行多元线性回归时，常用到的是F检验和t检验，F检验是用来检验整体方程系数是否显著异于零，如果F检验的p值小于0.05，就说明，整体回归是显著的。然后再看各个系数的显著性，也就是t检验，计量经济学中常用的显著性水平为0.05，如果t值大于2或p值小于0.05就说明该变量前面的系数显著不为0，选的这个变量是有用的。
 
https://www.cnblogs.com/tinglele527/p/12015449.html

https://editor.csdn.net/md/?articleId=105137945
 其实上一篇讨论的多元线性回归还不是很全面，而且训练和测试集都没有分，在这里继续讨论多元线性回归模型检验的相关问题。
 
只要有P值的出现，样本量不超过5000，比如线性回归和逻辑回归；搞清楚算法背后的逻辑才是比较重要的。
 
多元线性回归需要关注一些什么点？R2和模型稳定性，也就是那些β是不是稳定的，检验模型是不是稳定需要对模型进行诊断。
 
多元线性回归的输出变量是连续变量，输入变量中如果包含离散变量需要做哑变量或One-hot编码，连续变量可以直接用来建模。
 
 
多元线性回归假设解释
 
多元线性回归需要满足的假设其实是比较强的，但是在机器学习或者是数据挖掘领域，后3条针对误差项（其实就是残差）的假设基本上被忽略了。
 第1条： 看因变量y和自变量x之间的关系，可以通过绘制散点图，确定是线性、二次函数还是指数函数关系，根据这个来建立x和y之间的关系。后面的神经网络和SVM等模型就是为了方便找到x和y之间的关系。
 第2条： 解释变量和随机扰动项不存在线性关系。我们想象一下，如果他们之间存在线性关系的话，是不是会导致回归系数估计的不准确啊，举个例子解释变量y是收入，x是受教育程度，并假设回归方程是 y = 0.5x + e，设想如果扰动项里面包含父母收入，实际上父母收入会影响孩子的收入y，那么回归系数估计值0.5是不是偏高了啊。那怎么解决这个问题呢，那就多纳入一些变量来参与建模吧，这也是多元线性回归存在的必要性，同时这也引出了一个变量筛选的问题。
 第3条：解释变量之间不存在线性关系（或强相关）。在建模时，我们不但需要估计回归系数的均值，还需要估计回归系数的标准差：S（β）= S（e）/ |x|，那么如果解释变量x之间存在线性关系的话，分母趋向于0了，回归系数标准差趋于无穷大，所以多重共线性问题是需要去避免的。
 
多元线性回归诊断方法
 
如果扰动项是右偏，那么残差图肯定是异方差分布，取对数即可，所以下图中假设5和假设4可以说是一致的。
 
 
多元线性回归模型的诊断
 
（1）残差分析：实际上当残差不包含任何信息的时候是最好的，如果还包含一些信息，需要把这个信息提取出来。残差图的纵坐标是残差，横坐标可以是各个解释变量x，实际上在做单变量分析，解释变量x被解释变量y做相关性分析的时候就知道了；比如某个解释变量x和被解释变量y都是右偏，那么残差图肯定是异方差，同时取对数重新建模；如果某个解释变量x和被解释变量y存在抛物线关系，那么加入二次项重新进行建模；自相关一般在时间序列数据中比较常见。
 
 
 （2）强影响点分析：
 为什么要做强影响点分析？？？因为有了强影响点的存在之后，会把本来没有关系的数据带出关系来，而且这个关系特别不稳定。比如下图，本来数据点之间没有什么关系，但是因为强影响点的存在之后，给数据带出来了这么一个线性关系出来，但这个关系是非常不稳定的，不具有大众性。
 
 怎么解决强影响点分析问题？？？学生化残差（只做一次）。
 
|SR| = (残差 - 残差均值) / 残差标准差。
 |SR| > 2，剔除掉满足条件的记录（几百个样本）
 |SR| > 3，剔除掉满足条件的记录（几千个样本）
 
（3）共线性问题
 可以参考下面的链接：https://www.sohu.com/a/326904117_100103806
 共线性的判别指标：膨胀系数VIF、相关系数
 共线性的解决方法：根据VIF和相关系数手动剔除变量、逐步回归法、岭回归。

 
文章目录
 
1，概念
2，用Excel进行多元线性回归
1，删掉表里的不需要的项，即非数据项
2，分析数据库
   
3，代码方式实现多元线性回归
1，导入包
2，读取文件
3，取出变量
4，进行多元线性回归并得出结果
5，结果
6，检测异常
7，得到异常集并进行丢弃
8，取出自变量和因变量
9，进行多元线性回归
10，结果
   
4，用线性回归模型的统计学库实现
1，导入函数
2，进行预测
3，检验一下
4，去掉bedroom，再次建模
   
5，分析
6，总结
7，参考
 

 
1，概念
 
在回归分析中，如果有两个或两个以上的自变量，就称为多元回归。事实上，一种现象常常是与多个因素相联系的，由多个自变量的最优组合共同来预测或估计因变量，比只用一个自变量进行预测或估计更有效，更符合实际。因此多元线性回归比一元线性回归的实用意义更大。
 
2，用Excel进行多元线性回归
 
1，删掉表里的不需要的项，即非数据项
 
 
2，分析数据库
 
在数据出鼠标右击
 
 然后点击自定义功能区，点击加载项，再点击转到
 再点击分析工具库，点击确定
 
 再点击数据，点击右边的数据分析
 
 
选择回归
 
 在这里输入x和y的输入区域
 
 然后就会生成另一个文件，点开
 可以看到intercept为截距，下面几行就是对应自变量的系数
 
3，代码方式实现多元线性回归
 
1，导入包
 
import pandas as pd
import numpy as np
import seaborn as sns
from sklearn import datasets
from sklearn.linear_model import LinearRegression

 
2，读取文件
 
df = pd.read_csv('C:\\Users\\hp\\Desktop\\house_prices.csv')
df.info()#显示列名和数据类型类型
df.head(6)#显示前n行，n默认为5

 
注意，这里的df = pd.read_csv(）中填的是csv文件路径，就是我们要读取的文件的路径，根据每个人的不同
 
3，取出变量
 
#取出自变量
data_x=df[['area','bedrooms','bathrooms']]
data_y=df['price']

 
4，进行多元线性回归并得出结果
 
# 进行多元线性回归
model=LinearRegression()
l_model=model.fit(data_x,data_y)
print('参数权重')
print(model.coef_)
print('模型截距')
print(model.intercept_)

 
5，结果
 
 
6，检测异常
 
# 异常值处理
# ================ 异常值检验函数：iqr & z分数 两种方法 =========================
def outlier_test(data, column, method=None, z=2):
    """ 以某列为依据，使用 上下截断点法 检测异常值(索引) """
    """ 
    full_data: 完整数据
    column: full_data 中的指定行，格式 'x' 带引号
    return 可选; outlier: 异常值数据框 
    upper: 上截断点;  lower: 下截断点
    method：检验异常值的方法（可选, 默认的 None 为上下截断点法），
            选 Z 方法时，Z 默认为 2
    """

    if method == None:
        print(f'以 {column} 列为依据，使用 上下截断点法(iqr) 检测异常值...')
        print('=' * 70)
        # 四分位点；这里调用函数会存在异常
        column_iqr = np.quantile(data[column], 0.75) - np.quantile(data[column], 0.25)
        # 1，3 分位数
        (q1, q3) = np.quantile(data[column], 0.25), np.quantile(data[column], 0.75)
        # 计算上下截断点
        upper, lower = (q3 + 1.5 * column_iqr), (q1 - 1.5 * column_iqr)
        # 检测异常值
        outlier = data[(data[column] <= lower) | (data[column] >= upper)]
        print(f'第一分位数: {q1}, 第三分位数：{q3}, 四分位极差：{column_iqr}')
        print(f"上截断点：{upper}, 下截断点：{lower}")
        return outlier, upper, lower
    # ===================== Z 分数检验异常值 ==========================
    if method == 'z':
        print(f'以 {column} 列为依据，使用 Z 分数法，z 分位数取 {z} 来检测异常值...')
        print('=' * 70)
        mean, std = np.mean(data[column]), np.std(data[column])
        upper, lower = (mean + z * std), (mean - z * std)
        print(f"取 {z} 个 Z分数：大于 {upper} 或小于 {lower} 的即可被视为异常值。")
        print('=' * 70)
        # 检测异常值
        outlier = data[(data[column] <= lower) | (data[column] >= upper)]
        return outlier, upper, lower

 
7，得到异常集并进行丢弃
 
outlier, upper, lower = outlier_test(data=df, column='price', method='z')#获得异常数据
outlier.info(); outlier.sample(5)
df.drop(index=outlier.index, inplace=True)#丢弃异常数据

 
8，取出自变量和因变量
 
#取出自变量
data_x=df[['area','bedrooms','bathrooms']]
data_y=df['price']

 
9，进行多元线性回归
 
# 进行多元线性回归
model=LinearRegression()
l_model=model.fit(data_x,data_y)
print('参数权重')
print(model.coef_)
print('模型截距')
print(model.intercept_)

 
10，结果
 
 
4，用线性回归模型的统计学库实现
 
1，导入函数
 
数据的预处理都是一样的，只是后面的导入的函数不一样了
 
# 对名义变量neighborhood进行处理
# 设置虚拟变量
nominal_data = df['neighborhood']
# 设置虚拟变量
dummies = pd.get_dummies(nominal_data)
dummies.sample() # pandas 会自动帮你命名
# 每个名义变量生成的虚拟变量中，需要各丢弃一个，这里以丢弃C为例
dummies.drop(columns=['C'], inplace=True)
dummies.sample()
# 对名义变量style进行处理
# 设置虚拟变量
nominal_style_data = df['style']
# 设置虚拟变量
style_dummies = pd.get_dummies(nominal_style_data)
style_dummies.sample() # pandas 会自动帮你命名
# 每个名义变量生成的虚拟变量中，需要各丢弃一个，这里以丢弃lodge
#原因：转化后的虚拟变量需要舍弃一个，才能得到满秩矩阵，可理解为当变量名可划分为n类时，只需要n-1个虚拟变量就能获取所有信息了
style_dummies.drop(columns=['lodge'], inplace=True)
style_dummies.sample()
#数据拼接
results = pd.concat(objs=[df, dummies], axis='columns') # 按照列来合并
results = pd.concat(objs=[results, style_dummies], axis='columns') # 按照列来合并
results.sample(3)

 
2，进行预测
 
from statsmodels.formula.api import ols
#使用虚拟变量
lm = ols('price ~ area + bedrooms + bathrooms + A + B', data=results).fit()
lm.summary()

 
 
3，检验一下
 
def vif(df, col_i):
    """
    df: 整份数据
    col_i：被检测的列名
    """
    cols = list(df.columns)
    cols.remove(col_i)
    cols_noti = cols
    formula = col_i + '~' + '+'.join(cols_noti)
    r2 = ols(formula, df).fit().rsquared
    return 1. / (1. - r2)
test_data = results[['area', 'bedrooms', 'bathrooms', 'A', 'B']]
for i in test_data.columns:
    print(i, '\t', vif(df=test_data, col_i=i))

 
可以看到bedroom和bathroom相关程度较高
 
4，去掉bedroom，再次建模
 
# 去掉bedroom再次建模
lm = ols(formula='price ~ area + bathrooms + A + B', data=results).fit()
lm.summary()

 
成功
 
5，分析
 
不进行数据处理时，用jupyter和使用excel进行数据分析的结果没有不同，但是数据清理之后差别还是挺大的，在就行了多元共线性检测后，结果更为合理
 
6，总结
 
初步了解了多元线性回归的步骤，也清楚了异常数据对于回归方程的影响，明白了Excel和jupyter的差别
 
7，参考
 
Excel-一元线性回归和多元线性回归（借助数据分析功能和直接计算）
 
线性回归分析