多元线性回归模型通常用来研究一个应变量依赖多个自变量的变化关系，如果二者的以来关系可以用线性形式来刻画，则可以建立多元线性模型来进行分析。
 1.模型简介
 1.1模型的结构
 多元线性回归模型通常用来描述变量y和x之间的随机线性关系，即：
 
 如果对y和x进行了x次观测，得到n组观察值yi,x1i,…,xki(i=1,2,…,n),他们满足一下关系式：
 
 
 1.2模型参数的检验
 在正态假定下，如果X是列满秩的，则普通线性回归模型的参数最小二乘估计为：
 
 于是y的估计值为：
 
 （1）回归方程的显著性检验
 
 （2）回归系数的显著性检验
 
 2.建模步骤
 （1）根据数据建立回归模型
 （2）对模型进行显著性检验
 （3) 对模型进行回归诊断
 3.建模
 
library(car)
a=read.table("C:/Users/MrDavid/data_TS/reg.csv",sep=",",header=T)
a
lm.salary=lm(锘縴~x1+x2+x3+x4,data=a)
summary(lm.salary)
#注：锘縴是y乱码之后的结果
 

 发现x2,x3,x4系数不显著。
 （2）对变量进行选择
 
lm.step=step(lm.salary,direction="both")
 

 如果去掉变量x2,AIC的值为648.49，如果去掉变量x3,AIC的值为650.85，如果去掉变量x1,AIC的值为715.19，所以在这里去掉x2.
 进行下一轮的计算：
 
lm.salary=lm(锘縴~x1+x3+x4,data=a)
lm.step=step(lm.salary,direction="both")
 

 发现去掉x3，AIC 的值为647.64，所以去掉x3.
 单独对x1和x4，进行拟合。
 
lm.salary=lm(锘縴~x1+x4,data=a)
summary(lm.salary)
 

 可以看出F检验P值小于0.05显著，各个参数系数也是显著的。
 （3）对上述回归模型进行回归残差诊断
 
算出模型的标准化残差
 
library(TSA)
y.rst=rstandard(lm.step)
y.rst
 

 画出其残差散点图：
 
 很明显发现4和35号点异常，将这两个点去除。
 
lm.salary=lm(log(锘縴)~x1+x2+x3+x4,data=a[-c(4,35),])
lm.step=step(lm.salary,direction="both")
y.rst=rstandard(lm.step)
y.fit=predict(lm.step)
plot(y.rst~y.fit)
 
去除两点后的结果：
 
 
 绘制模型诊断图：
 
par(mfrow=c(2,2))
plot(lm.step)
influence.measures(lm.step)
 

 残差拟合图基本上呈现随机分布模式，正态Q-Q图基本落在直线上，表明残差服从正态分布；大小-位置图和残差-杠杆图以小组的形式存在并且离中心不远。这说明3，4，35号观测值可能是异常点和强影响点。

https://editor.csdn.net/md/?articleId=105137945
 其实上一篇讨论的多元线性回归还不是很全面，而且训练和测试集都没有分，在这里继续讨论多元线性回归模型检验的相关问题。
 
只要有P值的出现，样本量不超过5000，比如线性回归和逻辑回归；搞清楚算法背后的逻辑才是比较重要的。
 
多元线性回归需要关注一些什么点？R2和模型稳定性，也就是那些β是不是稳定的，检验模型是不是稳定需要对模型进行诊断。
 
多元线性回归的输出变量是连续变量，输入变量中如果包含离散变量需要做哑变量或One-hot编码，连续变量可以直接用来建模。
 
 
多元线性回归假设解释
 
多元线性回归需要满足的假设其实是比较强的，但是在机器学习或者是数据挖掘领域，后3条针对误差项（其实就是残差）的假设基本上被忽略了。
 第1条： 看因变量y和自变量x之间的关系，可以通过绘制散点图，确定是线性、二次函数还是指数函数关系，根据这个来建立x和y之间的关系。后面的神经网络和SVM等模型就是为了方便找到x和y之间的关系。
 第2条： 解释变量和随机扰动项不存在线性关系。我们想象一下，如果他们之间存在线性关系的话，是不是会导致回归系数估计的不准确啊，举个例子解释变量y是收入，x是受教育程度，并假设回归方程是 y = 0.5x + e，设想如果扰动项里面包含父母收入，实际上父母收入会影响孩子的收入y，那么回归系数估计值0.5是不是偏高了啊。那怎么解决这个问题呢，那就多纳入一些变量来参与建模吧，这也是多元线性回归存在的必要性，同时这也引出了一个变量筛选的问题。
 第3条：解释变量之间不存在线性关系（或强相关）。在建模时，我们不但需要估计回归系数的均值，还需要估计回归系数的标准差：S（β）= S（e）/ |x|，那么如果解释变量x之间存在线性关系的话，分母趋向于0了，回归系数标准差趋于无穷大，所以多重共线性问题是需要去避免的。
 
多元线性回归诊断方法
 
如果扰动项是右偏，那么残差图肯定是异方差分布，取对数即可，所以下图中假设5和假设4可以说是一致的。
 
 
多元线性回归模型的诊断
 
（1）残差分析：实际上当残差不包含任何信息的时候是最好的，如果还包含一些信息，需要把这个信息提取出来。残差图的纵坐标是残差，横坐标可以是各个解释变量x，实际上在做单变量分析，解释变量x被解释变量y做相关性分析的时候就知道了；比如某个解释变量x和被解释变量y都是右偏，那么残差图肯定是异方差，同时取对数重新建模；如果某个解释变量x和被解释变量y存在抛物线关系，那么加入二次项重新进行建模；自相关一般在时间序列数据中比较常见。
 
 
 （2）强影响点分析：
 为什么要做强影响点分析？？？因为有了强影响点的存在之后，会把本来没有关系的数据带出关系来，而且这个关系特别不稳定。比如下图，本来数据点之间没有什么关系，但是因为强影响点的存在之后，给数据带出来了这么一个线性关系出来，但这个关系是非常不稳定的，不具有大众性。
 
 怎么解决强影响点分析问题？？？学生化残差（只做一次）。
 
|SR| = (残差 - 残差均值) / 残差标准差。
 |SR| > 2，剔除掉满足条件的记录（几百个样本）
 |SR| > 3，剔除掉满足条件的记录（几千个样本）
 
（3）共线性问题
 可以参考下面的链接：https://www.sohu.com/a/326904117_100103806
 共线性的判别指标：膨胀系数VIF、相关系数
 共线性的解决方法：根据VIF和相关系数手动剔除变量、逐步回归法、岭回归。

 
文章目录
 
1，概念
2，用Excel进行多元线性回归
1，删掉表里的不需要的项，即非数据项
2，分析数据库
   
3，代码方式实现多元线性回归
1，导入包
2，读取文件
3，取出变量
4，进行多元线性回归并得出结果
5，结果
6，检测异常
7，得到异常集并进行丢弃
8，取出自变量和因变量
9，进行多元线性回归
10，结果
   
4，用线性回归模型的统计学库实现
1，导入函数
2，进行预测
3，检验一下
4，去掉bedroom，再次建模
   
5，分析
6，总结
7，参考
 

 
1，概念
 
在回归分析中，如果有两个或两个以上的自变量，就称为多元回归。事实上，一种现象常常是与多个因素相联系的，由多个自变量的最优组合共同来预测或估计因变量，比只用一个自变量进行预测或估计更有效，更符合实际。因此多元线性回归比一元线性回归的实用意义更大。
 
2，用Excel进行多元线性回归
 
1，删掉表里的不需要的项，即非数据项
 
 
2，分析数据库
 
在数据出鼠标右击
 
 然后点击自定义功能区，点击加载项，再点击转到
 再点击分析工具库，点击确定
 
 再点击数据，点击右边的数据分析
 
 
选择回归
 
 在这里输入x和y的输入区域
 
 然后就会生成另一个文件，点开
 可以看到intercept为截距，下面几行就是对应自变量的系数
 
3，代码方式实现多元线性回归
 
1，导入包
 
import pandas as pd
import numpy as np
import seaborn as sns
from sklearn import datasets
from sklearn.linear_model import LinearRegression

 
2，读取文件
 
df = pd.read_csv('C:\\Users\\hp\\Desktop\\house_prices.csv')
df.info()#显示列名和数据类型类型
df.head(6)#显示前n行，n默认为5

 
注意，这里的df = pd.read_csv(）中填的是csv文件路径，就是我们要读取的文件的路径，根据每个人的不同
 
3，取出变量
 
#取出自变量
data_x=df[['area','bedrooms','bathrooms']]
data_y=df['price']

 
4，进行多元线性回归并得出结果
 
# 进行多元线性回归
model=LinearRegression()
l_model=model.fit(data_x,data_y)
print('参数权重')
print(model.coef_)
print('模型截距')
print(model.intercept_)

 
5，结果
 
 
6，检测异常
 
# 异常值处理
# ================ 异常值检验函数：iqr & z分数 两种方法 =========================
def outlier_test(data, column, method=None, z=2):
    """ 以某列为依据，使用 上下截断点法 检测异常值(索引) """
    """ 
    full_data: 完整数据
    column: full_data 中的指定行，格式 'x' 带引号
    return 可选; outlier: 异常值数据框 
    upper: 上截断点;  lower: 下截断点
    method：检验异常值的方法（可选, 默认的 None 为上下截断点法），
            选 Z 方法时，Z 默认为 2
    """

    if method == None:
        print(f'以 {column} 列为依据，使用 上下截断点法(iqr) 检测异常值...')
        print('=' * 70)
        # 四分位点；这里调用函数会存在异常
        column_iqr = np.quantile(data[column], 0.75) - np.quantile(data[column], 0.25)
        # 1，3 分位数
        (q1, q3) = np.quantile(data[column], 0.25), np.quantile(data[column], 0.75)
        # 计算上下截断点
        upper, lower = (q3 + 1.5 * column_iqr), (q1 - 1.5 * column_iqr)
        # 检测异常值
        outlier = data[(data[column] <= lower) | (data[column] >= upper)]
        print(f'第一分位数: {q1}, 第三分位数：{q3}, 四分位极差：{column_iqr}')
        print(f"上截断点：{upper}, 下截断点：{lower}")
        return outlier, upper, lower
    # ===================== Z 分数检验异常值 ==========================
    if method == 'z':
        print(f'以 {column} 列为依据，使用 Z 分数法，z 分位数取 {z} 来检测异常值...')
        print('=' * 70)
        mean, std = np.mean(data[column]), np.std(data[column])
        upper, lower = (mean + z * std), (mean - z * std)
        print(f"取 {z} 个 Z分数：大于 {upper} 或小于 {lower} 的即可被视为异常值。")
        print('=' * 70)
        # 检测异常值
        outlier = data[(data[column] <= lower) | (data[column] >= upper)]
        return outlier, upper, lower

 
7，得到异常集并进行丢弃
 
outlier, upper, lower = outlier_test(data=df, column='price', method='z')#获得异常数据
outlier.info(); outlier.sample(5)
df.drop(index=outlier.index, inplace=True)#丢弃异常数据

 
8，取出自变量和因变量
 
#取出自变量
data_x=df[['area','bedrooms','bathrooms']]
data_y=df['price']

 
9，进行多元线性回归
 
# 进行多元线性回归
model=LinearRegression()
l_model=model.fit(data_x,data_y)
print('参数权重')
print(model.coef_)
print('模型截距')
print(model.intercept_)

 
10，结果
 
 
4，用线性回归模型的统计学库实现
 
1，导入函数
 
数据的预处理都是一样的，只是后面的导入的函数不一样了
 
# 对名义变量neighborhood进行处理
# 设置虚拟变量
nominal_data = df['neighborhood']
# 设置虚拟变量
dummies = pd.get_dummies(nominal_data)
dummies.sample() # pandas 会自动帮你命名
# 每个名义变量生成的虚拟变量中，需要各丢弃一个，这里以丢弃C为例
dummies.drop(columns=['C'], inplace=True)
dummies.sample()
# 对名义变量style进行处理
# 设置虚拟变量
nominal_style_data = df['style']
# 设置虚拟变量
style_dummies = pd.get_dummies(nominal_style_data)
style_dummies.sample() # pandas 会自动帮你命名
# 每个名义变量生成的虚拟变量中，需要各丢弃一个，这里以丢弃lodge
#原因：转化后的虚拟变量需要舍弃一个，才能得到满秩矩阵，可理解为当变量名可划分为n类时，只需要n-1个虚拟变量就能获取所有信息了
style_dummies.drop(columns=['lodge'], inplace=True)
style_dummies.sample()
#数据拼接
results = pd.concat(objs=[df, dummies], axis='columns') # 按照列来合并
results = pd.concat(objs=[results, style_dummies], axis='columns') # 按照列来合并
results.sample(3)

 
2，进行预测
 
from statsmodels.formula.api import ols
#使用虚拟变量
lm = ols('price ~ area + bedrooms + bathrooms + A + B', data=results).fit()
lm.summary()

 
 
3，检验一下
 
def vif(df, col_i):
    """
    df: 整份数据
    col_i：被检测的列名
    """
    cols = list(df.columns)
    cols.remove(col_i)
    cols_noti = cols
    formula = col_i + '~' + '+'.join(cols_noti)
    r2 = ols(formula, df).fit().rsquared
    return 1. / (1. - r2)
test_data = results[['area', 'bedrooms', 'bathrooms', 'A', 'B']]
for i in test_data.columns:
    print(i, '\t', vif(df=test_data, col_i=i))

 
可以看到bedroom和bathroom相关程度较高
 
4，去掉bedroom，再次建模
 
# 去掉bedroom再次建模
lm = ols(formula='price ~ area + bathrooms + A + B', data=results).fit()
lm.summary()

 
成功
 
5，分析
 
不进行数据处理时，用jupyter和使用excel进行数据分析的结果没有不同，但是数据清理之后差别还是挺大的，在就行了多元共线性检测后，结果更为合理
 
6，总结
 
初步了解了多元线性回归的步骤，也清楚了异常数据对于回归方程的影响，明白了Excel和jupyter的差别
 
7，参考
 
Excel-一元线性回归和多元线性回归（借助数据分析功能和直接计算）
 
线性回归分析

R语言构建多元线性回归模型
 
 
对比一元线性回归，多元线性回归是用来确定2个或2个以上变量间关系的统计分析方法。多元线性回归的基本的分析方法与一元线性回归方法是类似的，我们首先需要对选取多元数据集并定义数学模型，然后进行参数估计，对估计出来的参数进行显著性检验，残差分析，异常点检测，最后确定回归方程进行模型预测。
 
由于多元回归方程有多个自变量，区别于一元回归方程，有一项很重要的操作就是自变量的优化，挑选出相关性最显著的自变量，同时去除不显著的自变量。在R语言中，有很方便地用于优化函数，可以很好的帮助我们来改进回归模型。
 
下面就开始多元线性回归的建模过程。
 
做过商品期货研究的人，都知道黑色系品种是具有产业链上下游的关系。铁矿石是炼钢的原材料，焦煤和焦炭是炼钢的能源资源，热卷即热轧卷板是以板坯为原料经加热后制成的钢板，螺纹钢是表面带肋的钢筋。
 
由于有产业链的关系，假设我们想要预测螺纹钢的价格，那么影响螺纹钢价格的因素可以会涉及到原材料，能源资源和同类材料等。比如，铁矿石价格如果上涨，螺纹钢就应该要涨价了。
 
 
 
 
 
# 多元线性回归案例1
 Example10_1  <- rea