回归分析用于：
–根据至少一个自变量的值来预测因变量的值
–解释自变量变化对因变量的影响
多元线性回归模型是：
•将简单的线性回归扩展到多个因变量
•描述以下各项之间的线性关系：单个连续的Y变量和几个X变量
•得出关于关系的推论：根据X1，X2，…，Xp预测Y的值。
•研究问题：IV的某种组合在多大程度上可预测DV？：例如 年龄，性别，食物消费类型/数量在多大程度上可预测低密度脂质水平
多元线性回归模型满足的一些假设条件：
•测量级别：
– IV –两个或多个，连续或二分
– DV-连续
•样本量–每个IV足够的病例数
•线性：双变量关系是否为线性
•恒定方差（大约最佳拟合线）–同方性
•多重共线性：IV之间没有多重共线性
•多元离群值
•关于预测值的残差的正态性
不同的回归方法：
•直接：同时输入所有IV
•从前向后：逐个输入IV，直到没有要输入的重要IV。
•从后向前：IV逐个删除，直到没有要删除的重要IV。
•分步回归：前进和后退的组合
•分层回归：在步骤中输入IV
相关系数-ρ
•相关系数衡量总体（ρ）中X和Y之间线性关联的强度。
•通过样本估计（r）
相关分析
•相关分析用于测量两个变量之间的关联强度（线性关系）
–相关仅与关系的强度有关
–没有因果关系暗示
计算相关系数：
相关系数的解释力度，随着数字的增大而变大，具体来看：
多元回归中的步骤
1.陈述研究假设。
2.陈述原假设
3.收集数据
4.首先分别评估每个变量（获得集中趋势和离散度的度量；频率分布；图形）；变量是正态分布的吗？
5.一次评估每个自变量与因变量的关系（计算相关系数；获得散点图）；这两个变量线性相关吗？
6.评估所有自变量之间的关系（获得所有自变量的相关系数矩阵）；自变量之间的相关性是否太高？
7.根据数据计算回归方程
8.为每个系数和整个方程计算并检查适当的关联度量和统计显着性检验
9.接受或拒绝原假设
10.拒绝或接受研究假设
11.解释调查结果的实际含义

	

一、多元线性回归
1.多元线性回归的基本表达式
在多元线性回归中会有多个解释变量：
预测解释变量的估计方程如下：
注：额外的假设条件
①解释变量之间不能存在太强的线性相关关系(一般ρ<0.7)
②其他条件与一元线性回归类似。
2.回归方程的模型拟合度
在进行回归模型之前，我们可以计算总的波动误差如下：
    在运用回归模型后，总误差可以分解为以下两种：
    1)不能解释变量误差(误差项的平方)
    2)被回归方程可以解释的误差
根据以上解释我们可以整理出以下方差分析表：
df自由度
SS
MSS(方差)
Explained可以解释的误差
k
ESS
ESS/k
Residual 误差项
n-k-1
RSS
RSS/(n-k-1)
Total 总误差
n-1
TSS
       3)拟合判定系数R方
注：一元线性回归的R方比较特殊，为相关系数的平方：
通常情况下R方越大，说明模型拟合的解释力度越好，但有时通过不断增加解释变量可以相应提高R方，这时候拟合效果并不一定是最好，所以提出以下修正R方来进行判断：
3.回归方程的推论
①置信区间(同一元线性回归类似)
②假设检验(同一元线性回归类似)
③联合假设检验
通常F检验被用于检测多元线性回归的解释变量斜率是否同时等于0：
判断准则：如果F(T检验计算值)>F(关键值)，则拒绝原假设H0.
Python案例分析：
#导入cv模块import numpy as npimport matplotlib as mplimport matplotlib.pyplot as pltimport pandas as pddata=pd.read_excel('D:/欧晨的金学智库/线性回归案例.xlsx',header=0,index_col=0)data.head()
#多元线性回归import statsmodels.api as sm model3 = sm.OLS(data['weight'],sm.add_constant(data[['age','height']]))result = model3.fit()result.summary()  print(result.summary())
分析:经过调整的R方=0.639，拟合系数一般，并不是特别好。
F统计量=26.67(检验解释变量系数是否全为0？)，P-value=4.05*10-7，非常小，拒绝原假设；
常数项估计-140.762，P值很小，说明截距项显著，不为0；
age项估计-0.0485，P值较大>0.05，说明age项不显著，可以尝试剔除该解释变量；
height项1.1973，P值很小，说明height项显著，不为0。
二、模型诊断
1.自变量选择偏差的权衡
(1)丢失重要变量
剩余变量吸收了丢失的重要变量的信息，即用剩余变量进行了过度拟合；
过于高估残差项(包含真实残差项的信息、忽略重要变量的信息)
(2)加入无关变量
变量系数的估计偏差(大样本，无关变量会收敛于0)
增加了模型参数估计的不确定性
增加了R方的值，但是使得调整的R方减小
(3)两种合理估计线性回归系数的方法
①一般情况模型变量的选择方法
a.将所有变量加入进行回归；
b.移除拟合效果最差的一个变量(尤其是不显著的变量)；
c.移除后继续采用线性回归模型进行拟合，再次移除不显著的变量；
d.重复以上步骤，直至所有变量的拟合结果都显著；
注：通常选择显著性α在1%~0.1%(相应t值至少为2.57或3.29)
Python案例分析：在上述案例中，我们得到age项不显著，可以剔除该解释变量，只用height进行线性回归：
#载入OLS回归库import statsmodels.api as sm model1 = sm.OLS(data['weight'], sm.add_constant(data['height']))result = model1.fit()result.summary()  print(result.summary())
分析：经过调整的R方=0.652>0.639，说明剔除age变量后，拟合效果更好。剩余的截距项和身高的P值均很小，说明显著不为0，所以应当保留。 
②K折交叉检验
    a.确定模型数量(有n个解释变量——每个变量选择有或无，通常有2^n个模型)
    b.将数据分成相等数量的k个集合，其中k-1个集合作为训练集拟合回归方程，剩下的1个集合作为验证集；重复进行交叉拟合验证(总计有k次)。
    c.每个模型都采用b的方式进行验证。
    d.计算每个模型的总的残差项(验证k次)的和，选择残差项和或其均值最小的一组模型最为最优模型。
Python案例分析：依旧使用以上案例，有2个解释变量，所以应当有2^2=4个模型，我们排除解释变量均为0的情况，来做3个模型的K折交叉检验：
y=data.weightX1=data[['age','height']]from sklearn.linear_model import LinearRegression #载入机器学习中线性回归包lm = LinearRegression()from sklearn.model_selection import cross_val_score #载入机器学习中交叉检验包scores1 = cross_val_score(lm, X1, y, cv=10)  #cv=10，数据分成10等均匀份print (scores1)
分析：上面的scores都是负数，为什么均方误差会出现负数的情况呢？因为这里的mean_squared_error是一种损失函数，优化的目标的使其最小化，而分类准确率是一种奖励函数，优化的目标是使其最大化，因而选择只用height做变量。
print('用age,height做自变量：',np.sqrt(-scores1.mean()))np.sqrt(-scores1.mean())X2=data[['age']]scores2 = cross_val_score(lm, X2, y, cv=10)print('只用age做自变量：',np.sqrt(-scores2.mean()))X3=data[['height']]scores3 = cross_val_score(lm, X3, y, cv=10)print('只用height做自变量：',np.sqrt(-scores3.mean()))lm.fit(X3,y)
print('intercept_:%.3f' % lm.intercept_)print('coef_:%.3f' % lm.coef_)
2.残差的异方差性
    如果残差项的方差恒定不变(即为常数)，则通常认定为同方差性，反之如果方差一直在变动并未恒定则认定为有异方差性。
注：如果存在异方差性进行线性回归，则回归系数的假设检验以及置信区间的估计通常是有偏差的。
采用怀特检验法来验证异方差性：
例如检验有2个自变量的线性回归方程：
①采用OLS最小二乘法估计模型的残差
 
②将自变量和自变量之间的组合与残差的平方建立回归模型检验
如果数据满足同方差性，则残差项的平方无法被任何自变量变量解释，即注：残差项的方程的检验统计量的解释力度记为nR2(即第②步中计算)，其检验分布为卡方分布(自由度为——k(k+3)/2)
Python案例分析：依旧以weight~age+height为例
import statsmodels.api as sm model3 = sm.OLS(data['weight'],sm.add_constant(data[['age','height']]))result3 = model3.fit()sm.stats.diagnostic.het_white(result3.resid, exog = result3.model.exog)
分析：
第一个为：LM统计量值
第二个为：响应的p值，0.53远大于显著性水平0.05，因此接受原假设，即残差方差是一个常数
第三个为：F统计量值，用来检验残差平方项与自变量之间是否独立，如果独立则表明残差方差齐性
第四个为：F统计量对应的p值，也是远大于0.05的，因此进一步验证了残差方差的齐性。
3.多重共线性
①完美多重共线性
    自变量之间存在相关系数=1的情况，即一个自变量可以被另一个自变量完全解释，完全替代。
②一般的多重共线性
一个自变量或多个自变量之间可以大部分相互解释，存在较高的相关性
当数据存在多重共线性时，通常发现系数之间有较强的显著关系，删除t统计量较小的(如t<1.96)
4.绘制残差图与异常值
残差图即自变量与残差之间的散点图，异常值即偏离正常中心值较大的奇异点。
我们以上节一元线性回归的案例的身高与体重的回归结果残差图为例：
很明显上图中对应x在170的时候存在异常值。
异常值的判断：库克距离(Cook’sdistance)
Python案例分析：
#异常值的检验#使用Cook距离描绘这个模型的影响图：import statsmodels.api as sm model3 = sm.OLS(data['weight'],sm.add_constant(data[['age','height']]))result3 = model3.fit()fig, ax = plt.subplots(figsize=(19.2, 14.4))fig = sm.graphics.influence_plot(result3, ax=ax, criterion="cooks")plt.grid()
分析：由上图可以得到，第7个数据是偏离较远的，气泡很大。
真实数据如下：

多元线性回归是什么
什么是多元线性回归？
多元线性回归：在回归分析中，如果自变量的个数是两个或是两个以上，就被称之为多元回归。实际分析当中，一种现象往往是与多种因素相互联系的，多个自变量的最优组合对因变量进行估计或者预测，往往比只用一个自变量估计或预测会更加有效，也比较符合实际情况。因此，多元线性回归模型的意义相对来说会更好一些。
什么情况下做多元线性回归？
多元线性回归，通常是指某种市场现象受两个或者多种因素的影响，同学们需要挑选合适的变量进行搭配，然后建立多元线性回归模型。同时，同学们需要注意变量的选取是否合适？变量之间有无影响？做好多元线性回归模型之后，也要做相应的检验，进而判断模型的搭建是否合理。
什么情况下做多元线性回归
在Stata中如何做多元线性回归模型？具体操作步骤是什么？
打开stata软件，将准备好的数据输入进去：粘贴复制(点击Data Editor，将准备好的时间序列数据、截面数据粘贴进去即可)，关于如何在Stata中输入数据，大家可以在百度上搜索相应的视频进行观看。对输入的数据进行命名，点击右上角Variables中的变量，然后在下方的Name中进行新的命名。命名完成之后，可在主页面看到新的命名已经生成。在Command栏中，输入回归指令regress，可简写为reg。与一元线性回归(reg Y X1)类似的是，这里要添加多个变量：reg Y X1 X2 X3 X4 X5 X6，回车就可以了。最后，结果会在result中显示出来。变量选取的恰当与否，决定着多元回归模型的拟合程度高低。需要注意的是：多元线性回归模型也要进行相应的检验。比如说：异方差的检验、多重共线性的检验、序列相关性的检验，千万不要忘了哦。
Stata中如何进行多元线性回归步骤
以上就是小王关于多元线性回归模型的思考与实践体会。相信同学们在今后的学习当中会逐渐接触到多元线性回归模型，到时候不妨一起分享一下学习体会哦？期待您的回复~

（1）自定义一个用于实现多元线性回归的类：

import numpy as np
from sklearn.metrics import r2_score


class LinearRegression:

    # 初始化LinearRegression模型
    def __init__(self):
        self.coef_ = None
        self.interception_ = None
        # theta为私有变量
        self._theta = None

    # 使用正规化方程0
    def fit_normal(self, X_train, y_train):
        assert X_train.shape[0] == y_train.shape[0], \
            "X_train和y_train大小必须一致"

        X_b = np.hstack([np.ones((len(X_train), 1)), X_train])
        self._theta = np.linalg.inv(X_b.T.dot(X_b)).dot(X_b.T).dot(y_train)

        self.interception_ = self._theta[0]
        self.coef_ = self._theta[1:]

        return self

    def predict(self, X_predict):
        assert self.interception_ is not None and self.coef_ is not None, \
            "必须先拟合才能进行预测！"
        assert X_predict.shape[1] == len(self.coef_), \
            "预测值的特征数必须和训练集个数一致！"
        X_b = np.hstack([np.ones((len(X_predict), 1)), X_predict])
        return X_b.dot(self._theta)

    # 根据测试数据集X_test和y_test确定当前模型的准确度
    def score(self, X_test, y_test):
        y_predict = self.predict(X_test)
        return r2_score(y_test, y_predict)

（2）在另一个文件中使用该线性回归进行预测：

import numpy as np
from sklearn import datasets
from LinearRegression import LinearRegression
from demo1_knn.model_selection import train_test_split


def load_bosten_data():
    bosten = datasets.load_boston()
    X = bosten.data
    y = bosten.target
    X = X[y < 50.0]
    y = y[y < 50.0]
    return X, y


if __name__ == '__main__':
    X, y = load_bosten_data()
    X_train, X_test, y_train, y_test = train_test_split(X, y, test_radio=0.2, seed=666)
    regression = LinearRegression()
    regression.fit_normal(X_train, y_train)
    print(regression.coef_)
    print(regression.interception_)
    print(regression.score(X_test, y_test))

（3）运行效果：（也可以自行尝试使用sklearn中的切分数据集函数）