回归分析用于：
–根据至少一个自变量的值来预测因变量的值
–解释自变量变化对因变量的影响
多元线性回归模型是：
•将简单的线性回归扩展到多个因变量
•描述以下各项之间的线性关系：单个连续的Y变量和几个X变量
•得出关于关系的推论：根据X1，X2，…，Xp预测Y的值。
•研究问题：IV的某种组合在多大程度上可预测DV？：例如 年龄，性别，食物消费类型/数量在多大程度上可预测低密度脂质水平
多元线性回归模型满足的一些假设条件：
•测量级别：
– IV –两个或多个，连续或二分
– DV-连续
•样本量–每个IV足够的病例数
•线性：双变量关系是否为线性
•恒定方差（大约最佳拟合线）–同方性
•多重共线性：IV之间没有多重共线性
•多元离群值
•关于预测值的残差的正态性
不同的回归方法：
•直接：同时输入所有IV
•从前向后：逐个输入IV，直到没有要输入的重要IV。
•从后向前：IV逐个删除，直到没有要删除的重要IV。
•分步回归：前进和后退的组合
•分层回归：在步骤中输入IV
相关系数-ρ
•相关系数衡量总体（ρ）中X和Y之间线性关联的强度。
•通过样本估计（r）
相关分析
•相关分析用于测量两个变量之间的关联强度（线性关系）
–相关仅与关系的强度有关
–没有因果关系暗示
计算相关系数：
相关系数的解释力度，随着数字的增大而变大，具体来看：
多元回归中的步骤
1.陈述研究假设。
2.陈述原假设
3.收集数据
4.首先分别评估每个变量（获得集中趋势和离散度的度量；频率分布；图形）；变量是正态分布的吗？
5.一次评估每个自变量与因变量的关系（计算相关系数；获得散点图）；这两个变量线性相关吗？
6.评估所有自变量之间的关系（获得所有自变量的相关系数矩阵）；自变量之间的相关性是否太高？
7.根据数据计算回归方程
8.为每个系数和整个方程计算并检查适当的关联度量和统计显着性检验
9.接受或拒绝原假设
10.拒绝或接受研究假设
11.解释调查结果的实际含义

	

问题来袭：
要构建一个多元线性回归应该怎么做呢？
莫慌，好好想想～
?
一堆琳琅满目的数据
一个个花样百出的需求
一肚子“不合时宜”的数分能力
(爱情问题来的太快就像龙卷风)
?
无妨
青马与大家共同摸石头过大河
“为了做一名合格的数据分析师
我要努力努力再努力”
1
明确需求
确定分析的对象，即确定因变量y
2
数据清洗
2.1   缺失值处理
(1)缺失值的删除
(2)缺失值的填充(均值填充、众数填充、特殊值填充、热卡填充、聚类填充、极大似然估计等)
(3)缺失值作为一类特殊类型的数据，不删除
2.2  异常值处理
3倍标准差以外的数据可视为异常值
处理方法：
(1)所有异常值填为均值
(2)把大于三倍标准差的数据填充为三倍标准差数据
2.3  分类变量
分类变量处理为one-hot编码
3
相关分析
计算变量之间的相关系数
绘制散点图
4
分割测试集、训练集
一般选择70%为训练集  30%为测试集
5
回归模型(初步训练)
得到模型的残差
为后续的高斯马尔科夫检验做准备
5.1  F检验
F检验，检验所有自变量前面的系数是不是都是0
检验模型是不是符合要求，如果不满足要求，则需要进行模型的重新设置
5.2  t检验
t检验，检验每一个自变量的回归系数是不是0
如果存在不符合要求的自变量，需要对其进行处理
5.3  R^2
度量的模型的解释能力，太高或者太低都不能满足模型的要求
太低，表示模型的解释能力有问题
太高，表示模型过拟合(自变量与因变量的相关性...)
5.4  贝塔系数的正负号(如果有需要的话)
判断有些自变量与因变量之间的符号是不是符合预期假设
6
模型调优
科学理论表明：只要模型数据满足高斯马尔科夫假设，则模型就是线形无偏，即是最优的。
调优的方法：
(1)系数贝塔必须是线形的
(2)残差不能出现序列相关性
        高弗雷假设 H0:无序列相关
        DW检验
(3)自变量之间不能出现太高的共线性(VIF)
VIF值较高时的处理方法：
        (a)对x取自然对数
        (b)主成分分析
        (c)岭回归/lasso
(4)残差不会出现内生性
常用解决内生性问题的方法：工具变量
(5)残差的同方差性
BP检验
White检验  
处理方法：
   (a)对因变量y取自然对数 
   (b)加权最小二乘法
(6)残差的正态性
Q-Q图 
SW检验  
主要用于样本数小于5000的检验  
KS检验   
主要用于样本数大于5000的检验 
处理方法： 
    对因变量y去自然对数，可以很有效地消除残差的正态性
7
模型再优化
(1)增加 高次项
(2)增加 交互项
(3)增加 时间趋势
(4)增加 季节趋势
8
逐步回归 
有助于变量的筛选
按自变量与因变量之间的相关系数进行变量排序
9
交叉验证
目的是为了得到可靠稳定的模型
10
模型测试 
(欢迎指正。。。)
欢迎扫码关注
Data Men

	

问题来袭：
要构建一个多元线性回归应该怎么做呢？
莫慌，好好想想～
?
一堆琳琅满目的数据
一个个花样百出的需求
一肚子“不合时宜”的数分能力
(爱情问题来的太快就像龙卷风)
?
无妨
青马与大家共同摸石头过大河
“为了做一名合格的数据分析师
我要努力努力再努力”
1
明确需求
确定分析的对象，即确定因变量y
2
数据清洗
2.1   缺失值处理
(1)缺失值的删除
(2)缺失值的填充(均值填充、众数填充、特殊值填充、热卡填充、聚类填充、极大似然估计等)
(3)缺失值作为一类特殊类型的数据，不删除
2.2  异常值处理
3倍标准差以外的数据可视为异常值
处理方法：
(1)所有异常值填为均值
(2)把大于三倍标准差的数据填充为三倍标准差数据
2.3  分类变量
分类变量处理为one-hot编码
3
相关分析
计算变量之间的相关系数
绘制散点图
4
分割测试集、训练集
一般选择70%为训练集  30%为测试集
5
回归模型(初步训练)
得到模型的残差
为后续的高斯马尔科夫检验做准备
5.1  F检验
F检验，检验所有自变量前面的系数是不是都是0
检验模型是不是符合要求，如果不满足要求，则需要进行模型的重新设置
5.2  t检验
t检验，检验每一个自变量的回归系数是不是0
如果存在不符合要求的自变量，需要对其进行处理
5.3  R^2
度量的模型的解释能力，太高或者太低都不能满足模型的要求
太低，表示模型的解释能力有问题
太高，表示模型过拟合(自变量与因变量的相关性...)
5.4  贝塔系数的正负号(如果有需要的话)
判断有些自变量与因变量之间的符号是不是符合预期假设
6
模型调优
科学理论表明：只要模型数据满足高斯马尔科夫假设，则模型就是线形无偏，即是最优的。
调优的方法：
(1)系数贝塔必须是线形的
(2)残差不能出现序列相关性
        高弗雷假设 H0:无序列相关
        DW检验
(3)自变量之间不能出现太高的共线性(VIF)
VIF值较高时的处理方法：
        (a)对x取自然对数
        (b)主成分分析
        (c)岭回归/lasso
(4)残差不会出现内生性
常用解决内生性问题的方法：工具变量
(5)残差的同方差性
BP检验
White检验  
处理方法：
   (a)对因变量y取自然对数 
   (b)加权最小二乘法
(6)残差的正态性
Q-Q图 
SW检验  
主要用于样本数小于5000的检验  
KS检验   
主要用于样本数大于5000的检验 
处理方法： 
    对因变量y去自然对数，可以很有效地消除残差的正态性
7
模型再优化
(1)增加 高次项
(2)增加 交互项
(3)增加 时间趋势
(4)增加 季节趋势
8
逐步回归 
有助于变量的筛选
按自变量与因变量之间的相关系数进行变量排序
9
交叉验证
目的是为了得到可靠稳定的模型
10
模型测试 
(欢迎指正。。。)
欢迎扫码关注
Data Men

目录

变量间的关系分析

什么是相关分析

什么是回归分析

分析步骤

回归分析与相关分析的主要区别

一元线性相关分析

一元线性回归分析

建模

方差分析检验

 t检验

多元回归分析模型建立

线性回归模型基本假设

多元回归分析用途

多元线性相关分析

矩阵相关分析

复相关分析

曲线回归模型

多项式曲线

二次函数

对数函数

指数函数

幂函数

双曲线函数

变量间的关系分析

变量间的关系有两类，一类是变量间存在着完全确定的关系，称为函数关系，另一类是变量间的关系不存在完全的确定性，不能用精缺的数学公式表示，但变量间存在十分密切的关系，这种称为相关关系，存在相关关系的变量称为相关变量。

相关变量间的关系有两种：一种是平行关系，即两个或两个以上变量相互影响。另一种是依存关系，即是一个变量的变化受到另一个或多个变量的影响。相关分析是研究呈平行关系的相关变量之间的关系。而回归分析是研究呈依存关系的相关变量间的关系。表示原因的变量称为自变量-independent variable，表示结果的变量称为因变量-dependent variable。



什么是相关分析

通过计算变量间的相关系数来判断两个变量的相关程度及正负相关。

什么是回归分析

通过研究变量的依存关系，将变量分为因变量和自变量，并确定自变量和因变量的具体关系方程式

分析步骤

建立模型、求解参数、对模型进行检验

回归分析与相关分析的主要区别

1.在回归分析中，解释变量称为自变量，被解释变量称为因变量，相关分析中，并不区分自变量和因变量，各变量处于平的地位。--（自变量就是自己会变得变量，因变量是因为别人改变的）

2.在相关分析中所涉及的变量全部是随机变量，在回归分析中只有只有因变量是随机变量。

3.相关分析研究主要是为刻画两类变量间的线性相关的密切程度，而回归分析不仅可以揭示自变量对因变量的影响大小，还可以由回归方程进行预测和控制。

一元线性相关分析

线性相关分析是用相关系数来表示两个变量间相互的线性关系，总体相关系数的计算公式为：



 δ^2x代表x的总体方差， δ^2y代表y的总体方差，δxy代表x变量与y变量的协方差，相关系数ρ没有单位，在-1到1之间波动，绝对值越接近1越相关，符号代表正相关或复相关。

一元线性回归分析

使用自变量与因变量绘制散点图，如果大致呈直线型，则可以拟合一条直线方程



建模

直线模型为：



 y是因变量y的估计值，x为自变量的实际值，a、b为待估值

几何意义：a是直线方程的截距，b是回归系数

经济意义：a是x=0时y的估计值，b是回归系数

对于上图来说，x与y有直线的趋势，但并不是一一对应的，y与回归方程上的点的差距成为估计误差或残差，残差越小，方程愈加理想。

当误差的平方和最小时，即Q，a和b最合适



对Q求关于a和b的偏导数，并令其分别等于零，可得：



 式中，lxx表示x的离差平方和，lxy表示x与y的离差积和。

方差分析检验

将因变量y实测值的离均差平方和分成两部分即使：



分为：

实测值yi扣除了x对y的线性影响后剩下的变异



和x对y的线性影响，简称为回归评方或回归贡献



然后证明：



 t检验

当β成立时，样本回归系数b服从正态分布，这是可以使用T检验判断是否有数学意义，检验所用统计量为



例如t=10，那么可以判断α=0.05水平处拒绝H0，接受H1，那么x与y存在回归关系



多元回归分析模型建立

一个因变量与多个自变量间的线性数量关系可以用多元线性回归方程来表示



b0是方程中的常数项，bi,i=1,2,3称为偏回归系数。

当我们得到N组观测数据时，模型可表示为：



其矩阵为：



X为设计阵，β为回归系数向量。

线性回归模型基本假设

在建立线性回归模型前，需要对模型做一些假定，经典线性回归模型的基本假设前提为：

1.解释变量一般来说是非随机变量

2.误差等方差及不相关假定（G-M条件）



3.误差正太分布的假定条件为：



4. n>p,即是要求样本容量个数多于解释变量的个数

多元回归分析用途

1.描述解释现象，希望回归方程中的自变量尽可能少一些

2.用于预测，希望预测的均方误差较小

3.用于控制，希望各个回归系数具有较小的方差和均方误差

变量太多，容易引起以下四个问题：

1.增加了模型的复杂度

2.计算量增大

3.估计和预测的精度下降

4.模型应用费用增加

多元线性相关分析

两个变量间的关系称为简单相关，多个变量称为偏相关或复相关

矩阵相关分析

设n个样本的资料矩阵为：



此时任意两个变量间的相关系数构成的矩阵为：



其中rij为任意两个变量之间的简单相关系数，即是：



复相关分析

系数计算：

设y与x1，x2，....，回归模型为



y与x1，x2，....做相关分析就是对y于y^做相关分析，相关系数计算公式为



曲线回归模型

多项式曲线

二次函数

y=a+bx+cx^2



对数函数

y=a+blogx



指数函数

y = ae^bx或y = ae^(b/x)



幂函数

y=ax^b (a>0)



双曲线函数

y = a+b/x



 实战操作见下一篇文章