回归分析用于：
–根据至少一个自变量的值来预测因变量的值
–解释自变量变化对因变量的影响
多元线性回归模型是：
•将简单的线性回归扩展到多个因变量
•描述以下各项之间的线性关系：单个连续的Y变量和几个X变量
•得出关于关系的推论：根据X1，X2，…，Xp预测Y的值。
•研究问题：IV的某种组合在多大程度上可预测DV？：例如 年龄，性别，食物消费类型/数量在多大程度上可预测低密度脂质水平
多元线性回归模型满足的一些假设条件：
•测量级别：
– IV –两个或多个，连续或二分
– DV-连续
•样本量–每个IV足够的病例数
•线性：双变量关系是否为线性
•恒定方差（大约最佳拟合线）–同方性
•多重共线性：IV之间没有多重共线性
•多元离群值
•关于预测值的残差的正态性
不同的回归方法：
•直接：同时输入所有IV
•从前向后：逐个输入IV，直到没有要输入的重要IV。
•从后向前：IV逐个删除，直到没有要删除的重要IV。
•分步回归：前进和后退的组合
•分层回归：在步骤中输入IV
相关系数-ρ
•相关系数衡量总体（ρ）中X和Y之间线性关联的强度。
•通过样本估计（r）
相关分析
•相关分析用于测量两个变量之间的关联强度（线性关系）
–相关仅与关系的强度有关
–没有因果关系暗示
计算相关系数：
相关系数的解释力度，随着数字的增大而变大，具体来看：
多元回归中的步骤
1.陈述研究假设。
2.陈述原假设
3.收集数据
4.首先分别评估每个变量（获得集中趋势和离散度的度量；频率分布；图形）；变量是正态分布的吗？
5.一次评估每个自变量与因变量的关系（计算相关系数；获得散点图）；这两个变量线性相关吗？
6.评估所有自变量之间的关系（获得所有自变量的相关系数矩阵）；自变量之间的相关性是否太高？
7.根据数据计算回归方程
8.为每个系数和整个方程计算并检查适当的关联度量和统计显着性检验
9.接受或拒绝原假设
10.拒绝或接受研究假设
11.解释调查结果的实际含义

多元线性回归

定义：回归分析中，含有两个或者两个以上自变量，称为多元回归，若自变量系数为1，则此回归为多元线性回归。

（特殊的：自变量个数为1个，为一元线性回归）多元线性回归模型如下所示：





 如上图所示，一元线性回归图形为一条直线。而二元线性回归，拟合的为一个平面。多元线性回归拟合出的图像为以超平面；



 逻辑回归（分类问题的处理）

求解步骤：1）确定回归函数 (通常用Sigmoid函数) ； 2）确定代价函数（含有参数）；3）求解参数（梯度下降/最大似然）

1）Sigmoid函数可以作为二分类问题的回归函数，而且此函数为连续的且通过0为界限分为大于0.5与小于0.5的两部分；

Sigmoid函数形式为：



Sigmoid函数图像为：（连续可导满足我们的需求，便于后续参数的求解）



 第一步：构造预测函数为：

（在这里就是将sigmoid函数中的自变量部分替换为多元线性回归模型）

第二步：构造损失函数： 



这里的y为样本的真实值，根据预测值与真实值之间的关系构造损失函数，求解预测函数参数使得其损失值最小。



结合函数图像当真实值y=1时，预测值越接近1则代价越小（反之越大），同理可得真实值y=0的情况； 

由此我们根据y的取值不同构造出损失函数：



第三步：求解函数参数：在这里采用梯度下降法求解参数   ；

通过对参数求偏导数可得变化率为，并通过此关系式求解参数；

逻辑回归实战（Fight）

1）导入所需要的库文件以及获取数据集合（数据集合在最底部^_^）

import numpy as np
import matplotlib.pyplot as plt
import  math
#导入必备的包

positive = [] #正值点
negative = [] #负值点
#导入数据
dataSet = [] #数据点
def functionexp(k1,k2,x,y,b):
    return math.exp(k1 * x + k2 *y + b)  #e^(θx+b)

#数据集合获取
with open('testSet.txt') as f:
    for line in f:
        line = line.strip('\n').split('\t')
        if line[2]=='1':
            positive.append([float(line[0]),float(line[1])])
        else:
            negative.append([float(line[0]),float(line[1])])
        dataSet.append([float(line[0]),float(line[1]),int(line[2])])


2）根据样本集合求解参数（使用梯度下降法）

#求解参数
k1 = 0
k2 = 0
b = 0
step =2500 #学习步长
learnrate = 1 #学习率
for i in range(step):
    temp0 = 0
    temp1 = 0 #初始化参数
    temp2 = 0
    for j in dataSet:
        e = functionexp(k1, k2, j[0], j[1], b)
        temp0 = temp0 + (e /( 1 + e ) - j[2] ) / len(dataSet)
        temp1 = temp1 + (e / (1 + e ) - j[2] ) * j[0]/ len(dataSet)
        temp2 = temp2 + (e / (1 + e ) - j[2] ) * j[1] / len(dataSet)
    k1 = k1 - temp1 * learnrate
    k2 = k2 - temp2 * learnrate
    b  = b  - temp0 * learnrate

3）绘制样本散点图以及决策边界（拟合曲线）

#绘制样本点以及分类边界
dataX = []#样本点X集合
dataY = []#样本点Y集合
for i in positive:
    dataX.append(i[0])
    dataY.append(i[1])
plt.scatter(dataX,dataY,c='red')#绘制正样本散点图
dataX.clear()
dataY.clear()
for i in negative:
    dataX.append(i[0])
    dataY.append(i[1])
plt.scatter(dataX,dataY,c='blue')#绘制负样本散点图
XX=[-3,3]
plt.plot(XX,(-k1/k2)*np.array(XX)-b/k2,'yellow')
plt.show()

运行结果如下图所示（这里没有过多使用numpy库中的矩阵运算，仅限理解逻辑回归）



up通过sklearn进行逻辑回归：

import numpy as np
import matplotlib.pyplot as plt
import  math
from sklearn import linear_model
from sklearn import preprocessing
from sklearn.metrics import classification_report

positive = [] #正值点
negative = [] #负值点
#导入数据
dataSet = [] #数据点
X=[]
Y=[]

#数据集合获取
with open('testSet.txt') as f:
    for line in f:
        line = line.strip('\n').split('\t')
        if line[2]=='1':
            positive.append([float(line[0]),float(line[1])])
        else:
            negative.append([float(line[0]),float(line[1])])
        dataSet.append([float(line[0]),float(line[1]),int(line[2])])
        X.append([float(line[0]),float(line[1])])
        Y.append([int(line[2])])

#求解参数
logistic = linear_model.LogisticRegression()
logistic.fit(np.array(X),np.array(Y))

#绘制样本点以及分类边界
dataX = []#样本点X集合
dataY = []#样本点Y集合
for i in positive:
    dataX.append(i[0])
    dataY.append(i[1])
plt.scatter(dataX,dataY,c='red')#绘制正样本散点图
dataX.clear()
dataY.clear()
for i in negative:
    dataX.append(i[0])
    dataY.append(i[1])
plt.scatter(dataX,dataY,c='blue')#绘制负样本散点图
XX=[-3,3]
plt.plot(XX,(-np.array(XX)*logistic.coef_[0][0]-logistic.intercept_)/logistic.coef_[0][1],'black')
plt.show()

回归效果（感觉比自己写的回归效果好=_=）



总结 （关于逻辑回归的思考以及正确率、召回率、F1指标）

在分类问题中可以灵活运用二分类的解法来求解多分类问题（是否问题，即是这一类的和不是这一类的），将多分类问题

转化为二分类问题。而且采用的模型并不一定必须是多元线性模型（非线性模型），根据情况选取合适的模型。

正确率：检索出来的条目有多少是正确的（相对于结果而言）。即：正确的个数在预测为正确总个数的比例；

召回率：正确的有多少被检测出来了，即：检测（预测）出的正确个数/总正确个数；

F1指标：2*正确率*召回率/（正确率+召回率）；（综合反映上述两个指标）

以上的指标都是介于0-1之间的，且数值越接近于1说明效果越好；

-0.017612	14.053064	0
-1.395634	4.662541	1
-0.752157	6.538620	0
-1.322371	7.152853	0
0.423363	11.054677	0
0.406704	7.067335	1
0.667394	12.741452	0
-2.460150	6.866805	1
0.569411	9.548755	0
-0.026632	10.427743	0
0.850433	6.920334	1
1.347183	13.175500	0
1.176813	3.167020	1
-1.781871	9.097953	0
-0.566606	5.749003	1
0.931635	1.589505	1
-0.024205	6.151823	1
-0.036453	2.690988	1
-0.196949	0.444165	1
1.014459	5.754399	1
1.985298	3.230619	1
-1.693453	-0.557540	1
-0.576525	11.778922	0
-0.346811	-1.678730	1
-2.124484	2.672471	1
1.217916	9.597015	0
-0.733928	9.098687	0
-3.642001	-1.618087	1
0.315985	3.523953	1
1.416614	9.619232	0
-0.386323	3.989286	1
0.556921	8.294984	1
1.224863	11.587360	0
-1.347803	-2.406051	1
1.196604	4.951851	1
0.275221	9.543647	0
0.470575	9.332488	0
-1.889567	9.542662	0
-1.527893	12.150579	0
-1.185247	11.309318	0
-0.445678	3.297303	1
1.042222	6.105155	1
-0.618787	10.320986	0
1.152083	0.548467	1
0.828534	2.676045	1
-1.237728	10.549033	0
-0.683565	-2.166125	1
0.229456	5.921938	1
-0.959885	11.555336	0
0.492911	10.993324	0
0.184992	8.721488	0
-0.355715	10.325976	0
-0.397822	8.058397	0
0.824839	13.730343	0
1.507278	5.027866	1
0.099671	6.835839	1
-0.344008	10.717485	0
1.785928	7.718645	1
-0.918801	11.560217	0
-0.364009	4.747300	1
-0.841722	4.119083	1
0.490426	1.960539	1
-0.007194	9.075792	0
0.356107	12.447863	0
0.342578	12.281162	0
-0.810823	-1.466018	1
2.530777	6.476801	1
1.296683	11.607559	0
0.475487	12.040035	0
-0.783277	11.009725	0
0.074798	11.023650	0
-1.337472	0.468339	1
-0.102781	13.763651	0
-0.147324	2.874846	1
0.518389	9.887035	0
1.015399	7.571882	0
-1.658086	-0.027255	1
1.319944	2.171228	1
2.056216	5.019981	1
-0.851633	4.375691	1
-1.510047	6.061992	0
-1.076637	-3.181888	1
1.821096	10.283990	0
3.010150	8.401766	1
-1.099458	1.688274	1
-0.834872	-1.733869	1
-0.846637	3.849075	1
1.400102	12.628781	0
1.752842	5.468166	1
0.078557	0.059736	1
0.089392	-0.715300	1
1.825662	12.693808	0
0.197445	9.744638	0
0.126117	0.922311	1
-0.679797	1.220530	1
0.677983	2.556666	1
0.761349	10.693862	0
-2.168791	0.143632	1
1.388610	9.341997	0
0.317029	14.739025	0

 

	

问题来袭：
要构建一个多元线性回归应该怎么做呢？
莫慌，好好想想～
?
一堆琳琅满目的数据
一个个花样百出的需求
一肚子“不合时宜”的数分能力
(爱情问题来的太快就像龙卷风)
?
无妨
青马与大家共同摸石头过大河
“为了做一名合格的数据分析师
我要努力努力再努力”
1
明确需求
确定分析的对象，即确定因变量y
2
数据清洗
2.1   缺失值处理
(1)缺失值的删除
(2)缺失值的填充(均值填充、众数填充、特殊值填充、热卡填充、聚类填充、极大似然估计等)
(3)缺失值作为一类特殊类型的数据，不删除
2.2  异常值处理
3倍标准差以外的数据可视为异常值
处理方法：
(1)所有异常值填为均值
(2)把大于三倍标准差的数据填充为三倍标准差数据
2.3  分类变量
分类变量处理为one-hot编码
3
相关分析
计算变量之间的相关系数
绘制散点图
4
分割测试集、训练集
一般选择70%为训练集  30%为测试集
5
回归模型(初步训练)
得到模型的残差
为后续的高斯马尔科夫检验做准备
5.1  F检验
F检验，检验所有自变量前面的系数是不是都是0
检验模型是不是符合要求，如果不满足要求，则需要进行模型的重新设置
5.2  t检验
t检验，检验每一个自变量的回归系数是不是0
如果存在不符合要求的自变量，需要对其进行处理
5.3  R^2
度量的模型的解释能力，太高或者太低都不能满足模型的要求
太低，表示模型的解释能力有问题
太高，表示模型过拟合(自变量与因变量的相关性...)
5.4  贝塔系数的正负号(如果有需要的话)
判断有些自变量与因变量之间的符号是不是符合预期假设
6
模型调优
科学理论表明：只要模型数据满足高斯马尔科夫假设，则模型就是线形无偏，即是最优的。
调优的方法：
(1)系数贝塔必须是线形的
(2)残差不能出现序列相关性
        高弗雷假设 H0:无序列相关
        DW检验
(3)自变量之间不能出现太高的共线性(VIF)
VIF值较高时的处理方法：
        (a)对x取自然对数
        (b)主成分分析
        (c)岭回归/lasso
(4)残差不会出现内生性
常用解决内生性问题的方法：工具变量
(5)残差的同方差性
BP检验
White检验  
处理方法：
   (a)对因变量y取自然对数 
   (b)加权最小二乘法
(6)残差的正态性
Q-Q图 
SW检验  
主要用于样本数小于5000的检验  
KS检验   
主要用于样本数大于5000的检验 
处理方法： 
    对因变量y去自然对数，可以很有效地消除残差的正态性
7
模型再优化
(1)增加 高次项
(2)增加 交互项
(3)增加 时间趋势
(4)增加 季节趋势
8
逐步回归 
有助于变量的筛选
按自变量与因变量之间的相关系数进行变量排序
9
交叉验证
目的是为了得到可靠稳定的模型
10
模型测试 
(欢迎指正。。。)
欢迎扫码关注
Data Men

	

问题来袭：
要构建一个多元线性回归应该怎么做呢？
莫慌，好好想想～
?
一堆琳琅满目的数据
一个个花样百出的需求
一肚子“不合时宜”的数分能力
(爱情问题来的太快就像龙卷风)
?
无妨
青马与大家共同摸石头过大河
“为了做一名合格的数据分析师
我要努力努力再努力”
1
明确需求
确定分析的对象，即确定因变量y
2
数据清洗
2.1   缺失值处理
(1)缺失值的删除
(2)缺失值的填充(均值填充、众数填充、特殊值填充、热卡填充、聚类填充、极大似然估计等)
(3)缺失值作为一类特殊类型的数据，不删除
2.2  异常值处理
3倍标准差以外的数据可视为异常值
处理方法：
(1)所有异常值填为均值
(2)把大于三倍标准差的数据填充为三倍标准差数据
2.3  分类变量
分类变量处理为one-hot编码
3
相关分析
计算变量之间的相关系数
绘制散点图
4
分割测试集、训练集
一般选择70%为训练集  30%为测试集
5
回归模型(初步训练)
得到模型的残差
为后续的高斯马尔科夫检验做准备
5.1  F检验
F检验，检验所有自变量前面的系数是不是都是0
检验模型是不是符合要求，如果不满足要求，则需要进行模型的重新设置
5.2  t检验
t检验，检验每一个自变量的回归系数是不是0
如果存在不符合要求的自变量，需要对其进行处理
5.3  R^2
度量的模型的解释能力，太高或者太低都不能满足模型的要求
太低，表示模型的解释能力有问题
太高，表示模型过拟合(自变量与因变量的相关性...)
5.4  贝塔系数的正负号(如果有需要的话)
判断有些自变量与因变量之间的符号是不是符合预期假设
6
模型调优
科学理论表明：只要模型数据满足高斯马尔科夫假设，则模型就是线形无偏，即是最优的。
调优的方法：
(1)系数贝塔必须是线形的
(2)残差不能出现序列相关性
        高弗雷假设 H0:无序列相关
        DW检验
(3)自变量之间不能出现太高的共线性(VIF)
VIF值较高时的处理方法：
        (a)对x取自然对数
        (b)主成分分析
        (c)岭回归/lasso
(4)残差不会出现内生性
常用解决内生性问题的方法：工具变量
(5)残差的同方差性
BP检验
White检验  
处理方法：
   (a)对因变量y取自然对数 
   (b)加权最小二乘法
(6)残差的正态性
Q-Q图 
SW检验  
主要用于样本数小于5000的检验  
KS检验   
主要用于样本数大于5000的检验 
处理方法： 
    对因变量y去自然对数，可以很有效地消除残差的正态性
7
模型再优化
(1)增加 高次项
(2)增加 交互项
(3)增加 时间趋势
(4)增加 季节趋势
8
逐步回归 
有助于变量的筛选
按自变量与因变量之间的相关系数进行变量排序
9
交叉验证
目的是为了得到可靠稳定的模型
10
模型测试 
(欢迎指正。。。)
欢迎扫码关注
Data Men