本文内容主要基于炼数成金机器学习课程，并且LAR部分参考了文章Lasso算法学习。

解决多重共线性和变量选择的两种方法——岭回归（L2范数）&Lasso（L1范数）。

目录

1 多元线性回归的最小二乘解

2 岭回归

3 LASSO

4 LASSO的计算方法

1 多元线性回归的最小二乘解



Q(β)是残差的平方和的向量化表示，求偏导后得到的解为最小二乘估计； 6.22式中矩阵的-1表示的是广义求逆（矩阵只有n*n才能求逆，广义求逆可以针对所有的矩阵）。

多元线性回归的几何意义：求最小的y-β1X1-β2X2……其实就是求向量y到平面β1X1+β2X2……的最短距离（垂直距离）。

出现以下两种情况时影响求解：



2 岭回归



加入了一个扰动kI。



3.41的最后一项称为惩罚函数，它和3.42描述的问题是一样的。

岭回归的几何意义：

RSS表示的是残差平方和。约束项βi的平方和≤t在集合中表示为一个圆柱（二维情况时），它与残差的交点就是（β1, β2）。如下图所示：



画在一个切面图上：



岭回归性质：



（最小二乘法是无偏估计）







（岭回归比最小二乘法更能接近真值，虽然它平均上有偏差）

 

岭迹图可以用于判断多重共线性。





3 LASSO





（左上为岭回归，右下为LASSO）



（左为LASSO，右为岭回归）

岭估计系数通常不会为0——椭圆不断扩大，会和圆相切交一点（即为岭估计系数）。这一点在圆周上的位置通常不会取到0（椭圆碰到坐标轴上的圆周上的点的概率很低->没有稀疏）。

对比岭回归，LASSO的约束条件用的是绝对值，在几何上解释为一个菱形。随着椭圆增大，椭圆与菱形突出的顶点相交的概率很大（即回归系数等于0），容易产生稀疏的结果。



（弹性网目前处理的效果最好）

4 LASSO的计算方法

最小角回归算法



这里LSE指的是Least Squares Error。

算法过程：

 

在介绍LAR之前，先要说明一下有关相关系数的知识补：





 

        r表示X，Y的相关性，r越高，X，Y就越相关，若X，Y是二维向量，就说明X，Y两个向量越接近（可以被互相表示）

通常情况下通过以下取值范围判断变量的。

相关系数     相关强度：

0.8-1.0     极强相关   

0.6-0.8     强相关                

0.4-0.6     中等程度相关                

0.2-0.4     弱相关              

0.0-0.2     极弱相关或无相关

 

如果这里我们假设Xi，Yi与，计算的结果为二维单位向量，再反观r的计算公式：

 

 

该手稿转自http://f.dataguru.cn/thread-448966-1-1.html（炼数成金），可以发现r最终就是X，Y标准化后的夹角余弦值。

 

所以夹角越小，cosθ就越大，越接近1，即表示相关系数越大。（也可以解释相关系数的取值范围[-1,1]）

 

解释完相关系数，就让我们正式进入LAR的学习。



1）r表示的是向量Y和Xi之间的残差向量

2）找到和Y向量夹角最小的向量Xi，记最初夹角为θ0（图中即角1）。Y与Xi的局部最小二乘解（即为Y到Xi的距离，图中的垂直虚线）。从原点出发，沿着Xi，向这个局部最小二乘解移动。随着移动，残差向量r会趋于图中的垂直虚线；最初的夹角1也渐渐变为夹角2，并不断趋于90°；Xi与r之间的相关系数不断减小，趋于0。

3）在这个变化的过程中，总有某一时刻，另一个变量Xj与r之间的相关系数，与Xi与r之间的相关系数一样大。这个时候我们就把Xj加入。Xj加入后，前进的方向要进行修正（不在沿着Xi了），修正为Xi与Xj夹角的角平分线方向（图中酒红色线，需先将Xj平移才能得到）。

4）重复3步骤，直到所有X分量都被包含。最终找到残差向量r与所有X之间相关系数都为0的点。

解释图：



 

 

原文链接：http://tecdat.cn/?p=22721 

原文出处：拓端数据部落公众号



Lease Absolute Shrinkage and Selection Operator（LASSO）在给定的模型上执行正则化和变量选择。根据惩罚项的大小，LASSO将不太相关的预测因子缩小到（可能）零。因此，它使我们能够考虑一个更简明的模型。在这组练习中，我们将在R中实现LASSO回归。

 

练习1

加载糖尿病数据集。这有关于糖尿病的病人水平的数据。数据为n = 442名糖尿病患者中的每个人获得了10个基线变量、年龄、性别、体重指数、平均血压和6个血清测量值，以及感兴趣的反应，即一年后疾病进展的定量测量。"

接下来，加载包用来实现LASSO。

head(data)



练习2

数据集有三个矩阵x、x2和y。x是较小的自变量集，而x2包含完整的自变量集以及二次和交互项。

检查每个预测因素与因变量的关系。生成单独的散点图，所有预测因子的最佳拟合线在x中，y在纵轴上。用一个循环来自动完成这个过程。

 

summary(x)



for(i in 1:10){
  plot(x[,i], y)
  abline(lm(y~x[,i])
}



 

练习3

使用OLS将y与x中的预测因子进行回归。我们将用这个结果作为比较的基准。

lm(y ~ x)



 

练习4

绘制x的每个变量系数与β向量的L1准则的路径。该图表明每个系数在哪个阶段缩减为零。


plot(model_lasso)







练习5

得到交叉验证曲线和最小化平均交叉验证误差的lambda的值。

plot(cv_fit)








练习6

使用上一个练习中的lambda的最小值，得到估计的β矩阵。注意，有些系数已经缩减为零。这表明哪些预测因子在解释y的变化方面是重要的。



> fit$beta




练习7

为了得到一个更简明的模型，我们可以使用一个更高的λ值，即在最小值的一个标准误差之内。用这个lambda值来得到β系数。注意，现在有更多的系数被缩减为零。

lambda.1se

 

beta







练习8

如前所述，x2包含更多的预测因子。使用OLS，将y回归到x2，并评估结果。



summary(ols2)


 



练习9

对新模型重复练习-4。

lasso(x2, y)
plot(model_lasso1)



 

练习10

对新模型重复练习5和6，看看哪些系数被缩减为零。当有很多候选变量时，这是缩小重要预测变量的有效方法。

plot(cv_fit1)



beta



 







最受欢迎的见解

1.R语言多元Logistic逻辑回归 应用案例

2.面板平滑转移回归(PSTR)分析案例实现

3.matlab中的偏最小二乘回归（PLSR）和主成分回归（PCR）

4.R语言泊松Poisson回归模型分析案例

5.R语言回归中的Hosmer-Lemeshow拟合优度检验

6.r语言中对LASSO回归，Ridge岭回归和Elastic Net模型实现

7.在R语言中实现Logistic逻辑回归

8.python用线性回归预测股票价格

9.R语言如何在生存分析与Cox回归中计算IDI，NRI指标

  
假设数据是 (Yi;Xi1,…,Xip),i=1,2,…,n.

  高维数据(大 p)分析方法： 

  1. 降维：岭回归（Ridge regression）；Lasso; Dantzig selector 

  2. 特征提取: 主成分分析（PCA）
  
  


Lasso： 
Lasso可以说是最火的变量选择方法： 
β̂ lasso=argmin(Y−Xβ)T(Y−Xβ)+λ∥β∥1
计算方法： 

Lasso 的目标函数是凸的，不可导的，传统基于导数（梯度）的方法不可用 

实用方法有：Lars，coordinate descent, ADMM等

lasso 的优点：

1.当模型为sparse的时候，估计准确度高 

2. λ增大时，不重要的变量回归系数β̂ lassoj=0

3. Lars的收敛速度为O(np2), 等于OLS 的收敛速度

lasso 不适用于：

1.模型不是sparse的时候； 

2.变量间高度线性相关的时候.

R example 给了R中的包glmnet的使用方法

Regularization: Ridge Regression and the LASSO给了详细的介绍以及与Ridge regression， CV之间的比较

前言：
    本文是作者学习机器学习多元线性回归部分，就消除多重共线性、选择变量问题而做的练习。参照了《R-modeling》.薛毅.P331 例6.10例子，使用到R语言的MASS包，ridge包，lars包。

《R-modeling》.薛毅  http://download.csdn.net/detail/solomon1558/8229859

例6.10 某种水泥在凝固时放出的热量Y（卡/克）与水泥中四种化学成分X1，X2，X3，X4有关。现测得13组数据，如下表所示。希望从中选出主要的变量，建立Y关于它们的线性回归方程。

1 多元线性最小最小二乘法估计
1.1 读入数据


1.2全部变量参与线性回归



    根据观察，截距与变量均不能通过系数检验，并且残差较大。
    
1.3 样本多重共线性检查
求解样本方阵的条件数(kappa值) ，kappa =2009.756,易知kappa1000,变量间具有严重的多重共线性。

2. 利用MASS包中的lm.ridge实现岭回归
2.1  k取值[0,0.1],步长0.001.求解不同k值下的岭回归估计族。





    观察岭迹图，结合X1、X2、X3、X4各变量k[0,0.1]上的系数β值，发现X3的系数绝对值始终很小，而且从正穿越到负，故舍去变量X3。
2.2 作Y与X1、X2、X3的多元线性回归模型，发现变量X3系数检验不过关，舍去变量X3.

2.3 舍去变量X3、X4后，使用select函数对该模型求解lambda值
    取GCV的值lambda = 0.082。



    将lambda值代入线性回归模型，得到对因变量Y有偏的估计
    Y^
= 52.577 + 1.4683X1 + 0.6622X2.
     这个结果与薛毅书中P335页例6.10结果相近。

3 使用ridge包求解岭参数lambda


3.1 键入以下命令：
> lRid = linearRidge(Y~.,data = cement)
> summary(lRid)
    得lambda = 0.0147。
    据观察，变量X3的系数没有通过检验，应该舍去。

3.2 去掉X3后再做岭回归
得lambda = 0.005856，据观察变量X4没有通过系数检验，故应舍去。

3.3最终的回归模型：
lambda = 0.004852
Y^ = 52.5749 + 1.4629X1
 + 0.6595X2.

 
4    使用采用lasso构造多元线性回归模型
4.1 变量选择次序
> lar =lars(cementMat[,1:4],cementMat[,5])
> lar
Call:
lars(x = cementMat[, 1:4], y = cementMat[,5])
R-squared: 0.982 
Sequence of LASSO moves:
    X4 X1 X2 X3
Var  4  1  2  3
Step 1  2  3  4
        由此可见，LASSO的变量选择依次是X4，X1，X2，X3
 

4.2  summary(lar)
>summary(lar)
LARS/LASSO
Call: lars(x =cementMat[, 1:4], y = cementMat[, 5])
  Df        Rss           Cp
0  1       2715.76    442.9167
1  2       2219.35   361.9455
2  3       1917.55    313.5020
3  4       47.97       3.0184
4  5       47.86      5.0000
    由以上信息可知，在第三步cp指标(Mallows’s Cp)值最小,且残差RSS和比较小。

    第三步的结果是x4, x1, x2变量，所以最终的变量选择是x4, x1, x2变量

    根据得到的结果，我们可以做进一步的线性回归分析。
5. 总结
    岭回归和lasso的适用场景是特征项非常多或者特征间存在多重共线性的情况。岭回归与Lasso都采用了“增加惩罚函数”的方法来判断、消除多个特征间的多重共线性。其中岭回归主要用于判断、消除特征间的多重共线性，较少用于变量剔除，而Lasso可以用于解决多重共线性问题以及剔除变量。同时，两者都是对总体的有偏估计。
    因为岭参数lambda不是唯一确定的，所以岭回归估计β^(k)实际上是回归参数β的一个估计族。求解岭回归的重点是确定解岭参数lambda。可以借助岭迹图，或是方差扩大因子法等计算方法求解lambda。
    因为lambda的确定方法多种多样且结果相差巨大，因而岭回归的结果存在争议，现已不再广泛使用。
    Lasso全名The leastAbsolute shrinkage and Selectionator operator（最小绝对(值)收缩和变量选择),Tibshirani于1996年提出。通过构造一个一阶惩罚函数获得一个精炼癿模型；通过最终确定一些指标（变量）癿系数为零（岭回归估计系数等于0癿机会微乎其微，造成筛选变量困难），解释力很强。
    但是因为惩罚函数是一阶带绝对值的函数，故约束域的角尖处不可导，不能求偏导，用微积分的方法做无解。需要用很复杂的数值计算求解回归方程，算E法复杂度很高。
    直到Efron于2004年发现LAR（Least Angel Regression）算法所描述的回归问题求解过程与Lasso的求解过程几乎一致，可以通过LAR算法高效的地求解Lasso回归，才使得Lasso算法得到学术界的重视。
    LAR算法类似于向前逐步回归(Forward Stepwise),两者区别在于：LAR是每次先找出和因变量相关度(夹角余弦值)最大的变量，在保证残差向量与当前选入变量的相关系数一致的路径方向上前进，直到最终包含所有变量，且变量与残差向量的相关系数为0，即求得最小二乘解的估计。
    如今，使用LAR算法求解Lasso，从而消除特征之间的多重共线性和选择变量已经成为了一种常用的方法。