精华内容
下载资源
问答
  • 岭回归,Lasso——变量选择技术

    万次阅读 2018-07-07 20:24:22
    解决多重共线性和变量选择的两种方法——岭回归(L2范数)&Lasso(L1范数)。 目录 1 多元线性回归的最小二乘解 2 岭回归 3 LASSO 4 LASSO的计算方法 1 多元线性回归的最小二乘解 Q(β)是残差的...

    本文内容主要基于炼数成金机器学习课程,并且LAR部分参考了文章Lasso算法学习

    解决多重共线性和变量选择的两种方法——岭回归(L2范数)&Lasso(L1范数)。

    目录

    1 多元线性回归的最小二乘解

    2 岭回归

    3 LASSO

    4 LASSO的计算方法


    1 多元线性回归的最小二乘解

    Q(β)是残差的平方和的向量化表示,求偏导后得到的解为最小二乘估计; 6.22式中矩阵的-1表示的是广义求逆(矩阵只有n*n才能求逆,广义求逆可以针对所有的矩阵)。

    多元线性回归的几何意义:求最小的y-β1X1-β2X2……其实就是求向量y到平面β1X1+β2X2……的最短距离(垂直距离)。

    出现以下两种情况时影响求解:

    2 岭回归

    加入了一个扰动kI。

    3.41的最后一项称为惩罚函数,它和3.42描述的问题是一样的。

    岭回归的几何意义:

    RSS表示的是残差平方和。约束项βi的平方和≤t在集合中表示为一个圆柱(二维情况时),它与残差的交点就是(β1, β2)。如下图所示:

    画在一个切面图上:

    岭回归性质:

    (最小二乘法是无偏估计)

    (岭回归比最小二乘法更能接近真值,虽然它平均上有偏差)

     

    岭迹图可以用于判断多重共线性。

    3 LASSO

    (左上为岭回归,右下为LASSO)

    (左为LASSO,右为岭回归)

    岭估计系数通常不会为0——椭圆不断扩大,会和圆相切交一点(即为岭估计系数)。这一点在圆周上的位置通常不会取到0(椭圆碰到坐标轴上的圆周上的点的概率很低->没有稀疏)。

    对比岭回归,LASSO的约束条件用的是绝对值,在几何上解释为一个菱形。随着椭圆增大,椭圆与菱形突出的顶点相交的概率很大(即回归系数等于0),容易产生稀疏的结果

    (弹性网目前处理的效果最好)

    4 LASSO的计算方法

    最小角回归算法

    这里LSE指的是Least Squares Error。

    算法过程:

     

    在介绍LAR之前,先要说明一下有关相关系数的知识补:

    岭回归,Lasso和LAR学习(二)


     

            r表示X,Y的相关性,r越高,X,Y就越相关,若X,Y是二维向量,就说明X,Y两个向量越接近(可以被互相表示)

    通常情况下通过以下取值范围判断变量的。

    相关系数     相关强度:

    0.8-1.0     极强相关   

    0.6-0.8     强相关                

    0.4-0.6     中等程度相关                

    0.2-0.4     弱相关              

    0.0-0.2     极弱相关或无相关

     

    如果这里我们假设Xi,Yi与,计算的结果为二维单位向量,再反观r的计算公式:

     岭回归,Lasso和LAR学习(二)
     

    该手稿转自http://f.dataguru.cn/thread-448966-1-1.html(炼数成金),可以发现r最终就是X,Y标准化后的夹角余弦值。

     

    所以夹角越小,cosθ就越大,越接近1,即表示相关系数越大。(也可以解释相关系数的取值范围[-1,1])

     

    解释完相关系数,就让我们正式进入LAR的学习。

    岭回归,Lasso和LAR学习(二)

    1)r表示的是向量Y和Xi之间的残差向量

    2)找到和Y向量夹角最小的向量Xi,记最初夹角为θ0(图中即角1)。Y与Xi的局部最小二乘解(即为Y到Xi的距离,图中的垂直虚线)。从原点出发,沿着Xi,向这个局部最小二乘解移动。随着移动,残差向量r会趋于图中的垂直虚线;最初的夹角1也渐渐变为夹角2,并不断趋于90°;Xi与r之间的相关系数不断减小,趋于0。

    3)在这个变化的过程中,总有某一时刻,另一个变量Xj与r之间的相关系数,与Xi与r之间的相关系数一样大。这个时候我们就把Xj加入。Xj加入后,前进的方向要进行修正(不在沿着Xi了),修正为Xi与Xj夹角的角平分线方向(图中酒红色线,需先将Xj平移才能得到)。

    4)重复3步骤,直到所有X分量都被包含。最终找到残差向量r与所有X之间相关系数都为0的点。

    解释图:

    岭回归,Lasso和LAR学习(二)
     

     

    展开全文
  • 部分线性模型的adaptive group lasso变量选择,牛银菊,,本文对部分线性模型的aglasso (adaptive group lasso)参数估计及变量选择进行研究。构造了aglasso惩罚最小二乘估计,研究了在一定条件下估计�
  • Lasso与其他变量选择方法的模拟比较,胡一睿,曲荣华,[目的]提出一种基于收缩估计的新的变量选择方法-Lasso,并比较其与其他变量选择方法的异同。[方法]首先给出了几种常见的变量选择方�
  • Lease Absolute Shrinkage and Selection Operator(LASSO)在给定的模型上执行正则化和变量选择。根据惩罚项的大小,LASSO将不太相关的预测因子缩小到(可能)零。因此,它使我们能够考虑一个更简明的模型。在这组...

    原文链接:http://tecdat.cn/?p=22721 

    原文出处:拓端数据部落公众号

    Lease Absolute Shrinkage and Selection Operator(LASSO)在给定的模型上执行正则化和变量选择。根据惩罚项的大小,LASSO将不太相关的预测因子缩小到(可能)零。因此,它使我们能够考虑一个更简明的模型。在这组练习中,我们将在R中实现LASSO回归。
     

    练习1

    加载糖尿病数据集。这有关于糖尿病的病人水平的数据。数据为n = 442名糖尿病患者中的每个人获得了10个基线变量、年龄、性别、体重指数、平均血压和6个血清测量值,以及感兴趣的反应,即一年后疾病进展的定量测量。"
    接下来,加载包用来实现LASSO。

    head(data)

    练习2

    数据集有三个矩阵x、x2和y。x是较小的自变量集,而x2包含完整的自变量集以及二次和交互项。
    检查每个预测因素与因变量的关系。生成单独的散点图,所有预测因子的最佳拟合线在x中,y在纵轴上。用一个循环来自动完成这个过程。
     

    summary(x)

    for(i in 1:10){
      plot(x[,i], y)
      abline(lm(y~x[,i])
    }

     

    练习3

    使用OLS将y与x中的预测因子进行回归。我们将用这个结果作为比较的基准。

    lm(y ~ x)

     

    练习4

    绘制x的每个变量系数与β向量的L1准则的路径。该图表明每个系数在哪个阶段缩减为零。

    
    plot(model_lasso)

    练习5

    得到交叉验证曲线和最小化平均交叉验证误差的lambda的值。

    plot(cv_fit)
    

    练习6

    使用上一个练习中的lambda的最小值,得到估计的β矩阵。注意,有些系数已经缩减为零。这表明哪些预测因子在解释y的变化方面是重要的。

    > fit$beta
    

    练习7

    为了得到一个更简明的模型,我们可以使用一个更高的λ值,即在最小值的一个标准误差之内。用这个lambda值来得到β系数。注意,现在有更多的系数被缩减为零。

    lambda.1se

     

    beta

    练习8

    如前所述,x2包含更多的预测因子。使用OLS,将y回归到x2,并评估结果。

    summary(ols2)
    

     

    练习9

    对新模型重复练习-4。

    lasso(x2, y)
    plot(model_lasso1)

     

    练习10

    对新模型重复练习5和6,看看哪些系数被缩减为零。当有很多候选变量时,这是缩小重要预测变量的有效方法。

    plot(cv_fit1)

    beta

     


    最受欢迎的见解

    1.R语言多元Logistic逻辑回归 应用案例

    2.面板平滑转移回归(PSTR)分析案例实现

    3.matlab中的偏最小二乘回归(PLSR)和主成分回归(PCR)

    4.R语言泊松Poisson回归模型分析案例

    5.R语言回归中的Hosmer-Lemeshow拟合优度检验

    6.r语言中对LASSO回归,Ridge岭回归和Elastic Net模型实现

    7.在R语言中实现Logistic逻辑回归

    8.python用线性回归预测股票价格

    9.R语言如何在生存分析与Cox回归中计算IDI,NRI指标

    展开全文
  • 变量选择--Lasso

    万次阅读 2017-01-31 01:21:22
    Lasso

    假设数据是 (Yi;Xi1,,Xip),i=1,2,,n.
    高维数据(大 p)分析方法:
    1. 降维:岭回归(Ridge regression);Lasso; Dantzig selector
    2. 特征提取: 主成分分析(PCA)


    Lasso:
    Lasso可以说是最火的变量选择方法:

    β̂ lasso=argmin(YXβ)T(YXβ)+λβ1

    计算方法:
    Lasso 的目标函数是凸的,不可导的,传统基于导数(梯度)的方法不可用
    实用方法有:Larscoordinate descent, ADMM

    lasso 的优点:

    1.当模型为sparse的时候,估计准确度高
    2. λ增大时,不重要的变量回归系数β̂ lassoj=0
    3. Lars的收敛速度为O(np2), 等于OLS 的收敛速度

    lasso 不适用于:

    1.模型不是sparse的时候;
    2.变量间高度线性相关的时候.

    R example 给了R中的包glmnet的使用方法

    Regularization: Ridge Regression and the LASSO给了详细的介绍以及与Ridge regression, CV之间的比较

    展开全文
  • 前言:本文是作者学习机器学习多元线性回归部分,就消除多重共线性、选择变量问题而做的练习。参照了《R-modeling》.薛毅.P331 例6.10例子,使用到R语言的MASS包,ridge包,lars包。

    前言:

        本文是作者学习机器学习多元线性回归部分,就消除多重共线性、选择变量问题而做的练习。参照了《R-modeling》.薛毅.P331 例6.10例子,使用到R语言的MASS包,ridge包,lars包。

    《R-modeling》.薛毅  http://download.csdn.net/detail/solomon1558/8229859

    例6.10 某种水泥在凝固时放出的热量Y(卡/克)与水泥中四种化学成分X1,X2,X3,X4有关。现测得13组数据,如下表所示。希望从中选出主要的变量,建立Y关于它们的线性回归方程。

    1 多元线性最小最小二乘法估计

    1.1 读入数据


    1.2全部变量参与线性回归


        根据观察,截距与变量均不能通过系数检验,并且残差较大

       

    1.3 样本多重共线性检查

    求解样本方阵的条件数(kappa值) ,kappa =2009.756,易知kappa1000,变量间具有严重的多重共线性。

    2. 利用MASS包中的lm.ridge实现岭回归

    2.1  k取值[0,0.1],步长0.001.求解不同k值下的岭回归估计族。



        观察岭迹图,结合X1、X2、X3、X4各变量k[0,0.1]上的系数β值,发现X3的系数绝对值始终很小,而且从正穿越到负,故舍去变量X3。

    2.2 作Y与X1、X2、X3的多元线性回归模型,发现变量X3系数检验不过关,舍去变量X3.

    2.3 舍去变量X3、X4后,使用select函数对该模型求解lambda值

        取GCV的值lambda = 0.082。


        将lambda值代入线性回归模型,得到对因变量Y有偏的估计

        Y^ = 52.577 + 1.4683X1 + 0.6622X2.

         这个结果与薛毅书中P335页例6.10结果相近。

    3 使用ridge包求解岭参数lambda

    3.1 键入以下命令:

    > lRid = linearRidge(Y~.,data = cement)

    > summary(lRid)

        得lambda = 0.0147。

        据观察,变量X3的系数没有通过检验,应该舍去。

    3.2 去掉X3后再做岭回归

    得lambda = 0.005856,据观察变量X4没有通过系数检验,故应舍去。

    3.3最终的回归模型:

    lambda = 0.004852

    Y^ = 52.5749 + 1.4629X1 + 0.6595X2.

     

    4    使用采用lasso构造多元线性回归模型

    4.1 变量选择次序

    > lar =lars(cementMat[,1:4],cementMat[,5])

    > lar

    Call:

    lars(x = cementMat[, 1:4], y = cementMat[,5])

    R-squared: 0.982

    Sequence of LASSO moves:

        X4 X1 X2 X3

    Var  4  1  2  3

    Step 1  2  3  4

            由此可见,LASSO的变量选择依次是X4,X1,X2,X3

     

    4.2  summary(lar)

    >summary(lar)

    LARS/LASSO

    Call: lars(x =cementMat[, 1:4], y = cementMat[, 5])

      Df        Rss           Cp

    0  1       2715.76    442.9167

    1  2       2219.35   361.9455

    2  3       1917.55    313.5020

    3  4       47.97       3.0184

    4  5       47.86      5.0000

        由以上信息可知,在第三步cp指标(Mallows’s Cp)值最小,且残差RSS和比较小。
        第三步的结果是x4, x1, x2变量,所以最终的变量选择是x4, x1, x2变量
        根据得到的结果,我们可以做进一步的线性回归分析。

    5. 总结

        岭回归和lasso的适用场景是特征项非常多或者特征间存在多重共线性的情况。岭回归与Lasso都采用了“增加惩罚函数”的方法来判断、消除多个特征间的多重共线性。其中岭回归主要用于判断、消除特征间的多重共线性,较少用于变量剔除,而Lasso可以用于解决多重共线性问题以及剔除变量。同时,两者都是对总体的有偏估计。

        因为岭参数lambda不是唯一确定的,所以岭回归估计β^(k)实际上是回归参数β的一个估计族。求解岭回归的重点是确定解岭参数lambda。可以借助岭迹图,或是方差扩大因子法等计算方法求解lambda。

        因为lambda的确定方法多种多样且结果相差巨大,因而岭回归的结果存在争议,现已不再广泛使用。

        Lasso全名The leastAbsolute shrinkage and Selectionator operator(最小绝对(值)收缩和变量选择),Tibshirani于1996年提出。通过构造一个一阶惩罚函数获得一个精炼癿模型;通过最终确定一些指标(变量)癿系数为零(岭回归估计系数等于0癿机会微乎其微,造成筛选变量困难),解释力很强。

        但是因为惩罚函数是一阶带绝对值的函数,故约束域的角尖处不可导,不能求偏导,用微积分的方法做无解。需要用很复杂的数值计算求解回归方程,算E法复杂度很高。

        直到Efron于2004年发现LAR(Least Angel Regression)算法所描述的回归问题求解过程与Lasso的求解过程几乎一致,可以通过LAR算法高效的地求解Lasso回归,才使得Lasso算法得到学术界的重视。

        LAR算法类似于向前逐步回归(Forward Stepwise),两者区别在于:LAR是每次先找出和因变量相关度(夹角余弦值)最大的变量,在保证残差向量与当前选入变量的相关系数一致的路径方向上前进,直到最终包含所有变量,且变量与残差向量的相关系数为0,即求得最小二乘解的估计。

        如今,使用LAR算法求解Lasso,从而消除特征之间的多重共线性和选择变量已经成为了一种常用的方法。



    展开全文
  • 经常有遇到处理高维数据的情况,这时在运用Cox模型前就有必要对变量进行选择,去除冗余,这一篇接着上一篇生存分析学习笔记,主要讲我对运用自适应Lasso方法对Cox模型进行变量选择的理解。 我们已经知道Cox模型的...
  • LASSO与Item Response Theory模型中的隐变量选择Item Response Theory简介统计模型Latent Traits Selection两参数模型的LASSOBIC for tuningLatent traits selection的EM算法 这是Latent Variable Selection for ...
  • 分析省级层面就医需求的政策变量和交互要素,并控制地区和时间效应的异质性,为精确估计医疗改革效应和医疗机构区域合理布局提供科学依据.以就医需求和就医供给的代理...
  • 变量选择算法lasso及二次规划

    千次阅读 2014-03-11 20:24:08
    观测数据:(X,y),X是n*m的矩阵,其中n>m,。 1. 首先对数据进行中心标准化,以消除不同指标量纲的影响。此时,对于i∈{1,2,.....m}。此时,有:。 matlab中的标准化函数如下: ...变量筛选。筛选掉影响因子
  • 使用收缩的方法的效果提升是相当好的,岭回归(ridge regression,后续以ridge代称),lasso和弹性网络(elastic net)是常用的变量选择的一般化版本。弹性网络实际上是结合了岭回归和lasso的特点。 Lasso和Ridge...
  • 每天进步一点点——Lasso
  • 1.题目分别使用岭回归和Lasso解决薛毅书第279页(PDF为p331)例6.10的回归问题 2.准备2.1.准备安装加载包使用到R语言的函数对应包 函数 功能 包 lm.ridge 提供岭回归函数 ridge linearRidge 自动进行岭...
  • 机器学习(四)变量选择技术----------岭回归,Lasso   我们回顾一下之前线性回归模型里面的一元线性回归模型多元线性回归模型,里面在谈论如何找到最佳系数时,使用的是最小二乘法,在这里我们先把多元线性回归...
  • UA MATH567 高维统计专题1 稀疏信号及其恢复7 LASSO的预测误差与变量选择一致性Prediction ErrorVariable Selection Consistency Prediction Error 前两讲介绍了LASSO估计误差的一些结果,这一讲介绍LASSO的预测误差...
  • 逻辑logistic回归是研究中常用的方法,可以进行影响因素筛选、概率预测、分类等,例如医学研究中高通里测序技术得到的数据给高维变量选择问题带来挑战,惩罚logisitc回归可以对高维数据进行变量选择和系数估计,且其...
  • 变量处理的LASSO方法

    千次阅读 2019-06-07 16:10:26
    lasso能够对变量进行筛选对模型的复杂程度进行降低。这里的变量筛选是指不把所有的变量都放入模型中进行拟合,而是有选择的把变量放入模型从而得到更好的性能参数。 lasso回归的特色就是在建立广义线型模型的时候...
  • 在线性回归模型中,其参数估计公式为 $\beta=\left(X^{T} X\right)^{-1}...解决这类问题可 以使用岭回归、LASSO 回归、主成分回归、偏最小二乘回归, 主要针对自变量之间存在多重共线性或者自变量个数多于样本量的情况。
  • LassoCV特征选择

    千次阅读 2019-09-23 10:57:33
    from sklearn.linear_model import Lasso from sklearn.preprocessing import StandardScaler from sklearn.datasets import load_boston from sklearn.model_selection import cross_val_score boston = lo...
  • 针对Bayesian Lasso方法的变量选择和异常值检测进行了研究。该方法是在线性回归模型中引入识别变量,借助于双层Bayesian模型Gibbs抽样算法,给出识别变量后验概率的计算方法和变量选择的方法,通过比较这些识别...
  • 根据某贷款平台的个人信用数据集,可以通过实验得出结论,与全变量Logistic模型逐步Logistic模型相比,Group Lasso-Logistic模型的变量选择能力最强,其次是套索物流套索SVM。 这三个基于套索变量选择的模型都...
  • lasso和ridge的区别

    千次阅读 2018-11-27 15:28:07
    lasso 也叫L1正则化 惩罚系数的绝对值  ridge 也叫L2正则化 惩罚系数的平方   ridge 惩罚后 每个系数都收缩  lasso 惩罚后,有的系数直接变成0 ... lasso变量选择的功能   =============== 共同点为:...
  • 高维数据回归分析中基于LASSO的自变量选择· 229 · 中国卫生统计 2013 年 12 月第 30 卷第 6 期·综述·高维数据回归分析中基于 LASSO 的自变量选择*张秀秀1 王 慧1 田双双1 乔 ...
  • 与已有的特征选择方法相比较,Lasso不仅能够准确地选择出与类标签强相关的变量,同时还具有特征选择的稳定性,因而成为人们研究的一个热点。但是,Lasso方法与其他特征选择方法一样,在高维海量或高维小样本数据集的特征...
  • 东南大学硕士学位论文东南大学硕士学位论文 摘要摘要本文主要研究的是信用评分模型中的变量选择问题,变量...在建模中不仅要 确保选择变量集合能反映所要研究的对象特性,还要保征得到的结果具有较好 的拟合性...
  • 如题,用R做的,代码没问题,就是结果很奇怪 <p>lasso模型为啥会反向预测呢?相关值有0.8那么高</p>
  • 机器学习 | 变量选择

    千次阅读 2019-04-14 01:38:16
    变量选择方法1 背景2 变量选择方法有哪些?3 什么叫向前/向后选择以及逐步回归、最优子集?AIC/BIC又是怎么定义的?3.1 四种统计上变量选择的方法3.2 什么是AIC/BIC3.2.1 AIC3.2.2 BIC4 如何实现5 参考 1 背景 为...
  • LASSO

    千次阅读 2018-06-03 10:42:31
    感谢博客:http://blog.sina.com.cn/s/blog_e386b39f0102vzsj.html概要:前文已经分析完岭回归在多元线性回归分析中的作用使用方法,也发现其存在大量不足,在本博文中会介绍学习岭回归的改进方法:Lasso。...
  • LASSO算法

    千次阅读 2018-09-09 14:05:30
    然而,建模过程需要寻找对因变量最具有强解释力的自变量集合,也就是通过自变量选择(指标选择、字段选择)来提高模型的解释性预测精度。指标选择在统计建模过程中是极其重要的问题。Lasso算法则是一种能够实现指标...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 9,115
精华内容 3,646
关键字:

lasso和变量选择