精华内容
下载资源
问答
  • 2021-04-19 03:46:10

    第20卷 第6期 辽宁工程技术大学学报(自然科学版) 2001年12月 V ol.20, No.6 Journal of Liaoning Technical University (Natural Science ) Dec., 2001 _______________________________

    收稿日期:2001-01-09

    作者简介:曾繁会(1970-),女,辽宁 阜新人,讲师,理学学士.本文编校:唐巧凤

    基于MATLAB的岭回归分析程序设计及其应用

    曾繁会, 吕渭济

    (辽宁工程技术大学 工商管理学院,阜新 123000)

    摘 要:岭回归分析是多元线性回归分析中的一种方法,在实际应用中经常遇到。本文通过设计MATLAB中的Ridge1函数程序,介绍如何利用MATLAB进行岭回归分析。

    关键词:岭回归;MATLAB;岭回归分析;岭回归系数;程序设计 中图号:O 212.4 文献标识码:A

    0 引 言

    岭回归亦称“脊回归估计”、“岭估计”,是一种改进最小二乘估计的方法,适用于自变量x 1,x 2,…,x p 间相关性强时,或某些变量的变化范围太小时,也即线性回归模型中正规方程的系数矩阵X ′X 接近奇异时的情形。在这种情况下,用传统的基于最小二乘法估计参数的多元线性回归、逐步回归等方法往往不能得到令人满意的结果,甚至有的结果与专业知识不一致,通常可以采用岭回归分析方法。

    MATLAB (5.3版本)的数值计算功能强大,又便于进行输出结果可视化的程序设计,它的统计工具箱(Statistic Toolbox )中的功能函数有200多个。MATLAB 的操作简便、可扩充性等诸多优点决定了它将在SAS 等概率统计软件领域中占据及其重要的地位。笔者发现其中用于岭回归分析的函数程序Ridge.m 中有几处欠佳,如其中的标准化处理、回归系数的求解。本文意在对其Ridge.m 进行改进,并利用改进后的程序Ridge1.m 作基于MATLAB 的岭回归分析的应用。

    1 岭回归程序(Ridge 1.m )的设计

    设有p 个自变量x 1,x 2,…,xp ,一个因变量y ,进行n 次统计得到数据表Xnxp ,Ynx 1。对于岭参数k (k ∈[0,1]),估计岭回归系数的步骤如下:

    (1) 将原始数据x 1,x 2,…,xp ,y 作标准化变换,变换后均值为0,标准差为1。X ,Y 矩阵分别变为Z ,Y 。

    (2 ) 对于k ∈[0,1],求)1(?n k 。

    (3)将标准化变换后的矩阵Znxp ,Ynx1添加伪样本数据变为Zplus (n +p )xp,Yplus (n +p )x1. (4)利用MATLAB 中Regress 函数拟合过原点的多元线性回归方程,所估计出的回归系数即为岭回归系数βi (k )(i =1,2,…,p )。

    (5)在应用程序中通过MATLAB 的画图语句Plot 绘出βi (k ) 随k 变化的趋势,决定选择合适的k 对应的βi(k )作为最后的岭回归系数。

    岭回归函数Ridge.m 程序清单如下: function [b,bint,r,rint,stats] = ridge1(Y,X,k) [n,p ] = size(X );

    mx = mean (X ); my = mean (Y ); stdx = std(X );stdy=std(Y );

    idx = find(abs(stdx) < sqrt(eps));

    M X = mx(ones(n ,1),:);STD X = stdx(ones(n ,1),:); Z = (X - M X ) ./ STD X ;Y =(Y -my)./stdy; pseudo = sqrt(k*(n -1)) * eye(p);

    Zplus = [Z;pseudo];Yplus = [Y;zeros(p ,1)]; [b,bint,r,rint,stats] = regress(Yplus,Zplus);

    注:在Ridge1.m 中若用Regress 求岭回归系数βi (k )的同时也求出常数项,则可直接将其对应的回归模型用于经济预测及决策分析中。

    应用程序设计

    应用程序的数据表见[1],福建省1991年9个地区的婴儿死亡率及相关指标。采用岭回归分析(Ridge1.m )来比较各种因素对婴儿死亡率的相关次序及数量程度。

    程序中数据矩阵x 9x 6,行指标为地区编号1-9,列指标X =[x 1,x 2,…,x 6]分别为x 1:从事乡妇儿保工作年限2年以上的人员占乡妇儿保人员比重(%);x 2:7岁以下儿童系统管理率(%);x 3:3岁以下儿童生长发育监测率(%);x 4:年人均收入(元);x 5:文盲、半文盲率(%);x 6:乡级妇儿保人员培训比例(%);Y nx1:婴儿死亡率(%)。程序清单如下: x =[71.35 22.90 3.76 1158.18 12.20 55.87; 67.92 34048 17.11 1494.38 19.82 56.60; 79.38 24.91 33.60 691.56 16.17 92.78; 87.97 10.18 0.73 923.04 12.15 24.66; 59.03 7.71 3.58 696.92 13.50 61.81; 55.23 22.94 1.34 1083.84 10.76 49.79; 58.30 12.78 5.25 1180.36 9.58 57.02; 67.43 9.59 2.92 797.72 16.82 38.29; 76.63 15.12 2.55 919.49 17.79 32.07];

    y =[28.46;27.76;26.02;33.29;40.84;44.50;28.09;46.24;45.21];

    x'*x ;count=0;kvec=0.1:0.1:1; for k=0.1:0.1:1

    文章编号:1008-0562(2001)03-0838-02

    更多相关内容
  • 1、回归分析概括 目标值(因变量)是连续型数据,通过某种函数关系找到因变量和自变量之间的关系,进而预测目标。 常见的回归:线性回归、岭回归、非线性回归 回归拟合目标:计算自变量与因变量关系的函数参数 通过...
  • 岭回归分析0 载入库1 数据预处理2 普通线性回归和岭回归2.1 最小二乘法,参数估计2.2 岭回归,参数估计,固定岭参数2.3 岭回归,按 CV 标准自动选择岭参数2.4 列举岭参数的值,计算回归参数,画出岭迹图,计算 VIF ...
  • 岭回归分析(SPSS+SAS)

    千次阅读 2021-04-21 08:27:28
    岭回归 岭回归:岭回归分析是在构建多重线性回归模型时, 对基于“最小二乘原理”推导出的估计回归系数的计算公式作一下校正,使回归系数更稳定。当自变量之间存在较强的多重共线性时,求得的多重线性回归模型很不...

    e53be9a6c7e06d12af97009f1e7c4949.png

    岭回归

    e53be9a6c7e06d12af97009f1e7c4949.png

    岭回归:岭回归分析是在构建多重线性回归模型时, 对基于“最小二乘原理”推导出的估计回归系数的计算公式作一下校正,使回归系数更稳定。

    当自变量之间存在较强的多重共线性时,求得的多重线性回归模型很不稳定; 尤其是某些自变量回归系数的正负号与实际问题的专业背景不吻合时,岭回归分析可以很好地解决这一问题。

    e53be9a6c7e06d12af97009f1e7c4949.png

    岭回归实施的一般步骤

    e53be9a6c7e06d12af97009f1e7c4949.png

    (●)

    岭回归分析通常要先对 X 变量作中心化和标准化处理, 以使不同自变量处于同样数量级上而便于比较。

    (●●)

    确定 k 值

    ① 岭迹图

    岭迹法主要是通过将β(k) 的分量βi(k) 的岭迹画在同一幅图上, 从图中选择尽可能小的k值, 使得各回归系数的岭估计大体稳定, 即各分量在图上的岭迹曲线趋于平行于X轴。

    选择k值的一般原则主要有:①各回归系数的岭估计基本稳定;②用最小二乘估计时符号不合理的回归系数, 其岭估计的符号将变得合理;③回归系数的大小要与实际相符, 即从专业上讲对因变量影响较大的自变量其系数的绝对值也较大;④均方误差增大不太多。

    ②方差膨胀因子法

    方差膨胀因子cjj度量了多重共线性的严重程度, 一般当cjj>10时, 模型就有严重的多重共线性。

    (●●●)

    根据岭迹图进行变量筛选及重新确定k值

    把岭迹应用于回归分析中自变量的选择,其基本原则为:

    (1) 去掉岭回归系数比较稳定且绝对值比较小的自变量。这里岭回归系数可以直接比较大小,因为设计阵X 是假定已经中心标准化了的。

    (2) 去掉岭回归系数不稳定但随着k 值的增加迅速趋于零的自变量。

    (3) 去掉一个或若干个具有不稳定岭回归系数的自变量。如果不稳定的岭回归系数很多,究竟去掉几个, 去掉哪几个, 并无一般原则可遵循。这要结合已找出的复共线性关系以及去掉后重新进行岭回归分析的效果来决定。

    (●●●●)

    对模型进行表达及作出专业结论

    在进行岭估计后, 应根据所估计的参数写出回归方程, 并结合专业知识判断方程中各自变量的系数及正负号是否符合实际情况。最后根据回归系数的大小来判断各自变量对因变量影响的大小及根据所求得的回归方程进行预测。

    e53be9a6c7e06d12af97009f1e7c4949.png

    案例分析

    e53be9a6c7e06d12af97009f1e7c4949.png

    以下为11名儿童的智力测试数据,试以IQ为因变量拟合多重线性回归模型。其中,变量常识(X1)、算数(X2)、理解(X3)、拼图(X4)、积木(X5)、译码(X6),IQ(Y)。

    数据视图

    ae5432465589ced6ea107fb4390606cb.png

    数据类型:自变量(X1~X6),因变量Y 均为定量资料;根据研究目的,试采用多重线性回归模型来分析。

    e53be9a6c7e06d12af97009f1e7c4949.png

    SPSS操作

    e53be9a6c7e06d12af97009f1e7c4949.png

    (Ⅰ)先拟合多重线性回归模型

    具体步骤 ☞☞☞☞【多重线性回归分析】

    (Ⅱ)输出结果

    为了说明问题,只列出系数表;

    变量X1~X6 ,p-value 均 大于0.05,即纳入多重线性回归模型中无统计学意义;其次,共线性诊断中,VIF(variation inflation factor)均大于10,提示变量间存在多重共线性。

    956f78373c1656b6d9cad5b5159f20c1.png

    由于多重共线性的存在,使得多重线性回归模型不稳定,而岭回归分析可以很好地解决这个问题。

    e53be9a6c7e06d12af97009f1e7c4949.png

    SPSS之岭回归

    e53be9a6c7e06d12af97009f1e7c4949.png

    在SPSS中没有专门的菜单模块来做岭回归分析,但可以通过额外编写了 一个程序文件:ridge regression.sps, 用户可以编写一段代码来调用该程序做岭回归分析。

    d20f03ab493e8bfe26a9d9e0a9fb4c3b.png

    其中,

    INCLUDE' 文件 Ridge regression.sps 所在路径 ' .

    RIGDEREG ENTER =  自变量

    /DEP= 因变量

    /START= k值起始值

    /STOP= k值终末值

    /INC =  k值步长

    【运行】单击 Run

    ALL

    运行结果:

    岭回归:岭迹图,从图中大致看出k≧0.1 时,岭迹曲线趋于稳定 。

    396b89c9f0bbba4bbad35832ab8fd311.png

    输出的变量X1~X6 不同K值情况下的回归系数

    (在SPSS中,原始数据已标准化)

    31ca1ae0134fe7407a92436d5c08777f.png

    验证当k=0.1时的模型,

    1ee94a4601d3a66ab3e80bb0daa67c29.png

    验证结果:

    d0b46e918d05194fec784847c30568c8.png

    本结果拟合得不太理想,仅供参考~~~

    因此可以写出岭回归方程式:y= ~~~~

    e53be9a6c7e06d12af97009f1e7c4949.png

    SAS之岭回归

    e53be9a6c7e06d12af97009f1e7c4949.png

    (Ⅰ)读取数据,

    data test.multiple_reg;input x1 x2 x3 x4 x5 x6 y @@;cards;14 13 28 14 22 39 5410 14 15 14 34 35 3712 12 19 13 24 39 287 8 7 9 20 24 1913 12 24 12 26 38 3619 15 23 16 24 38 2819 16 26 21 38 69 539 10 14 9 31 46 4010 8 15 13 15 43 519 8 12 10 22 43 5512 10 20 14 12 28 42;run;

    (Ⅱ)使用原始数据做回归分析

    /**** 多重线性回归模型,自变量筛选方法为stpewise*****/proc reg data = test.multiple_reg ;stepwise : model y = x1-x6 / selection = stepwise vif collin ;run;quit ;/*****  岭回归 ridge regression   **********/proc reg data = test.multiple_reg outest = out_2 outvif ;model y = x1-x6 / ridge = 0.0 to 1 by 0.01 ;plot / ridgeplot ;run;quit ;/***  打印输出结果******/proc print data = out_2 ;run;

    (Ⅲ)原始数据标准化

    /**** 数据标准化处理********/proc standard data = test.multiple_regm=0 s=1out =test.multiple_reg_standard ;run;

    (Ⅳ)标准化后的数据 进行岭回归

    /**  使用标准化后的数据 ***/proc reg data = test.multiple_reg_standardoutest = out_3 outvif ;model y = x1-x6  /  ridge = 0.0 to 1 by 0.01  ;plot / ridgeplot ;run;quit ;proc print data = out_3 ;run;

    【输出结果】此结果为原始数据标准化后的结果

    下图为岭迹图,大致发现,当k≧0.1 时,岭迹曲线趋于稳定 。

    52f615f1cb15db64a787c702c8164ec9.png

    obs = 22,k=0.1,各回归系数的VIF 均小于2 ;

    obs=23,给出了变量x1~x6的回归系数;

    e1fde98c8cd31c0f960cd4f23d8ec94b.png

    在SAS中, 岭迹图描绘的是原始系数估计值随岭参数 k 的变化轨迹,原始系数描绘岭迹图会存在1个问题: 回归方程中系数数量级别差异较大;因此,对原数据标准化处理可以很好地避免这一问题。

    参考来源:

    [1]胡良平,岭回归分析.科研方法专题

    [2] 尹 康 , 常用统计软件关于岭回归计算原理的比较分析 . 统计研究

    50791da0ce7d53de6b1640fc2317914d.png

    挑灯

    夜写,只为

    好看

    展开全文
  • 收集了2014-2020年连续七年的人均国内生产总值数据和 城镇居民消费数据及农村居民消费数据,做岭回归分析,但是城镇居民变量通不过显著性检验 怎么办?是因为数据太少的原因吗? 如果要分析城乡居民消费对国内生产...
  • 古典回归分析在林业生产和科研中被广泛应用,但很少考虑自变量各因子的相关问题....本文注意到这一点,介绍了以缩小均方误差为目的的有偏估计方法- 岭回归分析。. 4)及其在土壤流失数学模型中的应用.
  • nbspmatlab基于 MATLAB 的岭回归分析程序设计及其应用.pdf2页本文档一共被下载:次,您可全文免费在线阅读后下载本文档。 下载提示1.本站不保证该用户上传的文档完整性,不预览、不比对内容而直接下载产生的反悔...

    您所在位置:网站首页 > 海量文档

    &nbsp>&nbsp计算机&nbsp>&nbspmatlab

    a476e75ce57e4882405abe7b4456fc6b.gif

    基于 MATLAB 的岭回归分析程序设计及其应用.pdf2页

    本文档一共被下载:2377011b61454b208b34ad77b4c31088.gif次,您可全文免费在线阅读后下载本文档。

    072ad097814a33d1ad18e33ca14a5a9e.png

    9ec2792a743ebdf4575ee09a03c275ea.png

    7af312d1be2cfc1e59f15880bb7a7e7a.png

    5f207613e329ca76dc87c76d3ff77e64.png

    adf7aa3071c520b8a2063089f549261c.png

    下载提示

    1.本站不保证该用户上传的文档完整性,不预览、不比对内容而直接下载产生的反悔问题本站不予受理。

    2.该文档所得收入(下载+内容+预览三)归上传者、原创者。

    3.登录后可充值,立即自动返金币,充值渠道很便利

    第20 卷 第6 期 辽宁工程技术大学学报(自然科学版) 2001 年12 月

    Vol.20, No.6 Journal of Liaoning Technical University (Natural Science) Dec., 200 1

    文章编号:1008-0562(2001)03-0838-02

    基于MATLAB的岭回归分析程序设计及其应用

    曾繁会, 吕渭济

    (辽宁工程技术大学 工商管理学院,阜新 123000)

    摘 要:岭回归分析是多元线性回归分析中的一种方法,在实际应用中经常遇到。本文通过设计MATLAB中的Ridge1函数程序,介绍

    如何利用MATLAB进行岭回归分析。

    关键词:岭回归;MATLAB;岭回归分析;岭回归系数;程序设计

    中图号:O 212.4 文献标识码:A

    0 引 言

    岭回归亦称“脊回归估计”、“岭估计”,是一 岭回归函数Ridge.m 程序清单如下:

    种改进最小二乘估计的方法,适用于自变量 function [b,bint,r,rint,stats] = ridge1(Y,X,k)

    x ,x , … ,x 间相关性强时,或某些变量的变化范围太 [n,p] = size(X);

    1 2 p

    小时,也即线性回归模型中正规方程的系数矩阵X mx = mean (X); my = mean (Y); stdx =

    ′X 接近奇异时的情形。在这种情况下,用传统的 std(X);stdy=std(Y);

    idx = find(abs(stdx) < sqrt(eps));

    基于最小二乘法估计参数的多元线性回归、逐步回

    MX = mx(ones(n,1),:);STDX = stdx(ones(n,1),:);

    归等方法往往不能得到令人满意的结果,甚至有的 Z = (X - MX) ./ STDX ;Y=(Y-my)./stdy;

    结果与专业知识不一致,通常可以采用岭回归分析 pseudo = sqrt(k*(n-1)) * eye(p);

    方法。 Zplus = [Z;pseudo];Yplus = [Y;zeros(p ,1)];

    MATLAB (5.3 版本)的数值计算功能强大, [b,bint,r,rint,stats] = regress(Yplus,Zplus);

    又便于进行输出结果可视化的程序设计,它的统计 注:在Ridge1.m 中若用Regress 求岭回归系数

    工具箱 (Statistic Toolbox)中的功能函数有200 多 βi(k) 的同时也求出常数项,则可直接将其对应的回

    个。MATLAB 的操作简便、可扩充性等诸多优点 归模型用于经济预测及决策分析中。

    决定了它将在 SAS 等概率统计软件领域中占据及 应用程序设计

    其重要的地位。笔者发现其中用于岭回归分析的函 应用程序的数据表见[1] ,福建省1991 年9 个

    数程序Ridge.m 中有几处欠佳,如其中的标准化处 地区的婴儿死亡率及相关指标。采用岭回归分析

    理、回归系数的求解。本文意在对其Ridge.m 进行

    发表评论

    请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。

    用户名:

    验证码:

    c9f2bced460b0329ba0aadbbc3f0fc71.png

    匿名?

    发表评论

    展开全文
  • 岭回归分析总结

    2014-04-21 10:25:51
    岭回归分析是一种专用于共线性数据分析的有偏估计回归方法,实质上是一种改良的最小二乘估计法,通过放弃最小二乘法的无偏性,以损失部分信息、降低精度为代价获得回归系数更为符合实际、更可靠的回归方法,对病态...
  • eviews岭回归

    2019-03-22 18:21:26
    岭回归的eviews的算法,以及岭参数的确定,检验等等。
  • 岭回归分析

    2012-10-23 18:57:56
    岭回归分析,PPT。讲的很清楚,比较详细。
  • 基于岭回归分析法的分区域通信收入影响因素分析,张彦琦,,本文结合我国宏观环境及通信行业发展情况,从GDP、零售品销售总额、和通信行业投资等方面,以统计学的岭回归法构建模型,分别对我
  • 河南省农用地集约利用影响因素分析及实证研究——基于BP神经网络和岭回归分析.pdf
  • 本文根据岭回归分析,结合逐步回归方法,以回归系数的估计精度和残差平方和作为两种目标函数,建立了冬小麦拔节――抽穗水期分盈亏量的长期预报模式。以期为预报农业气象干旱提供参考依据。
  • 岭回归代码

    2016-11-06 14:41:37
    coursera华盛顿大学机器学习专项第二门课第四周习题
  • 岭回归分析是一种改进的最小二乘法,在实际工作中有很大的应用价值。本文以河北 省为例,借助标准 .F. 统计软件,运用岭回归技术,对改革开放以来河北省经济增长的影响因素作 了详细而深入的实证研究,并提出了...
  • matlab岭回归分析

    热门讨论 2009-11-27 19:50:34
    matlab岭回归分析 本人为了获得更多资源共享的权限,只好吐血奉献自己一年来收集和改写的matlab源程序,部分为原创;里面包含有主成分分析、岭回归分析、因子分析、判别分析、聚类分析、回归分析等;绝对可用哦,...
  • 岭回归是一种专用于共线性数据分析的有偏估计回归方法,实质上是一种改良的最小二乘估计法,通过放弃最小二乘法的无偏性,以损失部分信息、降低精度为代价获得回归系数更为符合实际、更可靠的回归方法,对病态数据的...

    1、作用

    岭回归是一种专用于共线性数据分析的有偏估计回归方法,实质上是一种改良的最小二乘估计法,通过放弃最小二乘法的无偏性,以损失部分信息、降低精度为代价获得回归系数更为符合实际、更可靠的回归方法,对病态数据的拟合要强于最小二乘法。

    2、输入输出描述

    输入:自变量X至少一项或以上的定量变量或二分类定类变量,因变量Y要求为定量变量(若为定类变量,请使用逻辑回归)。
    输出:模型检验优度的结果,自变量对因变量的线性关系等等。

    3、学习网站

    SPSSPRO-免费专业的在线数据分析平台

    4、案例示例

    案例:通过自变量(房间面积、楼层高度、房子单价、是否有电梯、周围学校数量、距地铁站位置)拟合预测因变量(房价),现在发现房子单价与楼层高度之间有着很强的共线性,VIF值高于20;不能使用常见的最小二乘法OLS回归分析,需要使用岭回归模型。

    5、案例数据

    岭回归案例数据

    6、案例操作

    Step1:新建分析;
    Step2:上传数据;
    Step3:选择对应数据打开后进行预览,确认无误后点击开始分析;

    step4:选择【岭回归(Ridge)】;
    step5:查看对应的数据数据格式,【岭回归(Ridge)】要求自变量X至少一项或以上的定量变量或二分类定类变量,因变量Y要求为定量变量。
    step6:点击【开始分析】,完成全部操作。

    7、输出结果分析

    输出结果1:岭迹图


    图表说明: 通过岭迹图,确定K值。K值的选择原则是各个自变量的标准化回归系数趋于稳定时的最小K值。但通过岭迹图分析方法确定的岭参数 k 在一定程度上存在主观人为性,psspro采用方差扩大因子法自动确定K=0.162。

    输出结果2:岭回归分析结果

    *p<0.05,**p<0.01,***p<0.001
    图表说明:岭回归的结果显示:基于字段面积、楼层、单价、周围学校数量(1km)、距地铁站距离(km)、配套电梯回归模型显著性 值为0.000***,水平上呈现显著性,拒绝原假设,表明自变量与因变量之间存在着回归关系。同时,模型的拟合优度 ²为0.956,模型表现为较为较为优秀,因此模型基本满足要求。

    模型的公式:
    总价=-64.72+0.987 × 面积-0.043 × 楼层+0.008 × 单价-0.447 × 周围学校数量(1km)-4.198 × 距地铁站距离(km)-3.674 × 配套电梯r/&amp;gt;<br/>输出结果3:模型路径图


    图表说明:上图以路径图形式展示了本次模型结果,主要包括模型的系数,用于分析模型的公式。

    输出结果4:模型结果图


    图表说明:上图以可视化的形式展示了本次模型的原始数据图、模型拟合值。

    8、注意事项

    • 一般在做岭回归之前,先采用线性回归(最小二乘法回归),如果发现自变量VIF(共线性)过大,如超过10,才使用岭回归;
    • SPSSPRO采用方差扩大因子法来自动寻找K值;
    • 选取 k值的一般原则是:
      • 各回归系数的岭估计基本稳定
      • 用最小二乘法估计的符号不合理的回归系数,其岭估计的符号变得合理
      • 回归系数没有不合乎经济意义的绝对值
      • 残差平方和增加不太多

    9、模型理论

    岭回归(Ridge Regression)是回归方法的一种,属于统计方法。在机器学习中也称作权重衰减。也有人称之为Tikhonov正则化。岭回归主要解决的问题是两种:一是当预测变量的数量超过观测变量的数量的时候(预测变量相当于特征,观测变量相当于标签),二是数据集之间具有多重共线性,即预测变量之间具有相关性。
    一般的,回归分析的(矩阵)形式如下:

    一般情况下,使用最小二乘法求解上述回归问题的目标是最小化如下的式子:

    岭回归就是要在上述最小化目标中加上一个惩罚项:

    这里的λ也是待求参数。也就是说,岭回归是带二范数惩罚的最小二乘回归。
     

    10、参考文献

    [1] 刘超,回归分析——方法、数据与R的应用,高等教育出版社,2019

    展开全文
  • 岭回归与Lasso回归的python代码实现
  • 1.一家大型商业银行有多家分行,近年来,该银行的贷款额平稳增长,但不良贷款额也有较大比例的提高为弄清楚不良贷款形成的原因,希望利用银行业务的有关数据做些定量分析,以便找出控制不良贷款的方法。下表是该银行...
  • 收集了2014-2020年连续七年的人均国内生产总值数据和 城镇居民消费数据及农村居民消费数据,做岭回归分析,但是城镇居民变量通不过显著性检验 怎么办?是因为数据太少的原因吗? 如果要分析城乡居民消费对国内生产...
  • 岭回归技术的原理和应用作者马文敏岭回归分析是一种专用于共线性分析的有偏估计回归方法,实质上是一种改良的最小二乘估计法,通过放弃最小二乘法的无偏性,以损失部分信息,降低精度为代价获得回归系数更为符合实际...
  • 一、岭回归估计的定义 1.1普通最小二乘法带来的问题 当自变量间存在复共线性时,回归系数估计的方差就会很大,从而导致估计值不稳定 1.2岭回归的定义 岭回归(Ridge Regression,RR),当自变量之间存在复共线性...
  • 1、回归分析概括。 2、损失函数。 3、优化算法。 4、python的API。 5、python机器学习线性模型API。 6、机器学习中回归性能评估。 7、欠拟合和过拟合。 8、线性回归的改进--岭回归。 9、案例代码
  • 然后建立岭回归模型并对长沙房价进行了仿真预测,同时对结果进行了误差分析,得到2010年与2011长沙市的商品房销售价格将分别同比增长9.58%和11.32%的结论.同时还认为, 人口净增率、竣工面积和施工面积是影响长沙房地产...
  • 它们之间的差别体现在惩罚项里,岭回归是将有效的将系数压缩到更小的值,而lasso最小化的是系数的绝对值之和,由于lasso会把某些系数完全收缩到0,所以它兼具了选择和收缩的功能,这个是岭回归是不具备的。...
  • 岭回归-回归实操

    千次阅读 2021-01-21 15:06:37
    python 岭回归算法之回归实操 基本概念 正则化 正则化是指对模型做显式约束,以避免过拟合。本文用到的岭回归就是L2正则化。(从数学的观点来看,岭回归惩罚了系数的L2范数或w的欧式长度) 正则化的具体原理就不在...
  • 确定是ridge的安装路径
  • 1.岭回归模型 1.1背景 对于回归问题来说,它们的基本内容基本上都是相同的,所以岭回归模型与线性回归模型类似: y=θ0x0+θ1x1+θ2x2+...θnxn{\color{Violet}y = θ_{0}x_{0}+θ_{1}x_{1}+θ_{2}x_{2}+...θ_{n}x_...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 7,837
精华内容 3,134
关键字:

岭回归分析