精华内容
下载资源
问答
  • 如果在多元线性回归中没有考虑多重共线性,就会导致很多不好的后果,因此本博文旨在讲述多重共线性的识别。多重共线性告诉我们,当变量高度相关时,我们可以考虑主成分分析和岭回归之类的分析方法。变量高度相关就是...

    本博文源于《商务统计》,多重共线性是描述多元线性回归中的变量间出现了相关性。如果在多元线性回归中没有考虑多重共线性,就会导致很多不好的后果,因此本博文旨在讲述多重共线性的识别。

    多重共线性的后果

    了解了后果会让我们在识别中可以根据结果逆推出多元线性回归是否真的出现了多重共线性。

    • 可能会使回归的结果造成混论,甚至会将分析引入歧途。
    • 可能对参数估计值的正负号产生影响,特别是各回归系数的正负号有可能同我们预期的正负号相反。
    • 变量的显著性检验失去了意义。因为存在多重共线性,参数估计值的方差与标准差变大,容易使通过样本计算的t值小于临界值,误导作出参数为0的推断。

    多重共线性的识别

    • 检验各对自变量之间的相关系数,若有一个或多个相关系数显著,就表示模型中所用的自变量之间相关,存在着多重共线性。
    • 回归系数的正负号与预期的相反。
    • 模型中各对自变量之间显著相关暗示可能多重共线性。

    总结

    多重共线性告诉我们,当变量高度相关时,我们可以考虑主成分分析和岭回归之类的分析方法。变量高度相关就是根据显著性检验来观测。

    展开全文
  • 多元共线性介绍

    2019-09-08 21:55:33
    多元共线性介绍定义多元共线性的后果多元共线性判别方法解决方法参考文献 定义 一些算法模型的前提假设要求自变量矩阵是满秩矩阵,每一列构成的向量组线性无关。不满足这个条件时即存在多元共线性。 多元共线性的...

    定义

    一些算法模型的前提假设要求自变量矩阵是满秩矩阵,每一列构成的向量组线性无关。不满足这个条件时即存在多元共线性。

    多元共线性的后果

    1. 估计值方差较大,可信度较低;
    2. 估计值缺少稳定性,数据极小变化会造成估计值较大变化;
    3. 回归方程决定系数较高,但估计的t值显著性较低。

    多元共线性判别方法

    1. 方差扩大因子;
    2. 条件数。

    解决方法

    1. 增加信息;
    2. 数据变换;
    3. 选择没有要求该前提假设的算法模型。

    参考文献

    1. 赵国庆,《高级计量经济学——理论与方法》,中国人民大学出版社,2013。
    展开全文
  • 3 多重共线性的后果: 如果各个解释变量之间有完全的共线性,则它们的回归系数是不确定的,并且它们的方差会无穷大。 如果共线性是高度的但不完全的,回归系数可估计,但有较大的标准误差。回归系数不

    多重共线性、异方差、自相关

    多重共线性

    1 多重共线性是指各个解释变量之间有准确或近似准确的线性关系。

    2 多重共线性的原因:
    (1)经济变量之间具有共同变化趋势。
    (2).利用截面数据建立模型也可能出现多重共线性。
    (3) 模型中包含滞后变量。
    (4)变量的选择不当。
    (5)样本数据自身的原因。

    3 多重共线性的后果:
    如果各个解释变量之间有完全的共线性,则它们的回归系数是不确定的,并且它们的方差会无穷大。
    如果共线性是高度的但不完全的,回归系数可估计,但有较大的标准误差。回归系数不能准确地估计。(对参数区间估计时,置信区间趋于变大;假设检验容易作出错误的判断;可能造成可决系数较高,但对各个参数单独的 t 检验却可能不显著,甚至可能使估计的回归系数符号相反,得出完全错误的结论)

    4 诊断共线性的经验方法:
    简单相关系数检验法:一般而言,如果每两个解释变量的简单相关系数(零阶相关系数)比较高,例如大于0.8,则可认为存在着较严重的多重共线性。

    方差扩大(膨胀)因子法:方差膨胀因子越大,表明解释变量之间的多重共性越严重。反过来,方差膨胀因子越接近于1,多重共线性越弱。
    经验表明,方差膨胀因子≥10时,说明解释变量与其余解释变量之间有严重的多重共线性,且这种多重共线性可能会过度地影响最小二乘估计。
    在这里插入图片描述

    直观判断法:(1)当增加或剔除一个解释变量,或者改变一个观测值时,回归参数的估计值发生较大变化,回归方程可能存在严重的多重共线性。(2)从定性分析认为,一些重要的解释变量的回归系数的标准误差较大,在回归方程中没有通过显著性检验时,可初步判断可能存在严重的多重共线性。(3)有些解释变量的回归系数所带正负号与定性分析结果违背时,很可能存在多重共线性。(4)可决系数较高,F检验显著,但t检验不显著,可能存在多重共线性

    逐步回归法: 将变量逐个的引入模型,每引入一个解释变量后,都要进行F检验,并对已经选入的解释变量逐个进行t 检验,当原来引入的解释变量由于后面解释变量的引入而变得不再显著时,则将其剔除。以确保每次引入新的变量之前回归方程中只包含显著的变量。

    5 降低多重共线性的经验方法:
    (1)剔除变量法:把方差扩大因子最大者所对应的自变量首先剔除再重新建立回归方程,直至回归方程中不再存在严重的多重共线性。
    (2)增大样本容量:如果样本容量增加,会减小回归参数的方差,标准误差也同样会减小。因此尽可能地收集足够多的样本数据可以改进模型参数的估计。
    (3)变换模型形式:对数模型、差分模型等。差分后变量之间的相关性要比差分前弱得多,所以差分后的模型可能降低出现共线性的可能性,此时可直接估计差分方程。生产函数(柯布道格拉斯函数)采用对数模型。
    (4)利用非样本先验信息:通过经济理论分析能够得到某些参数之间的关系,可以将这种关系作为约束条件,将此约束条件和样本信息结合起来进行约束最小二乘估计。
    (5)横截面数据与时序数据并用:首先利用横截面数据估计出部分参数,再利用时序数据估计出另外的部分参数,最后得到整个方程参数的估计。
    (6)逐步回归:用被解释变量对每一个所考虑的解释变量做简单回归。以对被解释变量贡献最大的解释变量所对应的回归方程为基础,按对被解释变量贡献大小的顺序逐个引入其余的解释变量。若新变量的引入改进了R^2和F检验,且回归参数的t 检验在统计上也是显著的,则在模型中保留该变量。

    异方差

    1 异方差性是指模型中随机误差项的方差不是常量,而且它的变化与解释变量的变动有关。
    在这里插入图片描述
    在这里插入图片描述
    2 产生异方差性的主要原因有:模型中略去的变量随解释变量的变化而呈规律性的变化、变量的设定问题、截面数据的使用,利用平均数作为样本数据等。

    3 存在异方差性时对模型的OLS估计仍然具有无偏性,但最小方差性不成立,从而导致参数的显著性检验失效和预测的精度降低。注意 多重共线性不影响预测,但异方差已经影响到预测问题了。

    4 检验异方差性的方法有多种,常用的有图形法、Goldfeld-Qunandt检验、White检验、ARCH检验以及Glejser检验,运用这些检验方法时要注意它们的假设条件。

    5 异方差性的主要方法是加权最小二乘法,也可以用变量变换法和对数变换法。变量变换法与加权最小二乘法实际是等价的。

    自相关

    1 当总体回归模型的随机误差项在不同观测点上彼此相关时就产生了自相关问题。
    在这里插入图片描述
    2 自相关的出现有多种原因。经济系统的惯性、经济活动的滞后效应 、数据处理造成的相关、蛛网现象、模型设定错误等等。

    3 在出现自相关时,普通最小二乘估计量依然是无偏、一致的,但不再是有效的。通常的t 检验和F 检验都不能有效地使用

    4.为了研究问题的方便和考虑实际问题的代表意义,我们通常将自相关设定为一阶自相关即AR(1)模式。用一阶自相关系数 表示自相关的程度与方向。当然,实际问题也存在AR(m)模式或其它模式。
    在这里插入图片描述

    5 由于随机扰动项ui 是不可观测的,通常我们使用 ui的估计量e判断u的特性。可通过e的图形判断自相关的存在,也可使用DW 统计量或者用BG检验判断自相关的存在。
    在这里插入图片描述
    DW统计量:
    原假设为 p= 0,DW取值范围 0≤DW≤4

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    6 如果自相关系数p 是已知的,我们可以使用广义差分法消除序列相关。

    7 如果自相关系数是p未知的,我们可采用科克伦-奥克特迭代法求得p的估计值,然后用广义差分法消除序列相关。

    展开全文
  • 在多元线性回归模型经典假设中,其重要假定之一是回归模型解释变量之间不存在线性...多重共线性违背了解释变量间不相关古典假设,将给普通最小二乘法带来严重后果。 所谓多重共线性是指线性回归模型解释变量之...

    在多元线性回归模型经典假设中,其重要假定之一是回归模型的解释变量之间不存在线性关系,也就是说,解释变量X1,X2,……,Xk中的任何一个都不能是其他解释变量的线性组合。如果违背这一假定,即线性回归模型中某一个解释变量与其他解释变量间存在线性关系,就称线性回归模型中存在多重共线性。多重共线性违背了解释变量间不相关的古典假设,将给普通最小二乘法带来严重后果。

    所谓多重共线性是指线性回归模型的解释变量之间由于存在精确相关关系或者高度相关关系而使模型评估失真或者不准确。这里,我们总结了8个处理多重共线性问题的可用方法,大家在遇到多重共线性问题时可作参考:
    

    1、保留重要解释变量,去掉次要或可替代解释变量

    自变量之间存在共线性,说明自变量所提供的信息是重叠的,可以删除不重要的自变量减少重复信息。但从模型中删去自变量时应该注意:从实际经济分析确定为相对不重要并从偏相关系数检验证实为共线性原因的那些变量中删除。如果删除不当,会产生模型设定误差,造成参数估计严重有偏的后果。
    

    2、改变解释变量的形式

    改变解释变量的形式是解决多重共线性的一种简易方法,例如对于横截面数据采用相对数变量,对于时间序列数据采用增量型变量。
    

    3、差分法

    4、逐步回归分析

    逐步回归(Stepwise Regression)是一种常用的消除多重共线性、选取“最优”回归方程的方法。其做法是将逐个引入自变量,引入的条件是该自变量经F检验是显著的,每引入一个自变量后,对已选入的变量进行逐个检验,如果原来引入的变量由于后面变量的引入而变得不再显著,那么就将其剔除。引入一个变量或从回归方程中剔除一个变量,为逐步回归的一步,每一步都要进行F 检验,以确保每次引入新变量之前回归方程中只包含显著的变量。这个过程反复进行,直到既没有不显著的自变量选入回归方程,也没有显著自变量从回归方程中剔除为止。
    

    5、主成份分析

    主成分分析作为多元统计分析的一种常用方法在处理多变量问题时具有其一定的优越性,其降维的优势是明显的,主成分回归方法对于一般的多重共线性问题还是适用的,尤其是对共线性较强的变量之间。

    6、偏最小二乘回归

    7、岭回归

    岭回归估计是通过最小二乘法的改进允许回归系数的有偏估计量存在而补救多重共线性的方法,采用它可以通过允许小的误差而换取高于无偏估计量的精度, 因此它接近真实值的可能性较大。灵活运用岭回归法, 可以对分析各变量之间的作用和关系带来独特而有效的帮助。
    

    8、增加样本容量

    多重共线性问题的实质是样本信息的不充分而导致模型参数的不能精确估计,因此追加样本信息是解决该问题的一条有效途径。但是,由于资料收集及调查的困难,要追加样本信息在实践中有时并不容易。
    

    这次我们主要研究逐步回归分析方法是如何处理多重共线性问题的。

    逐步回归分析方法的基本思想是通过相关系数r、拟合优度R2和标准误差三个方面综合判断一系列回归方程的优劣,从而得到最优回归方程。具体方法分为两步:

    第一步,先将被解释变量y对每个解释变量作简单回归:

    对每一个回归方程进行统计检验分析(相关系数r、拟合优度R2和标准误差),并结合经济理论分析选出最优回归方程,也称为基本回归方程。

    第二步,将其他解释变量逐一引入到基本回归方程中,建立一系列回归方程,根据每个新加的解释变量的标准差和复相关系数来考察其对每个回归系数的影响,一般根据如下标准进行分类判别:

    1.如果新引进的解释变量使R2得到提高,而其他参数回归系数在统计上和经济理论上仍然合理,则认为这个新引入的变量对回归模型是有利的,可以作为解释变量予以保留。

    2.如果新引进的解释变量对R2改进不明显,对其他回归系数也没有多大影响,则不必保留在回归模型中。

    3.如果新引进的解释变量不仅改变了R2,而且对其他回归系数的数值或符号具有明显影响,则认为该解释变量为不利变量,引进后会使回归模型出现多重共线性问题。不利变量未必是多余的,如果它可能对被解释变量是不可缺少的,则不能简单舍弃,而是应研究改善模型的形式,寻找更符合实际的模型,重新进行估计。如果通过检验证明回归模型存在明显线性相关的两个解释变量中的其中一个可以被另一个很好地解释,则可略去其中对被解释变量影响较小的那个变量,模型中保留影响较大的那个变量。

    展开全文
  • 多重共线性问题几种解决方法

    万次阅读 多人点赞 2018-01-28 16:45:51
    在多元线性回归模型经典假设中,其重要假定之一是回归模型解释变量之间不存在线性关系,也就是...多重共线性违背了解释变量间不相关古典假设,将给普通最小二乘法带来严重后果。  所谓多重共线性是指线性回归模
  • (一)删除不重要的自变量 ...如果删除不当,会产生模型设定误差,造成参数估计严重有偏的后果。(二)追加样本信息(不过实际操作中,这个方法实现率不高) 多重共线性问题的实质是样本信息的不充分而导致模型
  • 在多元线性回归模型经典假设中,其重要假定之一是回归模型解释变量之间不存在线性关系,也就是说,解释变量X1,X2...多重共线性违背了解释变量间不相关古典假设,将给普通最小二乘法带来严重后果。 所谓多重共..
  • 处理多重共线性

    千次阅读 2015-12-16 11:49:29
    (一)删除不重要的自变量 ...如果删除不当,会产生模型设定误差,造成参数估计严重有偏的后果。 (二)追加样本信息(不过实际操作中,这个方法实现率不高) 多重共线性问题的实质是样本信息的不充分
  • 回归中多重共线性是一个当模型中一些预测变量与其他预测变量相关时发生条件。严重多重共线性可能会产生问题,因为它可以增大回归系数方差,使它们变得不稳定。以下是不稳定系数导致一些后果: 即使预测...
  • 在统计学中,多重共线性(共线性)是指多元线性回归模型中某个预测变量(自变量/解释变量)可以以相当大准确度通过其他预测变量线性预估。 在这种情况下,模型或数据微小变化就可能导致多元回归模型系数估计值...
  • 多重共线性是指线性回归模型中自变量之间由于存在高度相关关系而使模型估计失真或难以估计准确。 3.2.2后果 (1)参数估计意义不合理 当变量之间高度相关时,可能使回归结果混乱,甚至会把分析引入歧途,使得...
  • 一、多重共线性及其危害我有一组自变量:它们满足下列关系:那么我们称这四个变量间存在多重共线性。这就意味着,一个变量可以被另外几个变量来解释,这就会带来两个后果1、尽管系数估计无偏性没有收到影响,但是...
  • 计量经济学第四章

    2020-08-10 16:38:22
    计量经济学第四章简记放宽基本假设模型多重共线性后果检验判定有无多重共线性判断共线性范围克服方法异方差性后果检验修正内生解释变量问题后果工具变量法工具变量选取:工具变量应用模型设定偏误问题类型后果...
  • 异方差稳健标准误法4.2序列相关性二、实际经济问题中的序列相关性三、序列相关性的后果四、序列相关性的检验五、序列相关的补救六、虚假序列相关问题4.3多重共线性一、多重共线性二、实际经济问题中的共线性三、多重...
  • 多重共线性 含义 两个及以上解释变量之间出现相关性。 产生原因 变量共同趋势、模型设定不谨慎、样本资料限制。 后果 完全共线性下参数估计量不存在。 这是因为估计量β^=(X′X)−1X′Y\hat{\beta}=...
  • 更多精彩内容请关注211统计课堂上期小统和大家一起了解了STATA数据处理技巧与计量分析中部分回归分析偏误处理知识,这期小统和大家继续学习一下剩下知识点~偏误处理之三 共线性假定SLR.2 解释变量X是确定性变量...
  • 在统计学中,多重共线性共线性)是指多元线性回归模型中某个预测变量(自变量/解释变量)可以以相当大准确度通过其他预测变量线性预估。 在这种情况下,模型或数据微小变化就可能导致多元回归模型系数估计...
  • 我们考虑在时空维数D≥3的固定de Sitter背景下,量子场论中全局高自旋对称性的后果。这些对称性增强了与de Sitter背景对称性相关的对称群,因此强烈地限制了动力学的动力学。 理论。 尤其是,我们考虑以下情况:较高...
  • DataDig::自动提取论文图表中曲线数据软件第4.5.0版 正式发布日期:2013-01-01 全面支持win xp、win 7和win 8系统. 增加自动识别数据点功能...(千万不要用于剽窃别人论文成果等非法或不道德用途,否则后果自负!)
  • 大话数据结构

    2019-01-10 16:35:22
    《璇玑图》八百四十字,纵横各二十九字,纵、横、斜、交互、正、反读或退一字、迭一字读均可成诗,诗有三、四、五、六、七言不等,目前有人统计可组成七千九百五十八首诗。听清楚哦,是7958首。 第6章树 149 6.1...
  • 大话数据结构 程杰

    2018-09-01 10:06:43
    《璇玑图》八百四十字,纵横各二十九字,纵、横、斜、交互、正、反读或退一字、迭一字读均可成诗,诗有三、四、五、六、七言不等,目前有人统计可组成七千九百五十八首诗。听清楚哦,是7958首。 第6章树 149 6.1...
  • 《璇玑图》八百四十字,纵横各二十九字,纵、横、斜、交互、正、反读或退一字、迭一字读均可成诗,诗有三、四、五、六、七言不等,目前有人统计可组成七千九百五十八首诗。听清楚哦,是7958首。 第6章树 149 6.1...
  • 3.6.1 顺序存储结构不足解决 办法 55 3.6.2 线性表链式存储结构定义 56 3.6.3 头指针与头结点异同 58 3.6.4 线性表链式存储结构代码描述 58 3.7 单链表读取 60 3.8 单链表插入与删除 61 本来是爸爸左牵着...
  • 《璇玑图》八百四十字,纵横各二十九字,纵、横、斜、交互、正、反读或退一字、迭一字读均可成诗,诗有三、四、五、六、七言不等,目前有人统计可组成七千九百五十八首诗。听清楚哦,是7958首。 第6章树 149 6.1...
  • 大话数据结构-程杰

    2014-07-13 23:45:52
    《璇玑图》八百四十字,纵横各二十九字,纵、横、斜、交互、正、反读或退一字、迭一字读均可成诗,诗有三、四、五、六、七言不等,目前有人统计可组成七千九百五十八首诗。听清楚哦,是7958首。 第6章 树 149 ...

空空如也

空空如也

1 2
收藏数 29
精华内容 11
关键字:

共线性的后果