精华内容
下载资源
问答
  • 异方差
    2021-05-05 06:37:59

    Logo ?3.怀特(White)检验(1980年怀特提出)怀特检验是异方差更一般的检验方法,这种检验方 法不需要对异方差的性质(形式、如递增等性质)做 任何假定,因此是目前应用比较普遍的异方差检 Logo ?3.怀特(White)检验(1980年怀特提出)怀特......

    200 100 -20 -40 0 0 5000 10000 15000 X 20000 RES -60 0 10 20 T 30 无论是从yt和xt观测值的散点图,还是模型的残差图都可以发现数据中存在异方 差。 ? 用White方法检验是否存在异方差。在上式回归的基础上, 做White......

    存在异方差性。 2 2 2 Eviews中的White检验步骤: (1)建立回归模型: LS Y C X (2)检验异方差: 1)命令: View \\ Residual Test \\ White \\ Heteroskedasticity 2)在选项中选择在辅助模型中是否包含交叉乘积项 (Cross terms) 3......

    4.异方差的修正——加权最小二乘法 我们以 1/X2 为权重进行异方差的修正。加权后的估计结果如下: 9 / 11文档可自由编辑 图9 可见修正后各解释变量的显著性总体相对提高。其 white 检验结果如下: 10 / 11文档可自由编辑 图 ......

    二、实验学时:2 学时 三、实验要求(1)掌握用 MATLAB 软件实现异方差的检验和处理; (2)掌握异方差的检验和处理的基本步骤。 四、实验原理 1、异方差检验的常用方法 (1) 用 X-Y 的散点图进行判断 (2). ? i , yi ) 或(......

    第5章 异方差 第5章 异方差异方差概念 异方差来源与后果 异方差检验(Goldfeld-Quandt 检验、 white检验、Glejser检验) 异方差的修正方法(GLS、WLS) 异方差案例分析 5.1异方差概念同方差假定:模型的假定条件⑴ 给出Var(u) 是一个......

    图 6 White 检验结果 3 其中 F 值为辅助回归模型的 F 统计量值。取显著水平 0.05 ,由于 2 0.05 (2) 5.99 nR2 6.2704 ,所以存在异方差性。实际应用中可以直接观察相伴概率 p 值的大小,若 p 值较小,则认为存在异方差......

    5.怀特(White)检验 ? G-Q检验需按某一被认为有可能引起异方差的解释变 量对样本排序,而且只能检验单调递增或单调递减 型异方差;怀特(White)检验则不需要排序,且对任 何形式的异方差都适用。 怀特(White)检验的基本思想与步骤 ? ...

    二、实验学时:2 学时 三、实验要求(1)掌握用 MATLAB 软件实现异方差的检验和处理; (2)掌握异方差的检验和处理的基本步骤。四、实验原理 1、异方差检验的常用方法 (1) 用 X-Y 的散点图进行判断 (2). (e%2 , x) 或(e......

    二、实验学时:2 学时 三、实验要求 (1)掌握用 MATLAB 软件实现异方差的检验和处理; (2)掌握异方差的检验和处理的基本步骤。 四、实验原理 1、异方差检验的常用方法 (1) 用 X-Y 的散点图进行判断 (2). (e%2 , x) 或......

    第5章 异方差 第5章 异方差 异方差概念 异方差来源与后果 异方差检验(Goldfeld-Quandt 检验、 white检验、Glejser检验) 异方差的修正方法(GLS、WLS) 异方差案例分析 5.1异方差概念 同方差假定:模型的假定条件⑴ 给出Var(u) 是一......

    2、异方差。 3、最小二乘残差图解释异方差。 4、Breusch-Pagan 检验(B-P 检验)和 White 检验(怀特检验)检验特定方差函 数的异方差性。 5、稳健标准差和加权最小二乘法对特定方差函数的异方差性的修正。 【实验软件】 Eviews ......

    异方差White检验应用的几个问题_数学_自然科学_专业资料。White检验通常由LM检验来完成,现实中也可以使用更简单的F检验来替代LM检验;White检验过程中需要构筑辅助回归模型,它可以有不同的形式以应对实际问题的需要;讨论了四类不同的辅助......

    ? ? 检验异方差的步骤是先在同方差假定下估计回 归方程,然后再对得到的的回归方程的残差进 行假设检验,判断是否存在异方差。Eviews提 供了怀特(White)的一般异方差检验功能。 零假设: 原回归方程的误差同方差。 备择假设:原回归......

    怀特检验(White test) 为什么要对异方差性进行检验? o 不管模型是否满足同方差假定,估计稳健性标准误和进行 稳健性检验是更为稳妥的方法,因此这一方法越来越普遍 。那么,为什么还要对是否存在异方差性进行检验? a) 对于小样本数据,......

    3.44 ,所以存在异方差性⒊White 检验 ⑴建立回归模型:LS Y C X,回归结果如图 5。图 5 我国制造业销售利润回归模型 ⑵在方程窗口上点击 View\\Residual\\Test\\White Heteroskedastcity,检验结果如图 6。图 6 White 检验结果 3 其中......

    若F≥F(1,2),则拒绝H0,认为存在异方差; 反之,则不存在异方差。 5.怀特(White)检验 ? G-Q检验需按某一被认为有可能引起异方差的解释 变量对样本排序,而且只能检验单调递增或单调递 减型异方差;怀特(White)检验则不需要排序,......

    计量经济软件应用 ——Stata软件实验之异方差 实验目的: 能够借助Stata软件诊断异方差的存在 (White检验) 和修正异方差 (加权最小二乘法 WLS),能对软件运行结果进行解释。 知识点: ? 异方差检验的最常用方法——White检验 出现异方差......

    DF, p-value: 0.0007047 > nrow(mydata)*0.341 #white 统计量 Max [1] 10.23 > qchisq(0.01,df=2, lower.tail=F) [1] 9.21034 有输出结果可以看出,white 统计量大于临界值,我们拒接模型存在异方差,接受备择 假设。...

    图 6 White 检验结果 其中 F 值为辅助回归模型的 F 统计量值。取显著水平 0.05 ,由于 2 0.05 (2) 5.99 nR2 6.2704 ,所以存在异方差性。实际应用中可以直接观察相伴概率 p 值的大小,若 p 值较小,则认为存在异方差性......

    更多相关内容
  • 【原创】R语言异方差回归模型建模:用误差方差解释异方差数据分析报告论文(代码数据).docx
  • 为了克服样本中模型选择的缺点,本研究采用样本外模型选择方法来选择具有改进的预测准确性和性能的模型。 从2006年1月3日至2016年12月30日,在尼日利亚证券交易所上市的钻石银行和富达银行获得了每日收盘价。...
  • 异方差模型在观察空间的某些部分可能具有比其他部分更高的噪声水平的情况下很有用。 异方差模型的示例 使用辍学,我们得到了同调模型不确定性。 这可以从模型定义中看出。 在我们的推导中,似然性定义为$ y_i \ sim ...
  • 博客中【零基础Eviews实例】异方差的检验与修正配套数据:(上个资源设计了动态调分不能修改,在此重新上传) 以“农村居民恩格尔系数的影响因素”为例,选择农村居民恩格尔系数(`Y`)为被解释变量,解释变量有农村...
  • 广义自回归条件异方差模型(GARCH)在我国股票市场中的实证研究,李泽光,曾剑秋,国家政策的推出对于股市的波动造成何种影响,是在研究我国股市波动性时需要关注的一个重要问题。本文即结合我国股票市场的实际发
  • 资源名:GARCH_异方差时间序列模型_价格预测_matlab 资源类型:matlab项目全套源码 源码说明: 全部项目源码都是经过测试校正后百分百成功运行的,如果您下载后不能运行可联系我进行指导或者更换。 适合人群:新手及...
  • TESTHET 测试异方差是否会影响数据。 需要“regstats”和“chi2cdf”(统计TB)。 PVAL = TESTHET(RES, X, WHICHTEST, YHAT) 输入: - Res:通过在 x1、x2 等上回归 Y 获得的残差...(1) 它可以是一个数字 'n×1' ...
  • 现代金融风险管理中,利用条件异方差模型进行金融时间序列分析扮演着十分重要的角色,最典型的应用是基于观察到的离散时间价格或对数收益率序列做出管理决策。本文试图建立一种新的条件异方差模型去拟合资产收益率时间...
  • 计算 Newey-West 调整的异方差序列一致标准误差。 允许选择滞后长度或(默认情况下)根据 Newey-West(1994) 插件程序选择最佳滞后长度。
  • emmmm,好好加油,相信你的数学建模会学的更好的,好好干,数学建模要多看论文,多看看往年的题目,emmmm,好好加油,相信你的数学建模会学的更好的,好好干,数学建模要多看论文,多看看往年的题目
  • 论文研究-基于条件异方差分析的水文时序模型及其应用.pdf, 针对条件异方差现象在水文过程的时序研究中常被忽略的情况,建立了水文过程时间序列分析和预测模型. 首先, ...
  • R语言_异方差问题_R语言实例分析_内附R代码_分析数据见资其它资源.pptx
  • 异方差性是同方差性的补充,不会使OLS产生偏差。如果您不像社会科学中的大多数人那样关心p值,那么异方差性可能不是问题。计量经济学家已经开发出各种各样的异方差一致性标准误差,因此他们可以继续应用OLS,同时...

    在社会科学中将OLS估计应用于回归模型时,其中的一个假设是同方差,我更喜欢常误差方差。这意味着误差方差没有系统的模式,这意味着该模型在所有预测级别上都同样差。

    异方差性是同方差性的补充,不会使OLS产生偏差。如果您不像社会科学中的大多数人那样关心p值,那么异方差性可能不是问题。

    计量经济学家已经开发出各种各样的异方差一致性标准误差,因此他们可以继续应用OLS,同时调整非恒定误差方差。这些更正的Wikipedia页面列出了这些替代标准错误所使用的许多名称。

    我们提供了似然函数,并且两个函数都将找到使似然最大化的参数估计。

    让我们来看一个简单的例子:

    首先,我从均值3和标准差1.5的正态分布中提取500个观测值,并将其保存到数据集中:

    dat

    样本的平均值和标准偏差为:

    mean(dat$y) [1] 2.999048 sd(dat$y) [1] 1.462059

    我也可以这样问这个问题,正态分布,均值和标准差的哪些参数可以最大程度地提高观察到的变量的可能性?

    m.sd

    在上面的语法中,R变量y的平均值是一个常数a,而y的标准偏差是一个常数b。标准差取幂,确保它永远不会为负数。我们提供初始值,因此它可以在收敛到使可能性最大化的值之前开始估算。随机数足以满足初始值。

    m.sd Call: mle2(minuslogl = y ~ dnorm(mean = a, sd = exp(b)), start = list(a = rnorm(1), b = rnorm(1)), data = dat) Coefficients: a b 2.9990478 0.3788449 Log-likelihood: -898.89

    系数a非常类似于数据的平均值。必须对系数b取幂,以获得标准偏差:

    exp(coef(m.sd)[2]) b 1.460596

    这类似于我们上面获得的标准偏差。上面的语法演示的另一个有趣的事实是lm()类似的函数coef(),summary()并且可以在mle2()对象上使用。

    我们上面执行的最大似然估计类似于使用OLS估计的仅截距回归模型:

    coef(lm(y ~ 1, dat)) (Intercept) 2.999048 sigma(lm(y ~ 1, dat)) [1] 1.462059

    截距是数据的平均值,残留标准偏差是标准偏差。

    异方差回归模型

    考虑以下研究。我们分配了两组,一个是治疗组,一个是30个人,另一个是对照组,每个是100个人,与治疗组相匹配的是决定结果的协变量。因此,我们对治疗效果感兴趣,并让我们假设一个简单的均值差就足够了。碰巧,这种治疗方法除了有效之外,还具有均质作用,例如,受试者被洗脑后对结果的改善更好。以下数据集应符合上述方案:

    need-to-insert-img

    有100名参与者的治疗状态为0(对照组),平均值为0,标准差为1。有30名参与者的治疗状态为1(治疗组),平均值为0.3,标准值为1,偏差0.25。

    这种情况显然违反了同方差假设,但是,我们继续对治疗效果进行OLS估计:

    Call: Residuals: Min 1Q Median 3Q Max -2.8734 -0.5055 -0.0287 0.4231 3.4097 Coefficients: Estimate Std. Error t value Pr(>|t|) (Intercept) 0.03386 0.09298 0.364 0.716 treat 0.21733 0.19355 1.123 0.264 Residual standard error: 0.9298 on 128 degrees of freedom Multiple R-squared: 0.009754, Adjusted R-squared: 0.002018 F-statistic: 1.261 on 1 and 128 DF, p-value: 0.2636

    治疗效果为0.22,无统计学意义,p = 0.26p=.26在一个αα的.05级。但是我们知道方差不是同方差的,因为我们创建了数据,并且残差对拟合值的简单诊断图证实了这一点:

    need-to-insert-img

    need-to-insert-img

    首先,我记录一下重新创建OLS模型:

    need-to-insert-img

    在此函数中,我为结果的平均值创建一个模型,该模型是截距的函数b_int,以及治疗预测因子的系数b_treat。标准偏差还是一个指数常数。该模型将等效于线性模型。

    但是,我们知道方差不是恒定的,而是两组不同。我们可以将标准偏差指定为组的函数:

    need-to-insert-img

    在此,我们为标准差指定了一个模型,该模型作为截距的函数s_int,代表控制组,并且与该截距的偏差为s_treat。

    我们可以做得更好。我们可以利用系数从OLS模型作为初始值b_int和b_treat。运行模型:

    Maximum likelihood estimation Call: (minuslogl = y ~ dnorm(mean = b_int + b_treat * treat, sd = exp(s_int + s_treat * treat)), start = list(b_int = coef(m.ols)[1], b_treat = coef(m.ols)[2], s_int = rnorm(1), s_treat = rnorm(1))) Coefficients: Estimate Std. Error z value Pr(z) b_int 0.033862 0.104470 0.3241 0.74584 b_treat 0.217334 0.112249 1.9362 0.05285 . s_int 0.043731 0.070711 0.6184 0.53628 s_treat -1.535894 0.147196 -10.4344 

    治疗效果大致相同,但现在p值为.053。远小于假设为纯正方差分析的0.26。b_treat变量的精度要高得多,因为此处的标准误差.11小于.19。

    标准差模型建议标准差为:

    exp(coef(m.het)[3]) s_int 1.044701

    对照组和1.045:

    exp(coef(m.het)[3] + coef(m.het)[4]) s_int 0.2248858

    .22为治疗组。这些值接近我们所知道的模拟值。我们可以确认样本统计数据为:

    treat y 1 0 1.0499657 2 1 0.2287307

    在没有异方差且允许异方差的情况下,也可以轻松地对模型进行模型比较:

    Likelihood Ratio Tests Model 1: m.mle, y~dnorm(mean=b_int+b_treat*treat,sd=exp(s1)) Model 2: m.het, y~dnorm(mean=b_int+b_treat*treat,sd=exp(s_int+s_treat*treat)) Tot Df Deviance Chisq Df Pr(>Chisq) 1 3 347.98 2 4 288.14 59.841 1 1.028e-14 *** --- Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

    似然比测试建议我们改进了模型,χ 2(1 )= 59.81 ,p < 0.001χ2(1个)=59.81,p<.001>

    因此,我们可以确认在此单个示例中对方差建模可以提高精度。当影响为零并且我们具有异方差性时,很容易编写一个将异方差MLE与OLS估计进行比较的仿真代码。

    我从上面对代码进行了更改,方法是给治疗组的平均值为零,以使两组之间没有均值差。我重复了该过程500次,从OLS及其p值中节省了治疗效果,从异方差MLE及其p值中节省了治疗效果。

    然后,我绘制结果:

    par(mfrow = c(1, 1))

    need-to-insert-img

    OLS和异方差性MLE的治疗效果相似。但是,当null为true时,异方差MLE模型的p值表现得更好。如果null为true,则可以期望p值均匀分布。OLS迭代的p值堆叠在高端。

    这次,我重复此过程,使治疗组的平均值为0.15,因此零效果的null假设为假。

    need-to-insert-img

    治疗效果再次具有相同的分布。然而,与OLS相比,异方差MLE的p值要小得多,异方差MLE具有更大的统计功效来检测治疗效果。

    首先,为负对数可能性指定一个函数,然后将此函数传递给MLE。

    (minuslogl = ll, start = list(b_int = rnorm(1), b_treat = rnorm(1), s_int = rnorm(1), s_treat = rnorm(1))) Coefficients: Estimate Std. Error z value Pr(z) b_int 0.033862 0.104470 0.3241 0.74584 b_treat 0.217334 0.112249 1.9362 0.05285 . s_int 0.043733 0.070711 0.6185 0.53626 s_treat -1.535893 0.147196 -10.4343 

    Family: gaussian ( identity ) Formula: y ~ treat Dispersion: ~treat Data: dat AIC BIC logLik deviance df.resid 296.1 307.6 -144.1 288.1 126 Conditional model: Estimate Std. Error z value Pr(>|z|) (Intercept) 0.03386 0.10447 0.324 0.7458 treat 0.21733 0.11225 1.936 0.0528 . --- Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 Dispersion model: Estimate Std. Error z value Pr(>|z|) (Intercept) 0.08746 0.14142 0.618 0.536 treat -3.07179 0.29439 -10.434 <2e-16 *** --- Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

    在这种情况下,离散度在对数方差的范围内,因此必须取平方的指数对数方差平方根才能检索上述的组标准差。

    展开全文
  • 为了诊断具有异方差的线性回归模型的异常点,建立了具有异方差的均值漂移模型和数据删除模型。采用Score诊断统计量对具有异方差的均值漂移模型的均值是否漂移进行诊断,证明了异方差存在条件下均值漂移模型和数据...
  • 方差未知时,用于比较 k 个正态分布总体均值的 ANOVA F 检验不适用。 bootstrap 是一种通过独立地以相等的概率(蒙特卡罗重采样)重新采样单个数据集来估计统计量可变性的方法。 这里提到的引导程序是参数程序:...
  • stata 异方差专题【计量经济系列(四)】

    千次阅读 多人点赞 2022-05-02 21:48:21
    stata 异方差专题【计量经济系列(四)】 1. 异方差检验方法2. 散点图法3. BP检验4. 怀特检验5. FWLS 可行权的最小二乘法6. 小练习

    stata 异方差专题【计量经济系列(四)】


        ʚʕ̯•͡˔•̯᷅ʔɞʚʕ̯•͡˔•̯᷅ʔɞʚʕ̯•͡˔•̯᷅ʔɞʚʕ̯•͡˔•̯᷅ʔɞʚʕ̯•͡˔•̯᷅ʔɞʚʕ̯•͡˔•̯᷅ʔɞʚʕ̯•͡˔•̯᷅ʔɞʚʕ̯•͡˔•̯᷅ʔɞʚʕ̯•͡˔•̯᷅ʔɞʚʕ̯•͡˔•̯᷅ʔɞ
                     在这里插入图片描述在这里插入图片描述在这里插入图片描述


              在这里插入图片描述


    “条件异方差”简称异方差,是违背球形扰动假设的一种情形。

    1. 异方差检验方法

    异方差的检验方法有

    ①画残差图。
    可以是残差与被解释变量的散点图,也可以是残差与某一个解释变量的散点图。
    这个方法直观但不严格。

    ②BP检验。
    先建立辅助回归方程,然后进行LM检验或F检验。
    在大样本情况下,因为 χ 2 \displaystyle \chi^2 χ2分布 与 F F F分布是等价的,所以使用LM检验和F检验渐进等价。

    ③怀特检验
    BP检验中假设了条件方差函数为线性函数,可能忽略了高次项。怀特检验在BP检验的基础上加入了所有的二次项。
    然后进行LM检验或F检验


    2. 散点图法

    首先,读取数据,并做回归。

    use nerlove,clear
    quietly reg lntc lnq lnpl lnpk lnpf
    

    绘制 残差拟合值 的散点图。

    rvfplot
    

          在这里插入图片描述
    通过图像大致可以看出,拟合值较小时,扰动项较大。


    绘制 残差解释变量lnq 的散点图。

    rvpplot lnq
    

          在这里插入图片描述
    通过图像大致可以看出解释变量lnq越小,扰动项方差越大。
    两图都表明扰动项的方差随观测值而改变,即可能存在异方差。


    3. BP检验

    做BP检验时,可以选择不同的值做辅助回归,比如分别选择拟合值、全部解释变量、部分解释变量做拟合回归。

    第一步,读数据,做回归

    use nerlove,clear
    quietly reg lntc lnq lnpl lnpk lnpf
    

    使用拟合值做辅助回归的BP检验。(默认)

    estat hettest,iid
    

               在这里插入图片描述


    使用所有解释变量做辅助回归的BP检验。(末尾的rhs表示所有解释变量)

    estat hettest,iid rhs
    

               在这里插入图片描述


    使用变量lnq做辅助回归的BP检验。(在estat hettest后边)

    estat hettest lnq,iid
    

               在这里插入图片描述


    BP检验的原假设为,

         H 0 : V a r ( ϵ i ∣ x i ) = σ 2 \displaystyle H_0:Var(\epsilon_i|x_i)=\sigma^2 H0:Var(ϵixi)=σ2,表示回归方程“条件同方差”,再通俗地将,也即在不同的x_i上的 许多残差 的方差 之间 也都相等。

    经过进一步推导,检验该假设的过程,相当于检验“辅助回归方程不显著”的过程:

    三次检验的p值都为0,说明应该拒绝原假设,辅助回归方程显著,

    也即 H 0 : V a r ( ϵ i ∣ x i ) = σ 2 \displaystyle H_0:Var(\epsilon_i|x_i)=\sigma^2 H0:Var(ϵixi)=σ2不成立,即存在异方差。


    4. 怀特检验

    第一步,读数据,做回归

    use nerlove,clear
    quietly reg lntc lnq lnpl lnpk lnpf
    
    estat imtest,white
    

               在这里插入图片描述
    其中imtest指的是信息矩阵检验。

    除了在辅助回归中加入了二次项,其他基本同上。如图可见P值为0,表明拒绝原假设,即存在异方差。


    5. FWLS 可行权的最小二乘法

    WLS事实上不可行,因为权重未知。使用FWLS方法,使用样本数据估计方差,以得到权重 1 v i \displaystyle \frac{1}{\sqrt{v_i}} vi 1。其中 v i v_i vi是方差的倒数,也可以表述为是 1 v i \displaystyle \frac{1}{v_i} vi1,这里只是说法不一样,而并非数值不一样。其实运算起来都是一样的。

    第一步,读数据,做回归

    use nerlove,clear
    quietly reg lntc lnq lnpl lnpk lnpf
    

    计算残差(即实际值与拟合值的差),记为变量e1
    计算残差平方,记为e2
    残差平方取对数,记为lne2

    predict e1,residual
    gen e2 = e1^2
    gen lne2 = log(e2)
    

    对lne2对lnq辅助回归

    reg lne2 lnq
    

               在这里插入图片描述
    如图可以看出,回归方程在1%的显著性水平下显著,但是 R 2 R^2 R2只有0.1309,且常数项的P值为0.26,常数项不显著。

    所以做没有常数项的辅助回归如下:

    reg lne2 lnq,noc
    

               在这里插入图片描述
    可以看到,无常数项的方程的P值为0,且 R 2 R^2 R2提升为了0.7447。(虽然两个 R 2 R^2 R2之间不可比)
    所以用没有常数项的辅助回归效果更佳。

    将该辅助回归的拟合值记为lne2f:
    再消除对数形式,就得到的方差的估计值

    predict lne2f
    gen e2f=exp(lne2f)
    

    使用 方差估计值的倒数 作为权重,做WLS回归:

    reg lntc lnq lnpl lnpk lnpf[aw=1/e2f]
    

               在这里插入图片描述


      乍一看可能有些复杂,通俗的解释如下:假设是有n个解释变量,一共有m个数据,出现了异方差,则先求出m个数据的每个数据对应的残差,然后求平方,并取对数(如果不取对数做回归则可能会出现该平方形式的变量拟合值为负的情况,而方差不能为负,所以这里一般假设为对数形式),然后用这个新的变量对其中的部分或全部解释变量(比如这里选择的lnq做回归,可能是觉得lnq更具有影响力,且经测试发现无常数项的回归效果更好),做完回归后,求出每个数据位置处的拟合值,则一共会得到m个拟合值。
    (这里的 R 2 \displaystyle R^2 R2没多少参考意义。因为衡量的是变换之后的解释变量对变换之后的被解释变量的解释能力。)
    至于这里使用的是拟合值,而不是直接使用取完对数的变量,因为取对数之前,lne2只代表残差,而拟合之后,lne2的拟合值才能代表异方差中的方差。将lne2去除对数形式,使用每条数据不尽相同的方差的倒数做回归,可以得到m个权重,给每条数据加权后,就解决了异方差的问题。
               在这里插入图片描述


    如果担心对条件方差函数的设定不准确,导致加权变换后新的扰动项仍然有一定的异方差,则可以使用稳健标准误进行WLS估计:

    即OLS+稳健性标准误

    reg lntc lnq lnpl lnpk lnpf[aw=1/e2f], robust
    

    其中robust也可简写为r。

             在这里插入图片描述


    6. 小练习

    恩格尔曲线是否存在异方差?
    使用数据集 food.dta,其包含有关每周食物开支( food_exp)与每周收入( income)的40个观测值。

    use food
    

    (1)将food_exp 与income的散点图与线性拟合图画在一起。根据此图,是否可能存在异方差?此异方差与收入的关系是怎样的?

    twoway (scatter food_exp income)(lfit food_exp income)
    

         在这里插入图片描述
    由图可知,可能存在异方差。且解释变量值较小时方差较小,解释变量值较大时方差较大。


    (2)将food_exp对income进行回归。

    reg food_exp income
    

              在这里插入图片描述


    (3)以5%的置信度,使用BP检验,检验是否存在异方差(假设扰动项为iid)。

    estat hettest,iid
    

              在这里插入图片描述
    使用拟合值做辅助回归,P值为0.0066,可以在5%的置信水平下拒绝原假设,即存在异方差。


    (4)以5%的置信度,使用怀特检验,检验是否存在异方差。

    estat imtest,white
    

                  在这里插入图片描述
    怀特检验P值为0.0229,可以在5%的置信水平下拒绝原假设,即存在异方差。


    (5)定义食物开支比例food_share为food_exp除以income ,将 food_share对income做回归,使用散点图法看,是否存在异方差?

    生成新变量

    gen food_share=food_exp/income
    

    绘制一般散点图和回归直线

    twoway (scatter food_share income)(lfit food_share income)
    

          在这里插入图片描述
    从图形上看并不是太好判断。

    绘制残差与拟合值的散点图如下。

    quietly reg food_share income
    rvfplot
    

          在这里插入图片描述
    这样的图像不太方便判断是否有异方差,还需进一步检验。


    (6)将food_share对income进行回归。

    reg food_share income
    

                在这里插入图片描述


    ( 7)以5%的置信度,使用BP检验,检验是否存在异方差(假设扰动项为iid )。

    estat hettest,iid
    

                在这里插入图片描述
    P值过大,不能拒绝原假设,说明不存在异方差。


    (8)以5%的置信度,使用怀特检验,检验是否存在异方差。

    estat imtest,white
    

                    在这里插入图片描述
    P值过大,不能拒绝原假设,说明不存在异方差。


    本次分享就到这里,小啾感谢您的关注与支持!
    🌹꧔ꦿ🌹꧔ꦿ🌹꧔ꦿ🌹꧔ꦿ🌹꧔ꦿ🌹꧔ꦿ🌹꧔ꦿ🌹꧔ꦿ🌹꧔ꦿ🌹꧔ꦿ🌹꧔ꦿ🌹꧔ꦿ🌹꧔ꦿ🌹꧔ꦿ🌹꧔ꦿ🌹꧔ꦿ🌹꧔ꦿ🌹꧔ꦿ🌹꧔ꦿ🌹꧔ꦿ🌹꧔ꦿ🌹꧔ꦿ🌹꧔ꦿ🌹꧔ꦿ🌹꧔ꦿ🌹꧔ꦿ🌹꧔ꦿ🌹꧔ꦿ

    展开全文
  • 异方差是线性回归模型中经常出现的问题,解决异方差问题的一个常用的方法是两阶段最小二乘法.当样本容量较小时,通过分组产生重复数据,将会损失大量样本信息,使得两阶段最小二乘法得到的估计结果不具有精确性和有效性....
  • 计量经济学异方差的检验和修正实验报告.doc
  • 异方差性的存在,会对回归模型的正确建立和统计推断带来严重后果。首先,在异方差情况下,所有与参数估计量方差有关的相关计算都会受到影响。
    1.异方差的定义
    1.1 定义

      对于经典线性回归模型 Y i = β 0 + β 1 X 1 i + β 2 X 2 i + ⋯ + β n X n i + u i Y_{i}=\beta_{0}+\beta_{1}X_{1i}+\beta_{2}X_{2i}+\dots+\beta_{n}X_{ni}+u_{i} Yi=β0+β1X1i+β2X2i++βnXni+ui在其他假设不变条件下,若随机误差项 u i u_{i} ui的方差不相等,即 V a r ( u i ∣ X 1 i , X 2 i , … , X n i ) = σ i 2 Var(u_{i}|X_{1i},X_{2i},\dots,X_{ni})=\sigma_{i}^{2} Var(uiX1i,X2i,,Xni)=σi2则称随机误差项(即总体方差) u i u_{i} ui具有异方差性。

    1.2 影响

      异方差性的存在,会对回归模型的正确建立和统计推断带来严重后果。首先,在异方差情况下,所有与参数估计量方差有关的相关计算都会受到影响。 t t t检验、多元回归的 F F F检验都会因此变得不再准确。其次,异方差条件下参数的OLS估计量不再有效(仍然具有线性和一致性),会导致对 Y Y Y的预测也失去有效性。

    1.3 产生原因

      异方差产生的原因大致可以归纳为以下几种情况,具体如下:

    • 解释变量变化对被解释变量所产生影响的程度不断变化,会引起异方差性;
    • 遗漏变量或模型形式设定偏误都可能会产生异方差性。当遗漏的变量与解释变量相关时,其对被解释变量的影响被归入随机误差项,则可能使随机误差项产生异方差性。当模型形式设定偏误时,如变量间本来为非线性关系,而错误的设定为线性关系时,则该模型往往表现出异方差性。
    • 样本数据本身属性也会导致异方差性;
    2. 异方差的检测

      异方差性表现为解释变量与随机干扰项方差之间的某种关系。具体常用的几种检测方法如下:

    2.1 图示法

      该方法的做法主要是通过绘制某个解释变量与样本残差平方 e i 2 e_{i}^{2} ei2的散点图,查看这两者之间是否存在某种关系。如果不存在异方差性,则 e i 2 e_{i}^{2} ei2不会随着 X X X的变化而变化,若 e i 2 e_{i}^{2} ei2会随着 X X X的变化而发生同步变化,则可以初步判断模型存在异方差性。

    2.2 G-Q检验

      G-Q检验又称为样本分段检验,该检验可用于检验递增性或递减性异方差的有效方法。该方法的检验思路是,若随机干扰项方差随着某解释变量的增加同步递增或递减,则将该解释变量按大小排序之后,分成两段,则前后两段的残差平方和的差别会较大。其具体步骤如下:

    • 将样本观测值按照认为可能会引起异方差的某个解释变量观测值的大小排序;如果是时间序列数据,则不可以排序;
    • 将序列中间不大于 1 / 3 1/3 1/3观测总量的观测值删除。此时序列形成前后两段,记其前后两段的样本容量分别为 n 1 n_{1} n1 n 2 n_{2} n2。为计算方便,一般设置 n 1 = n 2 n_{1}=n_{2} n1=n2
    • 分别用OLS方法对前后两段数据进行回归,可以得到两个回归模型各自的残差,分别记为 e 1 i e_{1i} e1i e 2 i e_{2i} e2i。则这两个回归模型的残差平方分别为 R S S 1 = ∑ i = 1 n 1 e i 1 2 RSS_{1}=\sum_{i=1}^{n_{1}}e_{i1}^{2} RSS1=i=1n1ei12 R S S 2 = ∑ i = 1 n 2 e i 2 2 RSS_{2}=\sum_{i=1}^{n_{2}}e_{i2}^{2} RSS2=i=1n2ei22
    • 分别计算前后两个回归模型随机误差项方差的估计量 σ ^ 1 2 = R S S 1 n 1 − k \hat \sigma_{1}^{2}=\frac{RSS_{1}}{n_{1}-k} σ^12=n1kRSS1 σ ^ 2 2 = R S S 2 n 2 − k \hat \sigma_{2}^{2}=\frac{RSS_{2}}{n_{2}-k} σ^22=n2kRSS2,其中 k k k为模型参数的个数。将大方差设为分子,小方差设为分母。由此构建检验统计量 F = σ ^ 1 2 σ ^ 2 2 F=\frac{\hat \sigma_{1}^{2}}{\hat \sigma_{2}^{2}} F=σ^22σ^12在同方差假定下, F F F满足自由度为 n 1 − k n_{1}-k n1k n 2 − k n_{2}-k n2k F F F分布。
    • 在同方差假定下, σ ^ 1 2 \hat \sigma_{1}^{2} σ^12 σ ^ 2 2 \hat \sigma_{2}^{2} σ^22应近似相等,即 F F F统计量应接近于1;如果统计量 F F F偏离1越远,则随机干扰项存在异方差性的可能性就越大。在给定显著性水平 α \alpha α下,若 F > F α ( n 1 − k , n 2 − k ) F>F_{\alpha}(n_{1}-k,n_{2}-k) F>Fα(n1k,n2k),则拒绝同方差性假定,表明存在异方差性。
    2.3 戈里瑟检验

      戈里瑟检验的基本思想是用残差绝对值 ∣ e i ∣ |e_{i}| ei对每个解释变量建立各种回归模型,比如: ∣ e i ∣ = α 1 + α 2 X i + v i |e_{i}|=\alpha_{1}+\alpha_{2}X_{i}+v_{i} ei=α1+α2Xi+vi ∣ e i ∣ = α 1 + α 2 1 X i + v i |e_{i}|=\alpha_{1}+\alpha_{2}\frac{1}{X_{i}}+v_{i} ei=α1+α2Xi1+vi ∣ e i ∣ = α 1 + α 2 X i + v i |e_{i}|=\alpha_{1}+\alpha_{2}\sqrt{X_{i}}+v_{i} ei=α1+α2Xi +vi对回归系数 α 2 \alpha_{2} α2进行显著性检验。如果 α 2 ≠ 0 \alpha_{2} \neq0 α2=0,则认为存在异方差性。该检验的缺点是不能判断模型是否不存在异方差,并要求变量的观测值为大样本。

    2.4 怀特检验

      怀特检验的基本思想是:如果存在异方差,其方法 σ i 2 \sigma_{i}^{2} σi2与解释变量有关系,则可以分析 σ i 2 \sigma_{i}^{2} σi2是否与解释变量有某些形式的联系,以此判断异方差性。其具体步骤如下:

    • 使用普通最小二乘法估计模型,并获取样本残差 e i e_{i} ei
    • 构建所有解释变量及其平方项和交叉乘积项对残差平方 e i 2 e_{i}^{2} ei2的线性回归模型,并检验各回归系数是否为0,若所有参数都为0则不存在异方差性。
    3. 异方差的修正

      通过加权变换使原模型中的异方差误差项转换为同方差误差项,使加权变换后的模型满足最小二乘法的假定,从而使用普通最小二乘法估计参数,这种方法称为加权最小二乘法(Weighted Least Square, WLS)。在实践中可以根据实际情况寻找合适的权进行加权最小二乘法估计。以一元线性回归模型为例进行说明: Y i = β 1 + β 2 X i + u i Y_{i}=\beta_{1}+\beta_{2}X_{i}+u_{i} Yi=β1+β2Xi+ui

    3.1 σ i 2 \sigma_{i}^{2} σi2已知

      如果每个观测点的误差项方差 σ i 2 \sigma_{i}^{2} σi2是已知的,使用 1 / σ i 1/\sigma_{i} 1/σi为权数,对模型作如下变换即可: Y i σ i = β 1 σ i + β 2 X i σ i + u i σ i \frac{Y_{i}}{\sigma_{i}}=\frac{\beta_{1}}{\sigma_{i}}+\beta_{2}\frac{X_{i}}{\sigma_{i}}+\frac{u_{i}}{\sigma_{i}} σiYi=σiβ1+β2σiXi+σiui

    3.2 σ i 2 \sigma_{i}^{2} σi2未知

      当 σ i 2 \sigma_{i}^{2} σi2是未知时,可根据模型首次估计的残差与解释变量或被解释变量的关系来确定变换的权数。一般先采用戈里瑟检验方法确定 e i e_{i} ei X i X_{i} Xi之间的关系

    • 如果 ∣ e i ∣ |e_{i}| ei X i \sqrt{X_{i}} Xi 之间为线性关系,则可对模型两边同时乘以 1 X i \frac{1}{\sqrt{X_{i}}} Xi 1,即可将异方差模型变为同方差模型。此时模型为: Y i X i = β 1 X i + β 2 X i + u i X i \frac{Y_{i}}{\sqrt{X_{i}}}=\frac{\beta_{1}}{\sqrt{X_{i}}}+\beta_{2}\sqrt{X_{i}}+\frac{u_{i}}{\sqrt{X_{i}}} Xi Yi=Xi β1+β2Xi +Xi ui
    • 如果 ∣ e i ∣ |e_{i}| ei X i X_{i} Xi之间为线性关系,则选择 1 X i \frac{1}{X_{i}} Xi1为权数,将其变换为如下模型: Y i X i = β 1 X i + β 2 + u i X i \frac{Y_{i}}{X_{i}}=\frac{\beta_{1}}{X_{i}}+\beta_{2}+\frac{u_{i}}{X_{i}} XiYi=Xiβ1+β2+Xiui

      实践中,遇到异方差时,往往分别以 1 X i \frac{1}{X_{i}} Xi1 1 X i \frac{1}{\sqrt{X_{i}}} Xi 1 1 ∣ e i ∣ \frac{1}{|e_{i}|} ei1为权,对原模型进行加权最小二乘法估计,选取最优结果作为最终估计结果。

    4 实验
    4.1 构造数据

      因为没有找到找到符合异方差性的数据,所以这里只能自己构造。这里构造的数据中 Y Y Y与变量 X 1 X_{1} X1之间并不是线性关系。另外,生成 Y Y Y的公式中的各参数是随意设置的。

    import pandas as pd
    from scipy import stats
    import statsmodels.api as sm
    import numpy as np
    from sklearn.datasets import make_regression
    from matplotlib import pyplot as plt
    
    X,_ = make_regression(n_samples=2000, n_features=5,random_state=5)
    X=pd.DataFrame(X)
    #参数是随便设置的
    y=0.2*X[0]+5*(X[1]**2)+0.56*X[2]+2.7*X[3]-1.3*X[4]
    y=pd.DataFrame(y,columns=['val'])
    
    X=sm.add_constant(X)
    model=sm.OLS(y,X)
    results=model.fit()
    y_pred=pd.DataFrame(model.predict(results.params,X),
                        columns=['val'])
    print(results.summary())
    

    此时线性回归的结果如下( R 2 R^{2} R2值较低,模型无法用于预测):
    在这里插入图片描述

    4.2 异方差检测

      首先戈里瑟检验、怀特检验都是通过建立相应的回归模型判断是否存在不为0的回归系数来判断是否存在异方差性的。若存在不为0的回归系数则证明有异方差性,否则没有异方差性。而这个判断可以使用OLS模型中各个回归参数的p_val值来判断,若p_val值越接近0,对应的回归系数越显著,该系数为0的可能性越低。对于这两个检验,通过p_val值来观测是否存在异方差性。各种异方差检测方法如下:
    图示法

    #误差项
    err_abs=(y_pred-y).abs()
    
    #1.检验是否存在异方差性
    #1.1 图示法
    fig,((ax1,ax2),(ax3,ax4))=plt.subplots(nrows=2,ncols=2)
    ax1.scatter(X[0],(err_abs)**2)
    ax1.set_xlabel('X[0]')
    ax2.scatter(X[1],(err_abs)**2)
    ax2.set_xlabel('X[1]')
    ax3.scatter(X[2],(err_abs)**2)
    ax3.set_xlabel('X[2]')
    ax4.scatter(X[3],(err_abs)**2)
    ax4.set_xlabel('X[3]')
    plt.show()
    

    其具体结果如下(从图中可以看到 e i 2 e_{i}^{2} ei2 X 1 X_{1} X1之间有明确的关系,但不是递增或递减的关系):
    在这里插入图片描述
    戈里瑟检验
      因为各个变量 X i X_{i} Xi值既有正值又有负值,所以这里只判断 ∣ e i ∣ |e_{i}| ei X i X_{i} Xi 1 / X i 1/X_{i} 1/Xi之间是否存在线性关系。具体如下:

    for col in [0,1,2,3,4]:
        print("第{}个变量".format(col))
        X_tmp=X[['const',col]]
        model_i=sm.OLS(err_abs,X_tmp)
        result_tmp=model_i.fit()
        print(result_tmp.pvalues)
        #判断|e|与1/X之间是否存在线性关系
        X_tmp[col]=1/X_tmp[col]
        model_i=sm.OLS(err_abs,X_tmp)
        result_tmp=model_i.fit()
        print(result_tmp.pvalues)   
    

    结果如下:
    在这里插入图片描述
    从结果可以看出 ∣ e i ∣ |e_{i}| ei X 4 X_{4} X4之间存在线性关系。
    G-Q检验
      从图示法可以看出,样本残差平方与变量 X 1 X_{1} X1之间病并不是递增性型或递减型关系,这里的异方差性并不符合G-Q检验的基本假设。但这里G-Q检验的代码如下:

    ## G-Q检验
    from scipy import stats
    for col in [0,1,2,3,4]:
        X_tmp=X.sort_values(by=[col],axis=0)
        #X共有2000个样本,删除中间650个样本,将剩余样本分为前后两段,各段分别有675个样本
        X_head=X_tmp.iloc[:675,:]
        X_tail=X_tmp.iloc[-675:,:]
        y_head=y.loc[X_head.index]
        y_tail=y.loc[X_tail.index]
        m_head=sm.OLS(y_head,X_head)
        r_head=m_head.fit()
        y_pre_head=m_head.predict(r_head.params,X_head)
        RSS_head=((y_pre_head-y_head.values)**2).sum()
        
        m_tail=sm.OLS(y_tail,X_tail)
        r_tail=m_tail.fit()
        y_pre_tail=m_tail.predict(r_tail.params,X_tail)
        RSS_tail=((y_tail.values-y_pre_tail)**2).sum()
        
        if RSS_head>RSS_tail:
            f_val=(RSS_head/(y_head.shape[0]-5))/(RSS_tail/(y_tail.shape[0]-5))
            f_pval=stats.f.sf(f_val,y_head.shape[0]-5,y_tail.shape[0]-5)
        else:
            f_val=(RSS_tail/(y_tail.shape[0]-5))/(RSS_head/(y_head.shape[0]-5))
            f_pval=stats.f.sf(f_val,y_tail.shape[0]-5,y_head.shape[0]-5)
        
        print("对于变量:{},其F值为:{:.3f},p值为:{:.3f}".format(col,f_val,f_pval))
    

    其结果如下:
    在这里插入图片描述
    怀特检验

    from sklearn.preprocessing import PolynomialFeatures
    poly = PolynomialFeatures(degree = 2)
    X_all=poly.fit_transform(X.loc[:,[0,1,2,3,4]])
    X_all=pd.DataFrame(X_all,columns=poly.get_feature_names())
    y=err_abs**2
    White_m=sm.OLS(y,X_all)
    result=White_m.fit()
    print(result.summary())
    

    其结果如下:
    在这里插入图片描述
    从上述结果中可以发现,构建的模型中存在具有显著性的回归参数,所以存在异方差性。

    4.3 修正

      这里只使用 1 / X i 1/X_{i} 1/Xi 1 / ∣ e i ∣ 1/|e_{i}| 1/ei来对模型进行加权修正。

    #2 使用1/|e_i|为权进行修正
    X1=X.copy()
    for col in X.columns:
        X1[col]=X[col]/err_abs['val']
    y1=y['val']/err_abs['val']
    model=sm.OLS(y1,X1)
    results=model.fit()
    print(results.summary())
    

    其最终结果如下:
    在这里插入图片描述
    通过戈里瑟检测可以发现 ∣ e i ∣ |e_{i}| ei X 4 X_{4} X4之间存在线性关系,所以这里使用 1 / X 4 1/X_{4} 1/X4为权进行修正

    # 使用1/X4为权进行修正
    X2=X.copy()
    for col in X.columns:
        X2[col]=X[col]/X[4]
    y2=y['val']/X[4].values
    model=sm.OLS(y2,X2)
    results=model.fit()
    print(results.summary())
    

    在这里插入图片描述

    参考
    1. 《计量经济学》
    展开全文
  • 异方差

    千次阅读 2018-11-30 13:05:02
    异方差的实质 不同样本的残差项方差不同,即Var(σi)≠常数Var(\sigma_i) \ne 常数Var(σi​)̸​=常数,Var(σi)Var(\sigma_i)Var(σi​)于XiX_iXi​有关 产生的原因 模型中忽略了重要变量,XXX的相关性归入了残差...
  • 资源名:EViews_Matlab_广义自回归条件异方差模型_GARCH_模拟_估计_预测 资源类型:matlab项目全套源码 源码说明: 全部项目源码都是经过测试校正后百分百成功运行的,如果您下载后不能运行可联系我进行指导或者更换...
  • 论文研究-异方差非参数回归模型均值与方差变点的小波估计与应用.pdf, 金融市场中,受突发事件的影响反映资产平均收益的均值函数和反映资产收益波动的方差函数都有可能...
  • 在本文中,我们介绍了具有水平偏移类型干预的自回归分数积分移动平均广义自回归条件异方差(ARFIMA-GARCH)模型,该模型能够捕获时间序列的三个关键特征:长期依赖,波动性和水平偏移。 主要关注点是在具有波动性的...
  • 多元线性回归—异方差

    千次阅读 2021-06-15 16:11:08
    文章目录异方差@[toc]1 异方差的一些例子2 什么是异方差3异方差产生的原因4 异方差后果5 如何识别异方差5.1 图示法5.2 哥德菲尔德-夸特检验5.3 怀特检验5.4 Bp检验(布鲁奇-帕甘)6 补救6.1 使用“OLS + 稳健标准误...
  • 依据“利用反双曲正弦函数变换提高数据列光滑程度”的结论,给出了两种异方差条件下递增时间序列自回归预测的改善方法.
  • stata中面板数据异方差的处理一、前言计算和互联网技术的广泛运用极大地提高了数据的可获得性,使大量的数据得以收集、保存和整理。与此同时,计量经济学在整个经济学体系中的地位日益提升。在顶级经济学杂志的论文...
  • 通过上篇内容,我们通过画残差图、BP检验、怀特检验、GQ检验等方法,发现模型存在异方差性。本篇文章主要介绍如何对异方差进行处理。 一、使用“OLS+稳健标准误” 如果存在异方差,一种处理方法是,仍然进行OLS回归...
  • 在研究木材材质特性时,通常将木材本身看作一个系统,输入不同的影响因素,如含水率、密度、节子、腐蚀等会得到不同的机械力学特性,而相关的回归分析一直是在对上述各测试观测值的方差齐性默认的情况下进行的,并未对其...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 7,300
精华内容 2,920
关键字:

异方差