精华内容
下载资源
问答
  • 只能够获得“在控制一系列干扰因素后,自变量增加一个单位,因变量(的均值)增加多少”这样的结果,但如果我们想得到的并不仅是对均值的影响,还想知道其对不同分位数上因变量的影响,我们就需要用到分位数回归。...

    OLS最小二乘回归建立在均值的基础上,通过OLS,只能够获得“在控制一系列干扰因素后,自变量增加一个单位,因变量(的均值)增加多少”这样的结果,但如果我们想得到的并不仅是对均值的影响,还想知道其对不同分位数上因变量的影响,我们就需要用到分位数回归。

    分位数回归,也可理解为百分数回归。比如说想要研究学习时间对学业成绩的影响,使用分位数回归我们就可以研究学习时间每增加一个单位(比如说小时),学生的学业成绩会如何变化,这里的学生可以是学习成绩位列前20%的好学生,也可以是位列50%的普通学生,还可以是位列后20%的后进生。是不是瞬间研究的范围就变大了?群体的异质性也体现出来了呢~~

    这里简单说明一下分位数回归的方法。与OLS类似,分位数回归对研究分位数上下的残差作了不同的惩罚,换句话说为上下的残差赋予了不同的加权,并通过求上下部分加权残差的最小值,得到分位数回归的估计量。

    展开全文
  • 1. 分位数回归的数学原理2. 分位数回归的求解原理3. python 实现分位数回归1. 分位数回归的数学原理一般的回归方法是最小二乘法,即最小化误差的平方和:其中, 是真实值,而 是预测值。而分位数的目标是最小化加权...
    • 1. 分位数回归的数学原理

    • 2. 分位数回归的求解原理

    • 3. python 实现分位数回归

    1. 分位数回归的数学原理

    一般的回归方法是最小二乘法,即最小化误差的平方和:

    其中, 是真实值,而 是预测值。而分位数的目标是最小化加权的误差绝对值和:

    其中, 是给定的分位数。决策变量是 ,可以证明,使上面表达式最小化的 就是给定分位数 对应的分位点(将上面式子转化为连续密度函数的积分,然后求一阶导数即可证明)。

    上式也可以简写成:

    2. 分位数回归的求解原理

    为了求出分位数的回归方程,假设 ,那么求解的目标函数转化为:

    决策变量为 k维回归方程的参数向量 。在实际的求解中,将上式转化为一个线性规划问题,引入两个虚拟变量 ,建立线性规划模型:

    然后用单纯形法或内点法求解,就能得出分位数回归方程(python 与 R 软件求出的分位数回归方程可能略微不同,因为求解方法不一样, python 使用了迭代的加权最小二乘法求解)。

    3. python 实现分位数回归

    分位数回归要用到 statsmodels,下面的代码得到分位数为 0.6 的回归方程,并画图:

    import statsmodels.formula.api as smf
    import pandas as pd
    import numpy as np
    import statsmodels.api as sm
    import matplotlib.pyplot as plt


    data = sm.datasets.engel.load_pandas().data
    mod = smf.quantreg('foodexp ~ income', data)
    res = mod.fit(q=0.6)
    print(res.summary())

    plt.scatter(data['income'], data['foodexp'])
    xx = np.arange(min(data['income']), max(data['income']))
    yy = [i*res.params['income'] + res.params['Intercept'for i in xx]
    plt.plot(xx, yy, color='red')
    plt.show()

    输出结果:

    03b2eccb5108279344c34a0cf4a36b4f.pnged8daaae2c20fddd2cd1884e9272e693.png回归方程就是上面的红线,它将 40% 的数据分割在上面,60% 的数据分割在下面。

    展开全文
  • 目录第一部分 分位数回归的概念以及优点 分位数回归的概念 分位数回归的优点第二部分 分位数回归stata实现 (1)分位数回归 (2)分位数回归绘图 (3)广义分位数回归 (4)面板数据分位数回归 ...
    目录第一部分   分位数回归的概念以及优点                分位数回归的概念                分位数回归的优点第二部分   分位数回归stata实现              (1)分位数回归             (2)分位数回归绘图              (3)广义分位数回归              (4)面板数据分位数回归              (5)非条件分位数固定效应回归经典论文推荐

    分位数回归作为OLS回归的一种补充模型,由于其特殊的非对称形式的绝对值残差估计方法,以及对于离群值和误差项非正态要求,具有很强的使用价值而一直被广泛使用。今天,我们就一起来探讨一下分位数回归的那些事。首先,还是给大家展示一篇经典论文的实证部分。

    01ac75d362149b56d0afcea86d060b65.png

    68a846e0629c3f29dd9401460e42622f.png

    4da39a98fe990aeefec687ae372ce542.png

    分位数回归作为OLS回归的一种补充模型,由于其特殊的非对称形式的绝对值残差估计方法,以及对于离群值和误差项非正态要求,具有很强的使用价值而一直被广泛使用。今天,我们就一起来探讨一下分位数回归的那些事。

    第一部分   分位数回归的概念以及优点

    分位数回归的概念

    分位数回归是估计一组回归变量X与被解释变量Y的分位数之间线性关系的建模方法。

    以往的回归模型实际上是研究被解释变量的条件期望。而人们也关心解释变量与被解释变量分布的中位数,分位数呈何种关系。它最早由Koenker和Bassett(1978)提出。OLS回归估计量的计算是基于最小化残差平方。分位数回归估计量的计算也是基于一种非对称形式的绝对值残差最小化。其中,中位数回归运用的是最小绝对值离差估计(LAD,least absolute deviations estimator)。

    分位数回归的优点

    (1)能够更加全面的描述被解释变量条件分布的全貌,而不是仅仅分析被解释变量的条件期望(均值),也可以分析解释变量如何影响被解释变量的中位数、分位数等。不同分位数下的回归系数估计量常常不同,即解释变量对不同水平被解释变量的影响不同。

    (2)中位数回归的估计方法与最小二乘法相比,估计结果对离群值则表现的更加稳健,而且,分位数回归对误差项并不要求很强的假设条件,因此对于非正态分布而言,分位数回归系数估计量则更加稳健。

    第二部分    分位数回归stata实现

    (1)分位数回归基本命令:qreg

    **数据预处理rename 家庭人口一共拓展出的二三产业之和 y,replacerename 是否参与产业融合 r,replacerename 传统农业还是新农业 t,replacerename 受教育程度 e,replacerename 土地面积 m,replacerename 与其他生产经营主体利益联结程度 l,replacerename 是否参加过农业技能培训 s,replacerename 年龄 o,replacerename 是否适合发展农业新业态1为适合0,为不适合 n,replacekeep y r t e m l s o ndestring y, generate(y0)replace y0=ln(y0)**自动分位数回归sqreg y0 r-n,quantile(.1 0.25 0.5 0.75 0.9)**保存结果并导出est store m1esttab m1 using 1.rtf,replace nogap star(* 0.1 ** 0.05 *** 0.01)se(%9.3f)**不同分位点回归系数差异比较iqreg y0 r,q(.5 .75) reps(100) nologest store m3iqreg y0 r,q(.25 .5) reps(100) nologest store m4iqreg y0 r,q(.1 .9) reps(100) nologest store m5**保存结果并导出esttab m2 m3 m4 m5 using 2.rtf,replace nogap star(* 0.1 ** 0.05 *** 0.01)se(%9.3f)

    (2) 分位数回归绘图命令:grqreg

    grqreg  y0 r-n, qmin(.01) qmax(.99)  qstep(y0 r-n) cons ci ols olsci

    8cf2ad511c04aab4ccb1ea82f4a898c2.png

    (3) 广义分位数回归 (generalized quantile regression) 命令:genqreg

    genqreg命令基于广义的分位数回归 ( Powell (2016) ),可以用来估计非条件的分位数回归。

    genqreg y0 r-n [quantile(.25)]  instruments(n)  proneness(v)  technique(string)

    (4)  面板数据分位数回归命令:qregpd

    与横截面OLS估计类似,传统的面板估计模型也会出现随机干扰项违背服从正态分布假定,譬如数据存在尖峰或者厚尾时,估计结果可能不再具备无偏性或有效性;此外,在传统面板数据模型中,同样采用最小二乘估计法(OLS)进行均值回归估计,估计结果仅反映条件均值附近的集中趋势,其他分位数点的变化情况难以刻画,因此无法全面反映数据的结构特征。

    随着分位数回归的深入研究,面板分位数回归也随之出现。结合分位数回归与面板数据,采用分位数回归的方法对面板数据进行参数估计,不仅能够更好的控制个体异质性,而且能够揭示在特定的分位数点自变量对因变量的变动情况,从而对因变量在整体分布上的回归关系作出更加全面和系统的阐释与分析。

    **下载外部命令ssc install qregpd, replacessc install moremata, replacessc install amcmc, replace**默认无内生性,用单纯性法进行估计qregpd lnco2 gdpp fdig trgdp fmzl rd nyjg es, id(id) fix(year) **有内生性,用MCMC进行估计qregpd lnco2 gdpp fdig trgdp fmzl rd nyjg es, id(id) fix(year) optimize(mcmc) noisy draws(1000) burn(100) arate(.5) instruments(fmzl)  mat list e(gamma)

    d105cc4bc58e9a9735af83d6d2dc1523.png

    (5) 非条件分位数固定效应模型回归命令:xtrifreg

    xtrifreg  lnco2 gdpp fdig trgdp fmzl rd nyjg es , fe i(id)  quantile(0.25)

    fbdff4c7d5ee03ab5dd291ad0b05d3e5.png

    分位数回归,不能说是一种回归模型,而是一类回归模型,或者说是一种改进思想,我们可以把它应用到线性回归、多项式回归、核回归等等,最根本的就是把损失函数从最小二乘法改成加权最小二乘法,通过不同的分位数得到不同的结果,再根据结果进行分析。

    经典论文链接

    https://www.sciencedirect.com/science/article/pii/S0301421516304694

    bbbb4912765a6f57281bc31aa09922e7.png

    9e0b3ebbbd0beb2c95bd506dd336a112.png

    展开全文
  • SPSS 26.0 新增了一个统计方法,分位数回归。它和我们此前经常讨论的OLS线性回归,主要区别在于可以更加细致的观察因变量Y的不同分布下回归系数的变化。比如年龄对收入的影响,线性回归只有一个斜率(回归系数),不管...

    3e153a1b14b770077584abc00582b2c9.png

    SPSS 26.0 新增了一个统计方法,分位数回归。它和我们此前经常讨论的OLS线性回归,主要区别在于可以更加细致的观察因变量Y的不同分布下回归系数的变化。

    比如年龄对收入的影响,线性回归只有一个斜率(回归系数),不管你是贫困还是富有,反正就是每长一岁收入增加5元这样的,可见OLS是一种均值回归。

    但是分位数回归则不同,它可以回答在你贫困时年龄对收入的重要性,和在你富有时年龄对收入的重要性可能是不同的,也许当你很有钱的时候,随着财富的积累,你每长大一岁,你的收入增长将n倍于你贫困之时。

    01

    数据与操作

    收入变化受多种因素影响,前面文字说明和以下举例仅用于理解分位数回归。0e4067863677cd27df43f0f4e667edc0.png菜单:【分析】→【回归】→【分位数】,9c3b239b6b45bc57572ec2a752b79a62.png告诉SPSS谁是因变量,谁是自变量。点开【条件】对话框,a56b62391b5eb4003db6b5e15c217b95.png常见的分位数条件包括四分位数、十分位数,当然也可以自己自定义分位数分布条件。本例设定分位数包括0.05,0.25,0.5,0.75,0.95。

    02

    分位数回归结果解读

    然后我们来看回归的结果。25d29113232f7cb7f5a7f5be152902e8.png上表给出各分位数条件下 “年龄” 对 “收入” 回归系数的变化过程,我们看到,回归系数从0.353一路提升至5.214,可见不同的收入水平分布条件下, “年龄” 对 “收入” 的影响有不同。SPSS紧接着给出每个分位数下回归系数的显著性检验,这一个处理效率并不高,我认为可以把显著性结果直接合并到上面这个表格里面,大家一眼就看清楚了。当然能既有显著性标记由于具体分位数下的回归检验那就更好了。我自己做个标记。如下:8350136bfe72402e82b7cce010bb3051.png当然SPSS自己也绘制了一枚分位数回归可视化图形,如下:15e374d71ff5b65fe777327c83d0f56f.png随着分位数条件改变,年龄斜率的变化图示。可以发现在相对较高收入水平下,回归斜率改变比较明显,从绝对来看也是有不小的变化,比如95%分位数下斜率5.214,而在50%分位数时仅为1.6(数字见前面回归系数表)。本文完文/图=数据小兵使用SPSS有疑问怎么办?
    找谁咨询呢?
    欢迎大家加入本公号开发的SPSS视频课程,永久有效,可反复播放观看,提供一对一答疑服务。
    d0ec89b51c6479f3e10dbbfe3d345cef.png
    数据小兵坚持写博客已经13年坚持写微信公号文章7年坚持更新SPSS视频课程3年坚持一对一答疑讨论3年绝对超值:一对一答疑欢迎加入SPSS视频课程竭诚服务c4ddeda24d650d0400588f6e9f0ed37b.png◢点【fdb96f0f7bcffd62c43ddf3f97cbef72.gif
    展开全文
  • *****************************************************************************************...*-------------------------------------分位数回归---------------------------------* *************************...
  • 目录1. 课程缘起2. 课程概览3. 嘉宾简介4. 课程提要5. 参考文献1. 课程缘起实际生活中我们发现有这样的一个规律:相比收入较高的群体,多上一年学对收入较低群体的边际...-分位数回归模型分位数回归模型的主要优点:...
  • 1简介面板数据分位数回归所使用到的命令是qregpd,由于这是一个外部命令,因此首先需要先下载安装,我们来看一下下载安装出来的这样的一个结果语法格式为: qregpd depvar indepvars [if] [in] [weight] , [quantile...
  • 回归分析的主要目的是实证检验理论分析中因变量与自变量之间的关系。传统的均值回归,主要使用因变量的条件均值函数来描述在自变量每一个特定数值下的因变量的均值,从而揭示自变量与因变量的关系。但是,条件均值...
  • 分位数回归方法从1978年提出后,无论从理论还是应用方面都得到了很大的发展。它不仅能够拓展模型使用的范围,而且还能够度量出回归变量对分布的影响,以及分布的尾部特征,较之经典的最小二乘法更具有优势。随着...
  • 为什么需要分位数回归======================■ 此前的模型在估计什么?* 解释变量 x 对被解释变量 y 的条件期望 E(y|x) 的影响,实际上是 “ 均值回归 ”■ 我们真正关心的是什么?* 我们想知道 x 对整个条件分布 y...
  • 引言在多数实证分析中,我们关注的焦点都在于考察解释变量对被解释变量的影响,其思想是从平均数的角度去分析得到参数结果,即均值回归。但均值回归往往会受到极端值的影响,使得参数估计变得很不稳...
  • 在经典回归模型中,最小二乘估计法(Ordinary Least Square,OLS)是实证中最常用到的回归估计方法,没有之一。其中,标准OLS关注解释变量 x 对被解释变量 y 在有条件下的均值变化,一般称为条件均值 E(Y|X) ,即均值...
  • 关于动态面板分位数回归的问题老师,您好!请问,如何进行动态面板分位数回归?动态面板分位数回归具体可使用qregpd命令,具体格式如下:qregpd depvar indepvars [if] [in] [weight], [quantile(#) instruments(var...
  • 原文链接:http://tecdat.cn/?p=18984​tecdat.cn现在,分位数回归已被确立为重要的计量经济学工具。与均值回归(OLS)不同,目标不是给定x的均值,而是给定x的一些分位数。您可以使用它来查找具有良好上升潜力的...
  • 整理人:郑铿城stata命令:• * ssc install qregpd /*----安装qregpd命令----*/ • qregpd depvar indepvars [if] [in] [weight] , [quantile(#) instruments(varlist) identifier(varlist) fix(varlist) optimize...
  • 上节回顾时间序列分析1、Arima,借助自相关图和偏相关图识别自相关AR和移动平均MA的阶数2、借助ADF检验识别差阶数,然后回归。解释模型含义3、VAR模型,(1)模型前检验识别模型阶数;(2)回归4、格兰杰因果检验评价...
  • 分位数 VAR 模型估计:自回归分布滞后模型脉冲响应函数计算各分位点脉冲图绘制代码实现原理使用pyqt5生成 GUI 界面使用statsmodels进行分位数回归使用pandas将结果保存在 excel 文件Display主窗口界面主要包括:工具...
  • 基于系统风险视角,通过分位数回归技术,提出了金融市场稳定性度量的新方法,在论述金融市场稳定性度量原理的基础上,设计出可行的 计算步骤,并据此实证分析了我国金融...
  • 详细介绍了分位数回归原理,并阐述了如何用Eviews实现
  • 本公众号部分精彩历史文章:04:如何在R软件中求一致性指数...SAS实现.06:Lasso方法简要介绍及其在回归分析中的应用07:最优模型选择中的交叉验证(Cross validation)方法08:用R语言进行分位数回归(Quantile Regressio...
  • 由于各种原因,回归系数可能不稳定。回归分析要求因变量Y为正态分布...分位数回归(Quantile regression, QR回归),其原理是将数据按因变量进行拆分成多个分位数点,研究不同分位点情况下时的回归影响关系情况。总结...
  • 本公众号部分精彩历史文章:04:如何在R软件中求一致性指数...SAS实现.06:Lasso方法简要介绍及其在回归分析中的应用07:最优模型选择中的交叉验证(Cross validation)方法08:用R语言进行分位数回归(Quantile Regressio...
  • Python_Statistics 波士顿迷你项目:线性回归:scikitlearn和stats模型,基本原理,数学,OLS方法| 用于线性回归的EDA:散点图,具有多... 拟合值与残差图| 分位数分位数图| 杠杆图删除异常值并比较模型:图形,摘要
  • 提出了一个理论上合理的加权分位数略图(weighted quantile sketch )来计算候选集。 引入了一种新颖的稀疏感知算法用于并行树学习。 令缺失值有默认方向。 提出了一个有效的用于核外树形学习的缓存感知块结构。 用...
  • 现代统计学与SAS应用

    2008-12-01 14:52:34
     第7节 分位数──描述偏态资料的情况和离散趋势  第8节 正态性检验  第9节 相对数──对定性资料进行统计描述 第4章 SAS软件应用入门  第1节 SAS软件简介  第2节 应用SAS的捷径  第3...
  • 3.2.2 百分位数 61 3.2.3 位置度量:均值和中位数 61 3.2.4 散布度量:极差和方差 62 3.2.5 多元汇总统计 63 3.2.6 汇总数据的其他方法 64 3.3 可视化 64 3.3.1 可视化的动机 64 3.3.2 一般概念 65 3.3.3 ...
  • 7.5.2 基于样本分位数的参数估计方法 7.5.3 基于样本特征函数的参数估计方法 7.5.4 无穷方差的检验 7.5.5 基于负阶矩的方法 7.5.6 计算机模拟中的若干问题 参考文献 第8章 基于分数低阶统计量的信号处理 8.1 稳定...

空空如也

空空如也

1 2
收藏数 30
精华内容 12
关键字:

分位数回归原理