精华内容
下载资源
问答
  • 用R语言做非参数和半参数回归笔记
    2020-12-22 00:51:05

    由詹鹏整理,仅供交流和学习

    根据南京财经大学统计系孙瑞博副教授的课件修改,在此感谢孙老师的辛勤付出!

    教材为:

    Luke Keele: Semiparametric Regression for the Social Sciences. John Wiley & Sons, Ltd.

    2008.

    -------------------------------------------------------------------------

    第一章

    introduction: Global versus Local Statistic

    一、主要参考书目及说明

    1

    Hardle(1994). Applied Nonparametic Regresstion.

    较早的经典书

    2

    Hardle etc (2004). Nonparametric and semiparametric models: an introduction. Springer.

    结构

    清晰

    3

    Li and Racine(2007). Nonparametric econometrics: Theory and Practice. Princeton.

    较全面和

    深入的介绍,偏难

    4

    Pagan and Ullah (1999). Nonparametric Econometrics.

    经典

    5

    Yatchew(2003). Semiparametric Regression for the Applied Econometrician.

    例子不错

    6

    、高铁梅(

    2009

    )

    .

    计量经济分析方法与建模:

    EVIEWS

    应用及实例(第二版)

    .

    清华大学

    出版社

    .

    (

    P127/143

    )

    7

    、李雪松(

    2008

    )

    .

    高级计量经济学

    .

    中国社会科学出版社

    .

    (

    P45 ch3

    )

    8

    、陈强(

    2010

    )

    .

    高级计量经济学及

    Stata

    应用

    .

    高教出版社

    .

    (

    ch23/24

    )

    【其他参看原

    ppt

    第一章】

    二、内容简介

    方法:

    ——

    移动平均(

    moving average

    )

    ——

    核光滑(

    Kernel smoothing

    )

    ——

    K

    近邻光滑(

    K-NN

    )

    ——

    局部多项式回归(

    Local Polynormal

    )

    ——

    Loesss and Lowess

    ——

    样条光滑(

    Smoothing Spline

    )

    ——

    B-spline

    ——

    Friedman Supersmoother

    模型:

    ——

    非参数密度估计

    ——

    非参数回归模型

    ——

    非参数回归模型

    ——

    时间序列的半参数模型

    ——

    Panel data

    的半参数模型

    ——

    Quantile Regression

    三、不同的模型形式

    1

    、线性模型

    linear models

    2

    Nonlinear in variables

    3

    更多相关内容
  • 半参数回归模型综述

    2013-09-18 14:34:53
    文章介绍了半参数模型的基本结构及基本计算方法
  • 提出建立中国人口预测的半参数回归模型,基于线性回归选取的显著性变量,利用多项式样条估计得到了半参数自回归方程,并且对中国2004~2009年人口进行了预测比较,结果表明:半参数回归模型优于一些传统的模型。...
  • 研究误差为鞅差序列的半参数回归模型参数估计的收敛速度.利用非参数分段多项式估计和最小二乘法进行讨论.考虑固定设计下的半参数回归模型:yi=xiβ+g(ti)+ei,i=1,2,…,n,(ei)是随机误差,且(ei,Fi,i≥1...
  • 采用非参数方法表达不能量化的影响因素,建立了半参数回归模型,并与线性回归模型和灰色预测模型进行了比较.研究结果表明,用半参数回归模型预测铁路货物周转量,预测结果的相对误差仅1.7%,比线性回归模型和灰色...
  • 在原始数据预处理的基础上,运用相关性分析理论确定了参数模型中的参数与非参数变量,构建了半参数回归模型;利用两阶段最小二乘法和权重系数法对回归系数和回归参数进行了估计.算例结果表明,参数回归分析法...
  • 大数据-算法-含指标项半参数回归模型的分位数回归与变量选择.pdf
  • 大数据-算法-有序属性响应半参数回归模型的贝叶.pdf
  • 大数据-算法-随机删失下半参数回归模型统计性质的研究.pdf
  • 大数据-算法-一类均值与协方差联合半参数回归模型的研究.pdf
  • 基于上述目的,本文从最小二乘配置的理论和模型出发,在分析、研究近年来关于统计分析和测量数据处理有关文献的基础上,引入半参数回归分析的概念,并讨论了正则化参数α对解的影响。通过模拟计算得出结论:只要正则
  • 一类半参数模型半参数模型的介绍,估计及结果
  • 半参数回归模型(包括部分线性回归模型)是当今统计学界研究的热点课题之一,研究了一类基于网点观测的部分线性回归模型,利用最小二乘法给出了未知参数和误差方差的估计,在一般条件下,证明了估计量的渐近正态性。
  • 基于稳健M-估计所得到的散布矩阵,给出了半参数回归模型中回归参数β的稳健估计,并证明了估计量的强相合性以及渐近正态性。
  • 考虑半参数回归模型yi=XTiβ+s(ti)+εi(i=1,…,n)其中噪声序列εi不独立。在非参数分量s(ti)基于小波光滑的情况下,用累积估计的方法,得到了参数β和非参数s(ti)的估计量;然后初步讨论了关于它们的三个简单性质。
  • #资源达人分享计划#
  • 本文考虑一类固定设计的半参数回归模型,其误差为一阶自回归时间序列。用权函数及拟极大似然估计方法得到了一些参数及非参数的拟极大似然估计量,在适当的条件下,研究了它们的弱相合性,从而丰富了该类半参数回归...
  • 对半参数回归模型:Yni=β・tni+g(xni)+εni,1≤i≤n。本文利用最小二乘法和一般非参数统计方法,定义β,g的估计量^βn,gn,在误差为一般弱平稳线性过程序列时,获得了^βn,gn的相合性及r阶矩相合性。
  • 非线性半参数回归模型的最大经验似然估计收集.pdf
  • 研究了一类纵向污染数据的半参数回归模型,并在更切合实际的情况下,建立了模型参数和回归函数的估计方法.在适当的条件下,证明了所建立的估计量均具有强相合性.
  • 参数回归是我们最长用的模型。与参数回归相对的非参数回归,这种模型对变量分布等假定并不是很严等,因此可以说扩展了参数回归的应用范围。但是非参数回归的局限性在于,在存在较多的解释变量时,很容易出现所谓的...


           参数回归是我们最长用的模型。与参数回归相对的非参数回归,这种模型对变量分布等假定并不是很严等,因此可以说扩展了参数回归的应用范围。但是非参数回归的局限性在于,在存在较多的解释变量时,很容易出现所谓的“维度灾难”,像方差的急剧增大等现象。

        这类模型包括实例回归,局部加权回归(LOESS)和样条回归。非参数方法一般适用于低维空间(较少的解释变量)。该局部加权回归曲线是利用点附近的点信息,使用的点信息越多,曲线与拟合直线越接近;使用的点信息越少,与散点越吻合。在变量间非线性关联较强的情况下,相比普通回归,通常更稳健一些。

        介于参数回归与非参回归之间的就是半参数模型,这种模型结合了前面两种参数模型的诸多优点,例如使用的连接函数、分析形式多样化,而且光滑参数值的确认均可以使用广义交叉验证技术。其应用情景首先是因变量在不符合正态分布时,该模型的结果仍然很稳定,我们可以选择不同的分布形式等。非参数模型的另一个典型应用是可以对具有截尾数据的资料进行生存预测。例如,普通生存分析,并没有很好的解决多解释变量的情况,并且对分布有特定的需求,而且当相关假定违反时,往往会对模型产生很大的影响,半参数生存分析回归模型克服了上述参数法的诸多局限,可以灵活地处理许多未知分布与不服从参数分布类型的资料。

        另外,一个比较容易混淆的是广义可加模型(使用连接函数的可加模型),与广义线性模型很相似,主要使用非参估计的方法。

    本文来自: 人大经济论坛 SPSS论坛 版,详细出处参考:http://bbs.pinggu.org/forum.php?mod=viewthread&tid=2163476&page=1


    【机器学习】参数和非参数机器学习算法

    什么是参数机器学习算法并且它与非参数机器学习算法有什么不同?

    本文中你将了解到参数和非参数机器学习算法的区别。

    让我们开始吧。

    学习函数

    机器学习可以总结为学习一个函数(f)(f),其将输入变量(X)(X)映射为输出变量(Y)(Y)

    Y=f(x)Y=f(x)

    算法从训练数据中学习这个映射函数。

    函数的形式未知,于是我们机器学习从业者的任务是评估不同的机器学习算法,然后选择好的能拟合潜在的目标函数的算法。

    不同的算法对目标函数的形式和学习的方式有不同的估计和偏差。

    参数机器学习算法

    假设可以极大地简化学习过程,但是同样可以限制学习的内容。简化目标函数为已知形式的算法就称为参数机器学习算法。

    通过固定大小的参数集(与训练样本数独立)概况数据的学习模型称为参数模型。不管你给与一个参数模型多少数据,对于其需要的参数数量都没有影响。
    — Artificial Intelligence: A Modern Approach,737页

    参数算法包括两部分:

    选择目标函数的形式。
    从训练数据中学习目标函数的系数。

    对于理解目标函数来讲,最简单的就是直线了,这就是线性回归里面采用的形式:

    b_0+b_1<em>x_1+b_2</em>x_2=0b0+b1<em>x1+b2</em>x2=0

    其中b_0b0b_1b1b_2b2是直线的系数,其影响直线的斜度和截距,x_1x1x_2x2是两个输入变量。

    把目标函数的形式假设为直线极大地简化了学习过程。那么现在,我们需要做的是估计直线的系数并且对于这个问题预测模型。

    通常来说,目标函数的形式假设是对于输入变量的线性联合,于是参数机器学习算法通常被称为“线性机器学习算法”。

    那么问题是,实际的未知的目标函数可能不是线性函数。它可能接近于直线而需要一些微小的调节。或者目标函数也可能完全和直线没有关联,那么我们做的假设是错误的,我们所做的近似就会导致差劲的预测结果。

    参数机器学习算法包括:

    • 逻辑回归

    • 线性成分分析

    • 感知机

    参数机器学习算法有如下优点:

    • 简洁:理论容易理解和解释结果

    • 快速:参数模型学习和训练的速度都很快

    • 数据更少:通常不需要大量的数据,在对数据的拟合不很好时表现也不错

    参数机器学习算法的局限性:

    • 约束:以选定函数形式的方式来学习本身就限制了模型

    • 有限的复杂度:通常只能应对简单的问题

    • 拟合度小:实际中通常无法和潜在的目标函数吻合

    非参数机器学习算法

    对于目标函数形式不作过多的假设的算法称为非参数机器学习算法。通过不做假设,算法可以自由的从训练数据中学习任意形式的函数。

    当你拥有许多数据而先验知识很少时,非参数学习通常很有用,此时你不需要关注于参数的选取。
    — Artificial Intelligence: A Modern Approach,757页

    非参数理论寻求在构造目标函数的过程中对训练数据作最好的拟合,同时维持一些泛化到未知数据的能力。同样的,它们可以拟合各自形式的函数。

    对于理解非参数模型的一个好例子是k近邻算法,其目标是基于k个最相近的模式对新的数据做预测。这种理论对于目标函数的形式,除了相似模式的数目以外不作任何假设。

    一些非参数机器学习算法的例子包括:

    • 决策树,例如CART和C4.5

    • 朴素贝叶斯

    • 支持向量机

    • 神经网络

    非参数机器学习算法的优势:

    • 可变性:可以拟合许多不同的函数形式。

    • 模型强大:对于目标函数不作假设或者作微小的假设

    • 表现良好:对于预测表现可以非常好。

    非参数机器学习算法局限性:

    • 需要更多数据:对于拟合目标函数需要更多的训练数据

    • 速度慢:因为需要训练更多的参数,训练过程通常比较慢。

    • 过拟合:有更高的风险发生过拟合,对于预测也比较难以解释。

    延伸阅读

    对于参数和非参数机器学习算法的不同以下是一些资源。

    书籍

    An Introduction to Statistical Learning: with Applications in R,章节2
    Artificial Intelligence: A Modern Approach,章节18

    网页

    机器学习中使用非参数理论的好处是什么? Quora
    机器学习中使用非参数理论的缺点是什么? Quora
    非参数统计 维基百科
    参数统计维基百科
    参数vs非参数 StackExchange

    总结

    本文中你了解到了参数和非参数机器学习算法的不同之处。

    你学习到,参数理论对于映射函数做很多的假设,这使得模型易于训练,需要的数据量少,同时也使得模型能力有限。

    非参数理论对于目标函数的形式不作过多的假设,这使得模型需要更多的数据来训练,并且模型拥有高复杂度,同时也使得模型能力很强。

    关于参数和非参数机器学习算法,你有什么问题吗?欢迎留下评论,我将竭力解答。

    关于偏差、方差和偏差-方差的权衡,你有什么问题吗?欢迎留下评论,我将竭力解答。

    原文链接:[Parametric and Nonparametric Machine Learning Algorithms(http://machinelearningmastery.com/parametric-and-nonparametric-machine-learning-algorithms/ “Parametric and Nonparametric Machine Learning Algorithms”)

    
    展开全文
  • GPS站坐标时间序列的半参数回归分析.pdf
  • 考虑误差为α-混合序列下的纵向数据半参数回归模型.基于广义最小二乘法和非参数权函数方法分别给出了模型中未知参数β和未知函数g(・)的估计.在适当条件下,证明了β和g(・)的估计量的均方相合性.
  • NA样本下一类半参数回归模型的强相合性,张燕,赵选民,考虑固定设计下一类半参数回归模型 ,且随机误差 为NA序列且。利用最小二乘估计和非参数函数的权函数估计的方法,给出了参数的估�
  • 考虑一类固定设计下的半参数回归模型yi=xiβ+g(ti)+ei,i=1,2,…,n,对于模型中的未知参数β和未知函数g(t)的小波估计^βn和^gn(t),在{ei,1≤i≤n}是φ-混合随机误差时,研究了^βn和^gn(t)的r-阶矩一致收敛速度。
  • 研究了残差自回归半参数模型参数估计,运用广义最小二乘法估计了参数部分。用随机模拟说明了运用广义最小二乘(GLSE)估计出的参数部分优于运用普通最小二乘法(OLSE)得到的估计。
  • 构造了基于小波系数的多变点检测算法,该算法可应用于非参数回归模型多变点检测.渚河水文时间序列实例分析结果表明,检测的结果与实际情况相符合.该方法不需要对时间序列做任何参数化的假定便能方便地检测出变点的位置...
  • 讨论了半参数单指标回归模型y=αTx+g(βTu)+ε,针对未知向量β,给出了一种不同于单指标投影追踪的估计方法,并证明了估计量α^n以及β^n具有强相合性,最后对所估计方法进行了模拟验证。
  • 该方法首先基于函数型数据分析理论,将日负荷曲线视为函数型数据,通过对历史负荷曲线样本自身规律的挖掘,建立基于历史负荷曲线样本的函数型非参数回归预测模型。在此基础上,通过构建二次规划模型对函数型非参数...
  • 1、回归分析概括 目标值(因变量)是连续型数据,通过某种函数关系找到因变量和自变量之间的关系,进而预测目标。 常见的回归:线性回归、岭回归、非线性回归 回归拟合目标:计算自变量与因变量关系的函数参数 通过...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 186,049
精华内容 74,419
关键字:

半参数回归模型

友情链接: 00316385.rar