精华内容
下载资源
问答
  • 本书旨在介绍适用于平滑技术的统计和数学原理。
  • 针对光电探测系统高指向精度要求,提出了补偿最小二乘法与双三次样条插值相结合的半参数模型标定算法来减小系统指向误差。根据光电探测系统结构组成,运用多体系统理论建立系统指向误差参数模型。引入非参数分量,...
  • 论文研究-CVM数据分析中的半参数模型及实证研究.pdf, 条件价值评估法(CVM)是目前国际上评价景观价值最广泛的方法. 二分式选择问卷是最有效的CVM问卷格式,但二分式...
  • 生存分析 本笔记本演示了生存分析的基础知识,生存分析是一种使用Python分析事件数据时间的方法。 它有6个部分。 生存分析和本笔记本中使用的数据的简要介绍 ...附录A:采用不同优化方法的参数模型结果
  • 研究了残差自回归半参数模型的参数估计,运用广义最小二乘法估计了参数部分。用随机模拟说明了运用广义最小二乘(GLSE)估计出的参数部分优于运用普通最小二乘法(OLSE)得到的估计。
  • 在响应变量随机缺失条件下,研究了广义半参数模型的拟似然估计方法,给出了缺失数据下的未知参数与非参数回归函数的拟似然估计,进一步求出了估计的渐近偏差和渐近方差,并证明了所给出的拟似然估计具有渐近正态性。
  • 半参数模型在GPS水准中的应用.pdf
  • 考虑了协变量带有Berk-测量误差的非线性半参数模型。采用核估计和最小距离方法给出了未知参数y和未知函数g(?)的估计,证明了未知参数估计的相合性和渐近正态性,同时也给出未知函数估计的收敛速度。所得结果可以...
  • 自然样条半参数模型的GPS高程拟合方法.pdf
  • 利用半参数模型精化二次曲面GPS高程异常拟合模型.pdf
  • 并对影响半参数模型求解的关键参数正则矩阵R和平滑参数α进行优选,最后将半参数GM(1,1)模型用于茅坪和古树屋滑坡变形预测.研究结果表明:基于半参数的GM(1,1)模型拟合精度较高,预测结果正确可靠,能够反映滑坡变形位移...
  • 对固定设计下的污染数据半参数模型估计的渐近分布进行了研究,并在一定条件下证明了该估计具有渐近正态性.
  • 半参数模型在GPS季节性信号分离中的应用.pdf
  • 基于二次曲面半参数模型的GPS高程拟合及应用研究.pdf
  • 考虑半参数回归模型Yi=Xiβ+g(Xiβ)+ei, i=1,…,n.用正交级数和最小二乘法构造了β和g的估计β和g*,证明了β和g* 的强相合性,并把此结果应用于截断回归模型Y=Xβ+ε, ε~F(未知)中未知参数,和误差分布,的...
  • 目的 在混合随机误差下证明半参数回归模型参数估计的强相合性质。方法 利用引理不等式及已给条件进行证明。结果 证明了参数β的最小二乘估计和未知函数g(・)的非参数核估计是强相合的。结论 半参数回归模型中的...
  • i=1,2,…,厅,运用最小二乘法和非参数核方法给出了β和g(・)的估计的定义,将误差序列推广为~p的混合误差序列下证明了参数β和非参数函数g(・)的估计量的r阶平均相合性,丰富了相依误差下半参数回归模型估计的...
  • 参数模型(non-parametric model)和参数模型(parametric model)作为数理统计学中的概念,现在也常用于机器学习领域中。在统计学中,参数模型通常假设总体服从某个分布,这个分布可以由一些参数确定,如正态分布...

    第一次见到这样的说法是在《机器学习实战——基于scikit-learn和tensorflow》p159 决策树正则化超参,所以总结一下。

    非参数模型(non-parametric model)和参数模型(parametric model)作为数理统计学中的概念,现在也常用于机器学习领域中。在统计学中,参数模型通常假设总体服从某个分布,这个分布可以由一些参数确定,如正态分布由均值和标准差确定,在此基础上构建的模型称为参数模型非参数模型对于总体的分布不做任何假设或者说是数据分布假设自由,只知道其分布是存在的,所以就无法得到其分布的相关参数,只能通过非参数统计的方法进行推断。

    所以说,参数模型和非参数模型中的“参数”并不是模型中的参数,而是数据分布的参数问题中有没有参数,并不是参数模型和非参数模型的区别。其区别主要在于总体的分布形式是否已知。而为何强调“参数”与“非参数”,主要原因在于参数模型的分布可以有参数直接确定。

    参数模型、非参数模型(以及半参数模型)的概念应该源自于统计学中。统计专业中有一门课程叫做《非参数统计》,研究的对象就是秩检验、核密度估计等。

    对几篇博客的分析进行了总结和浓缩:

    一、非参数模型并不是说模型中没有参数!而是参数很多或者说参数不确定。

    这里的non-parametric类似单词priceless,并不是没有价值,而是价值非常高,无价,也就是参数是非常非常非常多的!(注意:所谓“多”的标准,就是参数数目大体和样本规模差不多)

    而:可以通过有限个参数来确定一个模型,这样的方式就是“有参数模型”,也就是这里说的参数模型,如线性回归、Logistic回归(假定样本维度为N,则假定N个参数theta1,theta2...thetaN)。

    二、参数模型 :对学到的函数方程有特定的形式,也就是明确指定了目标函数的形式 -- 比如线性回归模型,就是一次方程的形式,然后通过训练数据学习到具体的参数。

    假设可以极大地简化学习过程,但是同样可以限制学习的内容。简化目标函数为已知形式的算法就称为参数机器学习算法。

    通过固定大小的参数集(与训练样本数独立)概况数据的学习模型称为参数模型。不管你给与一个参数模型多少数据,对于其需要的参数数量都没有影响。— Artificial Intelligence: A Modern Approach,737页

    所以参数机器学习模型包括两个部分:
    1、选择合适的目标函数的形式。
    2、通过训练数据学习目标函数的参数。

    通常来说,目标函数的形式假设是:对于输入变量的线性联合,于是参数机器学习算法通常被称为“线性机器学习算法”。那么问题是,实际的未知的目标函数可能不是线性函数。它可能接近于直线而需要一些微小的调节。或者目标函数也可能完全和直线没有关联,那么我们做的假设是错误的,我们所做的近似就会导致差劲的预测结果。(容易欠拟合)

     三、非参数机器学习算法:对于目标函数形式不作过多的假设的算法称为非参数机器学习算法。通过不做假设,算法可以自由的从训练数据中学习任意形式的函数。

    当你拥有许多数据而先验知识很少时,非参数学习通常很有用,此时你不需要关注于参数的选取。— Artificial Intelligence: A Modern Approach,757页

    非参数理论寻求在构造目标函数的过程中对训练数据作最好的拟合,同时维持一些泛化到未知数据的能力。同样的,它们可以拟合各种形式的函数。(所以说,非参数有目标函数,但是我们不知道目标函数的具体形式也不做出过多假设?)

    对于理解非参数模型的一个好例子是k近邻算法,其目标是基于k个最相近的模式对新的数据做预测。这种理论对于目标函数的形式,除了相似模式的数目以外不作任何假设。

    四、最后:

    常见的参数机器学习模型有:
    1、逻辑回归(logistic regression)
    2、线性成分分析(linear regression)
    3、感知机(perceptron)(假设分类超平面是wx+b=0)

    参数机器学习算法有如下优点:
    1、简洁:理论容易理解和解释结果。
    2、快速:参数模型学习和训练的速度都很快。
    3、数据更少:通常不需要大量的数据,在对数据的拟合不很好时表现也不错。

    参数机器学习算法的局限性:
    1、拘束:以指定的函数形式来指定学习方式。
    2、有限的复杂度:通常只能应对简单的问题。
    3、拟合度小:实际中通常无法和潜在的目标函数完全吻合,也就是容易出现欠拟合。

     

    常见的非参数机器学习模型有:
    1、决策树
    2、朴素贝叶斯
    3、支持向量机(SVM的例子中,SVM的参数α数目和样本数目相同,从定义看来,因为参数数目和样本规模相当,所以属于无参数模型。当然,SVM通过得到支撑向量的方式,只有若干样本的参数α不为0,从这个角度,SVM还属于“稀疏模型”,这又属于另外一码事了。)
    4、神经网络

    非参数机器学习算法的优势有:
    1、可变性:可以拟合许多不同的函数形式。
    2、模型强大:对于目标函数不做假设或者作出很小的假设。
    3、表现良好:对于训练样本数据具有良好的拟合性。

    非参数机器学习算法的局限性:
    1、需要更多数据:对于拟合目标函数需要更多的训练数据。
    2、速度慢:因为需要训练很多的参数,所以训练过程通常比较慢。
    3、过拟合:有较高的风险发生过拟合,对于预测的效果解释性不高。

    问题:非参数模型是不是没有目标函数?不是,比如决策树有目标函数,但没有具体形式,不像线性回归那样。

    总结:

    参数模型通常假设总体服从某个分布,这个分布可以由一些参数确定,如正态分布由均值和标准差确定,在此基础上构建的模型称为参数模型,包括逻辑回归,线性成分分析,感知机等。

    非参数模型对于总体的分布不做任何假设或者说是数据分布假设自由,只知道其分布是存在的,所以就无法得到其分布的相关参数,只能通过非参数统计的方法进行推断。包括决策树,朴素贝叶斯,SVM,神经网络。

    需要注意,感知机是参数模型,神经网络是非参数模型。

    还有知乎的解答,但很遗憾不能转载:

    参考资料:
    (1)版权声明:本文为CSDN博主「qq_34872215」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。原文链接:https://blog.csdn.net/qq_34872215/article/details/100045336

    (2)知乎解答 https://www.zhihu.com/question/22855599 

    (3)汇总不同解答的博客 https://blog.csdn.net/sinat_27652257/article/details/80543604

    新手入门, 如果有不正确之处还请大佬指正。

    展开全文
  • 半参数回归模型综述

    2013-09-18 14:34:53
    文章介绍了半参数模型的基本结构及基本计算方法
  • 参数模型与非参数模型

    万次阅读 多人点赞 2018-06-01 22:59:44
    参数模型、非参数模型(以及半参数模型)的概念应该源自于统计学中。统计专业中有一门课程叫做《非参数统计》,研究的对象就是秩检验、核密度估计等。在统计学中,参数模型通常假设总体(随机变量)服从某一个分布,...

    LR是参数模型,SVM是非参数模型。

    参数模型、非参数模型(以及半参数模型)的概念应该源自于统计学中。统计专业中有一门课程叫做《非参数统计》,研究的对象就是秩检验、核密度估计等。
    在统计学中,参数模型通常假设总体(随机变量)服从某一个分布,该分布由一些参数确定(比如正太分布由均值和方差确定),在此基础上构建的模型称为参数模型;非参数模型对于总体的分布不做任何假设,只是知道总体是一个随机变量,其分布是存在的(分布中也可能存在参数),但是无法知道其分布的形式,更不知道分布的相关参数,只有在给定一些样本的条件下,能够依据非参数统计的方法进行推断。
     

    从上述的区别中可以看出,问题中有没有参数,并不是参数模型和非参数模型的区别。其区别主要在于总体的分布形式是否已知。而为何强调“参数”与“非参数”,主要原因在于参数模型的分布可以有参数直接确定

    =======================================================================

    【机器学习】参数和非参数机器学习算法 - 程序猿  http://wwwbuild.net/DataScienceWeMedia/219846.html

    参数机器学习算法

    假设可以极大地简化学习过程,但是同样可以限制学习的内容。简化目标函数为已知形式的算法就称为参数机器学习算法。

    通过固定大小的参数集(与训练样本数独立)概况数据的学习模型称为参数模型。不管你给与一个参数模型多少数据,对于其需要的参数数量都没有影响。
    — Artificial Intelligence: A Modern Approach,737页

    参数算法包括两部分:

    选择目标函数的形式。
    从训练数据中学习目标函数的系数。

    对于理解目标函数来讲,最简单的就是直线了,这就是线性回归里面采用的形式:

    b0+b1<em>x1+b2</em>x2=0

    其中b0b1b2是直线的系数,其影响直线的斜度和截距,x1x2是两个输入变量。

    把目标函数的形式假设为直线极大地简化了学习过程。那么现在,我们需要做的是估计直线的系数并且对于这个问题预测模型。

    通常来说,目标函数的形式假设是对于输入变量的线性联合,于是参数机器学习算法通常被称为“线性机器学习算法”。

    那么问题是,实际的未知的目标函数可能不是线性函数。它可能接近于直线而需要一些微小的调节。或者目标函数也可能完全和直线没有关联,那么我们做的假设是错误的,我们所做的近似就会导致差劲的预测结果。

    参数机器学习算法包括:

    • 逻辑回归

    • 线性成分分析

    • 感知机

    参数机器学习算法有如下优点:

    • 简洁:理论容易理解和解释结果

    • 快速:参数模型学习和训练的速度都很快

    • 数据更少:通常不需要大量的数据,在对数据的拟合不很好时表现也不错

    参数机器学习算法的局限性:

    • 约束:以选定函数形式的方式来学习本身就限制了模型

    • 有限的复杂度:通常只能应对简单的问题

    • 拟合度小:实际中通常无法和潜在的目标函数吻合

    非参数机器学习算法

    对于目标函数形式不作过多的假设的算法称为非参数机器学习算法。通过不做假设,算法可以自由的从训练数据中学习任意形式的函数。

    当你拥有许多数据而先验知识很少时,非参数学习通常很有用,此时你不需要关注于参数的选取。
    — Artificial Intelligence: A Modern Approach,757页

    非参数理论寻求在构造目标函数的过程中对训练数据作最好的拟合,同时维持一些泛化到未知数据的能力。同样的,它们可以拟合各自形式的函数。

    对于理解非参数模型的一个好例子是k近邻算法,其目标是基于k个最相近的模式对新的数据做预测。这种理论对于目标函数的形式,除了相似模式的数目以外不作任何假设。

    一些非参数机器学习算法的例子包括:

    • 决策树,例如CART和C4.5

    • 朴素贝叶斯

    • 支持向量机

    • 神经网络

    非参数机器学习算法的优势:

    • 可变性:可以拟合许多不同的函数形式。

    • 模型强大:对于目标函数不作假设或者作微小的假设

    • 表现良好:对于预测表现可以非常好。

    非参数机器学习算法局限性:

    • 需要更多数据:对于拟合目标函数需要更多的训练数据

    • 速度慢:因为需要训练更多的参数,训练过程通常比较慢。

    • 过拟合:有更高的风险发生过拟合,对于预测也比较难以解释。

    ==========================================================================================

    能不能用简明的语言解释什么是非参数(nonparametric)模型? - 知乎  https://www.zhihu.com/question/22855599

    简单来说就是不对样本的总体分布做假设,直接分析样本的一类统计分析方法。

    通常对样本进行统计分析的时候,首先要假设他们来自某个分布,然后用样本中的数据去estimate这个分布对应的参数,之后再做一些test之类。比如你假设某个样本来自同一个正态分布,然后用样本数据估算\mu\sigma,再用估算出来的这两个值做test。

    non-pararmetric则不然,不对总体分布做假设,自然也就不必estimate相应的参数。

    链接:https://www.zhihu.com/question/22855599/answer/23556224


    ==================================


    展开全文
  • 参数模型VS非参数模型

    千次阅读 2019-12-19 23:23:18
    我们在机器学习中学习到的很多的算法模型,都可以分为参数(parametric)和非参数(nonparametric)。理解这两个概念,并知道如何区分哪些是非参数,哪些是参数,对于你深入的理解机器学习中的算法,熟悉各算法的优...

              我们在机器学习中学习到的很多的算法模型,都可以分为参数(parametric)和非参数(nonparametric)。理解这两个概念,并知道如何区分哪些是非参数,哪些是参数,对于你深入的理解机器学习中的算法,熟悉各算法的优缺点,以及如何在实践中选择合适的算法模型都会有帮助。所以,如果你还不知道这两个概念,还不知道你常用的那些算法属于哪一类,那就好好的看看这篇文章吧。
             如果一个模型,能用一个确定的形式(公式)来描述,就可以称之为是参数模型,反之则不是。这个定义可能太过简单,以至于容易让人误解。更准确点的定义可以是:如果一个学习模型,它的参数是固定的,参数的规模跟训练的数据无关系,不会随着训练数据增加而变化,那就是参数模型。
    对参数模型补充如下:
    在这里插入图片描述
    参数模型一般包含两步:
    1)选择一个确定形式的函数(比如线性的,非线性的,参数多少个等);
    2)从训练数据中学习到该函数的系数。
    你能想到哪些属于参数算法的机器学习算法呢?
    以下这些就是:

    • Logistic Regression
    • Linear Discriminant Analysis
    • Perceptron
    • Naive Bayes
    • Simple Neural Networks

    而相应的,非参数模型就是不会用固定的参数,确定的函数形式描述的模型,模型是跟训练数据有关的,模型的参数会随着训练数据增加而增加。
    关于非参数模型的说明,以下这段说的比较清楚:
    在这里插入图片描述
    属于非参数的算法有:

    • k-Nearest Neighbors
    • Decision Trees like CART and C4.5
    • Support Vector Machines

    从以上对参数和非参数的描述,我们大概可以想一想参数和非参数算法各自的优缺点:
    参数模型的优点:

    • 更加的简单:方法更好理解,结果解释性更好;
    • 学习的更快;
    • 需要更少的数据也可以得到比较好的训练结果
      缺点:
    • 因为一开始已经限定了形式,通常可能并不符合学习的问题的分布,所以偏差会比较大,不适应比较复杂的问题。
      综上,如果数据量不大,问题比较简单,应该优先考虑参数模型。

    非参数模型的优点:

    • 灵活且强大;因为不限定形式,就能够适应更多的分布;
    • 训练得到的模型更好。

    缺点:

    • 需要更多的数据
    • 因为一般需要学习更多的参数,所以训练的会更慢
    • 解释性更差,更容易过拟合 (方差偏大)
    展开全文
  • 半参数方法,对数据分组,每组采用一种概率分布的假设,最后使用混合概率分布。 非参数方法,不需要知道数据的概率分布,只需要假设:相似的输入具有相似的输出。因为我们一般都认为世界的变化时平稳、量变到质变的...
    • 参数方法,假定概率分布,只来估计少量参数。

    • 半参数方法,对数据分组,每组采用一种概率分布的假设,最后使用混合概率分布。

    • 非参数方法,不需要知道数据的概率分布,只需要假设:相似的输入具有相似的输出。因为我们一般都认为世界的变化时平稳、量变到质变的,因此无论是密度、判别式还是回归函数都应当缓慢地变化。在这样的非参数估计(non-paramitric estimation)中,局部实例对于密度的影响就显得颇为重要,而较远的实例影响则较小。

    非参数方法主要有:

    --非参数密度估计
    --直方图形式的估计
    --核估计
    --k-最近邻估计
    
    展开全文
  • LR是参数模型与SVM是非参数模型

    千次阅读 2019-10-19 23:06:26
    参数模型、非参数模型(以及半参数模型)的概念应该源自于统计学中。统计专业中有一门课程叫做《非参数统计》,研究的对象就是秩检验、核密度估计等。 在统计学中,参数模型通常假设总体(随机变量)服从某一个分布...
  • 论文研究-Heckman-Tobit模型半参数估计.pdf, Heckman-Tobit模型可以同时处理样本选择问题和删失数据问题,是一个重要的微观计量模型.本文根据结果变量的条件生存函数...
  • 统计诊断就是对统计推断方法解决问题的全过程进行诊断%而影响分析是统计诊断中十分重要的分支,本文针对半参数广义线性模型,证明了数据删除模型和均值漂移模型的等价性定理,给出了诸如广义Cook距离等诊断统计量并...
  • 基于差分法的半参数数模型中岭估计的岭参数的选择,陈思谋,黎雅莲,在这篇文章中,考虑半参数模型基于差分法的岭估计,并且考虑不同的岭参数的情况,通过随机模拟,得出了在不同情况下各个岭参数的
  • 讨论了半参数单指标回归模型y=αTx+g(βTu)+ε,针对未知向量β,给出了一种不同于单指标投影追踪的估计方法,并证明了估计量α^n以及β^n具有强相合性,最后对所估计方法进行了模拟验证。
  • 联合学习动态半参数概率图模型,,,在本文中,我们考虑学习非正态分布异构数据的条件相关性,提出了联合的半参数概率图模型.进一步针对光滑变化的异构数据,提出了联合��
  • 生存分析之Cox模型简述与参数求解

    千次阅读 2020-11-06 16:43:09
    最近布置的任务里需要用到Cox模型去评估企业风险趋势预测并建模,讨论Cox模型在企业风险量化建模过程中有实际的意义;从知网关键词检索结果可以看出Cox模型主要集中使用在医学信息工程、金融统计学领域,比如:研究...
  • 一类半参数模型半参数模型的介绍,估计及结果

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 107,157
精华内容 42,862
关键字:

半参数模型

友情链接: UARTT.0509.rar