精华内容
下载资源
问答
  • 参数方法,半参数方法,非参数方法

    千次阅读 2018-09-13 17:28:53
    amp;amp;tid=2163476&page=1 参数方法,假定概率分布,只来估计少量参数。 半参数方法,对数据分组,每组采用一种概率分布的假设,最后使用混合概率分布。 非参数方...

    https://blog.csdn.net/u013395544/article/details/53170207
    http://bbs.pinggu.org/forum.php?mod=viewthread&tid=2163476&page=1

    参数方法,假定概率分布,只来估计少量参数。

    半参数方法,对数据分组,每组采用一种概率分布的假设,最后使用混合概率分布。

    非参数方法,不需要知道数据的概率分布,只需要假设:相似的输入具有相似的输出。因为我们一般都认为世界的变化时平稳、量变到质变的,因此无论是密度、判别式还是回归函数都应当缓慢地变化。在这样的非参数估计(non-paramitric estimation)中,局部实例对于密度的影响就显得颇为重要,而较远的实例影响则较小。

    参数回归是我们最长用的模型。与参数回归相对的非参数回归,这种模型对变量分布等假定并不是很严等,因此可以说扩展了参数回归的应用范围。但是非参数回归的局限性在于,在存在较多的解释变量时,很容易出现所谓的“维度灾难”,像方差的急剧增大等现象。

    这类模型包括实例回归,局部加权回归(LOESS)和样条回归。非参数方法一般适用于低维空间(较少的解释变量)。该局部加权回归曲线是利用点附近的点信息,使用的点信息越多,曲线与拟合直线越接近;使用的点信息越少,与散点越吻合。在变量间非线性关联较强的情况下,相比普通回归,通常更稳健一些。

    介于参数回归与非参回归之间的就是半参数模型,这种模型结合了前面两种参数模型的诸多优点,例如使用的连接函数、分析形式多样化,而且光滑参数值的确认均可以使用广义交叉验证技术。其应用情景首先是因变量在不符合正态分布时,该模型的结果仍然很稳定,我们可以选择不同的分布形式等。非参数模型的另一个典型应用是可以对具有截尾数据的资料进行生存预测。例如,普通生存分析,并没有很好的解决多解释变量的情况,并且对分布有特定的需求,而且当相关假定违反时,往往会对模型产生很大的影响,半参数生存分析回归模型克服了上述参数法的诸多局限,可以灵活地处理许多未知分布与不服从参数分布类型的资料。

    另外,一个比较容易混淆的是广义可加模型(使用连接函数的可加模型),与广义线性模型很相似,主要使用非参估计的方法。
    这里写图片描述

    展开全文
  • 参数方法和非参数方法

    千次阅读 2017-07-04 09:01:37
    参数方法和非参数方法

    参数方法和非参数方法

    机器学习上的方法分为参数方法(根据先验知识假定模型服从某种分布,然后利用训练集估计出模型参数,也就弄清楚了整个模型,例如感知器)和非参数方法(基于记忆训练集,然后根据训练集预测,例如kNN)。

    参数方法

    参数方法根据先验知识假定模型服从某种分布,然后利用训练集估计出模型参数,也就弄清楚了整个模型。
      那么,估计模型参数到底是一个客观存在的参数还是一个概率密度分布,这个分歧就引出了贝叶斯学派和非贝叶斯学派的不同之处。

    非贝叶斯学派

    非贝叶斯学派认为先验知识是指一组数据服从某个分布,那么分布的参数是客观存在的,可以利用数据做出估计,进而获得后验估计。典型代表方法是最大似然估计。

    贝叶斯学派

    贝叶斯学派认为,先验知识是数据服从某个分布和这个分布参数的先验概率密度,模型的参数本来就是一个概率分布,数据集可以获得参数的后验概率密度,进而获得后验估计。这种方法称为贝叶斯估计。
      
      我学概率统计课程的时候对贝叶斯估计比价陌生,最近准备详细推导几个例题加深理解。对于贝叶斯估计,纸上得来终觉浅,还是推导几个例题较好。

    贝叶斯决策理论

    关于贝叶斯决策理论我之前学习学到过,博客里也总结过最小化期望风险的思想。

    下面总结一下关联规则的一些度量。

    关联规则

    s u p p o r t ( X , Y ) = P ( X , Y ) support(X,Y)=P(X,Y) support(X,Y)=P(X,Y)
       c o n f i d e n c e ( X → Y ) = P ( X ∣ Y ) confidence(X→Y)=P(X|Y) confidence(XY)=P(XY)
       l i f t ( X → Y ) = P ( X , Y ) P ( X ) P ( Y ) lift(X→Y)={P(X,Y)\over P(X)P(Y)} lift(XY)=P(X)P(Y)P(X,Y)

    ##参数估计的泛化误差

    泛化误差由方差和偏倚组成。
      
       E ( d − θ ) 2 = E ( ( d − E d ) + ( E d − θ ) ) 2 = V a r ( d ) + ( E d − θ ) 2 E(d-\theta)^2=E((d-Ed)+(Ed-\theta))^2=Var(d)+(Ed-\theta)^2 E(dθ)2=E((dEd)+(Edθ))2=Var(d)+(Edθ)2

    欠训练时,方差小,偏倚大,欠拟合。
      过训练时,方差大,偏倚小,过拟合。

    展开全文
  • 非参数方法,不需要知道数据的概率分布,只需要假设:相似的输入具有相似的输出。因为我们一般都认为世界的变化时平稳、量变到质变的,因此无论是密度、判别式还是回归函数都应当缓慢地变化。在这样的非参数估计...
    • 参数方法,假定概率分布,只来估计少量参数。

    • 半参数方法,对数据分组,每组采用一种概率分布的假设,最后使用混合概率分布。

    • 非参数方法,不需要知道数据的概率分布,只需要假设:相似的输入具有相似的输出。因为我们一般都认为世界的变化时平稳、量变到质变的,因此无论是密度、判别式还是回归函数都应当缓慢地变化。在这样的非参数估计(non-paramitric estimation)中,局部实例对于密度的影响就显得颇为重要,而较远的实例影响则较小。

    非参数方法主要有:

    --非参数密度估计
    --直方图形式的估计
    --核估计
    --k-最近邻估计
    
    展开全文
  • 系统学习机器学习之非参数方法

    千次阅读 2015-12-18 13:21:35
    前面的章节中,我们介绍了参数和半参数方法,这两种方法在实际训练前都需要对数据遵从...这时我们就需要使用非参数方法,其中我们只需要假定一个事实:即相似的输入具有相似的输出。因为我们一般都认为世界的变化时平稳
    前面的章节中,我们介绍了参数和半参数方法,这两种方法在实际训练前都需要对数据遵从的模型进行一个假定,这个假定可以是一个已知的概率分布或混合分布。参数方法的优点是把估计概率密度、判别式或回归函数问题归结为估计少量参数值,缺点则是模型假定并非总成立,当不成立时就会出现很大的误差。 
    

    这时我们就需要使用非参数方法,其中我们只需要假定一个事实:即相似的输入具有相似的输出。因为我们一般都认为世界的变化时平稳、量变到质变的,因此无论是密度、判别式还是回归函数都应当缓慢地变化。在这样的非参数估计(nonparamitric estimation)中,局部实例对于密度的影响就显得颇为重要,而较远的实例影响则较小。本节要点如下:

    • 非参数密度估计
    • 直方图形式的估计
    • 核估计
    • k-最近邻估计

    一、非参数密度估计

    这里我们假设一个具有N个实例的样本集X,为了简单,我们先只考虑自变量是标量的情况,多维的情况可以容易地进行公式扩展。那么我们可以定义累积分布函数F(x) 和密度函数的非参数估计P(x): 

    其中(1)式表示概率分布,而(2)式表示概率密度,可以看出概率分布其实是密度的积分,密度使用一个邻近的区间来表示实例x附近的概念,即实例x邻近实例占样本的比例。

    二、直方图形式的估计

    最古老最流行的方法莫过于直方图(histogram)了,直方图最大的优势是直观,而且一旦计算和存放了直方图,我们就不再需要保留训练集。

    直方图的方法是将输入空间划分成被称作“箱”的相等区间,我们可以给出估计:

    (1)式就是非参数方法的直方图估计,(2)式是质朴估计法(naive estimator),这种方法不需要像(1)一样先设定一个原点作为划分box的起点,因为它等于实例x总是落在宽度为h的box中心的直方图估计。

    三、核估计

    采用直方图得到的估计是不光滑的,如果我们想得到一个光滑的估计,那么我们可以使用一个光滑的权重函数,称作核函数(Kernel Function),现在最流行的莫过于高斯核函数:

    (1)式就是著名的高斯核函数,它可以用来做一个权重函数,因为距离x越近的点K越大,反之越小。将直方图估计的(2)式变形,用高斯核代替权重函数后就是当前的(2)式。核函数K决定影响的形状,窗口宽度h决定影响的宽度。质朴估计是box的和,核估计是“凸块”的和。所有的实例都对x估计有影响,并且影响随距离增大而减小。

    四、k-最近邻估计

    估计的最近邻方法调整光滑量使得适应数据的局部密度。近邻数k远小于样本规模N,我们定义一连串的针对实例x的距离:

    (1)式表示实例x距离k个近邻的距离的排序,(2)式则给出了k-近邻的密度估计,注意这里采用的是k个近邻中最远的距离作为参照,我们不是固定h并检查有多少样本落入box中,而是固定落入box中的观测数k,来计算box的大小。密度高的box小,密度低的地方box大。

    五、补充

    在结束今天的章节前,还是要说说非参数方法的缺点。虽然非参数方法不依赖于模型的假定,但是却需要更多的时间和空间复杂度。因为非参数方法的本质是使用合适的距离度量从训练集中找出相似的实例,然后由它们的插值得到正确的输出,因此实际运算中需要存储所有的N个实例,即O(N),实际计算时,对每个实例也需要时间复杂度O(N),因此这是一种耗费存储和计算量的方法。

    一种解决的思路当然是减少需要计算存储的样本了,已经提出了类似的一些精简方法,以减少实际存放的实例数来提高性能。其基本思想时选择X的最小子集Z来替代X,同时误差不增加。

    Refer: 《机器学习导论》,Ethen Alpaydin(土耳其),机械工业出版社

    展开全文
  • 非参数方法并不意味着没有参数,而是说,参数的数目随数据点而变化,1. 非参数方法举例 Nearest-Neighbor:比如一个二分类问题,新来一个测试点,当要计算其所属类别时,需要与全部训练集计算距离; logistic ...
  • 参数学习方法非参数学习的区别

    千次阅读 2019-03-01 11:02:59
    非参数学习方法是:在预测新样本值时候每次都会重新训练数据得到新的参数值,也就是说每次预测新样本都会依赖训练数据集合,所以每次得到的参数值是不确定的。例如局部加权回归(LWR)就是非参数学习方法。 ...
  • 非参数统计概述

    千次阅读 多人点赞 2019-11-16 22:48:05
    文章目录非参数统计概述引言非参数方法举例Wilcoxon 符号秩检验Wilcoxon秩和检验 引言 非参数统计(nonparametric statistics)是相对于参数统计而言的一个统计学分支,是数理统计的重要内容。在参数统计中,我们往往...
  • 参数估计方法非参数估计方法

    万次阅读 2018-09-04 14:10:13
    这类语言模型一般都是对文本的生成过程提出自己的概率图模型,然后利用观察到的语料数据对模型参数做估计。有了语言模型和相应的模型参数,我们可以有很多重要的应用,比如文本特征降维、文本主题分析等等。本文主要...
  • 参数与非参数的机器学习算法

    千次阅读 2017-11-26 13:05:30
     一个参数机器学习...  在这篇文章中,你会发现参数和非参数机器学习算法之间的区别。    让我们开始吧!      学习一个函数    机器学习可以归结为学习一个函数(f),把输入变量(X)映射到输出变量(Y):
  • 非参数估计的方法讲的很浅显易懂,主要是原理上的处理,对缺少先验知识的情况下,估计概率密度函数很有用,同样对高斯混合模型,有的地方可以看到,说一个分部可以通过多个高斯分布混合来拟合出来,看起来好像没有...
  • 源链接 https://www.zhihu.com/question/31618090
  • 如果不能假设变量符合Gaussian分布,我们这里有两个非参数方法: Spearman's rho test 和 Kendall's tau test . --------------------------------------------------- 例如,你想要研究各种类型机械的生产率...
  • 参数化方法非参数方法

    千次阅读 2016-07-03 00:22:00
    区分参数化方向与非参数方法的最快捷方式是, 参数化方法的参数数量是固定的, 不随着训练样本数量的变化而变化. 例如MLP, CNN, SVM等算法都是参数化方法. 而k近邻, decision tree等, 都是非参数化方法. Decision ...
  •  需要知道的是,作为非参数方法的共同问题是对样本数量需求较大,只要样本数目足够大众可以保证收敛于任何复杂的位置密度,但是计算量和存储量都比较大。当样本数很少时,如果能够对密度函数有先验认识,则参数估计...
  • 常用的参数和非参数检验方法

    千次阅读 2016-11-26 09:46:40
    常用的参数检验方法:  1.正态总体均值的假设检验(t检验)  检验1组数据样本的均值是否等于,大于或小于某个值,或者检验两组数据样本的均值的大小情况。其中的统计量Z一般服从t分布。  2.正态总体方差...
  • 在使用非参数数据的情况下,可以使用专门的非参数统计方法来丢弃有关分布的所有信息。因此,这些方法通常被称为无分布方法. 在本教程中,您将发现非参数统计及其在应用机器学习中的作用。 阅读本文后您将了解: ...
  • 参数检验和非参数检验

    万次阅读 多人点赞 2018-05-22 21:34:33
    一、参数检验1、基本思想2、两类错误3.、检验步骤4、检验的p值在一个假设检验问题中, 拒绝原假设H0的最小显著性水平称为检验的p值.5、单正态总体参数的检验(1)(2)(3)6、两正态总体参数的检验(1)(2)7、成对...
  • 机器学习中参数模型和非参数模型理解

    千次阅读 多人点赞 2019-06-28 21:07:50
    非参数模型(non-parametric model)和参数模型(parametric model)作为数理统计学中的概念,现在也常用于机器学习领域中。 在统计学中,参数模型通常假设总体服从某个分布,这个分布可以由一些参数确定,如正态...
  • 非参数统计

    千次阅读 2017-08-23 21:56:39
    非参数统计 出自 MBA智库百科(http://wiki.mbalib.com/) 非参数统计(Nonparametric statistics) 目录 [隐藏] 1 什么是非参数统计2 非参数统计的适用范围3 非参数统计的特点4 非参数统计...
  • 非参数统计检验

    千次阅读 2018-11-28 12:59:20
    非参数统计分析
  • T检验,方差分析,非参数检验,卡方检验一.T检验1.T检验分类2.T检验的使用前提3.T检验的适用类型二.非参数检验1.非参数检验介绍2.非参数检验适用类型三.卡方检验的检验1.卡方检验的检验介绍2.卡方检验的的使用前提3....
  • 非参数技术——Parzen窗估计方法

    千次阅读 2016-11-11 11:31:15
    常用的模式分类的非参数技术主要有两种:Parzen窗估计方法和K-近邻概率密度估计方法。二者其实是对同一个问题的不同角度去解决。Parzen窗估计方法的主题思想是固定窗口区域容积,去看有多少个样本点在里面,而K-近邻...
  • 非参数估计:核密度估计KDE

    千次阅读 2017-12-29 20:27:58
    非参数估计:核密度估计KDE 标签: kde非参数估计核密度估计 2016-12-14 11:38 11562人阅读 评论(1) 收藏 举报  分类: 机器学习MachineLearning(37) Scikit-Learn(15)  版权...
  • R语言对数据进行非参数检验

    万次阅读 多人点赞 2018-05-22 21:11:41
    非参数检验:1.正态W检验 例7.已知15名学生体重如下,问是否服从正态分布解: R语言代码: w <- c(75.0, 64.0, 47.4, 66.9, 62.2, 62.2, 58.7, 63.5, 66.6, 64.0, 57.0, 69.0, 56.9, 50.0, 72.0) shapiro....
  • 参数模型与非参数模型

    万次阅读 多人点赞 2018-06-01 22:59:44
    参数模型、非参数模型(以及半参数模型)的概念应该源自于统计学中。统计专业中有一门课程叫做《非参数统计》,研究的对象就是秩检验、核密度估计等。在统计学中,参数模型通常假设总体(随机变量)服从某一个分布,...
  • 机器学习中参数模型和非参数模型

    万次阅读 2019-08-23 20:25:23
    网上关于机器学习中的参数模型和非参数模型之间的解释并没有一个完全一致的解答, 有从是不是对数据的分布做了相关假设进行分析的 也有是从模型的参数量大小进行解答的 二者好像是一致的,但是个人觉得如下使用...
  • 目录1 概念1.1 核平滑的概念和计算1.2 Nadaraya-Watson回归1.3 高斯核2 高斯核平滑过程-Python实现2.1 加载库和生成数据2.2 Full ...核平滑是一种用来估计实值方程的统计方法,来作为周围观察数据的加权平均值。...
  • JAVA类之间方法的调用

    万次阅读 多人点赞 2018-11-02 23:39:15
    静态方法调用静态方法二、静态方法调用其他方法1.静态方法在同一类内调用其他方法2.静态方法在不同类之间调用其他方法 注:调用方法——调用另一方法方法 被调用方法——被调用的方法 一、静态方法调用其他...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 1,536,988
精华内容 614,795
关键字:

非参数方法