精华内容
下载资源
问答
  • 参数估计方法

    千次阅读 2019-11-07 20:58:21
    参数估计有多种方法,下面简单和大家分享以下两种: 一、最大似然估计 原理: 最合理的参数估计量应该使得从模型中抽取该n组样本观测值的概率最大,也就是概率分布函数或者说是似然函数最大。 二、最小二乘法 当从...

    参数估计有多种方法,下面简单和大家分享以下两种:

    一、最大似然估计

    原理: 最合理的参数估计量应该使得从模型中抽取该n组样本观测值的概率最大,也就是概率分布函数或者说是似然函数最大。

    二、最小二乘法

    当从模型总体随机抽取n组样本观测值后,最合理的参数估计量应该使得模型能最好地拟合样本数据,也就是估计值和观测值之差的平方和最小。

    三、两者联系

    一般假设其满足正态分布函数的特性,在这种情况下,最大似然估计和最小二乘估计是等价的,也就是说估计结果是相同的,但是原理是不同的。最小二乘法以估计值与观测值的差的平方和作为损失函数,极大似然法则是以最大化目标值的似然概率函数为目标函数。

    四、总结

    最小二乘法的核心是权衡,因为你要在很多条线中间选择,选择出距离所有点之后最短的,而极大似然核心是自恋,要相信自己是天选之子,自己看到的,就是冥冥之中最接近真相的。当服从正态分布时,两都的结论相等。

    个人见解,欢迎批评指正!

    ————————————————
    版权声明:本文为CSDN博主「玲[逆流而上]」的原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接及本声明。
    原文链接:https://blog.csdn.net/qq_45734454/article/details/102961112

    展开全文
  • 根据前篇文章我们知道,贝叶斯分类器设计时,需要知道先验...因此,我们需要从已知的有限的样本中,尽可能地估计出类条件概率密度函数的参数,来方便我们设计分类器。换句话说,我们直接从样本出发,已知类概率密...

    根据前篇文章我们知道,贝叶斯分类器设计时,需要知道先验概率 和类概率密度函数 ,然后再按照最小错误率或者最小风险标准进行决策。

    但是,在实际的工程应用中,类概率密度函数往往是未可知的。即使把类概率密度函数近似为正态分布函数,其分布的均值和方差也是未知的。

    因此,我们需要从已知的有限的样本中,尽可能地估计出类条件概率密度函数的参数,来方便我们设计分类器。换句话说,我们直接从样本出发,已知类概率密度函数的形式,但是类条件概率密度函数的参数未知,依然能够设计出分类器。

    根据待分类数据的随机性,可以将这种参数估计的方法分为两类,即最大似然估计和贝叶斯估计。后者认为,待估计参数是完全随机、测不准的。而前者认为参数是固定的。

     

    最大似然估计

    已知:

           样本集$D= \{ x_1,x_2,...,x_n \} $,且每类样本都是从类条件概率密度函数P(X|\omega_ic)的总体中独立抽取出来的。

    求解目标:

          $\theta = arg max P(\theta|D) $

    对目标进行简化:

    P(\theta|D)=\frac{P(D|\theta)P(\theta)}{P(D)} $

    在最大似然估计中,认为θ 是确定的,即P(θ), 是一个常数。而P(D)是根据已有的数据得到,也是确定的。因此:

    $\theta = arg max P(D|\theta) $

    构造函数

    $l(\theta)=P(D|\theta)=P(x_1,x_2,...,x_n|\theta)=\prod\limits_{i=1}^{n}P(x_i|\theta) $

    $H(\theta)=ln(ln(l(\theta)))=ln \prod\limits_{i=1}^{n}P(x_i|\theta)=\sum\limits_{i=1}^{n}ln(P(x_i|\theta)) $

    $\widehat{\theta}=argmaxl(\theta) $ 或者$\widehat{\theta}=argmaxH(\theta) $

     

    贝叶斯估计与最大似然估计的不同之处在于,不认为θ是确定的常数,而认为θ是随机变量。

           这样一来

    P(\theta|D)=\frac{P(D|\theta)P(\theta)}{\int_\theta P(D|\theta)P(\theta)d\theta}=\frac {\prod \limits_{i=1}^n P(x_i|\theta)P(\theta)}{\int_\theta\prod \limits_{i=1}^n P(x_i|\theta)P(\theta)d\theta}=\alpha\prod\limits_{i=1}^n P(x_i|\theta)P(\theta)

    其中α 是无关量,则

    $\widehat{\theta}=\int_\theta \theta P(\tehta|D)d\theta $

     

     

    可以看出:

           最大似然估计和贝叶斯估计的不同之处在于:

            (1)前者认为待估参数是确定的。而后者认为待估参数是随机的。

            (2)有(1)造成了对目标进行简化时的不同,即对P(θ) 的处理方式不同。

            (3)对估计量 的计算方式不同。

     

    展开全文
  • 参数估计参数估计中,我们会遇到个主要问题:(1)如何去估计参数的value。(2)估计出参数的value之后,如何去计算新的observation的概率,即进行回归分析和预测。首先定义一些符号:数据集X中

    http://blog.csdn.net/pipisorry/article/details/51482120

    文本分析的三类参数估计方法-最大似然估计MLE、最大后验概率估计MAP及贝叶斯估计。

    参数估计

    参数估计中,我们会遇到两个主要问题:(1)如何去估计参数的value。(2)估计出参数的value之后,如何去计算新的observation的概率,即进行回归分析和预测。
    首先定义一些符号:

    图片1


    数据集X中的所有Xi,他们是独立同分布的,因此后面求X 的概率的时候,xi可以相乘。

    贝叶斯公式


    这个公式也称为逆概率公式,可以将后验概率转化为基于似然函数和先验概率的计算表达式,即

    [概率图模型:贝叶斯网络与朴素贝叶斯网络]


    最大似然估计MLE

    [参数估计:最大似然估计MLE ]



    最大后验估计MAP

    最大后验估计与最大似然估计相似,不同点在于估计的函数中允许加入一个先验,也就是说此时不是要求似然函数最大,而是要求由贝叶斯公式计算出的整个后验概率最大,不是在整个后验概率上积分,而是搜索该分布的最大值,即



    Note: 这里P(X)与参数无关,因此等价于要使分子最大。

    通过加上这个先验分布项,我们可以编码额外的信息,并且可以避免参数的过拟合问题。

        与最大似然估计相比,现在需要多加上一个先验分布概率的对数。在实际应用中,这个先验可以用来描述人们已经知道或者接受的普遍规律。例如在扔硬币的试验中,每次抛出正面发生的概率应该服从一个概率分布,这个概率在0.5处取得最大值,这个分布就是先验分布。先验分布的参数我们称为超参数(hyperparameter)即我们认为,theta也是服从一个先验分布的:alpha是他的超参数

    同样的道理,当上述后验概率取得最大值时,我们就得到根据MAP估计出的参数值。


    给定观测到的样本数据,一个新的值发生的概率是

      

    Note: 这里积分第一项与theta无关(使用的是MAP值),所以第二项积分为1(也就是后验概率不随新来的数据变化,为1?)。

    扔硬币的伯努利实验示例

        我们期望先验概率分布在0.5处取得最大值,我们可以选用Beta分布(lz:实际上选择beta分布的原因是beta分布和二项分布是共轭分布)即


    其中Beta函数展开是


    当x为正整数时

    \Gamma(n) = (n-1)!\,

    Beta分布的随机变量范围是[0,1],所以可以生成normalized probability values。下图给出了不同参数情况下的Beta分布的概率密度函数


    我们取,这样先验分布在0.5处取得最大值(观察上面的图,因为我们先验认为p约等于0.5,因此超参数a和b是相等的,我们这里选择等于5)。

    现在我们来求解MAP估计函数的极值点,同样对p求导数,得到参数p的的最大后验估计值为

    后面两项是对log(p(p|alpha,beta))的求导


    和最大似然估计ML的结果对比可以发现结果中多了,我们称这两者为pseudo count伪计数,这两项的作用是使总概率p向0.5拉近,因为我们的先验认为就是约等于0.5的。这样的pseudo-counts就是先验在起作用,并且超参数越大,为了改变先验分布传递的belief所需要的观察值就越多,此时对应的Beta函数越聚集,紧缩在其最大值两侧。

    如果我们做20次实验,出现正面12次,反面8次,那么,根据MAP估计出来的参数p为16/28 = 0.571,小于最大似然估计得到的值0.6,这也显示了“硬币一般是两面均匀的”这一先验对参数估计的影响。

    [主题模型TopicModel:LDA中的数学模型]

    MAP估计*

    MAP参数的敏感性以及后验概率形式的不敏感性

    MAP表示独立性

    [PGM原理与技术]

    最大后验查询的一个示例


    皮皮blog



    贝叶斯思想和贝叶斯参数估计

    [ 贝叶斯思想和贝叶斯参数估计 ]



    MLE,MAP和贝叶斯估计对参数估计的比较

    综上所述我们可以可视化MLE,MAP和贝叶斯估计对参数的估计结果如下

    lz:从MLE到MAP再到贝叶斯估计,对参数的表示越来越精确(由易到难,估计的value也越来越perfect),得到的参数估计结果也越来越接近0.5这个先验概率,越来越能够反映基于样本的真实参数情况。

    Why the MLE doesn’t work well?

    While MLE is guaranteed to maximizes the probability of an observed data, we areactually interested in finding estimators that perform well on new data. A serious problemarises from this perspective because the MLE assigns a zero probability to elements thathave not been observed in the corpus. This means it will assign a zero probability to anysequence containing a previously unseen element.

    from: http://blog.csdn.net/pipisorry/article/details/51482120

    ref: Gregor Heinrich: Parameter estimation for text analysis*

    参数估计(极大似然估计,极大后验概率估计,贝叶斯估计)*

    文本语言模型的参数估计-最大似然估计、MAP及贝叶斯估计

    文本分析中的参数估计,以LDA为例,英文版:Heinrich-GibbsLDA.pdf

    Reading Note : Parameter estimation for text analysis 暨LDA学习小结

    统计学(四):几种常见的参数估计方法


    展开全文
  • 参数估计方法和非参数估计方法

    万次阅读 2018-09-04 14:10:13
    这类语言模型一般都是对文本的生成过程提出自己的概率图模型,然后利用观察到的语料数据对模型参数估计。有了语言模型和相应的模型参数,我们可以有很多重要的应用,比如文本特征降维、文本主题分析等等。本文主要...

    https://wenku.baidu.com/view/1cf9639efab069dc502201fe.html

    以PLSA和LDA为代表的文本语言模型是当今统计自然语言处理研究的热点问题。这类语言模型一般都是对文本的生成过程提出自己的概率图模型,然后利用观察到的语料数据对模型参数做估计。有了语言模型和相应的模型参数,我们可以有很多重要的应用,比如文本特征降维、文本主题分析等等。本文主要介绍文本分析的三类参数估计方法-最大似然估计MLE、最大后验概率估计MAP及贝叶斯估计。

     

    1、最大似然估计MLE

    首先回顾一下贝叶斯公式

     

     

    这个公式也称为逆概率公式,可以将后验概率转化为基于似然函数和先验概率的计算表达式,即

     

     

    最大似然估计就是要用似然函数取到最大值时的参数值作为估计值,似然函数可以写做

     

     

    由于有连乘运算,通常对似然函数取对数计算简便,即对数似然函数。最大似然估计问题可以写成

     

     

    这是一个关于的函数,求解这个优化问题通常对求导,得到导数为0的极值点。该函数取得最大值是对应的的取值就是我们估计的模型参数。

    以扔硬币的伯努利实验为例子,N次实验的结果服从二项分布,参数为P,即每次实验事件发生的概率,不妨设为是得到正面的概率。为了估计P,采用最大似然估计,似然函数可以写作

     

     

    其中表示实验结果为i的次数。下面求似然函数的极值点,有

     

     

    得到参数p的最大似然估计值为

     

     

    可以看出二项分布中每次事件发的概率p就等于做N次独立重复随机试验中事件发生的概率。

     

    如果我们做20次实验,出现正面12次,反面8次

    那么根据最大似然估计得到参数值p为12/20 = 0.6。

     

    2、最大后验估计MAP

    最大后验估计与最大似然估计相似,不同点在于估计的函数中允许加入一个先验,也就是说此时不是要求似然函数最大,而是要求由贝叶斯公式计算出的整个后验概率最大,即

     

     

    注意这里P(X)与参数无关,因此等价于要使分子最大。与最大似然估计相比,现在需要多加上一个先验分布概率的对数。在实际应用中,这个先验可以用来描述人们已经知道或者接受的普遍规律。例如在扔硬币的试验中,每次抛出正面发生的概率应该服从一个概率分布,这个概率在0.5处取得最大值,这个分布就是先验分布。先验分布的参数我们称为超参数(hyperparameter)即

     

     

    同样的道理,当上述后验概率取得最大值时,我们就得到根据MAP估计出的参数值。给定观测到的样本数据,一个新的值发生的概率是

     

     

    下面我们仍然以扔硬币的例子来说明,我们期望先验概率分布在0.5处取得最大值,我们可以选用Beta分布即

     

     

    其中Beta函数展开是

     

     

    当x为正整数时

     

    \Gamma(n) = (n-1)!\,

     

    Beta分布的随机变量范围是[0,1],所以可以生成normalised probability values。下图给出了不同参数情况下的Beta分布的概率密度函数

    我们取,这样先验分布在0.5处取得最大值,现在我们来求解MAP估计函数的极值点,同样对p求导数我们有

     

     

    得到参数p的的最大后验估计值为

     

     

    和最大似然估计的结果对比可以发现结果中多了这样的pseudo-counts,这就是先验在起作用。并且超参数越大,为了改变先验分布传递的belief所需要的观察值就越多,此时对应的Beta函数越聚集,紧缩在其最大值两侧。

    如果我们做20次实验,出现正面12次,反面8次,那么

    那么根据MAP估计出来的参数p为16/28 = 0.571,小于最大似然估计得到的值0.6,这也显示了“硬币一般是两面均匀的”这一先验对参数估计的影响。

     

    3 贝叶斯估计

    贝叶斯估计是在MAP上做进一步拓展,此时不直接估计参数的值,而是允许参数服从一定概率分布。回顾一下贝叶斯公式

     

     

    现在不是要求后验概率最大,这样就需要求,即观察到的evidence的概率,由全概率公式展开可得

     

     

    当新的数据被观察到时,后验概率可以自动随之调整。但是通常这个全概率的求法是贝叶斯估计比较有技巧性的地方。

    那么如何用贝叶斯估计来做预测呢?如果我们想求一个新值的概率,可以由

     

     

    来计算。注意此时第二项因子在上的积分不再等于1,这就是和MLE及MAP很大的不同点。

    我们仍然以扔硬币的伯努利实验为例来说明。和MAP中一样,我们假设先验分布为Beta分布,但是构造贝叶斯估计时,不是要求用后验最大时的参数来近似作为参数值,而是求满足Beta分布的参数p的期望,有

     

     

    注意这里用到了公式

     

     

    当T为二维的情形可以对Beta分布来应用;T为多维的情形可以对狄利克雷分布应用

    根据结果可以知道,根据贝叶斯估计,参数p服从一个新的Beta分布。回忆一下,我们为p选取的先验分布是Beta分布,然后以p为参数的二项分布用贝叶斯估计得到的后验概率仍然服从Beta分布,由此我们说二项分布和Beta分布是共轭分布。在概率语言模型中,通常选取共轭分布作为先验,可以带来计算上的方便性。最典型的就是LDA中每个文档中词的Topic分布服从Multinomial分布,其先验选取共轭分布即Dirichlet分布;每个Topic下词的分布服从Multinomial分布,其先验也同样选取共轭分布即Dirichlet分布。

    根据Beta分布的期望和方差计算公式,我们有

     

     

    可以看出此时估计的p的期望和MLE ,MAP中得到的估计值都不同,此时如果仍然是做20次实验,12次正面,8次反面,那么我们根据贝叶斯估计得到的p满足参数为12+5和8+5的Beta分布,其均值和方差分别是17/30=0.567, 17*13/(31*30^2)=0.0079。可以看到此时求出的p的期望比MLE和MAP得到的估计值都小,更加接近0.5。

    综上所述我们可以可视化MLE,MAP和贝叶斯估计对参数的估计结果如下

    个人理解是,从MLE到MAP再到贝叶斯估计,对参数的表示越来越精确,得到的参数估计结果也越来越接近0.5这个先验概率,越来越能够反映基于样本的真实参数情况。

     

     

     

    原文地址:http://blog.csdn.net/yangliuy/article/details/8296481

     

    参考文献

    Gregor Heinrich, Parameter estimation for test analysis, technical report 

    Wikipedia Beta分布词条 ,  http://en.wikipedia.org/wiki/Beta_distribution

    展开全文
  • 最大似然估计 原理:极大似然估计是建立在极大似然原理的基础上的一个统计方法,是概率论在统计学中的应用。极大似然估计提供了一给定观察数据来...联系:都是参数估计方法,当服从正态分布时,都的结论相等。 ...
  • 参数估计有点估计(point estimation)和区间估计(interval estimation)两种。 点估计是依据样本估计总体分布中所含的未知参数或未知参数的函数。通常它们是总体的某个特征值,如数学期望、方差和相关系数等。点...
  • 机器学习中的参数估计方法

    千次阅读 2018-08-24 13:31:31
    对于参数估计,统计学界的个学派分别提供了不同的解决方案: 频率主义学派(Frequentist)认为参数虽然未知,但却是客观存在的固定值,因此,可通过优化似然函数等准则来确定参数值 贝叶斯学派(Beyesian)则...
  • 机器学习中的模型参数估计方法:极大似然估计、贝叶斯估计、最大后验估计。
  • 线性参数估计方法之比较

    千次阅读 2014-09-11 17:54:13
    这里参与比较的线性参数估计算法有LS、WLS、Ransac LS、LMedS(其实Ransac的使用并不局限于线性模型,LMedS的思想也可以扩展到非线性模型)。由于已经有大量的文献从数学理论上对这些算法做了分析,所以此处只是用...
  • 参数估计的计算方法

    千次阅读 2020-05-27 19:21:58
    参数估计的计算方法极大后验(MAP)及拉普拉斯逼近基于马尔可夫链的蒙特卡洛参数推断(MCMC)期望极大化(EM) (参数估计所有内容) 极大后验(MAP)及拉普拉斯逼近 极大后验估计: MAP是通过确定后验分布的极大值得到的,...
  • 参数估计方法——OLS、MLE、MAP

    千次阅读 2019-07-31 15:17:22
    文章目录1、前言2、最大似然估计法 MLE3、最大后验估计 MAP4...在概率论中,参数估计有点估计(point estimation)和区间估计(interval estimation)两种。而 ML 中主要是构造点估计的方法常用的有:①最大似然估计法,...
  • 参数估计

    千次阅读 2019-09-02 22:09:01
    参数估计包括点估计和区间估计两类。 点估计 点估计是以抽样得到的样本指标作为总体指标的估计量,并以样本指标的实际值直接作为总体未知参数的估计值的一推断方法。 点估计(point estimate)是用样本统计量的某个...
  • 种参数估计方法(MLE,MAP,贝叶斯估计)
  • 三大参数估计方法(MLE, MAP, BOA)

    千次阅读 2018-10-01 11:21:36
    以PLSA和LDA为代表的文本语言模型是当今统计自然语言处理研究的热点问题。...本文主要介绍文本分析的三类参数估计方法-最大似然估计MLE、最大后验概率估计MAP及贝叶斯估计。   1、最大似然估计MLE ...
  • 参数估计:点估计和区间估计

    千次阅读 2020-02-28 10:49:49
    参数估计就是根据样本统计量的数值对总体参数进行估计的过程。根据参数估计的性质不同,可以分成两种类型:点估计和区间估计。 点估计 点估计就是用样本统计量的某一具体...对总体参数进行点估计常用方法两种...
  • 逻辑斯谛回归(logistic regression)是统计学习中的经典分类方法,属于判别模型。1. 逻辑斯谛回归模型定义在 Andrew NG 的 Machine Learning 课程和李航的统计学习方法中,都有对逻辑斯谛回归模型的介绍,然而二者...
  • 什么是参数估计

    千次阅读 2020-10-20 20:06:51
    参数估计属于统计推断的范畴,是根据从总体中抽取的样本估计总体分布中包含的未知参数的方法。 统计推断是数理统计研究的核心问题,是指根据样本对总体分布或分布的数字特征等作出合理的推断。 参数估计分为:点估计...
  • 回归分析之参数估计

    千次阅读 2019-10-11 16:06:59
    它是统计推断的一基本形式,是数理统计学的一个重要分支,分为点估计和区间估计两部分。 点估计:依据样本估计总体分布中所含的未知参数或未知参数的函数。 区间估计(置信区间的估计):依据抽取的样本,根据一定...
  • 来源:首席数据科学家今天分享一下关于参数估计的基本概念。尤其是极大似然估计,有着重要的应用。01—参数估计的定义首先,什么是参数估计呢?之前我们其实已经了解到很多分布类型了,比如正态分布...
  • 计量经济学几种参数估计方法

    千次阅读 2015-04-29 17:59:00
    比较普遍的参数估计方法: 1、普通最小二乘法:适用于满足经典假设条件的但方程模型; 2、加权最小二乘:适合于异方差数据,加权的实质是用一个变量除以误差项,使得误差项的方差变为常数; 3、工具变量法:适合...
  • 利用最小二乘法进行参数估计

    万次阅读 2019-05-08 11:14:06
    # 参数估计 # residuals误差函数 # par为拟合参数的初始值 # args为需要拟合的实验数据 def get_related_par(x, y, par, residuals):  plsq = leastsq(residuals, par, args=(y, x)) # 调用leastsq进行数据拟合, ...
  • 我们最终想要得到的是一个概率密度的模型,如果我们已经对观测的对象有了一些认识,对观测的现象属于那种类型的概率密度分布已经了解,只是需要确定其中的参数而已,这种情况就是属于参数估...
  • 参数估计(点估计和区间估计)

    万次阅读 多人点赞 2019-09-06 12:07:06
    1.点估计就是用样本统计量来估计总体参数。 概念理解:当我们想知道某一总体的某个指标的情况时,测量整体该指标的数值 的工作量太大,或者不符合实际,这时我们可以采用抽样的方法选取一部分样本测量出他们数值,...
  • 数理统计|参数估计

    千次阅读 2018-10-10 23:31:28
    参数估计的类型和使用 在此之间,我们必须要明确一点,估计是一个方法,不是一个具体算出来的值;只是,在给定样本以后,用这种估计的方法,可以算出数值。 3.1 点估计   点估计,顾名思义是对某个未知参数的值的...
  • 参数估计:贝叶斯思想和贝叶斯参数估计

    万次阅读 多人点赞 2016-05-23 10:54:29
    各种参数估计方法可以参考Heinrich论文的第二部分。 [[各种参数估计方法的论述:Gregor Heinrich. Parameter estimation for text analysis *] 数理统计学简史》 《统计决策论及贝叶斯分析 James O.Berger著》 [ ...
  • 是最重要和最常用的,我们重点介绍参数估计方法 我们在《无基础理解贝叶斯》中已经讲过似然性,那么我们就可以先写出似然函数。   假设有N个观测数据,并且概率模型是一个一维的高斯模型,用f(x)表示高斯模型,参数...
  • 三类参数估计方法

    千次阅读 2017-04-01 16:40:20
    本文主要介绍三类参数估计方法-最大似然估计MLE、最大后验概率估计MAP及贝叶斯估计。 1、最大似然估计MLE 首先回顾一下贝叶斯公式 这个公式也称为逆概率公式,可以将后验概率转化为基于似然函数和...
  • 参数估计与非参数估计

    千次阅读 2017-10-12 15:48:45
    参数估计要求明确参数服从什么分布,明确模型的具体形式,然后给出参数的估计值。根据从总体中抽取的样本估计总体分布中包含的未知参数。非参数估计对解释变量的分布状况与模型的具体形式不做具体规定 ,运用核密度...
  • 常见的参数估计

    千次阅读 2015-04-29 09:29:15
    参数估计有点估计(point estimation)和区间估计(interval estimation)两种。 点估计是依据样本估计总体分布中所含的未知参数或未知参数的函数。通常它们是总体的某个特征值,如数学期望、方差和相关系数等。点...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 202,159
精华内容 80,863
关键字:

参数估计常用的两种方法

友情链接: mst.zip