精华内容
下载资源
问答
  • 贝叶斯参数估计

    2017-02-09 11:20:00
    (学习这部分内容约需要1.9小时) ... 术语"贝叶斯参数估计"会让我们误以为对参数进行了估计, 实际上我们通常可以完全跳过参数估计步骤. 我们把参数积分掉, 并直接进行预测. 预备内容 弄清楚这个概念需要一些预备知识...

    (学习这部分内容约需要1.9小时)

    摘要

    在贝叶斯框架中, 我们将统计模型的参数视为随机变量. 模型由变量值的先验分布以及决定参数如何影响观测数据的证据模型来指定. 当我们对观测数据进行条件化时, 我们得到参数的后验分布. 术语"贝叶斯参数估计"会让我们误以为对参数进行了估计, 实际上我们通常可以完全跳过参数估计步骤. 我们把参数积分掉, 并直接进行预测.

    预备内容

    弄清楚这个概念需要一些预备知识:

    学习目标

    • 知道"先验(prior)"和"似然函数(likelihood function)"是什么意思
    • 可以使用贝叶斯公式(Bayes' Rule)计算后验分布
    • 知道后验预测分布是什么, 对于简单的例子可以解析地计算后延预测分布(比如beta-Bernoulli模型)
    • 什么是共轭先验(conjugate prior)? 为什么共轭先验有用?
    • 为什么当使用共轭先验时, 后验分布可以根据pseudocounts给出?
    • 什么是最大后验(maximum a-posteriori, MAP)近似? 给出一个MAP参数和后延预测分布不同的例子.

    核心资源

    (阅读/观看以下资源之一)

    免费

    收费

    • 概率图模型:原理和技术(Probabilistic Graphical Models: Principles and Techniques)
      简介: 一本非常全面的关于概率AI的研究生课程的教科书
      位置: Section 17.3, pgs. 733-741.
      [网站]
      作者: Daphne Koller, Nir Friedman
    • Machine Learning: a Probabilistic Perspective(MLAPP)
      简介: 一本非常全面的研究生机器学习教材
      位置: Sections 3.1-3.3, pgs. 65-78
      [网站]
      作者: Kevin P. Murphy

    增补资源

    (以下为选修内容, 但你可能会发现它们很有用)

    免费

    • Coursera: Neural Networks for Machine Learning (2012)
      简介: Geoff Hinton的在线课程, 他发明了许多神经网络和深度学习背后的核心理念
      位置: "Introduction to the full Bayesian approach"
      [网站]
      作者: Geoffrey E. Hinton

    付费

    • 概率统计和数据分析(Mathematical Statistics and Data Analysis)
      简介: 本科生统计教材
      位置: Section 8.6, "The Bayesian approach to parameter estimation," up through 8.6.1, "Further remarks on priors," pages 285-296
      [网站]
      作者: John A. Rice
    • 贝叶斯数据分析(Bayesian Data Analysis)
      简介: 贝叶斯统计教科书, 着重于实际问题
      位置: Sections 2.1-2.3, pgs. 33-39
      [网站]
      作者: Andrew Gelman,John B. Carlin,Hal S. Stern,Donald B. Rubin
    • Pattern Recognition and Machine Learning(PRML)
      研究生机器学习课程的教科书, 聚焦于贝叶斯方法
      位置: Section 2.1, pgs. 68-74
      [网站]
      作者: Christopher M. BIshop

    返回贝叶斯学习路线图

    转载于:https://www.cnblogs.com/bayesianML/p/6381181.html

    展开全文
  • 贝叶斯决策与贝叶斯参数估计

    千次阅读 2017-01-12 13:12:44
    1/11/2017 11:02:08 PM 考试结束了重新看了一下贝叶斯参数估计(极大似然参数估计思想很简单,不用多说了),感觉贝叶斯参数估计真是内涵很深啊! 下面两张ppt务必完全每一行都看懂(刘老师的PPT确实做得好啊) 第...

    1/11/2017 11:02:08 PM

    考试结束了

    重新看了一下贝叶斯参数估计(极大似然参数估计思想很简单,不用多说了),感觉贝叶斯参数估计真是内涵很深啊! 下面两张ppt务必完全每一行都看懂(刘老师的PPT确实做得好啊)


    第二张PPT讲得很清楚了,关于贝叶斯参数估计的基本条件和步骤。 需要注意的的是p(x|θ)表示的是参数θ给定时,x(也就是数据)的一般分布;而p(D|θ)则表示实际上生成手上这些数据(也就是D)的概率是多少,计算方法就是利用贝叶斯公式。

    此后,我们利用手头的数据D推断出θ的分布(注意,虽然贝叶斯分布基本条件有一条是已知p(θ)的先验分布,但是不同的是,这里是在得知手上数据D的情况下推断p(θ|D))。再得知p(θ|D)之后就可以用来积分求p(x|D)了,而p(x|D)正是最终得到的结果,也就是利用手上的数据D通过贝叶斯估计得到的数据x的概率密度。

    这就是贝叶斯估计的介绍,从整个过程来看,贝叶斯参数估计似乎并不是奔着参数估计去的(不像极大似然参数估计那么直接,通过解最优化问题就得到了估计的参数),贝叶斯参数估计更像是奔着p(x|D)去的,也就是说,它估计的是整个分布,而不只是参数,因为分布的形式不知道的,谁也不知道利用p(θ|D)积分得到的p(x|D)是怎么个形式,所以当然不能奔着参数估计去了。用估计完得到的p(x|D)和极大似然估计得到的概率密度估计对比,就可以看到,一维高斯的时候,两种估计得到的结果确实不同

    深奥的贝叶斯估计啊!


    比起上面的贝叶斯估计,贝叶斯决策还是相对比较简单的,当风险是0-1 loss(或者说分类错误率时),贝叶斯决策等价于最大化后验概率。贝叶斯决策也有基本条件,整个看下面这个图就可以了

    贝叶斯决策确实是最优的(可以最小化风险,如果风险是0-1 loss则最小化错误率,见下图),只不过限于当前的特征空间。


    为什么只限于当前特征空间,我在模式的QQ群里面和一位同学有过讨论,他的回答间接地让我顿悟了。 其实可以从上图来理解,上面倒数第二个图中,贝叶斯决策通过最小化错误率(或者说最大化后验概率)会找到分界面为xa,这么一来,错误率的大小就相当于xa两边的两个“尾巴”(左右两个类似直角三角形的阴影部分,注意,不包括reducible error,贝叶斯决策正是把这个error reduce了)。 然而,这个错误率是在x这个特征空间的,谁也不能保证说,也许可以变换一下特征(比如构造多项式的特征等等),这样一来,通过贝叶斯决策后,得到的阴影部分的面积没准就可以变小,这是很有可能的(如果能构造出非常discriminating的特征)。


    展开全文
  • 基于贝叶斯参数估计和扩展有限元的结构损伤识别研究,严刚,,本文提出了一种基于贝叶斯参数估计和扩展有限元的方法,对结构中损伤的位置和尺寸进行识别。该方法在获得测量信息后,结合结构损
  • 贝叶斯参数估计 matlab

    2021-03-22 10:30:24
    参数估计 function [mu, sigma] = Bayesian_parameter_est(train_patterns, train_targets, sigma)
  • 参数估计:贝叶斯思想和贝叶斯参数估计

    万次阅读 多人点赞 2016-05-23 10:54:29
    http://blog.csdn.net/pipisorry/article/details/51471222贝叶斯与频率派思想频率派思想 长久以来,人们对一件事情发生或不发生,只有固定的0和1,即要么发生,要么不发生,从来不会去考虑某件事情发生的概率有多...

    http://blog.csdn.net/pipisorry/article/details/51471222

    贝叶斯与频率派思想

    频率派思想

        长久以来,人们对一件事情发生或不发生,只有固定的0和1,即要么发生,要么不发生,从来不会去考虑某件事情发生的概率有多大,不发生的概率又是多大。而且事情发生或不发生的概率虽然未知,但最起码是一个确定的值。

    比如如果问那时的人们一个问题:“有一个袋子,里面装着若干个白球和黑球,请问从袋子中取得白球的概率是多少?”他们会立马告诉你,取出白球的概率就是1/2,要么取到白球,要么取不到白球,即θ只能有一个值,而且不论你取了多少次,取得白球的概率θ始终都是1/2,即不随观察结果X 的变化而变化。

    这种频率派的观点长期统治着人们的观念,直到后来一个名叫Thomas Bayes的人物出现。

    频率派把需要推断的参数θ看做是固定的未知常数,即概率虽然是未知的,但最起码是确定的一个值,同时,样本X 是随机的,所以频率派重点研究样本空间,大部分的概率计算都是针对样本X 的分布;

    最大似然估计(MLE)和最大后验估计(MAP)都是把待估计的参数看作一个拥有固定值的变量,只是取值未知。通常估计的方法都是找使得相应的函数最大时的参数;由于MAP相比于MLE会考虑先验分布的影响,所以MAP也会有超参数,它的超参数代表的是一种信念(belief),会影响推断(inference)的结果。比如说抛硬币,如果我先假设是公平的硬币,这也是一种归纳偏置(bias),那么最终推断的结果会受我们预先假设的影响。

    贝叶斯思想

        回到上面的例子:“有一个袋子,里面装着若干个白球和黑球,请问从袋子中取得白球的概率θ是多少?”贝叶斯认为取得白球的概率是个不确定的值,因为其中含有机遇的成分。比如,一个朋友创业,你明明知道创业的结果就两种,即要么成功要么失败,但你依然会忍不住去估计他创业成功的几率有多大?你如果对他为人比较了解,而且有方法、思路清晰、有毅力、且能团结周围的人,你会不由自主的估计他创业成功的几率可能在80%以上。这种不同于最开始的“非黑即白、非0即1”的思考方式,便是贝叶斯式的思考方式。

        贝叶斯派既然把看做是一个随机变量,所以要计算的分布,便得事先知道的无条件分布,即在有样本之前(或观察到X之前),有着怎样的分布呢?

    比如往台球桌上扔一个球,这个球落会落在何处呢?如果是不偏不倚的把球抛出去,那么此球落在台球桌上的任一位置都有着相同的机会,即球落在台球桌上某一位置的概率服从均匀分布。这种在实验之前定下的属于基本前提性质的分布称为先验分布,或的无条件分布。

    贝叶斯派认为待估计的参数是随机变量,服从一定的分布,而样本X 是固定的,由于样本是固定的,所以他们重点研究的是参数的分布。

    贝叶斯及贝叶斯派思考问题的固定模式

    先验分布 + 样本信息  后验分布

    上述思考模式意味着,新观察到的样本信息将修正人们以前对事物的认知。换言之,在得到新的样本信息之前,人们对的认知是先验分布,在得到新的样本信息后,人们对的认知为

    其中,先验信息一般来源于经验跟历史资料。比如林丹跟某选手对决,解说一般会根据林丹历次比赛的成绩对此次比赛的胜负做个大致的判断。再比如,某工厂每天都要对产品进行质检,以评估产品的不合格率θ,经过一段时间后便会积累大量的历史资料,这些历史资料便是先验知识,有了这些先验知识,便在决定对一个产品是否需要每天质检时便有了依据,如果以往的历史资料显示,某产品的不合格率只有0.01%,便可视为信得过产品或免检产品,只每月抽检一两次,从而省去大量的人力物力。

    而后验分布一般也认为是在给定样本的情况下的条件分布,而使达到最大的值称为最大后验估计。

    皮皮blog



    贝叶斯定理

    条件概率

    条件概率(又称后验概率)就是事件A在另外一个事件B已经发生条件下的发生概率。条件概率表示为P(A|B),读作“在B条件下A的概率”。

    联合概率表示两个事件共同发生的概率。A与B的联合概率表示为或者

    边缘概率(又称先验概率)是某个事件发生的概率。边缘概率是这样得到的:在联合概率中,把最终结果中那些不需要的事件通过合并成它们的全概率,而消去它们(对离散随机变量用求和得全概率,对连续随机变量用积分得全概率),这称为边缘化(marginalization),比如A的边缘概率表示为P(A),B的边缘概率表示为P(B)。

    贝叶斯定理

    贝叶斯定理是关于随机事件A和B的条件概率和边缘概率的一则定理。

    P(A|B) = \frac{P(B | A)\, P(A)}{P(B)}

    在参数估计中可以写成下面这样:


    这个公式也称为逆概率公式,可以将后验概率转化为基于似然函数和先验概率的计算表达式,即

    在贝叶斯定理中,每个名词都有约定俗成的名称:

    P(A)是A的先验概率或边缘概率。之所以称为"先验"是因为它不考虑任何B方面的因素。
    P(A|B)是已知B发生后A的条件概率(在B发生的情况下A发生的可能性),也由于得自B的取值而被称作A的后验概率
    P(B|A)是已知A发生后B的条件概率,也由于得自A的取值而被称作B的后验概率。
    P(B)是B的先验概率或边缘概率,也作标准化常量(normalized constant).

    按这些术语,Bayes定理可表述为:

    后验概率 = (相似度*先验概率)/标准化常量,也就是说,后验概率与先验概率和相似度的乘积成正比。

    另外,比例P(B|A)/P(B)也有时被称作标准相似度(standardised likelihood),Bayes定理可表述为:

    后验概率 = 标准相似度*先验概率

    贝叶斯估计的例子

    假设中国的大学只有两种:理工科和文科,这两种学校数量的比例是1:1,其中,理工科男女比例7:1,文科男女比例1:7。某天你被外星人随机扔到一个校园,问你该学校可能的男女比例是多少?然后,你实际到该校园里逛了一圈,看到的5个人全是男的,这时候再次问你这个校园的男女比例是多少?

    1. 因为刚开始时,有先验知识,所以该学校的男女比例要么是7:1,要么是1:7,即P(比例为7:1) = 1/2,P(比例为1:7) = 1/2。
    2. 然后看到5个男生后重新估计男女比例,其实就是求P(比例7:1|5个男生)= ?,P(比例1:7|5个男生) = ?
    3. 用贝叶斯公式,可得:P(比例7:1|5个男生) = P(比例7:1)*P(5个男生|比例7:1) / P(5个男生),P(5个男生)是5个男生的先验概率,与学校无关,所以是个常数;类似的,P(比例1:7|5个男生) = P((比例1:7)*P(5个男生|比例1:7)/P(5个男生)。
    4. 最后将上述两个等式比一下,可得:P(比例7:1|5个男生)/P(比例1:7|5个男生) = {P((比例7:1)*P(5个男生|比例7:1)} / { P(比例1:7)*P(5个男生|比例1:7)}。

    频率派与贝叶斯派的区别

        频率派把需要推断的参数θ看做是固定的未知常数,即概率虽然是未知的,但最起码是确定的一个值,同时,样本X 是随机的,所以频率派重点研究样本空间,大部分的概率计算都是针对样本X 的分布;
        贝叶斯派的观点则截然相反,他们认为参数是随机变量,而样本X 是固定的,由于样本是固定的,所以他们重点研究的是参数的分布。

    两者的本质区别

    根据贝叶斯法则:

                   posterior=likelihoodpriorevidence

                   p(ϑ|X)=p(X|ϑ)p(ϑ)p(X)

    在MLE和MAP中,由于是要求函数最大值时的参数,所以都不会考虑evidence。但在贝叶斯估计中,不再直接取极值,所以还会考虑evidence,下面的这个积分也是通常贝叶斯估计中最难处理的部分:

                   p(X)=ϑΘp(X|ϑ)p(ϑ)dϑ

    evidence相当于对所有的似然概率积分或求和(离散时),所以也称作边界似然

    估计未知参数所采用的思想不同的例子

    我去一朋友家:

        按照频率派的思想,我估计他在家的概率是1/2,不在家的概率也是1/2,是个定值。

        按照贝叶斯派的思想,他在家不在家的概率不再认为是个定值1/2,而是随机变量。比如按照我们的经验(比如当天周末),猜测他在家的概率是0.6,但这个0.6不是说就是完全确定的,也有可能是0.7。如此,贝叶斯派没法确切给出参数的确定值(0.3,0.4,0.6,0.7,0.8,0.9都有可能),但至少明白哪些取值(0.6,0.7,0.8,0.9)更有可能,哪些取值(0.3,0.4) 不太可能。进一步,贝叶斯估计中,参数的多个估计值服从一定的先验分布,而后根据实践获得的数据(例如周末不断跑他家),不断修正之前的参数估计,从先验分布慢慢过渡到后验分布。

    各种参数估计方法可以参考Heinrich论文的第二部分。

    [[各种参数估计方法的论述:Gregor Heinrich.Parameter estimation for text analysis*]

    数理统计学简史》

    《统计决策论及贝叶斯分析 James O.Berger著》

    [概率图模型  原理与技术[(美)科勒,(以)弗里德曼著]*

    [机器学习之用Python从零实现贝叶斯分类器]]

    皮皮blog


    贝叶斯估计

        贝叶斯估计是在MAP上做进一步拓展,此时不直接估计参数的值,而是允许参数服从一定概率分布。极大似然估计和极大后验概率估计,都求出了参数theta的值,而贝叶斯推断则不是,贝叶斯推断扩展了极大后验概率估计MAP(一个是等于,一个是约等于)方法,它根据参数的先验分布P(theta)和一系列观察X,求出参数theta的后验分布P(theta|X),然后求出theta的期望值,作为其最终值。另外还定义了参数的一个方差量,来评估参数估计的准确程度或者置信度。

    贝叶斯公式


    现在不是要求后验概率最大,这样就需要求,即观察到的evidence的概率,由全概率公式展开可得


    当新的数据被观察到时,后验概率可以自动随之调整。但是通常这个全概率的求法是贝叶斯估计比较有技巧性的地方。

    用贝叶斯估计来做预测

    如果我们想求一个新值的概率,可以由下面公式来计算。


    此时第二项因子在上的积分不再等于1,这就是和MLE及MAP很大的不同点。

    扔硬币的伯努利实验示例

    跟上面极大后验概率例子一样,N次伯努利实验,参数p(即正面的概率)的先验分布是参数为(5,5)的beta分布,然后接下来,我们根据参数p的先验分布和N次伯努利实验结果来求p的后验分布。我们假设先验分布为Beta分布,但是构造贝叶斯估计时,不是要求用后验最大时的参数来近似作为参数值,而是求满足Beta分布的参数p的期望,也就是直接写出参数的分布再来求分布的期望,有

    Note:

    1 C是所有实验结果的集合Ci=1或者0。

    2

    3 这里用到了公式


    4 推导也可参考[主题模型TopicModel:LDA中的数学模型:Beta-Binomial 共轭部分]

        根据结果可以知道,根据贝叶斯估计,参数p服从一个新的Beta分布。回忆一下,我们为p选取的先验分布是Beta分布,然后以p为参数的二项分布用贝叶斯估计得到的后验概率仍然服从Beta分布,由此我们说二项分布和Beta分布是共轭分布。当T为二维的情形可以对Beta分布来应用;T为多维的情形可以对狄利克雷分布应用。

    根据Beta分布的期望和方差计算公式,我们有



    可以看出此时估计的p的期望和MLE ,MAP中得到的估计值都不同,此时如果仍然是做20次实验,12次正面,8次反面,那么我们根据贝叶斯估计得到的p满足参数为12+5和8+5的Beta分布,其均值和方差分别是17/30=0.567, 17*13/(31*30^2)=0.0079。可以看到此时求出的p的期望比MLE和MAP得到的估计值都小,更加接近0.5。

    皮皮blog


    贝叶斯参数估计

    贝叶斯方法中,把参数视为影响所有训练实例概率的未观测变量。于是学习相当于根据观测来计算新样本的概率,这种学习可以通过计算参数上的后验概率(分母也要计算出来?)来执行,且使用它进行预测。

    而MAP后验估计是根据最大的p(theta | X)来计算新样本的概率?

    图钉和硬币示例


    联合概率模型

    将贝叶斯学习视为包含所有实例和参数中所有变量的meta-网中的推理问题。计算未来事件的概率相当于给定前M个观测实例时,关于第M+1个实例的后验概率执行查询。

    用一个概率分布来表示参数theta的先验知识,在theta和观测的数据X上建立一个联合分布。(也就是将theta也当成一个随机变量,而不是一个待估参数)

    theta固定时,不同抛掷间的条件独立;theta未知时,每次抛掷都可以传递一些有关参数theta的信息,不同抛掷间的边缘独立性不成立。这种直观和贝叶斯网的独立性是一致的!


    Note:X的每次取值代表每次抛掷的不同结果。

    参数和数据的联合分布


    Note: 公式与MLE唯一的区别只在于多了一个P(theta)。也要注意其和贝叶斯网的MLE估计的区别[]。

    联合分布、后验分布和似然、先验的联系


    预测:贝叶斯估计子预测和拉普拉斯校正

    给定前M次抛掷的结果来推理第M+1次抛掷的值。

    Note: 公式推导中P(x[M+1] = x1 | theta) 就是theta; P(x...)仅是一个归一化因子,不用直接计算,分别计算X[]=x1和x0再相加就可以了。

    贝叶斯估计子预测公式推导:



    先验

    非均匀的先验分布

    选择beta分布作为伯努利分布的先验


    [概率论:常见概率分布]

    共轭性质


    先验强度与样本量:先验分布对参数估计的影响


    先验分布与后验分布

    参数和数据的联合分布

    先验和后验的形式

    对某些概率模型,似然函数可以用充分统计量紧凑表示。而这里,后验分布同样也可以紧凑表示,而这就取决于先验的形式。如先验分布为beta分布,那么二项式分布的数据的后验分布也是紧凑的beta分布;先验分布为dirichlet分布,那么多项式分布的数据的后验分布也是紧凑的dirichlet分布。


    共轭


    后验概率分布的作用:确定模型属性(如偏置)和预测新数据

    Dirichlet先验

    先验强度alpha和先验均值theta‘

    直观上,当我们有一个很大的训练集时,先验的作用是可以忽略不计的。

    先验强度和均值对估计的影响

    可以看到,这种先验起到了平滑的效果,导致了更加鲁棒的估计

    Note: 另先验可以避免overfitting,这是因为先验带来的伪计数减小了训练数据的偏倚

    先验不能使用极值估计

    实际为0的概率的估计是很危险的,因为无论多大量的证据都无法改变它们。


    [《Probabilistic Graphical Models:Principles and Techniques》(简称PGM)]

    from: http://blog.csdn.net/pipisorry/article/details/51471222

    ref:  [天真的贝叶斯,神奇的贝叶斯方法]


    展开全文
  • 最大似然估计与贝叶斯参数估计 前言 上一篇讲到了贝叶斯决策理论,其与贝叶斯估计是两种不同的思想。前者是根据先验概率P(ωi)P(ωi)P(\omega_i)和类条件概率密度p(x|ωi)p(x|ωi)p(x|\omega_i)来设计最优分类器...

    最大似然估计与贝叶斯参数估计

    1. 前言

    上一篇讲到了贝叶斯决策理论,其与贝叶斯估计是两种不同的思想。前者是根据先验概率P(ωi)P(ωi)和类条件概率密度p(x|ωi)p(x|ωi)来设计最优分类器。然而在实际应用中,通常得不到有关问题的概率结构的全部知识。我们只能利用手头的训练样本来估计问题中所涉及的先验概率和条件密度函数,并把这些估计的结果当作实际的先验概率和条件密度函数,然后再设计分类器。估计先验概率通常没有太大的困难,最大的困难在于估计类条件概率密度。其中主要的问题有两个:(1)在很多情况下,已有的训练样本数总是显得太少。(2)当用于表示特征的向量x的维数较大时,就会产生严重的计算复杂度问题。但是,如果我们事先已经知道参数的个数,并且先验知识允许我们能够把条件概率密度进行参数化,那么问题的难度就可以显著的降低。例如,我们可以正确的假设p(x|ωi)p(x|ωi)是一个多元正态分布,其均值为μiμi,协方差矩阵为σiσi(这两个参数的具体的值是未知的)。这样,我们就把问题从估计完全未知的概率密度p(x|ωi)p(x|ωi)转化为估计参数μiμiσiσi。这种方法就称为参数估计
    2. 最大似然估计
    最大似然估计把待估计的量看作是确定性的量,只是其取值未知。最佳估计就是使得产生已观测到的样本(即训练样本)的概率为最大的那个值。基本原理如下图所示:


    1. 贝叶斯估计
      与最大似然估计不同,贝叶斯估计把待估计的参数看成是符合某种先验概率分布的随机变量。对样本进行观测的过程,就是把先验概率密度转化为后验概率密度,这样就利用样本的信息修正了对参数的初始估计值。在贝叶斯估计中,一个典型的效果就是,每得到新的观测样本,都使得后验概率密度函数变得更加尖锐,使其在待估参数的真实值附近形成最大的尖峰,这个现象就称为”贝叶斯”学习过程。无论使用何种参数估计方法,在参数估计完成后,我们都使用后验概率作为分类准则。

    另外这篇博客http://blog.csdn.net/u011508640/article/details/72815981#comments个人感觉讲的也很到位。

    展开全文
  • 相对论重离子碰撞的贝叶斯参数估计码 请使用提供的environment.yml生成兼容的conda环境。 有关更多信息,请参阅 conda env创建--file environment.yml 获取实验数据文件夹并解压缩模拟数据 sh prepare.sh
  • 贝叶斯参数估计的理解及其在电商算法中的应用

    万次阅读 多人点赞 2016-12-03 13:51:54
    贝叶斯参数估计是这些问题的基础版本。前方高能预警,本文的讲解比较理论。实际问题中我们会有很多数据,比如一篇文章中每个单词的词频等。我们得到的数据通常用XX表示,也称为样本。我们还会假设这些数据服从某一个...
  • 贝叶斯估计和最大似然估计的原理及代码matlab
  • 贝叶斯判决下的最大似然估计与贝叶斯估计 描述了两种参数估计的具体方法和区别
  • 一、贝叶斯参数估计 前导篇:【机器学习】最大似然估计与最大后验估计 这里先回顾一下最大后验估计法: 最大后验估计法,通过最大化参数θθθ的后验分布来求出估计参数θ^\hat{θ}θ^ :θ^=argmax⁡θ⁡P(θ∣...
  • 注:本文以简单的案例,解释了最大似然估计、最大后验估计以及贝叶斯参数估计的联系和区别。假如你有一个硬币。你把它投掷 3 次,出现了 3 次正面。下一次投掷硬币正面朝上的概率是多少? 这是一个从数据中估计参数的...
  •  参数估计是统计学中的经典问题,常用的方法是最大似然估计和贝叶斯估计。为什么机器学习中,也会用到参数估计呢?我们利用训练样本来估计先验概率和条件概率密度,并以此设计分类器。当假设数据符合某种分布时,其...
  • 在统计中,通过马尔可夫链蒙特卡洛(MCMC)采样进行的贝叶斯分析是一种有效的参数估计方法。 但是,现有的MCMC采样仅在实参空间中执行。 在某些情况下,复数值参数化建模更为可取,因为复数表示带来了实值表示无法...
  • 最大似然:得到参数确定的值 贝叶斯估计:得到参数的概率分布 ...贝叶斯参数估计 例题: 参考资料: 中国科学院大学硕士课《模式识别》ppt
  • 机器学习笔记—模式分类(二)参数判别估计法(最大似然估计和贝叶斯参数估计)1 机器学习笔记—模式分类(三)参数判别估计法2(最大似然估计) 同类文章: 机器学习笔记—模式识别与智能计算(四)基于概率统计...
  • 为什么要用参数估计? 在贝叶斯方法中,要事先估计先验概率和条件密度函数,然后再设计分类器。但是多数情况下训练样本数总是太少,而且当用于表示特征维数较高时,对条件密度函数的估计就会计算复杂度较高。 ...
  • 在朴素贝叶斯分类器中,我们是利用先验概率 P(c)P(c)P(c) 和 类条件概率密度 p(x∣c)p(x|c)p(x∣c) 来设计最优分类器,但是在实际应用中,通常是拿不到概率结构的全部知识的,因此我们就需要利用这些训练样本来估计...
  • 即随着样本量的增加,估计量的值收敛(概率)为基础参数的真实值,即期望值估计量可能与真实值有所不同。 下面的例子给出了一个有偏估计。假设我们参加一次抽奖,从一个抽奖盒中抽出不同颜色的球,一次一个。我们...
  • 第三章 最大似然估计和贝叶斯参数估计  第二章的贝叶斯决策论中,在分类之前需要知道一些概率特征,包括类条件概率密度(似然函数)和先验概率。先验概率相对获知是比较容易的,而类条件概率密度就比较困难,原因...
  • 山东大学计算机科学与技术学院机器学习课程的实验报告
  • 方法有最大似然估计和贝叶斯参数估计法。 最大似然估计 假设参数为确定值,根据似然度最大进行最优估计。 给定数据 D 1 , D 2 . . . D c D_1,D_2...D_c D 1 ​ , D 2 ​ . . . D c ​ 表示不同类别的样本。...
  • 贝叶斯模型选择程序使用贝叶斯统计方法来评估三个模型中的哪一个最能代表示例数据。 会在10小时,24小时和100小时内“收集”数据,以便我们评估随着更多数据的引入,我们的模型选择可能会如何变化。 绘制了一些示例...
  • 极大似然估计(Maximum Likelihood Estimate, MLE)也称为最大似然估计,是估计的一种方法,也可以称为“最大可能性估计”。 思想 :在已经得到试验结果的情况下,我们应该寻找使这个结果出现的可能性最大的那个 ...
  • 最大后验概率估计:P(这个人|村子)=P(村子|某个小偷)P(这个小偷)/ P(村子|小偷i)不但找出最有可能偷某个村子的人,还要找出这个人偷各个村子综合能力最强的人,综合以上两种因素的考虑,派这个人去偷,或者说村子被...
  • 假如你有一个硬币。你把它投掷 3 次,出现了 3 次正面。下一次投掷硬币正面朝上的概率是多少? 这是一个从数据中估计参数的基础机器学习问题。在这种情况下,我们要从数据 D...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 1,795
精华内容 718
关键字:

贝叶斯参数估计