精华内容
下载资源
问答
  • 要说贝叶斯和频率学派,那简直太有意思了。为什么这么说呢?因为两个学派的理解对于我来说真的是一场持久战。我是在学习机器学习的时候接触到的这两个学派,此前并不知道,当时就被深深吸引了,于是找了各种资料学习...

    大家好,我是东哥。

    要说贝叶斯和频率学派,那简直太有意思了。为什么这么说呢?因为两个学派的理解对于我来说真的是一场持久战。我是在学习机器学习的时候接触到的这两个学派,此前并不知道,当时就被深深吸引了,于是找了各种资料学习下来,说实话感觉有点懂了,但又感觉没理解透。

    后面我一直是带着这种似懂非懂的状态继续肝机器学习。但随着不断深入学习我发现很多理论其实都有出现两个学派的身影,而且在模型算法层面结合两派不断琢磨对我的理解有了很大帮助,经常有茅塞顿开的感觉(那段日子真的进步的飞起)。

    虽说我有点笨,但好在经过时间的沉淀和积累,也算让我对两个学派有了更深层次的理解。因此,基于我自己的学习情况,把自己的一些理解也分享出来,供参考。

    首先,我先抛出一个总的观点:贝叶斯学派和频率学派需要辩证去看,没有对错。两个学派就像太极一样,所谓你中有我,我中有你,相辅相成,相互成就。

    下面分别阐述二者的联系和区别,如果有启发还请给我点个赞。

    频率学派

    1、频率学派的核心思想

    频率学派相信概率是一个确定的值,讨论概率的分布没有意义。虽然没有上帝视角,还不知道具体的概率值,但相信概率就是确定的,它就在那里。而数据是由这个确定的概率产生的,因此数据是随机的。

    现实中,我们往往可以获取的是随机的数据,而对于产生数据的概率是不知道的。既然相信概率是确定的,也想求概率,那我们该如何做呢?

    自然可以想到,要通过观察概率产生的随机数据去反向推导这个概率。举个例子。比如我想知道一种疾病的生还概率,那么通过观察10个人,我发现其中9个都死了,那我现在就说生还概率是10%(简单粗暴)。

    上面就是通过频率计算来推出概率的简单过程。但这样的计算结果非常不精准,因为10个人太少了,不具有统计代表性。那我把观察人数增大到100人、1000人…10万人呢?结果又如何?

    说到这里,你应该有一些sense了,随着样本容量不断扩大到足够大甚至无穷大时,这个统计结果才有意义。也就是说,频率学派所说的概率表示的是事件发生频率的极限值。当重复试验的次数趋近无穷大时,事件发生的频率会收敛到真实的概率之上。

    看到这里或许你会提问,如果观测样本有限,那真实的概率还会精准吗?

    答案是不一定。仍用上面的例子,假如我们安排了100组进行测试,每组100人,那么通过这100组所得到的概率可能都是不一样的,有的或许接近真值,有的或许偏离真值,而这都是随机的,完全取决于这组的数据是什么样的。这里所说概率可能不一样是因为有限的随机数据导致的,这个锅不应该由概率来背,谁让你数据量不够呢,真实的概率还是确定的。

    为此,频率学派使用置信区间来度量随机样本的估计值和真实值之间的偏差。就是说100组的置信区间里面有多少个是包括了真实值的。

    2、机器学习中的频率学派

    上面就是频率学派的一般思想了。为了加深理解,这里我再额外扩展一下机器学习中的频率学派的应用。

    假设我们讨论有监督学习的参数模型,那么整个过程就是用训练数据拟合出一组参数来,即形成一个模型,然后再预测未来的数据。因此,这里的核心是求出参数。

    机器学习中频率统计的应用也是一样的,只不过不求概率了,而是求参数。这就引出了另外一个概念似然函数。似然和概率意思差不多,区别是这样的。

    对于一个函数: P ( x ∣ θ ) P(x|\theta) P(xθ)

    输入有两个: x x x 表示某一个具体的数据; θ \theta θ 表示模型的参数。

    如果 θ \theta θ 是已知确定的,求 x x x,这个函数叫做概率函数(probability function),它描述对于不同的样本点 x x x,其出现概率是多少。

    如果 x x x 是已知确定的,求 θ \theta θ ,这个函数叫做似然函数(`likelihood function), 它描述对于不同的模型参数 θ \theta θ,出现 x x x 这个样本点的概率是多少。

    看到上面你就应该知道了,频率学派的思想没有变化,只是调换了一下位置,改为求参数(相信参数是确定的)。

    由此,又可以展开最大似然估计,频率统计中最常使用的最优化方法,即让似然概率最大化,也就是固定参数的前提下,数据出现的条件概率最大化。比如,在逻辑回归参数模型中使用。

    贝叶斯学派

    1、贝叶斯学派的核心思想

    相对于频率学派,贝叶斯学派思想恰恰相反。

    贝叶斯认为待估计值的概率是随机的变量,而用来估计的数据反过来是确定的常数,讨论观测数据的概率分布才是没有意义的。

    仍以机器学习应用为例,把上面的话翻译过来就是,我们并没有什么上帝视角,怎么会知道最后求得的参数就是实际的真实值呢?另外,如果观测的事件不是随机的变量,而是确定的,那么频率学派对概率的解读就是不成立的。

    还是拿疾病的生还概率问题举例,假如频率学派通过观察估计概率是10%,但是贝叶斯觉得这10%简直就是bull shit,是不准确的。因为通过自己的常识和认知,这个疾病的生还概率至少也应该在50%以上才对,10%的概率太低了,不太可能。

    因此,贝叶斯学派给出了一个更加通用的概率定义:概率表示的是客观上事实的可信程度,也可以说成是主观上主体对事件的信任程度,它是建立在对事件的已有认识基础上的。

    下面来看一下贝叶斯定理。公式如下:

    P ( A ∣ B ) = P ( B ∣ A ) P ( A ) P ( B ) P(A|B)=\frac{P(B|A)P(A)}{P(B)} P(AB)=P(B)P(BA)P(A)

    上面所说的主观认识其实就是贝叶斯定理中的先验概率,即 P ( A ) P(A) P(A) P ( B ∣ A ) P(B|A) P(BA)似然概率 P ( A ∣ B ) P(A|B) P(AB)后验概率

    这个公式的解读就是:对于一个事件 A A A,我先有了一定的主观认识,并将 P ( A ) P(A) P(A) 作为初始的可信程度。我现在得到了与 A A A 事件相关的数据 B B B,我想通过 B B B 作为证据进一步去验证我的初始判断,即 P ( B ∣ A ) P(B|A) P(BA)。通过验证得到的结果就是后验概率 P ( A ∣ B ) P(A|B) P(AB),这个结果可能是好,也可能是坏。

    所以,贝叶斯定理的意义就是将先验概率和后验概率关联起来,刻画了数据对于知识和信念的影响。

    2. 贝叶斯加强理解

    为了加强理解,我现在把上面贝叶斯的公式做一个简单的变换:
    P ( A ∣ B ) = P ( B ∣ A ) P ( A ) P ( B ∣ A ) P ( A ) + P ( B ∣ A ′ ) P ( A ′ ) ( A ′ 表 示 非 A ) P(A|B)=\frac{P(B|A)P(A)}{P(B|A)P(A)+P(B|A^\prime)P(A^\prime)} (A^\prime表示非A) P(AB)=P(BA)P(A)+P(BA)P(A)P(BA)P(A)AA

    举个例子。你听到一辆摩托车的警报响了,你的第一反应是什么?

    有小偷?撞车了?都不是,你通常什么反应都没有。因为警报响实在是太正常了,每天都要发生好多次。本来,汽车警报设置的功能是,出现了异常情况,需要人关注。然而,由于虚警实在是太多,人们渐渐不相信警报的功能了。就像狼来的故事一样。

    假设响警报的目的就是想说汽车被砸了。把 A A A 视作汽车被砸了 B B B 视为警报响了。带进贝叶斯公式里,我们要求等式左边发生的 P ( A ∣ B ) P(A|B) P(AB),意思是说警报响了,汽车也确实被砸了的概率

    结合我们变换的公式来看,汽车被砸引起警报响,即 P ( B ∣ A ) P(B|A) P(BA)。但是,也有可能是汽车被小孩子皮球踢了一下、被行人碰了一下等其他原因(统统计作 A ′ A^\prime A),其他原因引起汽车警报响了的概率,记为 P ( B ∣ A ′ ) P(B|A^\prime) P(BA)。因此,这些所有的原因合起来才是警报响了的总概率,即 P ( B ) = P ( B ∣ A ) P ( A ) + P ( B ∣ A ′ ) P ( A ′ ) P(B)=P(B|A)P(A)+P(B|A^\prime)P(A^\prime) P(B)=P(BA)P(A)+P(BA)P(A)

    那,现在我问,如果突然听见警报响了,这时汽车已经被砸了的概率是多少呢?

    其实这也就是问,警报响这个证据有了,多大把握能相信它确实是在报警说汽车被砸了?从这个角度理解,贝叶斯公式就是在描述:你有多大把握能相信一件证据。

    前面也说了,后验概率的结果可能是好,也可能是坏。为了加强我们的先验概率,所以我们必须提高证据的概率,就像警报的例子中,我们需要让 P ( B ∣ A ′ ) P ( A ′ ) = 0 P(B|A^\prime)P(A^\prime)=0 P(BA)P(A)=0,即杜绝了汽车被球踢、被行人碰到等等其他所有情况,那自然,警报响了,只剩下一种可能:汽车被砸了,这就提高了响警报这个证据的说服力。

    但如果 P ( A ) P(A) P(A) 很小,即汽车被砸的概率本身就很小,那么 P ( B ∣ A ) P ( A ) P(B|A)P(A) P(BA)P(A) 仍然很小, P ( A ∣ B ) P(A|B) P(AB) 还是大不起来。也就是说如果 A A A 的先验概率很小,就算 P ( B ∣ A ) P(B|A) P(BA) 较大,可能 A A A 的后验概率 P ( A ∣ B ) P(A|B) P(AB) 还是不会大。因此,贝叶斯的先验分布概率非常重要,要想后验概率大,需要 P ( B ∣ A ) P ( A ) P(B|A)P(A) P(BA)P(A) P ( A ) P(A) P(A) 同时大,这就涉及到最大后验概率估计的概念了。

    从这个角度思考贝叶斯公式:一个本来就难以发生的事情,就算出现某个证据和他强烈相关,也要谨慎。证据很可能来自别的虽然不是很相关,但发生概率较高的事情。

    当然对于贝叶斯的理论还有很多东西可以研究,真的非常强大。如果机器学习从判别式和生成式的角度考虑又是一庞大的分类。在此提供一本书籍:经典书最新版《贝叶斯数据分析(第三版)》

    总结

    我觉得这是个值得反复琢磨,很有意思的事情。因为本身就没有谁对谁错,只是立场不同,考虑问题的角度不同,我们更应该辩证的去理解和加以应用。

    以上就是个人一些粗浅的理解。

    参考:

    [1] https://blog.csdn.net/u011508640/article/details/72815981

    [2] 极客时间-机器学习40讲

    展开全文
  • 举个例子,抛硬币实验中,一个人根据之前的某种经验,他认为正面朝上的概率是0.8,那么对于是否要把0.8作为将来计算正面朝上的概率的一个参考,频率学派持反对意见,而贝叶斯学派则恰恰相反,他们认为主观经验也有...

    先来看看高教版《概率论与数理统计》中关于“大数定律”的几个定理。

    (一)贝叶斯学派

    贝叶斯学派频率学派是统计学的两大学派。

    频率学派认为,一个事件出现的概率是可以由大量重复实验下该事件出现的频率给出,这就是大数定律,且该事件的概率不依赖于主观判断。举个例子,抛硬币实验中,一个人根据之前的某种经验,他认为正面朝上的概率是0.8,那么对于是否要把0.8作为将来计算正面朝上概率的一个参考,频率学派持反对意见,而贝叶斯学派则不然,他们认为主观经验也应该有借鉴意义。

    贝叶斯学派的思想在如今得到人们青睐有一个很重要的原因:很多事情无法进行大量的重复实验(随机实验),因为每一次重复实验都应有一个前提,那就是实验的条件应该严格相同或至少大致相同。然而实际生活中大多数情况都不具备如此理想的条件。转化为数学描述就是频率学派眼中的概率符合大数定律,样本X1、X2、…Xk之间相互独立,但是生活中的很多情况是随机过程,彼此之间相互关联。

    贝叶斯学派将人们的主观经验称为先验概率,在主观经验的基础上得到某个结果的概率叫做似然概率,而将这个结果反作用于先验信息,最终更新先验概率得到的预测结果的概率叫做后验概率

    (二)贝叶斯公式

    高教版《概率论与数理统计》中关于“贝叶斯公式”的描述如下:

    上面定理中的P(Bi)相当于先验概率P(A|Bi)为似然概率。如下图所示,P(A)可以理解为图中阴影部分面积,由于A为E的事件,B1、B2、...、Bn为S的一个划分,因而P(A)与Bi本身无关

    参考:

    1)《概率论与数理统计》,盛骤,谢式千,潘承毅编.—4版.北京:高等教育出版社,2008.6

    2)https://blog.csdn.net/sesesssss/article/details/107711400

    展开全文
  • 统计学中的频率学派与贝叶斯学派

    万次阅读 多人点赞 2018-08-18 13:18:40
    这篇博文里,不会呈现任何计算公式,只是讨论一下贝叶斯学派与频率学派之间的问题。  贝叶斯学派与频率学派是当今数理统计学的两大学派,基于各自的理论,在诸多领域中都起到了重要作用。自20世纪初数理统计学大...

            对于技术应用人员来说,我们更看重方法的应用,但有时候对知识的背景做一些了解,我觉得还是挺有必要的,能帮助我们理解一些东西。这篇博文里,不会呈现任何计算公式,只是讨论一下贝叶斯学派与频率学派之间的问题。

            贝叶斯学派与频率学派是当今数理统计学的两大学派,基于各自的理论,在诸多领域中都起到了重要作用。自20世纪初数理统计学大发展开始,一直到20世纪中叶,频率学派一直占据主导地位,当时诸多大咖如Fisher、K.Pearson等都属于频率学派,而从20世纪中叶以后,贝叶斯学派迅速发展壮大起来,可与频率学派分庭抗礼(我想这也是社会发展的需求,一些问题用原来的方法解决不了,需要一种的新的思维出现来解决问题),由于其发展较新,因此人们也将频率学派称为古典学派。

          频率学派与贝叶斯学派的估计思想

            对于样本分布F(X,\theta ),此时我们要对其中的未知\theta进行估计,让我们来看看频率学派与贝叶斯学派分别是如何做的。

            频率学派

            频率学派认为,对于一批样本,其分布F(X,\theta )是确定的,也即是\theta是确定的,只不过\theta未知。为什么会有这样的想法?这就要从频率学派的基本宗旨来看了,频率学派认为概率即是频率,某次得到的样本X只是无数次可能的试验结果的一个具体实现,样本中未出现的结果不是不可能出现,只是这次抽样没有出现而已,因此综合考虑已抽取到的样本X以及未被抽取、实现的结果,可以认为总体分布是确定的,不过\theta未知,而样本来自于总体,故其样本分布F(X,\theta )也同样的特点。  基于此,就可以使用估计方法去推断\theta

           贝叶斯学派:

           贝叶斯学派否定了概率及频率的观点,并且反对把样本X放到“无限多可能值之一”背景下去考虑,既然只得到了样本X,那么就只能依靠它去做推断,而不能考虑那些有可能出现而未出现的结果。与此同时,贝叶斯学派引入了主观概率的概念,认为一个事件在发生之前,人们应该对它是有所认知的,即F(X,\theta )中的\theta不是固定的,而是一个随机变量,并且服从分布H(\theta ),该分布称为“先验分布”(指抽样之前得到的分布),当得到样本X后,我们对\theta的分布则有了新的认识,此时H(\theta )有了更新,这样就得到了“后验分布”(指抽样之后得到的分布),此时可以再对\theta做点估计、区间估计,此时的估计不再依赖样本,完全只依赖\theta的后验分布了。

          频率学派对贝叶斯学派的批评

            频率学派对贝叶斯学派的批评主要集中在主观概率及与之相关的先验分布的确定问题上。按频率学派的观点,一个事件的概率可以用大量重复试验之下事件出现的频率来解释,这种解释不取决于主体的认识。频率学派认为主观概率不仅难以捉摸,而且与认识主体有关,没有客观性,因而也就没有科学性,这是不可接受的。

            针对频率学派的批评,贝叶斯学派做出了以下回应:

            1.主观概率事实上是人们常用的概念。例如人们常说:”这个事儿十有八九能成”,这就是人们的一个主观概率,能做出这样的推测人们肯定是考虑了一些因素的(比如考虑了做事儿的人,做事的方法等),这是有一定道理的。

             2.在涉及采取行动并承担后果的问题上,每个人了解的情况不同,对问题所具有的只是也不同,他们采取的最佳行动方案也会不同,在这种情况下,不同的人有不同的先验分布是很正常的,要求所谓的“客观性”反倒没有意义了。

            频率学派对贝叶斯学派还有一个批评,样本分布一般都是在频率的意义上来解释的,他们认为,既然贝叶斯学派否定频率观点,为何也会用到样本分布?对于这个批评,贝叶斯学派确实是难以做出让人信服的回答,如果做一个彻底的主观概率论者,就必须把样本分布看成刻画样本取各种值在主观上的信服程度,由于样本是已知的,而贝叶斯学派反对把样本放到无穷多可能样本的背景下去考虑这种做法,故而将主观概率的思想推到极端,贝叶斯学派甚至不能去谈论什么样本分布问题。

          贝叶斯学派对频率学派的批评

             1.关于概率的频率解释观点。许多问题是没法做重复性试验、是一次性的,严格相同甚至大致相同的条件下的重复事实上是不可能的,比如地震观测,因此在这种条件下统计概念和方法的频率解释完全没有现实意义。

             2.频率学派基于概率的频率解释,其所导出的方法(点估计、区间估计、假设检验等)的精度和可靠度也只是大量重复下的平均值,这是在抽样之前就已经确定的(也就是前文所说的F(X,\theta )是确定的),这种不顾实际的样本值而在事前就规定的精度和可靠度是不合理的,而且往往是实际情况大相庭径。直观上人们更倾向于接受的是:统计推断的精度和可靠性如何,与试验结果(样本)有关。

         小结

            尽管贝叶斯学派和频率学派的部分观点受到质疑,但是两大学派如今仍然发挥着比较重要的作用,对实际应用中的一些问题,两种学派的方法都能给出比较准确的解决方案,因此对于我们应用者来说,针对不同的应用场景,使用的合适的方法才是主要的。

            

        

    展开全文
  • 浅谈频率学派和贝叶斯学派

    千次阅读 多人点赞 2018-11-08 21:38:35
    终于可以写贝叶斯相关的文章啦,心情有点小激动,最近一段时间反复看Bishop老师编写的<<Pattern Recognition and Machine Learning>>前三章章节,发现贝叶斯思想真是太强大了,瞬间成为该书作者的忠实...

    写在前面的话

    终于可以写贝叶斯相关的文章啦,心情有点小激动,最近一段时间反复看Bishop老师编写的<<Pattern Recognition and Machine Learning>>前三章章节,发现贝叶斯思想真是太强大了,瞬间成为该书作者的忠实粉丝。在后续的文章中,笔者会尽自己最大的努力去阐述与机器学习算法所蕴含的贝叶斯思想。若有错误之处,欢迎更正指出。笔者认为互相学习、资源互享是最好最快速的学习方法。


     

                                                                                  【频率学派


    高中数学对概率的定义:在大量重复进行同一实验事件A发生的频率总是接近某一个常数,并在它附近进行摆动,这时将这个常数叫事件A的概率,记作P(A)。

    这是古典频率学派对概率的定义,定义包含了二个要点:

    (1)、事件A发生的概率是常数。

    (2)、事件A发生的概率是重复多次进行同一实验得到的。

    频率学派的局限性:

    频率学派评估可重复实验事件发生的概率具有一定的现实意义。

    但是假如评估本世纪末北极圈的冰川消失的概率,按照频率学派的思想,首先需要创造无数个平行世界,然后计算北极圈冰川消失的平行世界的频率,记该频率为冰川消失的概率。

    目前,创造无数个平行世界的技术还不成熟,因此频率学派在评估不可重复实验事件发生的概率具有很大的限制性。

                                                                                     【贝叶斯学派】


    贝叶斯学派对概率的定义:贝叶斯学派评估事件A发生的概率带有主观性,且事件A发生的概率是当前观测数据集D下的概率,即条件概率P(A|D),当观测数据集更新为D1时,则事件A发生的概率为P(A|D1),不同的数据集预测A事件发生的概率不同。贝叶斯学派评估事件A发生的概率会引用先验概率和后验概率两个概念,贝叶斯定理是搭建先验概率和后验概率的桥梁。

    定义包含了三个要点:

    (1)、事件A发生的概率是变化的,并非常数。

    (2)、事件A发生的概率是特定数据集下的条件概率。

    (3)、事件A发生的概率是后验概率,且事件A发生的先验概率已给定。

    贝叶斯学派的难点在于如何设置合理反映事件A发生的先验概率,不同的先验概率得到的结果不一样。

    概率论基本知识回顾

    条件概率:设A,B是两个事件,且P(A)>0,称

     

    为在事件A发生的条件下事件B发生的概率。

     

    乘法定理:设P(A)>0,称

     

    事件A,B同时发生的概率等于事件A发生的概率与事件A发生的条件下事件B发生的概率的乘积。

     

    求和定理:设P(A)>0,称

     

    为事件A发生概率的边缘化。

    全概率公式:事件B发生的所有可能结果B1,B2,…,Bn,事件A发生的概率P(A),则

     

    贝叶斯定理:

     

    其中,P(A|B)为已知事件B下A发生的概率,称为后验概率;等式右边分子部分P(A)为事件A发生的概率,称为先验概率贝叶斯定理是先验概率和后验概率转换的桥梁。

     

                                                         频率学派和贝叶斯学派在评估模型参数的异同


     

    相同点:最大似然函数在频率学派和贝叶斯学派都具有重要的作用,最大似然函数的思想是存在即合理,认为已观测数据的概率分布是最大概率,最大概率对应的模型就是我们需要找的模型。

     

    不同点:频率学派认为模型是一成不变的,即模型参数是个常数;贝叶斯学派认为模型是一直在变的,当获取新的信息后,模型也相应的在改变,即模型参数是个变量,用概率去描述模型参数的不确定性。

     

    【例】小明在做抛硬币试验,已观测数据集D为五次正面向上,求正面向上的概率w

    频率学派解法:

     

    硬币正面向上的概率为1,模型明显存在问题,称为过拟合

     

    贝叶斯学派解法:

    假设硬币正面向上的先验概率p(w),根据贝叶斯定理得:

     

    由于篇幅的关系,本文只在这里描述了贝叶斯学派求解硬币正面向上概率的流程图,作者会在后面的文章详细描述这一现象。

                                                        贝叶斯定理在先验概率和后验概率的应用举例


    【例】 一个红盒子有六个橘子一个苹果,一个蓝色盒子有一个橘子三个苹果,选择红盒子的概率为0.4,选择蓝盒子的概率为0.6,随机从盒子抽取一次水果,(1)求水果为橘子的概率;(2)当抽取的水果为橘子时,求随机选择盒子为红色的概率;

     

                                                   

    解:

    假设选择盒子的事件记为B,B有两种可能的结果,选择红盒子记为r,选择蓝盒子记为b;

    假设抽取水果的事件记为F,F有两种可能的结果,抽取橘子记为o,抽取苹果记为a;

    (1)、由全概率公式得:

     

    因此,随机抽取水果为橘子的该为0.45。

    (2)、问题转化为求解P(B=r|F=o)

                由贝叶斯定理得:

     

    由(2)可知,选择红色盒子概率为0.4,该概率为先验概率;当观测数据为橘子时,选择红色盒子的概率变成0.67,该概率为后验概率。再次证明了贝叶斯估计模型的概率是随着观测数据的变化而变化的。

                                                                                             总结


    本文介绍了频率学派和贝叶斯学派的概率定义,频率学派认为模型是一成不变的,贝叶斯学派认为模型是随着数据的更新而不断更新,频率学派和贝叶斯学派都可以使用最大似然函数来估计模型。

                                                                        

     

     

    展开全文
  • 要说贝叶斯和频率学派,那简直太有意思了。为什么这么说呢?因为两个学派的理解对于我来说真的是一场持久战。我是在学习机器学习的时候接触到的这两个学派,此前并不知道,当时就被深深吸引了,于是找了...
  • 频率学派和贝叶斯学派 对概率的诠释有两大学派,一种是频率派另一种是贝叶斯派。对已知数据集记为: XN×p=(x1,x2,⋯ ,xN)T,xi=(xi1,xi2,⋯ ,xip)T(式1) X_{N\times p}=(x_{1},x_{2},\cdots,x_{N})^{T},x_{i}=(x_{...
  • 终极算法【6】——贝叶斯学派

    千次阅读 2018-07-29 12:49:13
    本质上,贝叶斯定理不仅仅是一个简单的规则,当你收到新的论据时,它用来改变你对某个假设的信任度:如果论据和假设一致,假设成立的概率上升,反之则下降。 如果我们观察一个即使没有该原因也会发生的结果,那么能...
  • 贝叶斯学派机器学习

    2019-07-03 18:20:42
    贝叶斯学派的机器学习方法有一些共同点,首先是都使用贝叶斯公式,其次它们的目的都是最大化后验函数,只是它们对后验函数的定义不相同。 朴素贝叶斯分类器: 朴素贝叶斯分类器是假设影响分类的属性(每个维度)...
  • 这时贝叶斯学派会找几个高考特级教师对这个人进行一下考前测验和评估,然后让这几个教师给出一个主观的可能性,比如说:这个人有9成的把握考上北大。 二派的区别主要在于对概率的定义,频率学派就是很客观的了。而...
  • 另外有一个更加综合的观点就是贝叶斯学派。在贝叶斯学派的观点下概率表示的是事件的不确定性大小。 使用概率表示不确定性,尽管不是唯一的选择。可是是必定的,由于假设想使用比較自然的感觉进行合理的综合的判断...
  • 频率学派和贝叶斯学派区别浅谈

    千次阅读 2018-03-15 09:58:48
    贝叶斯派则认为参数是随机值,因为没有观察到,那么和是一个随机数也没有什么区别,因此参数也可以有分布,个人认为这个和量子力学某些观点不谋而合。 往小处说,频率派最常关心的是似然函数,而贝叶斯派最常关心的...
  •     频率学派与贝叶斯学派的区别在于“概率”这个概念的认识以及应用上。     频率学派认为概率是实验中事件发生频率的极限值。也就是说,经过无数次重复试验,事件发生的频率与该事件发生的概率就相等了。所以...
  • 频率学派和贝叶斯学派的一些区别

    万次阅读 2017-09-11 20:50:41
    频率 vs 贝叶斯 = P(X;w) vs P(X|w) 或 P(X,w) 你是把参数当作一个待确认系数 还是一个随机变量。 -------------------------------------------------------------------------------------
  • 频率派 vs 贝叶斯派 X:data -> X=(x1,x2,...,xN)N∗PTX = (x_1, x_2, ..., x_N)^T_{N*P}X=(x1​,x2​,...,xN​)N∗PT​ θ\thetaθ:parameter 假设x∽p(x∣θ)x{\backsim}p(x|\theta)x∽p(x∣θ):x服从p(x∣...
  • 频率学派(古典学派)和贝叶斯学派是数理统计领域的两大流派。 这两大流派对世界的认知有本质的不同:频率学派认为世界是确定的,有一个本体,这个本体的真值是不变的,我们的目标就是要找到这个真值或真值所在的...
  • 概率学派和贝叶斯学派的区别

    千次阅读 2018-05-29 17:16:26
    概率学派和贝叶斯学派的区别 前言 对于一个数学模型来说,最主要的莫过于根据观察到的数据进行模型的参数估计了,而概率学派和贝叶斯学派对于这个参数估计有着不同的做法,接下来我们讨论下。 如有谬误,请联系...
  • 针对频率学派在统计推断应用上的缺陷,本文提出使用贝叶斯派进行统计推断。通过对比两大学派在概率的解释、统计推断中信息所用的来源、参数的点估计和区间估计上的不同形式,本文总结了Bayesian统计推断的优点和适用...
  • 大家好,我是Beyonce,今天给大家分享一下东哥的这篇文章,给大家解解惑!...要说贝叶斯和频率学派,那简直太有意思了。为什么这么说呢?因为两个学派的理解对于我来说真的是一场持久战。我是在学...
  • 关于机器学习领域里两派的发展基础及不同点,转自知乎上,主要我认为比较容易理解的几点: 著作权归作者所有。...简单地说,频率学派与贝叶斯学派探讨「不确定性」这件事时的出发点与立足点不同。频率学
  • 频率学派和贝叶斯学派的参数估计

    千次阅读 多人点赞 2016-06-20 15:37:27
    一 频率学派与贝叶斯学派的区别 二 频率学派的参数估计 极大似然估计 1 离散随机变量的似然函数 2 连续随机变量的似然函数 3 最大似然估计一般求解过程 三 贝叶斯学派的参数估计 最大后验估计 贝叶斯估计 参考文献一...
  • 最近paper上看到了很多贝叶斯估计的问题,总结一下网上的贝叶斯估计相关知识。 贝叶斯公式: 最大似然估计: 实际上是求了红线框起来的部分 最大后验估计: 实际上是去求了红线框起来的部分。比最大似然估计...
  • 贝叶斯学派与频率学派有何不同? - 郭志敏的回答 - 知乎 https://www.zhihu.com/question/20587681/answer/139100761 看了一系列资料后我的粗浅层面理解: 频率学派(frequentist):认为概率即事件长时间内发生的...
  •  既然提到贝叶斯定理,就不得不提到频率学派(Frequentists)和贝叶斯学派(Bayesians).频率学派最重要的就是不断的重复(越多越 好, 趋近于无限);而贝叶斯学派讲的都是抽样和分布. 虽然贝叶斯学派的兴起才短短二十多年,...
  • 这里的频率学派,认为参数θ是一个常量,只有属于置信区间,或者∉置信区间,没有属于这个某个置信区间的概率是0.9的说法。第一个意思是整体分布的一个参数θ,取θ的某一个先验分布,计算在该先验分布的条件下的...
  • 作者:夏飞Google | 软件工程师量子位 已获授权编辑发布转载请联系原作者本文作者夏飞,清华大学...频率学派 - Frequentist - Maximum Likelihood Estimation (MLE,最大似然估计)贝叶斯学派 - Bayesian - Maxi...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 2,952
精华内容 1,180
关键字:

贝叶斯学派