精华内容
下载资源
问答
  • 浅谈概率观点中的频率学派和贝叶斯学派。
        使用随机事件的发生的频率描述概率的方法,就是通常说的古典概型,或者称为频率学派。另外有一个更加综合的观点就是贝叶斯学派,在贝叶斯学派的观点下概率表示的是事件的不确定性大小。
    
        使用概率表示不确定性,虽然不是唯一的选择,但是是必然的,因为如果想使用比较自然的感觉进行合理的综合的推断的话。在模式识别领域,对概率有一个更综合的了解将会非常有帮助。例如在多项式曲线拟合的过程中,对观察的目标变量使用频率学派的观点来理解看起来比较合适。但是我们希望确定最佳模型的参数w的不确定性情况,于是我们可以看见在贝叶斯理论中不仅可以描述参数的不确定性,实际上选择模型本身也是不确定的。
        比较通俗的理解就是,贝叶斯观点下,在模型中,通常我们需要建模一个先验分布,比如说在多项式曲线的拟合过程中,我们不仅要选择确定模型的参数,我们还需要建立参数的先验,于是很容易结合到贝叶斯公式:
        在公式(1.43)中右边的p(D|w)是一个在w下的函数,表示的是在w确定下的数据出现的情况,因此我们称之为似然函数。定义了似然之后,对于贝叶斯理论我们可以使用(1.44)表示。
        在贝叶斯理论和频率学理论中,似然函数p(D|w)都扮演着非常重要的角色。在频率学观点中,w被当做是一个确定的参数,这个参数由某种形式的估计来确定,这个估计是基于可能数据集的分布来获得。而在贝叶斯观点中,参数的情况来自于一个对w的分布建模。
        贝叶斯观点的优势在于在模型中包含先验的知识是很自然的。例如在抛硬币的试验中,如果抛三次硬币出现了三次都是正面,那么根据频率学的观点,使用最大似然进行估计那么得到出现正面的可能性为1,这就是说以后都是以1的概率出现正面。相反在贝叶斯的理论中,引入一个合理的先验将会避免这样极端的结论。
        虽然在频率学派和贝叶斯学派中存在很多的争论,但是事实上没有纯粹的频率观点或者贝叶斯观点。然而在实际的应用中,对贝叶斯理论应用有一个很大的批评,就是说通常先验的选择是基于数学理论方便性来进行选择,而不是反应任何的先验信念。
        虽然说贝叶斯框架是在18世纪就已经提出了,但是贝叶斯理论的应用受限于计算贝叶斯方法的整个过程,尤其是在预测或者比较模型的时候需要marginalize整个的参数空间。但是随着采样方法的发展,如Markov chain Monte Carlo,使得其可以应用于小规模的问题。另外deterministic approximation schemes(variational Bayes and expectation propagation)的发展,作为采样方法的一种可选替代,也使得贝叶斯方法可以应用在大规模的应用中。
        其实简单按照[2]中的比喻来说,打麻将过程中,如果只按照出在桌面上的牌的情况来确定自己出什么牌的就是频率学派;而如果是考虑牌由谁打出来的基础上,考虑桌面上牌的情况,那么我们就可以理解为贝叶斯学派。
        本文基本上可以认为是PRML的阅读笔记,主要来自于阅读[1]中的内容,如果其中有问题,欢迎指正,非常感谢。

    参考资料:
    [1]. Pattern Recongnition and Machine Learning, author Christopher M. Bishop, section 1.2.3 Bayesian probabilities.
    [2]. 【机器学习】频率学派和贝叶斯学派,http://blog.csdn.net/zhuangxiaobin/article/details/26166599.
    展开全文
  • 二派的区别主要在于对概率的定义,频率学派就是很客观的了。而贝叶斯学派认为概率就是人对一个事件发生有多大的信心。虽然二者对概率的定义不同,但是都满足概率的公理化定义所要求的条件。 因此,目前贝叶斯学派...

    通过举例进行解释

    频率学派需要做大量实验才能给出结论,比如为了得到抛硬币正面朝上的概率,通过抛100次硬币,用硬币正面向上的次数除以100。

    贝叶斯概率论假设观察者对某事件处于某个知识状态中(刚开始先验地相信一枚硬币是均匀的),之后观察者开始新的观测或实验(不断地抛硬币,发现抛了100次后,居然只有20次是正面朝上)。经过这些试验获得了一些新的观测结果,这些新的观测将影响观察者原有的信念(开始怀疑这枚硬币究竟是不是均匀的,甚至开始断定硬币并不均匀)。

    结合应用领域进行解释

    然而,如果要计算一个人今年高考考上北大的概率,频率学派就会遇到很大的问题,因为很难让一个人考100次,然后用考上的次数除以100。这时贝叶斯学派会找几个高考特级教师对这个人进行一下考前测验和评估,然后让这几个教师给出一个主观的可能性,比如说:这个人有9成的把握考上北大。
    二派的区别主要在于对概率的定义,频率学派就是很客观的了。而贝叶斯学派认为概率就是人对一个事件发生有多大的信心。虽然二者对概率的定义不同,但是都满足概率的公理化定义所要求的条件。

    因此,目前贝叶斯学派可以用于预测美国总统竞选成功的概率、巴西下届世界杯夺冠的概率、明天下雨的概率、运载火箭发射成功的概率,等等。很明显,这些事件的概率通过频率学派是很难进行估计的,因为这些事件不可能在相同条件下重复。

    不过,频率派的优点则是没有假设一个先验分布,因此更加客观,也更加无偏。由此,在一些保守的领域(比如制药业、法律)比贝叶斯方法更受到信任。

    深入解释

    简单地说,频率学派与贝叶斯学派探讨「不确定性」这件事时的出发点与立足点不同。频率学派从「自然」角度出发,试图直接为「事件」本身建模,即事件A在独立重复试验中发生的频率趋于极限p,那么这个极限就是该事件的概率。例如想要计算抛掷一枚硬币时正面朝上的概率,就需要不断地抛掷硬币,当抛掷次数趋向无穷时正面朝上的频率即为正面朝上的概率。

    然而,贝叶斯学派并不从试图刻画「事件」本身,而从「观察者」角度出发。贝叶斯学派并不试图说「事件本身是随机的」,或者「世界的本体带有某种随机性」,这套理论根本不言说关于「世界本体」的东西,而只是从「观察者知识不完备」这一出发点开始,构造一套在贝叶斯概率论的框架下可以对不确定知识做出推断的方法。频率学派下说的「随机事件」在贝叶斯学派看来,并不是「事件本身具有某种客观的随机性」,而是「观察者不知道事件的结果」而已,只是「观察者」知识状态中尚未包含这一事件的结果。但是在这种情况下,观察者又试图通过已经观察到的「证据」来推断这一事件的结果,因此只能靠猜。贝叶斯概率论就想构建一套比较完备的框架用来描述最能服务于理性推断这一目的的「猜的过程」。因此,在贝叶斯框架下,同一件事情对于知情者而言就是「确定事件」,对于不知情者而言就是「随机事件」,随机性并不源于事件本身是否发生,而只是描述观察者对该事件的知识状态。

    总的来说,贝叶斯概率论为人的知识(knowledge)建模来定义「概率」这个概念。频率学派试图描述的是「事物本体」,而贝叶斯学派试图描述的是观察者知识状态在新的观测发生后如何更新。在这一过程中,观察者无法用简单的逻辑来推断,因为观察者并没有完全的信息作为证据,因此只能采用似真推断(plausible reasoning),对于各种各样可能的结果赋予一个「合理性」(plausibility)。例子中,根据原有的信念,抛硬币正反面朝上的概率相等这个论断合理性非常高。但是在观察到100次抛掷中只有20次正面朝上后,我们开始怀疑抛硬币正反面朝上的概率相等这个论断,认为抛硬币反面朝上的概率更大这个推断的合理性更高,而支持的证据就是刚刚实验的观测结果。

    往大里说,世界观就不同,频率派认为参数是客观存在,不会改变,虽然未知,但却是固定值;贝叶斯派则认为参数是随机值,因为没有观察到,那么和是一个随机数也没有什么区别,因此参数也可以有分布。

    往小处说,频率派最常关心的是似然函数,而贝叶斯派最常关心的是后验分布。我们会发现,后验分布其实就是似然函数乘以先验分布再normalize一下使其积分到1。因此两者的很多方法都是相通的。贝叶斯派因为所有的参数都是随机变量,都有分布,因此可以使用一些基于采样的方法使得我们更容易构建复杂模型。

     

    参考链接:

    https://blog.csdn.net/nbw_gx/article/details/77937712

    https://www.zhihu.com/question/20587681

    展开全文
  • 频率学派和贝叶斯学派 这是两种看待概率的态度。我们生活中,常常借助概率来做判断。想象一下,你自己是如何看待概率的? 贝叶斯学派把概率当作一种确定性水平,把概率当作一种主观的参考依据。 频率学派把频率当作...

    频率学派和贝叶斯学派

    这是两种看待概率的态度。我们生活中,常常借助概率来做判断。想象一下,你自己是如何看待概率的?
    贝叶斯学派把概率当作一种确定性水平,把概率当作一种主观的参考依据。
    频率学派把频率当作概率(古典概型)。它统计过去发生事件的频率当作概率,所以它是客观的。
    可以举例说明二者的区别。
    比如:你抛一枚硬币100次,有53次正面朝上,频率学派的观点认为,这枚硬币下次实验正面朝上的概率为0.53。
    但是,考虑另一种情况。这种推理似乎不适用于那些不可重复的实验。如果说一个医生诊断了病人,并说该病人患流感的概率为40%。我们既不能让病人有无穷多相同的副本,也没有任何理由去相信病人的不同副本在具有不同的潜在条件下表现出相同的症状。在这个例子中,我们用概率表示一种信任度或者确定性水平
    另一个例子:
    有三扇门,两扇后面是空的,一扇里面是车,你选了一扇,主持人又开了一扇空的,问你改不改,为什么?
    有人说你应该换,这样你赢的概率将增加。另一种说法是,赢的概率不变,换不换无所谓。我倾向于使用贝叶斯学派的观点。把概率当作一种参考依据,在你打开一扇门后,我们换与不换,赢的概率都是0.5,是一样的。我认为前一种说法,是错误的使用了条件概率。因为在你第二次选择时,以前发生的事件已经不是随机事件(确定事件)。无论它发生的概率如何小,它对你来说已经没有意义了。把自己放在第一次选择的时刻去计算这种事件发生的概率是毫无意义的。
    不要把条件概率和计算当采用某个动作后会发生什么相混淆。假定,某个人会说中文,那么他是中国人的条件概率是非常高的,但是如果随机选择的一个人会说中文,它的国籍不会因此而改变。计算一个行动的后果被称为干预查询。它属于因果模型,不是概率模型
    概率可以被看作处理那些不确定事件的逻辑,概率论提供了许多逻辑帮助我们去处理新的命题。它是那么美妙以至于产生了机器学习、统计学领域诸多成果。

    展开全文
  • 频率学派(frequentist):认为概率即事件长时间内发生的频率,描述的是客观存在的事实,即涉及到的未知参数其实值是固定的,只是我们不知道。例如,在频率派的哲学语境里,飞机事故的概率指的是长期来看,飞机事故...

    贝叶斯学派与频率学派有何不同? - 郭志敏的回答 - 知乎 https://www.zhihu.com/question/20587681/answer/139100761

    看了一系列资料后我的粗浅层面理解:

    频率学派(frequentist):认为概率即事件长时间内发生的频率,描述的是客观存在的事实,即涉及到的未知参数其实值是固定的,只是我们不知道。例如,在频率派的哲学语境里,飞机事故的概率指的是长期来看,飞机事故的频率值。对许多事件来说,这样解释概率是有逻辑的,但对某些没有长期频率的事件来说,这样解释是难以理解的。

    贝叶斯学派(Bayesian):描述的不是客观事实而是主观信仰!它把概率解释成是对事件发生的信心。简单地说,概率是观点的概述。某人把概率0赋给某个事件的发生,表明他完全确定此事不会发生;相反,如果赋的概率值是1,则表明他十分肯定此事一定会发生。如果除去所有外部信息,一个人对飞机事故发生的信心应该等同于他了解到的飞机事故的频率。同样,贝叶斯概率的定义也能适用于总统选举,并且使得概率(信心)更加有意义:你对候选人A获胜的信心有多少?

    总的来看,如果题设是类似于抛硬币这种可以重复无数次的实验,频率与贝叶斯的概率趋同。否则的话,如果数据样本不够大,那么先验知识就对概率有了影响,换句话说,只凭少数样本的频率信息得出的概率与额外考虑一些先验知识的概率就不是一回事了,后者可能在实际当中更可靠一些。

     

    为了和传统的概率术语对齐,我们把对一个事件A发生的信念记为P(A),这个值我们称为先验概率。

    伟大的经济学家和思想者John Maynard Keynes曾经说过(也有可能是杜撰的):“当事实改变,我的观念也跟着改变,你呢?”这句名言反映了贝叶斯派思考事物的方式,即随着证据而更新信念。甚至是,即便证据和初始的信念相反,也不能忽视了证据。我们用P(A|X)表示更新后的信念,其含义为在得到证据X后,A事件的概率。为了和先验概率相对,我们称更新后的信念为后验概率。

    作者:郭志敏
    链接:https://www.zhihu.com/question/20587681/answer/139100761
    来源:知乎
    著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

     

    图片

    展开全文
  • 频率学派认为:参数虽然未知,但具有客观存在固定值 贝叶斯学派认为:参数计算是未观察到随机变量,其本身也可有分布。可假设参数服从一个先验分布,然后根据观察到数据来计算参数后验分布。 先验概率:由...
  • 这里的频率学派,认为参数θ是一个常量,只有属于置信区间,或者∉置信区间,没有属于这个某个置信区间的概率是0.9的说法。第一个意思是整体分布的一个参数θ,取θ的某一个先验分布,计算在该先验分布的条件下的...
  • 贝叶斯学派与频率学派

    千次阅读 2016-07-19 17:47:07
    频率学派对于频率学派...因此对于频率学派来说,其通过大量的独立重复实验,观察某种事件出现的频率来预估其出现的概率。针对模型P(x;θ)P(x;\theta)来说,该学派认为模型的参数是存在且固定的,我们要做的就是求出让P
  • 频率学派与贝叶斯学派区别

    千次阅读 2014-04-28 13:34:46
    有人学了多年统计说不清楚频率学派与贝叶斯学派区别,什么主观对客观啦,什么似然 函数对后验概率啦,那些都是现象,不是本质。两者本质上区别是:频率学派把未知参 数看作普通变量,把样本看作随机变量;而...
  •     频率学派与贝叶斯学派的区别在于“概率”这个概念的认识以及应用上。     频率学派认为概率是实验中事件发生频率的极限值。也就是说,经过无数次重复试验,事件发生的频率与该事件发生的概率就相等了。所以...
  • 使用随机事件的发生的频率描写叙述概率的方法,就是通常说的古典概型。或者称为频率学派。 另外有一个更加综合的观点就是贝叶斯学派。在贝叶斯学派的观点下概率表示的是事件的不确定性大小。 使用概率表示不...
  • 频率学派:使用随机事件的发生的频率描述概率的方法,就是通常说的古典概型,直接为事件本身建模,认为模型存在固定的参数。 贝叶斯学派:参数是未观察到的随机变量,其本身也可有分布(也就是说,从观察者的角度...
  •   频率学派往往通过证据推导一件事情发生的概率,而贝叶斯学派还会同时考虑这个证据可信度。从参数估计角度来讲,频率学派认为参数是固定不变,虽然我们不知道它,但是我们可以根据一组抽样值去预测它结果...
  • 针对频率学派在统计推断应用上的缺陷,本文提出使用贝叶斯派进行统计推断。通过对比两大学派在概率的解释、统计推断中信息所用的来源、参数的点估计和区间估计上的不同形式,本文总结了Bayesian统计推断的优点和适用...
  • 概率论自发展以来,主要出现了两大学派...”这显然无法用频率学派的观点度量。 以一个最简单例子说明,两个学派最大不同,是他们对似然函数不同处理。 举例来说,现在某人体温39摄氏度,问他是否发烧? ...
  • 回归问题的概率解释线性回归损失函数线性回归-最小二乘的概率解释(频率学派-最大似然估计)岭回归损失函数岭回归的概率解释(贝叶斯学派-最大后验估计)对比最大似然估计与最大后验估计 线性回归损失函数 J...
  • 经典统计学下的频率学派,又称客观概率 贝叶斯统计学下的主观频率。 拉普拉斯所推崇的概率论是贝叶斯学派。 频率学派要求研究对象事件可以重复出现,对于股市而言,每个时刻的股价都是不同的,时间单调不回头,基于...
  • 数学与统计学最大区别在于数学研究是变量,而统计学研究是随机变量 频率学派把未知参数看作普通变量... 频率学派与贝叶斯学派区别主要是是否允许先验概率分布使用 贝叶斯派因为所有参数都是随机变量...
  • 频率学派:事件本身是服从某种分布的,这种分布的参数是固定的,频率即概率,在极限情况下(数据量足够多)的情况下,频率可以近似看做概率,且概率是不变的,事件A在n次独立重复试验中发生的频率趋于极限p,那么...
  • 前言 frequentist statistics:模型参数是未知定值,观测是随机变量;思想是观测数量趋近于无穷大+真实分布属于模型族中-&...代表是最大后验概率估计MAPE;依赖先验概率 最大似然估计(Ma...
  • 贝叶斯学派与频率学派有何不同?

    千次阅读 2015-11-02 17:53:18
    看PRML关于贝叶斯概率的时候晕的不行。。。从知乎、csdn上看到一些回答。摘录如下 著作权归作者所有。 作者:任坤 链接:http://www.zhihu.com/question/20587681/answer/17435552 来源:知乎 简单地说,...
  • 【贝叶斯学派】与【频率学派

    千次阅读 2017-07-07 17:36:15
    直至今日,关于统计推断主张和想法,大体可以纳入到两个体系之内,其一叫频率学派,其特征是把需要推断参数θ视作固定且未知常数,而样本X是随机,其着眼点在样本空间,有关的概率计算都是针对X分布。...
  • 2-频率学派 vs 贝叶斯

    2020-08-04 15:12:33
    频率学派认为参数θ\thetaθ为未知,x为随机变量,使用最大似然估计(MLE)获得估计值。 贝叶斯学派认为参数θ\thetaθ也是随机变量,服从先验分布p(θ)p(\theta)p(θ)。 MAP使后验概率最大点为估计:θMAP=arg...
  • 频率学派(古典学派)和贝叶斯学派是数理统计领域两大流派。 这两大流派对世界认知有本质不同:频率学派认为世界是确定,有一个本体,这个本体真值是不变,我们目标就是要找到这个真值或真值所在...

空空如也

空空如也

1 2 3 4 5 ... 10
收藏数 195
精华内容 78
关键字:

概率的频率学派