目录

1、条件概率

2、全概率公式

3、先验概率

4、后验概率

5、贝叶斯（bayes）公式

介绍这些概念之前，首先需要了解 条件概率 及 全概率公式 。

1、条件概率

在事件 B 发生的条件下事件 A 发生的概率。

P(AB) 为 A、B 同时发生的概率，在独立同分布的情况下 P(AB)=P(A)P(B)。

2、全概率公式

假如事情 A 的发生可能有 B1、B2… 多种原因导致，则

 为试验 E 样本空间的一个划分，A 为试验 E 的事件。

3、先验概率

根据以往经验或数据分析得到的已知（原因、类别、途径等的）概率。

4、后验概率

若先验概率为 P(A) ，则称 P(A|b) 为后验概率，即得到 b 的信息之后计算得出的概率，判断结果（b）的发生是由哪个原因（A）引起的概率。后验概率有点事后诸葛亮的意思，就是事情发生后我再去找导致这个事件的原因。

5、贝叶斯（bayes）公式

贝叶斯公式就是用来计算后验概率的一种方式，公式如下

贝叶斯公式主要用于当观察到一个事件（b）已经发生时，去求导致该事件发生的各种原因、情况、途径或事件的种类的可能性大小。公式中使用的 P(b|A) 称作类条件概率，即由原因得到某件事情可能发生的概率。

例如，在机器学习领域中，若 b 是一张图片，把 b 作为网络的输入，则后验概率 P(A|b) 可以作为 b 属于类别 A 的概率。

原文：贝叶斯公式的直观理解(先验概率/后验概率)

前言

　　以前在许学习贝叶斯方法的时候一直不得要领,什么先验概率,什么后验概率,完全是跟想象脱节的东西,今天在听喜马拉雅的音频的时候突然领悟到,贝叶斯老人家当时想到这么一种理论前提可能也是基于一种人的直觉.

下面的定义摘自百度百科：

先验概率是指根据以往经验和分析得到的概率,如全概率公式,它往往作为"由因求果"问题中的"因"出现.

后验概率是指依据得到"结果"信息所计算出的最有可能是那种事件发生,如贝叶斯公式中的,是"执果寻因"问题中的"因".

举个栗子

　　首先我想问一个问题,桌子上如果有一块肉喝一瓶醋,你如果吃了一块肉,然后你觉得是酸的,那你觉得肉里加了醋的概率有多大?你说:80%可能性加了醋.OK,你已经进行了一次后验概率的猜测.没错,就这么简单.

形式化:

　　我们设A为加了醋的概率,B为吃了之后是酸的概率.C为肉变质的概率

思考思考再思考

　　那么先验概率在这个公式中有没有出现呢?有,P(A)就是一种先验概率.

　　那么什么是P(B|A)呢? 类条件概率.

　　那么P(B|A)为什么叫类条件概率呢?马上解释.

　　在写这个随笔之时,我脑子中又有一种构想,所谓的后验概率,是一种果因概率,即在一个结果已经发生的条件下,可能是其中某一个原因造成的概率有多大.这里引用一段"概率论与数理统计"[2]中关于贝叶斯公式的解释:

那么这个P(原因1导致结果)和P(结果|原因1)之间到底有什么联系呢?让我们举一个图像识别的例子

再举个栗子

　　假如给你一些图片,这些图片中有的图上有动物的角,这些图片占了1/10(即先验概率),且已知在有角的条件下是犀牛的概率是0.8(类条件概率1,注意这个概率互补的概率是有角条件下不是犀牛的概率),已知在无角条件下是犀牛概率的是0.05(类条件概率2),现在拿起一张图,发现是一张犀牛的图,那么这张图上带角的概率有多大(求后验概率)

由图中公式可知P(图片上由动物的角|是犀牛) = 0.8*0.1/(0.8*0.1+0.05*0.9)=0.64

　　可以看到P(图片上由动物的角且是犀牛)=0.08与P(是犀牛|图片上由动物的角)=0.8之间差别非常大.

　　再通过比较可以发现,分母中的类条件概率实际上把一个完整的问题集合S通过特征进行了划分,划分成S1/S2/S3...,拿我刚刚提出的所谓果因概率来讨论,类条件概率中的类指的是把造成结果的所有原因一(yi) 一(yi)进行列举,分别讨论.

总结:

我想之所以贝叶斯方法在机器学习中如此重要,就是因为人们希望机器人能像人那样思考,而很多问题是需要计算机在已知条件下做出最佳决策的决策,而贝叶斯公式就是对人脑在已知条件下做出直觉判断的一种数学表示.

参考：

数学之美---先验概率与后验概率、贝叶斯区别与联系

先验概率，后验概率

贝叶斯公式-先验概率/后验概率

先验概率/后验概率的概念解释

先验概率：事情还没有发生,根据以往的经验来判断事情发生的概率。比如掷塞子，比如投硬币，我们在事情发生之前就可以预测掷塞子是一点的概率是1/6，硬币正面的概率是1/2，这是根据人的常识或者实验数据判断的。
后验概率：事情已经发生了,有多中原因,判断事情的发生是由哪一种原因引起的。
这里举一个例子，Q市一共有两个学校，A和B，A学校有50名男生，50名女生；B学校有30名男生，70名女生。现在我们在Q市随机找一个学生，是男生的概率是40%，这是先验概率。我们在Q市发现一个男生，问这个男生是A学校学生的概率，这是后验概率。

计算公式举例

“概率论只不过是把常识用数学公式表达了出来”—拉普拉斯

现在我们把之前举得例子用公式表示出来，更加方便于理解。
先验概率：我们在Q市随机找一个学生，是男生的概率是40%。

后验概率：我们在Q市发现一个男学生，问这个男生是A学校学生的概率。
这里需要简单说明一下，在上面这个公式里面不仅仅包含了后验概率。P(男生)，P(A校的)都是先验概率。P(男生|A校的)是类条件概率(就是已知一个条件下，结果发生的概率。类条件概率中的类指的是把造成结果的所有原因一 一进行列举，分别讨论)。

进一步举例

下面我们对上面的例子进一步细化，加深理解。

Q市一共有两个学校，A和B，A学校有50名男生，50名女生；B学校有30名男生，70名女生。A校男生理短发的概率为90%，女生理短发的概率为30%；B校男生理短发的概率为100%，女生理短发的概率为20%。现在发现了一个学生理短发，请问他是B校女生的概率为多少。这又是一个后验概率的问题。

这里的P(短发)的展开是全概率公式，计算所有可能导致短发结果的概率。再用P(B校的，且是女生，且是短发)与之相比，得到结果。

总结

简单的讲了一下贝叶斯公式中的先验概率/后验概率，相当于一个事件的正推和反推，将人们在事物判断中的逻辑具体为严谨直观的公式。