文章目录
前言
边缘概率
联合概率
定义
分析
条件概率
定义
问条件概率能举个例子吗
问条件概率在图中表示的是哪一块呢？
条件概率习题：
全概率
定义
推导
全概率习题
贝叶斯公式
定义
推导
贝叶斯定理习题
结束语

前言
条件概率，边缘概率，联合概率，全概率，贝叶斯定理是机器学习中几乎所有算法的基础，虽然公式记住了，但是为什么是这样，以及如何理解看过之后隔一段时间问题忘，这里在这里好好做下总结
边缘概率
边缘概率是与联合概率相对应的，$P(A)$和$P(B)$这类仅与单个随机变量有关的概率称为边缘概率。

边缘概率是不用求的，一般都会给出。
条件概率是由联合概率反推出来的，理解起来没有那么直观，全概率，贝叶斯定理也是由联合概率推导出来的，所以这里先说联合概率再说条件概率，最后再讲贝叶斯定理。
联合概率
定义
指包含多个条件且所有条件同时成立的概率，记作$P(A, B)$，或$P(AB)$或$P(A \cup B)$，不过一般都是写成$P(A, B)$。
分析
事件A和事件B可以相互影响的，不过也可以相互独立，不过没有讨论的意义。



如上图

绿色的椭圆表示事件A发生的概率$P(A)$

橘红色的椭圆表示事件B发生的概率$P(B)$

A和B相交的部分就是$P(A,B)$发生的概率
其中

$P(A)$和$P(B)$都是边缘概率

$P(A,B)$就是联合概率
于是我们可以很

可以看到事件A发生的概率和事件B相交的部分就是$P(A,B)$
然后我们也就很容易理解

$P(A,B)$发生的概率就是：

事件B发生的概率，乘以事件A在事件B发生的条件下发生的概率，

于是有：$P(A,B) = P(B)  P(A|B)$
其中$P(A| B)$就是事件B发生的情况下事件A发生的概率就是条件概率，记为$P(A|B)$，下文会继续讲到。
条件概率
定义
已知事件A发生的条件下，另一个事件B发生的概率称为条件概率，即为：$P(A|B)$
事件A和事件B是相互影响的。更通俗地说事件A与事件B是有关系的，发生事件A会影响发生事件B发生的概率。
问条件概率能举个例子吗
学生时代两个人竞选班，同学A赢的概率是0.6，同学B赢的概率是0.4，问同学A在同学B先被投票的情况下赢的概率是多少。

心理学上有种先入为主的现象，不管是谁，第一个被投票的往往比第二个得票更多一些，就这就是两个事件相互影响，这就是条件概率
问条件概率在图中表示的是哪一块呢？
答：条件概率$P(A|B)$在图中表示不出来，$P(A,B)$和$P(B)$都是以图形的形式表示概率的，$P(A|B)$则是$P(A|B)$是$P(A,B)$除以$P(B)$的比值，在图形上表示不出来。

条件概率毕竟还是有些抽象滴。。。要不然也不会主要求它啊（_）
$P(A|B)$是通过联合概率反推出来的，以图形化的方式表示自然没有那么直观，不过以联合概率反推的方式来解理还是很好理解的，参考联合概率
OK，到这里来道习题加深下理解吧
条件概率习题：
从$1，2，3，\ldots ，15$中甲乙两人各任取一个数字（不重复），已知甲取到的数是5的倍数，求甲数大于乙数的概率。
解：

设事件A表示”甲取到的数比乙大“，即$P(A)$

设事件B表示”甲取到的数是5的倍数”，即$P(B)$

则显然所要就是条件概率$P(A|B)$

根据公式

$P(A|B) = \frac{P(A,B)}{P(B)}$
而:

$P(B) = \frac{3}{15} = \frac{1}{5}$
$P(A,B) = \frac{C^1_4 + C^1_9 + C^1_{14}}{C^1_{14}C^1_{15}} = 9 / 70$
则

$P(A|B) = \frac{P(A,B)}{P(B)} =  \frac{9}{70}$
所以 $P(A|B) = \frac{9}{14}$
通过这么一个例子，理解起来是不是更深入了?

我们可以发现：

$P(B)$是边缘概率,是直接可以求出来的,
$P(A)与P(B)$是相互影响的，
$P(A,B)$是联合概率通过复杂些的计算也是可以求出来的,

但是条件概率P(A|B)则比较抽象，没那么容易求出来，

OK，现在知道了条件概率的意义了吧
全概率
定义
联合概率中把事件A分割成事件$A_1，A_2，A_3, \cdots, A_n$，并把A与B的位置对调于是就成了全概率，如下图


推导
只是全概率是求事件B的，

全概率需要满足以下条件：

事件A1到An是相互独立的
事件A1到An组成了整个样本空间A
事件A1到An能把事件B无重叠地覆盖掉

如上图，事件B发生的概率是由C1~C6组成的,于是有：

$P(B) = P(C_{1}) + P(C_{2}) + P(C_{3}) + P(C_{4}) + P(C_{5}) + P(C_{6})$

简化一下就是：$P(B) = \sum_{i=1}^{6}P(C_{i})$
而$P(C_{i}) = P(B | A_{i})$

于是全概率公式就出来了

$P(B) = \sum_{i=1}^{n}P(B | A_{i})$
注意啊，到全概率的时候A（$A_{i}$）与B，的位置就反过来了，比如说

条件概率公式的表示形式是：$P(A|B)$

全概率公式的表示形式是：$P(B|A_{i})$

好了，来道题吧：
全概率习题
某工厂有两个车间产生同一型号的配件，第一车间的次品率是$0.15$，第二车间的次品率是$0.12$，两个车间的成品都混合堆放在一直，假设第1，2车间生产的成品比例为$2:3$，现有一客户从混合成品堆里随机抽查一台产品，求该产品的合格率。

解：

设

事件B = {从仓库中随机抽查的产品的合格率}

事件A_{i} = {抽的是第$i$车间产生的}，$i = 1, 2$

于是

$P(B) = \sum_{i=1}^{2}P(A_{i})P(B| A_{i})$

由题意可知：

$A_1$的边缘概率：

$P(A_{1}) = \frac{2}{5}$

$A_2$的边缘概率：

$P(A_{2}) = \frac{3}{5}$

条件概率：

$A_1$发生的情况下，B发生的概率：

$P(B|A_{1}) = \frac{P(B, A_{1})}{P(A_{1})}$
$P(B|A_{1}) = 0.85$
$A_2$发生的情况下，B发生的概率：

$P(B|A_{2}) = \frac{P(B, A_{2})}{P(A_{2})}$
$P(B|A_{2}) = 0.88$
根据全概率公式可知:
$P(B) = P(A_{1})P(B| A_{1}) + P(A_{2})P(B| A_{2})$
所以$P(B) = 0.868$
贝叶斯公式
定义
同样条件概率中把A推分割成$A_1，A_2，A_3, \cdots, A_n$,并把A与B的位置对调就成了贝叶斯公式
推导


根据上图（没错，两个图是一样的，只是离得太远看着不方便）

我们可以知道：求事件B发生的情况下$A_i$发生的概率其实就是求：$P(C_i)$

而根据条件概率我们可以知道：

$P(C_{i}) = P(A_i | B) = \frac{P(B, A_{i})}{P(B)}$
由全概率公式我们可以知道：

$P(B) = \sum_{j=1}^{n}P(A_{j})P(B|A_{j})$
于是我们最终得到贝叶斯定理的公式为（注意$i$与$j$的不同）：

$P(A_{i}|B) = \frac{P(B, A_{i})}{\sum_{j=1}^{n}P(A_{j})P(B|A_{j})}$

同样来道习题
贝叶斯定理习题
某公路上经过的货车与客车的数量之比为$2:1$，货车中途停车修理的概率为$0.02$，客车为$0.01$，现有一辆汽车中途停车修理，问该汽车是货车的概率

解：

设

事件$B$ = {中途停车修理}

事件$A_1$ ={经过的是货车}，

事件$A_2$ ={经过的是客车}，

于是事件B有：$B = A_{1}B \cup A_{2}B$
由贝叶斯公式有：

$P(A_{1} | B) = \frac{P(A_1)P(B|A1)}{P(A_1)P(B|A1) + P(A_2)P(B|A_2)}$
$P(A_{1} | B) = \frac{\frac{2}{3} × 0.02}{\frac{2}{3} × 0.02 + \frac{1}{3} × 0.01}$
所以最后的结果为：$P(A_{1} | B) =0.80$
结束语
OK,到这里边缘概率，联合概率，条件概率，全概率，贝叶斯定理就全部完了，不知道你有没有看明白，不明白的话可以提问啊，咱一块交流。

文章目录
联合概率及其分布、边缘概率及其分布、条件概率及其分布
联合概率与联合概率分布
边缘概率与边缘概率分布
条件概率与条件概率分布
联合概率、边缘概率、条件概率之间的关系
离散型分布的情况
连续型分布的情况
贝叶斯定理（贝叶斯公式）
先验概率
后验概率
贝叶斯公式

联合概率及其分布、边缘概率及其分布、条件概率及其分布
联合概率与联合概率分布
假设有随机变量X与Y, 此时，P（X=a,Y=b）用于表示X=a且Y=b的概率。这类包含多个条件且所有条件同时成立的概率称为联合概率。联合概率并不是其中某个条件的成立概率， 而是所有条件同时成立的概率。

联合概率的一览表称为联合分布。
边缘概率与边缘概率分布
P（X=a）或P（Y=b）这类仅与单个随机变量有关的概率称为边缘概率。

边缘概率的一览表称为边缘分布。
条件概率与条件概率分布
在条件Y=b成立的情况下，X=a的概率，记作P（X=a|Y=b）或P（a|b）。

若只有两类事件X和Y，那么有

$\mathrm{P}(X=a | Y=b)=\frac{\mathrm{P}(X=a, Y=b)}{\mathrm{P}(Y=b)}$

条件概率的分布简称条件分布，即已知两个相关的随机变量X和Y，随机变量Y在条件{X=x}下的条件概率分布是指当已知X的取值为某个特定值x之时，Y的概率分布。
联合概率、边缘概率、条件概率之间的关系
“XY的联合概率”=“X基于Y的条件概率”乘以“Y的边缘概率” 。
离散型分布的情况
离散型分布下联合概率、边际概率、条件概率之间的等式关系：

$\begin{array}{l}{\mathrm{P}(X=x)=\sum_{y} \mathrm{P}(X=x, Y=y)=\sum_{y} \mathrm{P}(X=x | Y=y) \mathrm{P}(Y=} \\ {y}\end{array}$

P（X=x，Y=y）为XY的联合概率，P（X=x）为X的边际概率，P（X=x|Y=y）为X基于Y的条件概率，P（Y=y）为Y的边际概率。
连续型分布的情况
$P_{X}(x)=\int_{y} P_{X, Y}(x, y) \mathrm{d} y=\int_{y} P_{X|Y}(x | y) P_{Y}(y) \mathrm{d} y$

只需要将"累加"换成"积分"，就是连续型分布下联合概率、边际概率、条件概率之间的转换计算公式。
贝叶斯定理（贝叶斯公式）
先验概率
事件发生前的预判概率。可以是基于历史数据的统计，可以由背景常识得出，也可以是人的主观观点给出。一般都是单独事件概率，如P（X）。
后验概率
事件发生后求的反向条件概率；或者说，基于先验概率求得的反向条件概率。概率形式与条件概率相同。
贝叶斯公式
设X和Y分别为两类不同的事件，假设X和Y是互相独立的（属性条件独立性假设），由公式

$p(X | Y) p(Y)=p(X, Y)=p(Y | X) p(X)$

我们可以得到贝叶斯公式：

$p(Y | X)=\frac{p(X | Y) p(Y)}{p(X)}$

其中：

P（Y|X）是后验概率，一般是我们求解的目标。表示当拥有X这个条件后Y的概率，由于有X这个条件，后验概率可能与先验概率不同；
P（X|Y）是条件概率，又叫似然概率，它表示在承认先验的条件下另一个与之相关的随机变量的表现，一般是通过历史数据统计得到（即通过一个已知的小样本统计得到）。
P（Y） 是先验概率，它表示我们对一个随机变量概率最初的认识，一般都是人主观给出的。贝叶斯中的先验概率一般特指它。
P（X）其实也是先验概率，只是在贝叶斯公式中往往被认为是已知的，因此它一般被当做一个常量看待。使用朴素贝叶斯分类器计算时往往忽略这个P（X），因为它是常量。

使用加法规则，则贝叶斯定理中的分母可以用出现在分子中的项表示:

$p(X)=\sum_{Y} p(X | Y) p(Y)$

我们可以把贝叶斯公式的分母p（x）看做归一化常数，来确保贝叶斯公式左侧的条件概率对于所有的Y的取值之和为1。

考虑两个随机变量$X,Y$,其中$X$取值为$\{x_{i}\},i\in\{1,2,...,M\}$, $Y$取值为$\{y_{j}\},j  \in \{1,2,...,L\}$。如果考虑这两个变量总计$N$个 实例，$N\to\infty$,将$X=x_{i},Y=y_{j}$的实例数记为$n_{ij}$,将$X=x_{i}$的实例数记为$c_{i}$,将$Y=y_{j}$的实例数记为$r_{j}$。



 伯努利大数定理：当独立实验次数$N$趋于无穷时，某事件发生的概率$p$趋近于其发生的频率。
1、联合概率
$p(X=x_{i},Y=y_{j})$为$X=x_{i}$并且$Y=y_{j}$的概率，称为联合概率，其值等于落在单元格$i,j$的点（实例）的数量与所有点（所有实例）的比值：

$p(X=x_{i},Y=y_{j})=\frac{n_{ij}}{N}\tag{1}$
2、边缘概率
$p(X=x_{i})$是$X$取$x_{i}$的概率，则其等于落在$x_{i}$这一列的点的数量与所有点的数量的比值：

$p(X=x_{i}) = \frac{c_{i}}{N}\tag{2}$

$c_{i}$是落在第$i$列的所有单元格的点的总和，即:

$c_{i}=n_{i1}+n_{i2}+...+n_{ij}+...+n_{iL}=\sum_{j}n_{ij}\tag{3}$

而：

$n_{ij} = Np(X=x_{i},Y=y_{j})\tag{4}$

代入式(1)：

$p(X=x_{i})=\sum_{j=1}^{L}p(X=x_{i},Y=y_{j})\tag{5}$

$p(X=x_{i})$称为边缘概率，因为其通过把其它变量(这里是$Y$)边缘化（加和）得到。
3、条件概率
$p(Y=y_{j}|X=x_{i})$是当$X=x_{i}$时，$Y=y_{j}$的概率，可以理解为当$X=x_{i}$时，点是落在第$i$列，那么落在第$i$列的这些点里，有多少点其$Y=y_{j}$？，可知，$p(Y=y_{j}|X=x_{i})$的计算方式是落在单元格$i,j$的点的数量与落在第$i$列的点的数量的比值：

$p(Y=y_{j}|X=x_{i})=\frac{n_{ij}}{c_{i}}\tag{6}$

经过以下变换：

$p(Y=y_{j}|X=x_{i})=\frac{n_{ij}}{N}\cdot\frac{N}{c_{i}}\tag{7}$

结合式(1)和式(2):

$p(Y=y_{j}|X=x_{i}) =\frac{ p(X=x_{i},Y=y_{j})}{p(X=x_{i})}\tag{8}$
采用更简洁的表示：

$p(Y|X)=\frac{p(XY)}{p(X)}\tag{9}$
$p(XY)=p(Y|X)p(X)\tag{10}$

同时我们注意到有：$p(XY)=p(YX)$$,p(YX)=p(X|Y)p(Y)$,代入式(9)：

$p(Y|X)=\frac{p(X|Y)p(Y)}{p(X)}\tag{11}$

这就得到了贝叶斯定理。