联合概率 边缘概率 条件概率 贝叶斯定理
 
概率论
联合概率
边缘概率
条件概率
加和规则与乘积规则
贝叶斯定理
代码交流
  
 

 
概率论
 
本文是阅读笔记，书中对联合概率、边缘概率、条件概率与贝叶斯定理的介绍，言简意赅，很容易理解，摘录过来，方便大家查阅。
 考虑两个随机变量，X，取值为{xi}，其中i = 1, . . . , M，和Y ，取值为{yj}，其中j = 1, . . . , L。在这个例⼦中，我们取M = 5和L = 3。如果我们考虑这些变量的总计N个实例，那么我们将X = xi且Y = yj的实例的数量记作nij，它是对应的单元格中点的数量。列i中的点的数量，对应于X = xi，被记作ci，⾏j中的点的数量，对应于Y = yj，被记作rj 。具体如下图。
 
 
联合概率
 
X取值xi且Y 取值yj的概率被记作p(X = xi , Y = yj )，被称为X = xi和Y = yj的联合概率（joint probability）。它的计算⽅法为落在单元格i, j的点的数量与点的总数的⽐值，即：
 
 
边缘概率
 
边缘概率也是概率的加和规则（sum rule）这 ⾥ 我 们 隐 式 地 考 虑 极 限N → ∞。 类 似 地，X取 值xi（与Y 取 值 ⽆ 关） 的 概 率 被 记作p(X = xi)，计算⽅法为落在列i上的点的数量与点的总数的⽐值，即：
 
 第i列上的实例总数就是这列的所有单元格中实例的数量之和，我们有 ，因此根据公式（1）和公式（2），我们有：
 
 
条件概率
 
如 果 我 们 只 考 虑 那 些X = xi的 实 例， 那 么 这 些 实 例 中Y = yj的 实 例 所 占 的 ⽐ 例 被 写 成p(Y = yj | X = xi)，被称为给定X = xi的Y = yj的条件概率（conditional probability）。它的计算⽅式为：计算落在单元格i, j的点的数量列i的点的数量的⽐值，即：
 
 
加和规则与乘积规则
 

 
 两个变量X和Y 上的概率分布的⼀个例⼦。X可以取9个可能的值，⽽Y 可以去2个可能的值。左上图给出了从这两个变量的联合概率分布中抽取的60个样本点。剩下的图给出了估计边缘概率分布p(X)和p(Y )的直⽅图，以及条件概率分布p(X | Y = 1)的直⽅图，这个条件概率分布对应于左上图的第二行。
 
贝叶斯定理
 
根据乘积规则，以及对称性p(X, Y ) = p(Y, X)，我们⽴即得到了下⾯的两个条件概率之间的关系：
 
 
代码交流
 
QQ927632640

 
文章目录
 
前言
边缘概率
联合概率
定义
分析
   
条件概率
定义
问条件概率能举个例子吗
问条件概率在图中表示的是哪一块呢？
条件概率习题：
   
全概率
定义
推导
全概率习题
   
贝叶斯公式
定义
推导
贝叶斯定理习题
   
结束语
 

 
前言
 
条件概率，边缘概率，联合概率，全概率，贝叶斯定理是机器学习中几乎所有算法的基础，虽然公式记住了，但是为什么是这样，以及如何理解看过之后隔一段时间问题忘，这里在这里好好做下总结
 
边缘概率
 
边缘概率是与联合概率相对应的，$P(A)$和$P(B)$这类仅与单个随机变量有关的概率称为边缘概率。
 边缘概率是不用求的，一般都会给出。
 
条件概率是由联合概率反推出来的，理解起来没有那么直观，全概率，贝叶斯定理也是由联合概率推导出来的，所以这里先说联合概率再说条件概率，最后再讲贝叶斯定理。
 
联合概率
 
定义
 
指包含多个条件且所有条件同时成立的概率，记作$P(A,B)$，或$P(AB)$或$P(A\cup B)$，不过一般都是写成$P(A,B)$。
 
分析
 
事件A和事件B可以相互影响的，不过也可以相互独立，不过没有讨论的意义。
 
 如上图
 绿色的椭圆表示事件A发生的概率$P(A)$
 橘红色的椭圆表示事件B发生的概率$P(B)$
 A和B相交的部分就是$P(A,B)$发生的概率
 
其中
 $P(A)$和$P(B)$都是边缘概率
 $P(A,B)$就是联合概率
 
于是我们可以很
 可以看到事件A发生的概率和事件B相交的部分就是$P(A,B)$
 
然后我们也就很容易理解
 $P(A,B)$发生的概率就是：
 事件B发生的概率，乘以事件A在事件B发生的条件下发生的概率，
 于是有：$$P(A,B)=P(B)P(A|B)$$
 
其中$P(A|B)$就是事件B发生的情况下事件A发生的概率就是条件概率，记为$P(A|B)$，下文会继续讲到。
 
条件概率
 
定义
 
已知事件A发生的条件下，另一个事件B发生的概率称为条件概率，即为：$$P(A|B)$$
 
事件A和事件B是相互影响的。更通俗地说事件A与事件B是有关系的，发生事件A会影响发生事件B发生的概率。
 
问条件概率能举个例子吗
 
学生时代两个人竞选班，同学A赢的概率是0.6，同学B赢的概率是0.4，问同学A在同学B先被投票的情况下赢的概率是多少。
 心理学上有种先入为主的现象，不管是谁，第一个被投票的往往比第二个得票更多一些，就这就是两个事件相互影响，这就是条件概率
 
问条件概率在图中表示的是哪一块呢？
 
答：条件概率$P(A|B)$在图中表示不出来，$P(A,B)$和$P(B)$都是以图形的形式表示概率的，$P(A|B)$则是$P(A|B)$是$P(A,B)$除以$P(B)$的比值，在图形上表示不出来。
 条件概率毕竟还是有些抽象滴。。。要不然也不会主要求它啊（_）
 
$P(A|B)$是通过联合概率反推出来的，以图形化的方式表示自然没有那么直观，不过以联合概率反推的方式来解理还是很好理解的，参考联合概率
 
OK，到这里来道习题加深下理解吧
 
条件概率习题：
 
从$1，2，3，\dots ，15$中甲乙两人各任取一个数字（不重复），已知甲取到的数是5的倍数，求甲数大于乙数的概率。
 
解：
 设事件A表示”甲取到的数比乙大“，即$P(A)$
 设事件B表示”甲取到的数是5的倍数”，即$P(B)$
 则显然所要就是条件概率$P(A|B)$
 根据公式
 $$P(A|B)=\frac{P(A,B)}{P(B)}$$
 
而:
 $$P(B)=\frac{3}{15}=\frac{1}{5}$$
 
$$P(A,B)=\frac{C_4^1+C_9^1+C_{14}^1}{C_{14}^1{C}_{15}^1}=9/70$$
 
则
 $$P(A|B)=\frac{P(A,B)}{P(B)}=\frac{9}{70}$$
 
所以 $$P(A|B)=\frac{9}{14}$$
 
通过这么一个例子，理解起来是不是更深入了?
 我们可以发现：
 
$P(B)$是边缘概率,是直接可以求出来的,
$P(A)与P(B)$是相互影响的，
$P(A,B)$是联合概率通过复杂些的计算也是可以求出来的,
 但是条件概率P(A|B)则比较抽象，没那么容易求出来，
 
OK，现在知道了条件概率的意义了吧
 
全概率
 
定义
 
联合概率中把事件A分割成事件$A_1，A_2，A_3,\cdots ,A_n$，并把A与B的位置对调于是就成了全概率，如下图
 
 
推导
 
只是全概率是求事件B的，
 全概率需要满足以下条件：
 
事件A1到An是相互独立的
事件A1到An组成了整个样本空间A
事件A1到An能把事件B无重叠地覆盖掉
 
如上图，事件B发生的概率是由C1~C6组成的,于是有：
 $$P(B)=P(C_1)+P(C_2)+P(C_3)+P(C_4)+P(C_5)+P(C_6)$$
 简化一下就是：$$P(B)=\sum _{i=1}^{6}P(C_i)$$
 
而$$P(C_i)=P(B|A_i)$$
 于是全概率公式就出来了
 $$P(B)=\sum _{i=1}^{n}P(B|A_i)$$
 
注意啊，到全概率的时候A（$A_i$）与B，的位置就反过来了，比如说
 条件概率公式的表示形式是：$P(A|B)$
 全概率公式的表示形式是：$P(B|A_i)$
 好了，来道题吧：
 
全概率习题
 
某工厂有两个车间产生同一型号的配件，第一车间的次品率是$0.15$，第二车间的次品率是$0.12$，两个车间的成品都混合堆放在一直，假设第1，2车间生产的成品比例为$2:3$，现有一客户从混合成品堆里随机抽查一台产品，求该产品的合格率。
 解：
 设
 事件B = {从仓库中随机抽查的产品的合格率}
 事件A_{i} = {抽的是第$i$车间产生的}，$i=1,2$
 于是
 $$P(B)=\sum _{i=1}^{2}P(A_i)P(B|A_i)$$
 由题意可知：
 $A_1$的边缘概率：
 $$P(A_1)=\frac{2}{5}$$
 $A_2$的边缘概率：
 $$P(A_2)=\frac{3}{5}$$
 条件概率：
 $A_1$发生的情况下，B发生的概率：
 $$P(B|A_1)=\frac{P(B,A_1)}{P(A_1)}$$
 
$$P(B|A_1)=0.85$$
 
$A_2$发生的情况下，B发生的概率：
 $$P(B|A_2)=\frac{P(B,A_2)}{P(A_2)}$$
 
$$P(B|A_2)=0.88$$
 
根据全概率公式可知:
 
$$P(B)=P(A_1)P(B|A_1)+P(A_2)P(B|A_2)$$
 
所以$$P(B)=0.868$$
 
贝叶斯公式
 
定义
 
同样条件概率中把A推分割成$A_1，A_2，A_3,\cdots ,A_n$,并把A与B的位置对调就成了贝叶斯公式
 
推导
 

 根据上图（没错，两个图是一样的，只是离得太远看着不方便）
 我们可以知道：求事件B发生的情况下$A_i$发生的概率其实就是求：$$P(C_i)$$
 而根据条件概率我们可以知道：
 $$P(C_i)=P(A_i|B)=\frac{P(B,A_i)}{P(B)}$$
 
由全概率公式我们可以知道：
 $$P(B)=\sum _{j=1}^{n}P(A_j)P(B|A_j)$$
 
于是我们最终得到贝叶斯定理的公式为（注意$i$与$j$的不同）：
 $$P(A_i|B)=\frac{P(B,A_i)}{{\sum }_{j=1}^{n}P(A_j)P(B|A_j)}$$
 同样来道习题
 
贝叶斯定理习题
 
某公路上经过的货车与客车的数量之比为$2:1$，货车中途停车修理的概率为$0.02$，客车为$0.01$，现有一辆汽车中途停车修理，问该汽车是货车的概率
 解：
 设
 事件$B$ = {中途停车修理}
 事件$A_1$ ={经过的是货车}，
 事件$A_2$ ={经过的是客车}，
 于是事件B有：$$B=A_{1}B\cup A_{2}B$$
 
由贝叶斯公式有：
 $$P(A_1|B)=\frac{P(A_1)P(B|A1)}{P(A_1)P(B|A1)+P(A_2)P(B|A_2)}$$
 
$$P(A_1|B)=\frac{\frac{2}{3}\times 0.02}{\frac{2}{3}\times 0.02+\frac{1}{3}\times 0.01}$$
 
所以最后的结果为：$$P(A_1|B)=0.80$$
 
结束语
 
OK,到这里边缘概率，联合概率，条件概率，全概率，贝叶斯定理就全部完了，不知道你有没有看明白，不明白的话可以提问啊，咱一块交流。

 
文章目录
 
联合概率及其分布、边缘概率及其分布、条件概率及其分布
联合概率与联合概率分布
边缘概率与边缘概率分布
条件概率与条件概率分布
  
联合概率、边缘概率、条件概率之间的关系
离散型分布的情况
连续型分布的情况
  
贝叶斯定理（贝叶斯公式）
先验概率
后验概率
贝叶斯公式
 

 
联合概率及其分布、边缘概率及其分布、条件概率及其分布
 
联合概率与联合概率分布
 
假设有随机变量X与Y, 此时，P（X=a,Y=b）用于表示X=a且Y=b的概率。这类包含多个条件且所有条件同时成立的概率称为联合概率。联合概率并不是其中某个条件的成立概率， 而是所有条件同时成立的概率。
 联合概率的一览表称为联合分布。
 
边缘概率与边缘概率分布
 
P（X=a）或P（Y=b）这类仅与单个随机变量有关的概率称为边缘概率。
 边缘概率的一览表称为边缘分布。
 
条件概率与条件概率分布
 
在条件Y=b成立的情况下，X=a的概率，记作P（X=a|Y=b）或P（a|b）。
 若只有两类事件X和Y，那么有
 $$\mathrm{P}(X=a|Y=b)=\frac{\mathrm{P}(X=a,Y=b)}{\mathrm{P}(Y=b)}$$
 条件概率的分布简称条件分布，即已知两个相关的随机变量X和Y，随机变量Y在条件{X=x}下的条件概率分布是指当已知X的取值为某个特定值x之时，Y的概率分布。
 
联合概率、边缘概率、条件概率之间的关系
 
“XY的联合概率”=“X基于Y的条件概率”乘以“Y的边缘概率” 。
 
离散型分布的情况
 
离散型分布下联合概率、边际概率、条件概率之间的等式关系：
 $$\begin{array}{l}\mathrm{P}(X=x)={\sum }_y\mathrm{P}(X=x,Y=y)={\sum }_y\mathrm{P}(X=x|Y=y)\mathrm{P}(Y=\\ y\end{array}$$
 P（X=x，Y=y）为XY的联合概率，P（X=x）为X的边际概率，P（X=x|Y=y）为X基于Y的条件概率，P（Y=y）为Y的边际概率。
 
连续型分布的情况
 
$$P_X(x)={\int }_y{P}_{X,Y}(x,y)\mathrm{d}y={\int }_y{P}_{X|Y}(x|y)P_Y(y)\mathrm{d}y$$
 只需要将"累加"换成"积分"，就是连续型分布下联合概率、边际概率、条件概率之间的转换计算公式。
 
贝叶斯定理（贝叶斯公式）
 
先验概率
 
事件发生前的预判概率。可以是基于历史数据的统计，可以由背景常识得出，也可以是人的主观观点给出。一般都是单独事件概率，如P（X）。
 
后验概率
 
事件发生后求的反向条件概率；或者说，基于先验概率求得的反向条件概率。概率形式与条件概率相同。
 
贝叶斯公式
 
设X和Y分别为两类不同的事件，假设X和Y是互相独立的（属性条件独立性假设），由公式
 $$p(X|Y)p(Y)=p(X,Y)=p(Y|X)p(X)$$
 我们可以得到贝叶斯公式：
 $$p(Y|X)=\frac{p(X|Y)p(Y)}{p(X)}$$
 其中：
 
P（Y|X）是后验概率，一般是我们求解的目标。表示当拥有X这个条件后Y的概率，由于有X这个条件，后验概率可能与先验概率不同；
P（X|Y）是条件概率，又叫似然概率，它表示在承认先验的条件下另一个与之相关的随机变量的表现，一般是通过历史数据统计得到（即通过一个已知的小样本统计得到）。
P（Y） 是先验概率，它表示我们对一个随机变量概率最初的认识，一般都是人主观给出的。贝叶斯中的先验概率一般特指它。
P（X）其实也是先验概率，只是在贝叶斯公式中往往被认为是已知的，因此它一般被当做一个常量看待。使用朴素贝叶斯分类器计算时往往忽略这个P（X），因为它是常量。
 
使用加法规则，则贝叶斯定理中的分母可以用出现在分子中的项表示:
 $$p(X)=\sum _{Y}p(X|Y)p(Y)$$
 我们可以把贝叶斯公式的分母p（x）看做归一化常数，来确保贝叶斯公式左侧的条件概率对于所有的Y的取值之和为1。

 

 
考虑两个随机变量$X,Y$,其中$X$取值为
    
     
      
       
        {
       
       
        
         x
        
        
         i
        
       
       
        }
       
       
        ,
       
       
        i
       
       
        ∈
       
       
        {
       
       
        1
       
       
        ,
       
       
        2
       
       
        ,
       
       
        .
       
       
        .
       
       
        .
       
       
        ,
       
       
        M
       
       
        }
       
      
      
       \{x_{i}\},i\in\{1,2,...,M\}
      
     
    {xi​},i∈{1,2,...,M}, $Y$取值为
    
     
      
       
        {
       
       
        
         y
        
        
         j
        
       
       
        }
       
       
        ,
       
       
        j
       
       
        ∈
       
       
        {
       
       
        1
       
       
        ,
       
       
        2
       
       
        ,
       
       
        .
       
       
        .
       
       
        .
       
       
        ,
       
       
        L
       
       
        }
       
      
      
       \{y_{j}\},j \in \{1,2,...,L\}
      
     
    {yj​},j∈{1,2,...,L}。如果考虑这两个变量总计$N$个 实例，$N\to \infty$,将$X=x_i,Y=y_j$的实例数记为$n_{ij}$,将$X=x_i$的实例数记为$c_i$,将$Y=y_j$的实例数记为$r_j$。
 
  伯努利大数定理：当独立实验次数$N$趋于无穷时，某事件发生的概率$p$趋近于其发生的频率。
 
1、联合概率
 
$p(X=x_i,Y=y_j)$为$X=x_i$并且$Y=y_j$的概率，称为联合概率，其值等于落在单元格$i,j$的点（实例）的数量与所有点（所有实例）的比值：
 $$p(X=x_i,Y=y_j)=\frac{n_{ij}}{N}\text{\hspace{1em}(1)}$$
 
2、边缘概率
 
$p(X=x_i)$是$X$取$x_i$的概率，则其等于落在$x_i$这一列的点的数量与所有点的数量的比值：
 $$p(X=x_i)=\frac{c_i}{N}\text{\hspace{1em}(2)}$$
 $c_i$是落在第$i$列的所有单元格的点的总和，即:
 $$c_i=n_{i1}+n_{i2}+...+n_{ij}+...+n_{iL}=\sum _j{n}_{ij}\text{\hspace{1em}(3)}$$
 而：
 $$n_{ij}=Np(X=x_i,Y=y_j)\text{\hspace{1em}(4)}$$
 代入式(1)：
 $$p(X=x_i)=\sum _{j=1}^{L}p(X=x_i,Y=y_j)\text{\hspace{1em}(5)}$$
 $p(X=x_i)$称为边缘概率，因为其通过把其它变量(这里是$Y$)边缘化（加和）得到。
 
3、条件概率
 
$p(Y=y_j|X=x_i)$是当$X=x_i$时，$Y=y_j$的概率，可以理解为当$X=x_i$时，点是落在第$i$列，那么落在第$i$列的这些点里，有多少点其$Y=y_j$？，可知，$p(Y=y_j|X=x_i)$的计算方式是落在单元格$i,j$的点的数量与落在第$i$列的点的数量的比值：
 $$p(Y=y_j|X=x_i)=\frac{n_{ij}}{c_i}\text{\hspace{1em}(6)}$$
 经过以下变换：
 $$p(Y=y_j|X=x_i)=\frac{n_{ij}}{N}\cdot \frac{N}{c_i}\text{\hspace{1em}(7)}$$
 结合式(1)和式(2):
 $$p(Y=y_j|X=x_i)=\frac{p(X=x_i,Y=y_j)}{p(X=x_i)}\text{\hspace{1em}(8)}$$
 
采用更简洁的表示：
 $$p(Y|X)=\frac{p(XY)}{p(X)}\text{\hspace{1em}(9)}$$
 
$$p(XY)=p(Y|X)p(X)\text{\hspace{1em}(10)}$$
 同时我们注意到有：$p(XY)=p(YX)$$,p(YX)=p(X|Y)p(Y)$,代入式(9)：
 $$p(Y|X)=\frac{p(X|Y)p(Y)}{p(X)}\text{\hspace{1em}(11)}$$
 这就得到了贝叶斯定理。