精华内容
下载资源
问答
  • 联合概率 边缘概率 条件概率 贝叶斯定理概率论联合概率边缘概率条件概率加和规则与乘积规则贝叶斯定理代码交流 概率论 本文是阅读笔记,书中对联合概率、边缘概率、条件概率与贝叶斯定理的介绍,言简意赅,很容易...

    概率论

    本文是阅读笔记,书中对联合概率、边缘概率、条件概率与贝叶斯定理的介绍,言简意赅,很容易理解,摘录过来,方便大家查阅。
    考虑两个随机变量,X,取值为{xi},其中i = 1, . . . , M,和Y ,取值为{yj},其中j = 1, . . . , L。在这个例⼦中,我们取M = 5和L = 3。如果我们考虑这些变量的总计N个实例,那么我们将X = xi且Y = yj的实例的数量记作nij,它是对应的单元格中点的数量。列i中的点的数量,对应于X = xi,被记作ci,⾏j中的点的数量,对应于Y = yj,被记作rj 。具体如下图。
    在这里插入图片描述

    联合概率

    X取值xi且Y 取值yj的概率被记作p(X = xi , Y = yj ),被称为X = xi和Y = yj的联合概率(joint probability)。它的计算⽅法为落在单元格i, j的点的数量与点的总数的⽐值,即:
    在这里插入图片描述

    边缘概率

    边缘概率也是概率的加和规则(sum rule)这 ⾥ 我 们 隐 式 地 考 虑 极 限N → ∞。 类 似 地,X取 值xi(与Y 取 值 ⽆ 关) 的 概 率 被 记作p(X = xi),计算⽅法为落在列i上的点的数量与点的总数的⽐值,即:
    在这里插入图片描述
    第i列上的实例总数就是这列的所有单元格中实例的数量之和,我们有 ,因此根据公式(1)和公式(2),我们有:

    在这里插入图片描述

    条件概率

    如 果 我 们 只 考 虑 那 些X = xi的 实 例, 那 么 这 些 实 例 中Y = yj的 实 例 所 占 的 ⽐ 例 被 写 成p(Y = yj | X = xi),被称为给定X = xi的Y = yj的条件概率(conditional probability)。它的计算⽅式为:计算落在单元格i, j的点的数量列i的点的数量的⽐值,即:

    在这里插入图片描述

    加和规则与乘积规则

    在这里插入图片描述
    在这里插入图片描述
    两个变量X和Y 上的概率分布的⼀个例⼦。X可以取9个可能的值,⽽Y 可以去2个可能的值。左上图给出了从这两个变量的联合概率分布中抽取的60个样本点。剩下的图给出了估计边缘概率分布p(X)和p(Y )的直⽅图,以及条件概率分布p(X | Y = 1)的直⽅图,这个条件概率分布对应于左上图的第二行。

    贝叶斯定理

    根据乘积规则,以及对称性p(X, Y ) = p(Y, X),我们⽴即得到了下⾯的两个条件概率之间的关系:
    在这里插入图片描述

    代码交流

    QQ927632640

    展开全文
  • 条件概率,边缘概率,联合概率,全概率,贝叶斯定理是机器学习中几乎所有算法的基础,虽然公式记住了,但是为什么是这样,以及如何理解看过之后隔一段时间问题忘,这里在这里好好做下总结 边缘概率 边缘概率是与联合...

    前言

    条件概率,边缘概率,联合概率,全概率,贝叶斯定理是机器学习中几乎所有算法的基础,虽然公式记住了,但是为什么是这样,以及如何理解看过之后隔一段时间问题忘,这里在这里好好做下总结

    边缘概率

    边缘概率是与联合概率相对应的, P ( A ) P(A) P(A) P ( B ) P(B) P(B)这类仅与单个随机变量有关的概率称为边缘概率。
    边缘概率是不用求的,一般都会给出。

    条件概率是由联合概率反推出来的,理解起来没有那么直观,全概率,贝叶斯定理也是由联合概率推导出来的,所以这里先说联合概率再说条件概率,最后再讲贝叶斯定理。

    联合概率

    定义

    指包含多个条件且所有条件同时成立的概率,记作 P ( A , B ) P(A, B) P(A,B),或 P ( A B ) P(AB) P(AB) P ( A ∪ B ) P(A \cup B) P(AB),不过一般都是写成 P ( A , B ) P(A, B) P(A,B)

    分析

    事件A和事件B可以相互影响的,不过也可以相互独立,不过没有讨论的意义。
    机器学习之条件概率_联合概率_贝叶斯定理_01.png
    如上图
    绿色的椭圆表示事件A发生的概率 P ( A ) P(A) P(A)
    橘红色的椭圆表示事件B发生的概率 P ( B ) P(B) P(B)
    A和B相交的部分就是 P ( A , B ) P(A,B) P(A,B)发生的概率

    其中
    P ( A ) P(A) P(A) P ( B ) P(B) P(B)都是边缘概率
    P ( A , B ) P(A,B) P(A,B)就是联合概率

    于是我们可以很
    可以看到事件A发生的概率和事件B相交的部分就是 P ( A , B ) P(A,B) P(A,B)

    然后我们也就很容易理解
    P ( A , B ) P(A,B) P(A,B)发生的概率就是:
    事件B发生的概率,乘以事件A在事件B发生的条件下发生的概率,
    于是有: P ( A , B ) = P ( B ) P ( A ∣ B ) P(A,B) = P(B) P(A|B) P(A,B)=P(B)P(AB)

    其中 P ( A ∣ B ) P(A| B) P(AB)就是事件B发生的情况下事件A发生的概率就是条件概率,记为 P ( A ∣ B ) P(A|B) P(AB),下文会继续讲到。

    条件概率

    定义

    已知事件A发生的条件下,另一个事件B发生的概率称为条件概率,即为: P ( A ∣ B ) P(A|B) P(AB)

    事件A和事件B是相互影响的。更通俗地说事件A与事件B是有关系的,发生事件A会影响发生事件B发生的概率。

    问条件概率能举个例子吗

    学生时代两个人竞选班,同学A赢的概率是0.6,同学B赢的概率是0.4,问同学A在同学B先被投票的情况下赢的概率是多少。
    心理学上有种先入为主的现象,不管是谁,第一个被投票的往往比第二个得票更多一些,就这就是两个事件相互影响,这就是条件概率

    问条件概率在图中表示的是哪一块呢?

    答:条件概率 P ( A ∣ B ) P(A|B) P(AB)在图中表示不出来, P ( A , B ) P(A,B) P(A,B) P ( B ) P(B) P(B)都是以图形的形式表示概率的, P ( A ∣ B ) P(A|B) P(AB)则是 P ( A ∣ B ) P(A|B) P(AB) P ( A , B ) P(A,B) P(A,B)除以 P ( B ) P(B) P(B)的比值,在图形上表示不出来。
    条件概率毕竟还是有些抽象滴。。。要不然也不会主要求它啊(_

    P ( A ∣ B ) P(A|B) P(AB)是通过联合概率反推出来的,以图形化的方式表示自然没有那么直观,不过以联合概率反推的方式来解理还是很好理解的,参考联合概率

    OK,到这里来道习题加深下理解吧

    条件概率习题:

    1 , 2 , 3 , … , 15 1,2,3,\ldots ,15 12315中甲乙两人各任取一个数字(不重复),已知甲取到的数是5的倍数,求甲数大于乙数的概率。

    解:
    设事件A表示”甲取到的数比乙大“,即 P ( A ) P(A) P(A)
    设事件B表示”甲取到的数是5的倍数”,即 P ( B ) P(B) P(B)
    则显然所要就是条件概率 P ( A ∣ B ) P(A|B) P(AB)
    根据公式
    P ( A ∣ B ) = P ( A , B ) P ( B ) P(A|B) = \frac{P(A,B)}{P(B)} P(AB)=P(B)P(A,B)

    而:
    P ( B ) = 3 15 = 1 5 P(B) = \frac{3}{15} = \frac{1}{5} P(B)=153=51

    P ( A , B ) = C 4 1 + C 9 1 + C 14 1 C 14 1 C 15 1 = 9 / 70 P(A,B) = \frac{C^1_4 + C^1_9 + C^1_{14}}{C^1_{14}C^1_{15}} = 9 / 70 P(A,B)=C141C151C41+C91+C141=9/70


    P ( A ∣ B ) = P ( A , B ) P ( B ) = 9 70 P(A|B) = \frac{P(A,B)}{P(B)} = \frac{9}{70} P(AB)=P(B)P(A,B)=709

    所以 P ( A ∣ B ) = 9 14 P(A|B) = \frac{9}{14} P(AB)=149

    通过这么一个例子,理解起来是不是更深入了?
    我们可以发现:

    1. P ( B ) P(B) P(B)是边缘概率,是直接可以求出来的,
    2. P ( A ) 与 P ( B ) P(A)与P(B) P(A)P(B)是相互影响的,
    3. P ( A , B ) P(A,B) P(A,B)是联合概率通过复杂些的计算也是可以求出来的,
      但是条件概率P(A|B)则比较抽象,没那么容易求出来,

    OK,现在知道了条件概率的意义了吧

    全概率

    定义

    联合概率中把事件A分割成事件 A 1 , A 2 , A 3 , ⋯   , A n A_1,A_2,A_3, \cdots, A_n A1A2A3,,An,并把A与B的位置对调于是就成了全概率,如下图
    机器学习之条件概率_联合概率_贝叶斯定理_02.png

    推导

    只是全概率是求事件B的,
    全概率需要满足以下条件:

    1. 事件A1到An是相互独立的
    2. 事件A1到An组成了整个样本空间A
    3. 事件A1到An能把事件B无重叠地覆盖掉

    如上图,事件B发生的概率是由C1~C6组成的,于是有:
    P ( B ) = P ( C 1 ) + P ( C 2 ) + P ( C 3 ) + P ( C 4 ) + P ( C 5 ) + P ( C 6 ) P(B) = P(C_{1}) + P(C_{2}) + P(C_{3}) + P(C_{4}) + P(C_{5}) + P(C_{6}) P(B)=P(C1)+P(C2)+P(C3)+P(C4)+P(C5)+P(C6)
    简化一下就是: P ( B ) = ∑ i = 1 6 P ( C i ) P(B) = \sum_{i=1}^{6}P(C_{i}) P(B)=i=16P(Ci)

    P ( C i ) = P ( B ∣ A i ) P(C_{i}) = P(B | A_{i}) P(Ci)=P(BAi)
    于是全概率公式就出来了
    P ( B ) = ∑ i = 1 n P ( B ∣ A i ) P(B) = \sum_{i=1}^{n}P(B | A_{i}) P(B)=i=1nP(BAi)

    注意啊,到全概率的时候A( A i A_{i} Ai)与B,的位置就反过来了,比如说
    条件概率公式的表示形式是: P ( A ∣ B ) P(A|B) P(AB)
    全概率公式的表示形式是: P ( B ∣ A i ) P(B|A_{i}) P(BAi)
    好了,来道题吧:

    全概率习题

    某工厂有两个车间产生同一型号的配件,第一车间的次品率是 0.15 0.15 0.15,第二车间的次品率是 0.12 0.12 0.12,两个车间的成品都混合堆放在一直,假设第1,2车间生产的成品比例为 2 : 3 2:3 2:3,现有一客户从混合成品堆里随机抽查一台产品,求该产品的合格率。
    解:

    事件B = {从仓库中随机抽查的产品的合格率}
    事件A_{i} = {抽的是第 i i i车间产生的}, i = 1 , 2 i = 1, 2 i=1,2
    于是
    P ( B ) = ∑ i = 1 2 P ( A i ) P ( B ∣ A i ) P(B) = \sum_{i=1}^{2}P(A_{i})P(B| A_{i}) P(B)=i=12P(Ai)P(BAi)
    由题意可知:
    A 1 A_1 A1的边缘概率:
    P ( A 1 ) = 2 5 P(A_{1}) = \frac{2}{5} P(A1)=52
    A 2 A_2 A2的边缘概率:
    P ( A 2 ) = 3 5 P(A_{2}) = \frac{3}{5} P(A2)=53
    条件概率:
    A 1 A_1 A1发生的情况下,B发生的概率:
    P ( B ∣ A 1 ) = P ( B , A 1 ) P ( A 1 ) P(B|A_{1}) = \frac{P(B, A_{1})}{P(A_{1})} P(BA1)=P(A1)P(B,A1)

    P ( B ∣ A 1 ) = 0.85 P(B|A_{1}) = 0.85 P(BA1)=0.85

    A 2 A_2 A2发生的情况下,B发生的概率:
    P ( B ∣ A 2 ) = P ( B , A 2 ) P ( A 2 ) P(B|A_{2}) = \frac{P(B, A_{2})}{P(A_{2})} P(BA2)=P(A2)P(B,A2)

    P ( B ∣ A 2 ) = 0.88 P(B|A_{2}) = 0.88 P(BA2)=0.88

    根据全概率公式可知:

    P ( B ) = P ( A 1 ) P ( B ∣ A 1 ) + P ( A 2 ) P ( B ∣ A 2 ) P(B) = P(A_{1})P(B| A_{1}) + P(A_{2})P(B| A_{2}) P(B)=P(A1)P(BA1)+P(A2)P(BA2)

    所以 P ( B ) = 0.868 P(B) = 0.868 P(B)=0.868

    贝叶斯公式

    定义

    同样条件概率中把A推分割成 A 1 , A 2 , A 3 , ⋯   , A n A_1,A_2,A_3, \cdots, A_n A1A2A3,,An,并把A与B的位置对调就成了贝叶斯公式

    推导

    机器学习之条件概率_联合概率_贝叶斯定理_02.png
    根据上图(没错,两个图是一样的,只是离得太远看着不方便)
    我们可以知道:求事件B发生的情况下 A i A_i Ai发生的概率其实就是求: P ( C i ) P(C_i) P(Ci)
    而根据条件概率我们可以知道:
    P ( C i ) = P ( A i ∣ B ) = P ( B , A i ) P ( B ) P(C_{i}) = P(A_i | B) = \frac{P(B, A_{i})}{P(B)} P(Ci)=P(AiB)=P(B)P(B,Ai)

    由全概率公式我们可以知道:
    P ( B ) = ∑ j = 1 n P ( A j ) P ( B ∣ A j ) P(B) = \sum_{j=1}^{n}P(A_{j})P(B|A_{j}) P(B)=j=1nP(Aj)P(BAj)

    于是我们最终得到贝叶斯定理的公式为(注意 i i i j j j的不同):
    P ( A i ∣ B ) = P ( B , A i ) ∑ j = 1 n P ( A j ) P ( B ∣ A j ) P(A_{i}|B) = \frac{P(B, A_{i})}{\sum_{j=1}^{n}P(A_{j})P(B|A_{j})} P(AiB)=j=1nP(Aj)P(BAj)P(B,Ai)
    同样来道习题

    贝叶斯定理习题

    某公路上经过的货车与客车的数量之比为 2 : 1 2:1 2:1,货车中途停车修理的概率为 0.02 0.02 0.02,客车为 0.01 0.01 0.01,现有一辆汽车中途停车修理,问该汽车是货车的概率
    解:

    事件 B B B = {中途停车修理}
    事件 A 1 A_1 A1 ={经过的是货车},
    事件 A 2 A_2 A2 ={经过的是客车},
    于是事件B有: B = A 1 B ∪ A 2 B B = A_{1}B \cup A_{2}B B=A1BA2B

    由贝叶斯公式有:
    P ( A 1 ∣ B ) = P ( A 1 ) P ( B ∣ A 1 ) P ( A 1 ) P ( B ∣ A 1 ) + P ( A 2 ) P ( B ∣ A 2 ) P(A_{1} | B) = \frac{P(A_1)P(B|A1)}{P(A_1)P(B|A1) + P(A_2)P(B|A_2)} P(A1B)=P(A1)P(BA1)+P(A2)P(BA2)P(A1)P(BA1)

    P ( A 1 ∣ B ) = 2 3 × 0.02 2 3 × 0.02 + 1 3 × 0.01 P(A_{1} | B) = \frac{\frac{2}{3} × 0.02}{\frac{2}{3} × 0.02 + \frac{1}{3} × 0.01} P(A1B)=32×0.02+31×0.0132×0.02

    所以最后的结果为: P ( A 1 ∣ B ) = 0.80 P(A_{1} | B) =0.80 P(A1B)=0.80

    结束语

    OK,到这里边缘概率,联合概率,条件概率,全概率,贝叶斯定理就全部完了,不知道你有没有看明白,不明白的话可以提问啊,咱一块交流。

    展开全文
  • 文章目录联合、边缘、条件概率及其分布联合概率联合概率分布边缘概率与边缘概率分布条件概率与条件概率分布联合概率、边缘概率、条件概率之间的关系离散型分布的情况连续型分布的情况贝叶斯定理(贝叶斯公式)先验...

    联合概率及其分布、边缘概率及其分布、条件概率及其分布

    联合概率与联合概率分布

    假设有随机变量X与Y, 此时,P(X=a,Y=b)用于表示X=a且Y=b的概率。这类包含多个条件且所有条件同时成立的概率称为联合概率。联合概率并不是其中某个条件的成立概率, 而是所有条件同时成立的概率。
    联合概率的一览表称为联合分布。

    边缘概率与边缘概率分布

    P(X=a)或P(Y=b)这类仅与单个随机变量有关的概率称为边缘概率。
    边缘概率的一览表称为边缘分布。

    条件概率与条件概率分布

    在条件Y=b成立的情况下,X=a的概率,记作P(X=a|Y=b)或P(a|b)。
    若只有两类事件X和Y,那么有
    P ( X = a ∣ Y = b ) = P ( X = a , Y = b ) P ( Y = b ) \mathrm{P}(X=a | Y=b)=\frac{\mathrm{P}(X=a, Y=b)}{\mathrm{P}(Y=b)} P(X=aY=b)=P(Y=b)P(X=a,Y=b)
    条件概率的分布简称条件分布,即已知两个相关的随机变量X和Y,随机变量Y在条件{X=x}下的条件概率分布是指当已知X的取值为某个特定值x之时,Y的概率分布。

    联合概率、边缘概率、条件概率之间的关系

    “XY的联合概率”=“X基于Y的条件概率”乘以“Y的边缘概率” 。

    离散型分布的情况

    离散型分布下联合概率、边际概率、条件概率之间的等式关系:
    P ( X = x ) = ∑ y P ( X = x , Y = y ) = ∑ y P ( X = x ∣ Y = y ) P ( Y = y \begin{array}{l}{\mathrm{P}(X=x)=\sum_{y} \mathrm{P}(X=x, Y=y)=\sum_{y} \mathrm{P}(X=x | Y=y) \mathrm{P}(Y=} \\ {y}\end{array} P(X=x)=yP(X=x,Y=y)=yP(X=xY=y)P(Y=y
    P(X=x,Y=y)为XY的联合概率,P(X=x)为X的边际概率,P(X=x|Y=y)为X基于Y的条件概率,P(Y=y)为Y的边际概率。

    连续型分布的情况

    P X ( x ) = ∫ y P X , Y ( x , y ) d y = ∫ y P X ∣ Y ( x ∣ y ) P Y ( y ) d y P_{X}(x)=\int_{y} P_{X, Y}(x, y) \mathrm{d} y=\int_{y} P_{X|Y}(x | y) P_{Y}(y) \mathrm{d} y PX(x)=yPX,Y(x,y)dy=yPXY(xy)PY(y)dy
    只需要将"累加"换成"积分",就是连续型分布下联合概率、边际概率、条件概率之间的转换计算公式。

    贝叶斯定理(贝叶斯公式)

    先验概率

    事件发生前的预判概率。可以是基于历史数据的统计,可以由背景常识得出,也可以是人的主观观点给出。一般都是单独事件概率,如P(X)。

    后验概率

    事件发生后求的反向条件概率;或者说,基于先验概率求得的反向条件概率。概率形式与条件概率相同。

    贝叶斯公式

    设X和Y分别为两类不同的事件,假设X和Y是互相独立的(属性条件独立性假设),由公式
    p ( X ∣ Y ) p ( Y ) = p ( X , Y ) = p ( Y ∣ X ) p ( X ) p(X | Y) p(Y)=p(X, Y)=p(Y | X) p(X) p(XY)p(Y)=p(X,Y)=p(YX)p(X)
    我们可以得到贝叶斯公式:
    p ( Y ∣ X ) = p ( X ∣ Y ) p ( Y ) p ( X ) p(Y | X)=\frac{p(X | Y) p(Y)}{p(X)} p(YX)=p(X)p(XY)p(Y)
    其中:

    • P(Y|X)是后验概率,一般是我们求解的目标。表示当拥有X这个条件后Y的概率,由于有X这个条件,后验概率可能与先验概率不同;
    • P(X|Y)是条件概率,又叫似然概率,它表示在承认先验的条件下另一个与之相关的随机变量的表现,一般是通过历史数据统计得到(即通过一个已知的小样本统计得到)。
    • P(Y) 是先验概率,它表示我们对一个随机变量概率最初的认识,一般都是人主观给出的。贝叶斯中的先验概率一般特指它。
    • P(X)其实也是先验概率,只是在贝叶斯公式中往往被认为是已知的,因此它一般被当做一个常量看待。使用朴素贝叶斯分类器计算时往往忽略这个P(X),因为它是常量。

    使用加法规则,则贝叶斯定理中的分母可以用出现在分子中的项表示:
    p ( X ) = ∑ Y p ( X ∣ Y ) p ( Y ) p(X)=\sum_{Y} p(X | Y) p(Y) p(X)=Yp(XY)p(Y)
    我们可以把贝叶斯公式的分母p(x)看做归一化常数,来确保贝叶斯公式左侧的条件概率对于所有的Y的取值之和为1。

    展开全文
  • 的概率,称为联合概率,其值等于落在单元格 i , j i,j i , j 的点(实例)的数量与所有点(所有实例)的比值: p ( X = x i , Y = y j ) = n i j N (1) p(X=x_{i},Y=y_{j})=\frac{n_{ij}}{N}\tag{1} p ( X = x i ...

    图1

    考虑两个随机变量 X , Y X,Y X,Y,其中 X X X取值为 { x i } , i ∈ { 1 , 2 , . . . , M } \{x_{i}\},i\in\{1,2,...,M\} {xi},i{1,2,...,M}, Y Y Y取值为 { y j } , j ∈ { 1 , 2 , . . . , L } \{y_{j}\},j \in \{1,2,...,L\} {yj},j{1,2,...,L}。如果考虑这两个变量总计 N N N个 实例, N → ∞ N\to\infty N,将 X = x i , Y = y j X=x_{i},Y=y_{j} X=xi,Y=yj的实例数记为 n i j n_{ij} nij,将 X = x i X=x_{i} X=xi的实例数记为 c i c_{i} ci,将 Y = y j Y=y_{j} Y=yj的实例数记为 r j r_{j} rj

     伯努利大数定理:当独立实验次数 N N N趋于无穷时,某事件发生的概率 p p p趋近于其发生的频率。

    1、联合概率

    p ( X = x i , Y = y j ) p(X=x_{i},Y=y_{j}) p(X=xi,Y=yj) X = x i X=x_{i} X=xi并且 Y = y j Y=y_{j} Y=yj的概率,称为联合概率,其值等于落在单元格 i , j i,j i,j的点(实例)的数量与所有点(所有实例)的比值:
    p ( X = x i , Y = y j ) = n i j N (1) p(X=x_{i},Y=y_{j})=\frac{n_{ij}}{N}\tag{1} p(X=xi,Y=yj)=Nnij(1)

    2、边缘概率

    p ( X = x i ) p(X=x_{i}) p(X=xi) X X X x i x_{i} xi的概率,则其等于落在 x i x_{i} xi这一列的点的数量与所有点的数量的比值:
    p ( X = x i ) = c i N (2) p(X=x_{i}) = \frac{c_{i}}{N}\tag{2} p(X=xi)=Nci(2)
    c i c_{i} ci是落在第 i i i列的所有单元格的点的总和,即:
    c i = n i 1 + n i 2 + . . . + n i j + . . . + n i L = ∑ j n i j (3) c_{i}=n_{i1}+n_{i2}+...+n_{ij}+...+n_{iL}=\sum_{j}n_{ij}\tag{3} ci=ni1+ni2+...+nij+...+niL=jnij(3)
    而:
    n i j = N p ( X = x i , Y = y j ) (4) n_{ij} = Np(X=x_{i},Y=y_{j})\tag{4} nij=Np(X=xi,Y=yj)(4)
    代入式(1):
    p ( X = x i ) = ∑ j = 1 L p ( X = x i , Y = y j ) (5) p(X=x_{i})=\sum_{j=1}^{L}p(X=x_{i},Y=y_{j})\tag{5} p(X=xi)=j=1Lp(X=xi,Y=yj)(5)
    p ( X = x i ) p(X=x_{i}) p(X=xi)称为边缘概率,因为其通过把其它变量(这里是 Y Y Y)边缘化(加和)得到。

    3、条件概率

    p ( Y = y j ∣ X = x i ) p(Y=y_{j}|X=x_{i}) p(Y=yjX=xi)是当 X = x i X=x_{i} X=xi时, Y = y j Y=y_{j} Y=yj的概率,可以理解为当 X = x i X=x_{i} X=xi时,点是落在第 i i i列,那么落在第 i i i列的这些点里,有多少点其 Y = y j Y=y_{j} Y=yj?,可知, p ( Y = y j ∣ X = x i ) p(Y=y_{j}|X=x_{i}) p(Y=yjX=xi)的计算方式是落在单元格 i , j i,j i,j的点的数量与落在第 i i i列的点的数量的比值:
    p ( Y = y j ∣ X = x i ) = n i j c i (6) p(Y=y_{j}|X=x_{i})=\frac{n_{ij}}{c_{i}}\tag{6} p(Y=yjX=xi)=cinij(6)
    经过以下变换:
    p ( Y = y j ∣ X = x i ) = n i j N ⋅ N c i (7) p(Y=y_{j}|X=x_{i})=\frac{n_{ij}}{N}\cdot\frac{N}{c_{i}}\tag{7} p(Y=yjX=xi)=NnijciN(7)
    结合式(1)和式(2):
    p ( Y = y j ∣ X = x i ) = p ( X = x i , Y = y j ) p ( X = x i ) (8) p(Y=y_{j}|X=x_{i}) =\frac{ p(X=x_{i},Y=y_{j})}{p(X=x_{i})}\tag{8} p(Y=yjX=xi)=p(X=xi)p(X=xi,Y=yj)(8)

    采用更简洁的表示:
    p ( Y ∣ X ) = p ( X Y ) p ( X ) (9) p(Y|X)=\frac{p(XY)}{p(X)}\tag{9} p(YX)=p(X)p(XY)(9)

    p ( X Y ) = p ( Y ∣ X ) p ( X ) (10) p(XY)=p(Y|X)p(X)\tag{10} p(XY)=p(YX)p(X)(10)
    同时我们注意到有: p ( X Y ) = p ( Y X ) p(XY)=p(YX) p(XY)=p(YX) , p ( Y X ) = p ( X ∣ Y ) p ( Y ) ,p(YX)=p(X|Y)p(Y) ,p(YX)=p(XY)p(Y),代入式(9):
    p ( Y ∣ X ) = p ( X ∣ Y ) p ( Y ) p ( X ) (11) p(Y|X)=\frac{p(X|Y)p(Y)}{p(X)}\tag{11} p(YX)=p(X)p(XY)p(Y)(11)
    这就得到了贝叶斯定理。

    展开全文
  • 贝叶斯分类是一类以贝叶斯定理为基础的分类算法的总称,其中基于特征之间相互独立的朴素贝叶斯是最简单,但效果却非常好的一种分类算法。本文整理了贝叶斯算法的基本原理,希望能够对大家有所帮助~~ 一、贝叶斯定理 ...
  • import numpy as np ...联合概率为多组样本的概率乘积(交集) table = pd.DataFrame((np.random.rand(32).reshape(16,2)>0.5).astype(int),columns=['X','Y']) table def prob(table): names =
  • 左下角的图显示了从这些变量的联合概率分布中抽取的60个点(N=60)的样本。剩下的图显示了p(X)和p(Y)的边缘分布的直方图估计值和以及条件分布p(X|Y = 1)对应于右下角的最后一行。   案例:   假设有 ...
  • 本文参考:《概率机器人》 0引言 概率是进行机器人控制、定位与建图的核心基础知识,相信这一点大家都深有体会。各种滤波算法都是根据贝叶斯概率公式的基础所衍生出来的算法。其实这点也很好理解,毕竟任何对外界的...
  • 1. 联合概率 假设有随机变量X与Y,此时P(X=a,Y=b)P(X=a,Y=b)P(X=a,Y=b)用于表示“X=a且Y=bX=a且Y=bX=a且Y=b“的概率。这类包含多个条件且所有条件同时成立的概率成为联合概率。 2.边缘概率 与上对应的,P(X=a)P(X=a)...
  • 联合概率:由多个随机变量决定的概率我们就叫联合概率,它的概率分布就是联合概率分布。 边缘概率:对于离散型随机变量,我们可以通过联合概率 P(x, y) 在 y 上求和,就可以得到 P(x)。对于连续型随机变量,我们...
  • 博主最近在看卡尔曼滤波算法,个人认为在卡尔曼滤波算法中最核心的部分莫过于高维高斯联合概率分布的性质,因此打算将这些性质整理成博客记录下来方便自己今后的学习,如果有哪里不对,欢迎各位读者指正。...
  • 联合概率指的是包含多个条件且所有条件同时成立的概率,记作P(X=a,Y=b)或P(A,B),有的书上也习惯记作P(AB)。注意是所有条件同时成立,同时发生。 1.2 边缘概率(又称先验概率) 边缘概率是与联合概率对应的,P(X=a)或P...
  • class bayes: def __init__(self,A,B,i,j): self.A = A self.B = B self.i = i self.j = j def joint_probability(self):... PAB = self.A*self.B #联合概率 return PAB def contingent_probability(self):
  • 根据只取2个值(二态)的2个随机变量统计独立与(线性)不相关等价的原理,推导出2个随机变量只取2个值的联合概率分布的完整表达形式,将其原理推广到多维二态联合概率分布的情况,给出了一个多维描述方法。当给出各边缘...
  • 根据不相关性与独立的等价概念,给出了有限离散随机变量的二维联合概率分布的一种描述方法。将两点值的情况推广到多点离散值的情况,当给出两个随机变量的边缘分布及合适的有限阶幂互协方差函数(或高阶相关系数)时,...
  • 联合概率: 表示包含多个条件且所有条件同时成立的概率。 在机器学习中,这些所谓的条件其实就是数据的各种特征, 比如一个人身高=180,同时体重=180([180,180])的概率P(身高=180,体重=180)就是一种联合概率...
  • 相信你对变量这个概念并不陌生,数学方程式和编程代码里经常会用到变量。那什么是变量呢?我们在概率中常说的随机变量( random variable)和普通的变量(variable)又有什么...
  • 概率相关

    2019-11-04 18:02:40
    全概率公式、贝叶斯公式、大数定理、中心极限定理联合概率边缘概率条件概率全概率公式贝叶斯公式正态分布大数定理中心极限定理 本文整理了一下最近需要用到的概率方面的知识(ps:没想到当年学的正态分布会有这么广泛...
  • \sum_{x}^{ } P(x)(x-E(x))^{2} E(x)=x∑​P(x)(x−E(x))2 连续随机变量 E(x)=∫xP(x)(x−E(x))2dx E(x)= \int_{x}^{ } P(x)(x-E(x))^{2}dx E(x)=∫x​P(x)(x−E(x))2dx 3、联合概率 独立 发生 P(X,Y)≠P(X)P(Y) P(X...
  • 1、应用场景 1.1 垃圾邮件分类 2、概率基础 概率定义为一件事情发生的可能性 问题: 1、女神喜欢的概率?...2.1 联合概率和条件概率 以下主要来自:https://blog.csdn.net/sinat_30353259/article/deta...
  • 贝叶斯定理

    2021-03-29 16:16:40
    贝叶斯定理-贝叶斯定理 假设有两碗曲奇饼,碗A包含30个香草...对于任意事件A、B都独立,因此联合概率P(A and B)=P(B)P(A|B) 两步骤执行交换,即P(B and A)=P(A)P(B|A) 因为步骤1等式,有如下等式成立P(B)P(A|B)=P(A
  • 本文从最基础的概率论到各种概率分布全面梳理了基本的概率知识与概念,这些概念可能会帮助我们了解机器学习或开拓视野 编者按:本文选自 Medium &analyticsvidhya,机器之心编译。 本文从最基础的概率论到各种...
  • 5. 联合机率Joint Probability *如果一个事件的发生不会影响里一个事件的发生的机率就代表两个事件为独立事件.  所以乘法原理只可以用在事件a和b两者相互独立的时候     6. 统计独立性...
  • 概率统计

    千次阅读 2019-04-04 14:02:23
    条件概率,联合概率和全概率公式: 边缘概率 独立性和条件独立性 期望、方差、协方差和相关系数 常用概率分布 贝叶斯及其应用 中心极限定理 极大似然估计 概率论中的独立同分布? 机器下学习为什么要使用概率 我们...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 8,681
精华内容 3,472
关键字:

联合概率定理