-
机器学习之条件概率,联合概率,贝叶斯定理详解
2018-12-22 17:48:30条件概率,边缘概率,联合概率,全概率,贝叶斯定理是机器学习中几乎所有算法的基础,虽然公式记住了,但是为什么是这样,以及如何理解看过之后隔一段时间问题忘,这里在这里好好做下总结 边缘概率 边缘概率是与联合...前言
条件概率,边缘概率,联合概率,全概率,贝叶斯定理是机器学习中几乎所有算法的基础,虽然公式记住了,但是为什么是这样,以及如何理解看过之后隔一段时间问题忘,这里在这里好好做下总结
边缘概率
边缘概率是与联合概率相对应的,和这类仅与单个随机变量有关的概率称为边缘概率。
边缘概率是不用求的,一般都会给出。条件概率是由联合概率反推出来的,理解起来没有那么直观,全概率,贝叶斯定理也是由联合概率推导出来的,所以这里先说联合概率再说条件概率,最后再讲贝叶斯定理。
联合概率
定义
指包含多个条件且所有条件同时成立的概率,记作,或或,不过一般都是写成。
分析
事件A和事件B可以相互影响的,不过也可以相互独立,不过没有讨论的意义。
如上图
绿色的椭圆表示事件A发生的概率
橘红色的椭圆表示事件B发生的概率
A和B相交的部分就是发生的概率其中
和都是边缘概率
就是联合概率于是我们可以很
可以看到事件A发生的概率和事件B相交的部分就是然后我们也就很容易理解
发生的概率就是:
事件B发生的概率,乘以事件A在事件B发生的条件下发生的概率,
于是有:其中就是事件B发生的情况下事件A发生的概率就是条件概率,记为,下文会继续讲到。
条件概率
定义
已知事件A发生的条件下,另一个事件B发生的概率称为条件概率,即为:
事件A和事件B是相互影响的。更通俗地说事件A与事件B是有关系的,发生事件A会影响发生事件B发生的概率。
问条件概率能举个例子吗
学生时代两个人竞选班,同学A赢的概率是0.6,同学B赢的概率是0.4,问同学A在同学B先被投票的情况下赢的概率是多少。
心理学上有种先入为主的现象,不管是谁,第一个被投票的往往比第二个得票更多一些,就这就是两个事件相互影响,这就是条件概率问条件概率在图中表示的是哪一块呢?
答:条件概率在图中表示不出来,和都是以图形的形式表示概率的,则是是除以的比值,在图形上表示不出来。
条件概率毕竟还是有些抽象滴。。。要不然也不会主要求它啊(_)是通过联合概率反推出来的,以图形化的方式表示自然没有那么直观,不过以联合概率反推的方式来解理还是很好理解的,参考联合概率
OK,到这里来道习题加深下理解吧
条件概率习题:
从中甲乙两人各任取一个数字(不重复),已知甲取到的数是5的倍数,求甲数大于乙数的概率。
解:
设事件A表示”甲取到的数比乙大“,即
设事件B表示”甲取到的数是5的倍数”,即
则显然所要就是条件概率
根据公式
而:
则
所以
通过这么一个例子,理解起来是不是更深入了?
我们可以发现:- 是边缘概率,是直接可以求出来的,
- 是相互影响的,
- 是联合概率通过复杂些的计算也是可以求出来的,
但是条件概率P(A|B)则比较抽象,没那么容易求出来,
OK,现在知道了条件概率的意义了吧
全概率
定义
联合概率中把事件A分割成事件,并把A与B的位置对调于是就成了全概率,如下图
推导
只是全概率是求事件B的,
全概率需要满足以下条件:- 事件A1到An是相互独立的
- 事件A1到An组成了整个样本空间A
- 事件A1到An能把事件B无重叠地覆盖掉
如上图,事件B发生的概率是由C1~C6组成的,于是有:
简化一下就是:而
于是全概率公式就出来了
注意啊,到全概率的时候A()与B,的位置就反过来了,比如说
条件概率公式的表示形式是:
全概率公式的表示形式是:
好了,来道题吧:全概率习题
某工厂有两个车间产生同一型号的配件,第一车间的次品率是,第二车间的次品率是,两个车间的成品都混合堆放在一直,假设第1,2车间生产的成品比例为,现有一客户从混合成品堆里随机抽查一台产品,求该产品的合格率。
解:
设
事件B = {从仓库中随机抽查的产品的合格率}
事件A_{i} = {抽的是第车间产生的},
于是
由题意可知:
的边缘概率:
的边缘概率:
条件概率:
发生的情况下,B发生的概率:
发生的情况下,B发生的概率:
根据全概率公式可知:
所以
贝叶斯公式
定义
同样条件概率中把A推分割成,并把A与B的位置对调就成了贝叶斯公式
推导
根据上图(没错,两个图是一样的,只是离得太远看着不方便)
我们可以知道:求事件B发生的情况下发生的概率其实就是求:
而根据条件概率我们可以知道:
由全概率公式我们可以知道:
于是我们最终得到贝叶斯定理的公式为(注意与的不同):
同样来道习题贝叶斯定理习题
某公路上经过的货车与客车的数量之比为,货车中途停车修理的概率为,客车为,现有一辆汽车中途停车修理,问该汽车是货车的概率
解:
设
事件 = {中途停车修理}
事件 ={经过的是货车},
事件 ={经过的是客车},
于是事件B有:由贝叶斯公式有:
所以最后的结果为:
结束语
OK,到这里边缘概率,联合概率,条件概率,全概率,贝叶斯定理就全部完了,不知道你有没有看明白,不明白的话可以提问啊,咱一块交流。
-
联合概率及其分布、边缘概率及其分布、条件概率及其分布和贝叶斯定理
2018-12-22 13:20:59文章目录联合、边缘、条件概率及其分布联合概率与联合概率分布边缘概率与边缘概率分布条件概率与条件概率分布联合概率、边缘概率、条件概率之间的关系离散型分布的情况连续型分布的情况贝叶斯定理(贝叶斯公式)先验...文章目录
联合概率及其分布、边缘概率及其分布、条件概率及其分布
联合概率与联合概率分布
假设有随机变量X与Y, 此时,P(X=a,Y=b)用于表示X=a且Y=b的概率。这类包含多个条件且所有条件同时成立的概率称为联合概率。联合概率并不是其中某个条件的成立概率, 而是所有条件同时成立的概率。
联合概率的一览表称为联合分布。边缘概率与边缘概率分布
P(X=a)或P(Y=b)这类仅与单个随机变量有关的概率称为边缘概率。
边缘概率的一览表称为边缘分布。条件概率与条件概率分布
在条件Y=b成立的情况下,X=a的概率,记作P(X=a|Y=b)或P(a|b)。
若只有两类事件X和Y,那么有
条件概率的分布简称条件分布,即已知两个相关的随机变量X和Y,随机变量Y在条件{X=x}下的条件概率分布是指当已知X的取值为某个特定值x之时,Y的概率分布。联合概率、边缘概率、条件概率之间的关系
“XY的联合概率”=“X基于Y的条件概率”乘以“Y的边缘概率” 。
离散型分布的情况
离散型分布下联合概率、边际概率、条件概率之间的等式关系:
P(X=x,Y=y)为XY的联合概率,P(X=x)为X的边际概率,P(X=x|Y=y)为X基于Y的条件概率,P(Y=y)为Y的边际概率。连续型分布的情况
只需要将"累加"换成"积分",就是连续型分布下联合概率、边际概率、条件概率之间的转换计算公式。贝叶斯定理(贝叶斯公式)
先验概率
事件发生前的预判概率。可以是基于历史数据的统计,可以由背景常识得出,也可以是人的主观观点给出。一般都是单独事件概率,如P(X)。
后验概率
事件发生后求的反向条件概率;或者说,基于先验概率求得的反向条件概率。概率形式与条件概率相同。
贝叶斯公式
设X和Y分别为两类不同的事件,假设X和Y是互相独立的(属性条件独立性假设),由公式
我们可以得到贝叶斯公式:
其中:- P(Y|X)是后验概率,一般是我们求解的目标。表示当拥有X这个条件后Y的概率,由于有X这个条件,后验概率可能与先验概率不同;
- P(X|Y)是条件概率,又叫似然概率,它表示在承认先验的条件下另一个与之相关的随机变量的表现,一般是通过历史数据统计得到(即通过一个已知的小样本统计得到)。
- P(Y) 是先验概率,它表示我们对一个随机变量概率最初的认识,一般都是人主观给出的。贝叶斯中的先验概率一般特指它。
- P(X)其实也是先验概率,只是在贝叶斯公式中往往被认为是已知的,因此它一般被当做一个常量看待。使用朴素贝叶斯分类器计算时往往忽略这个P(X),因为它是常量。
使用加法规则,则贝叶斯定理中的分母可以用出现在分子中的项表示:
我们可以把贝叶斯公式的分母p(x)看做归一化常数,来确保贝叶斯公式左侧的条件概率对于所有的Y的取值之和为1。 -
从边缘概率、联合概率、条件概率到贝叶斯定理
2018-08-08 23:15:19的概率,称为联合概率,其值等于落在单元格 i , j i,j i , j 的点(实例)的数量与所有点(所有实例)的比值: p ( X = x i , Y = y j ) = n i j N (1) p(X=x_{i},Y=y_{j})=\frac{n_{ij}}{N}\tag{1} p ( X = x i ...考虑两个随机变量,其中取值为, 取值为。如果考虑这两个变量总计个 实例,,将的实例数记为,将的实例数记为,将的实例数记为。
伯努利大数定理:当独立实验次数趋于无穷时,某事件发生的概率趋近于其发生的频率。1、联合概率
为并且的概率,称为联合概率,其值等于落在单元格的点(实例)的数量与所有点(所有实例)的比值:
2、边缘概率
是取的概率,则其等于落在这一列的点的数量与所有点的数量的比值:
是落在第列的所有单元格的点的总和,即:
而:
代入式(1):
称为边缘概率,因为其通过把其它变量(这里是)边缘化(加和)得到。3、条件概率
是当时,的概率,可以理解为当时,点是落在第列,那么落在第列的这些点里,有多少点其?,可知,的计算方式是落在单元格的点的数量与落在第列的点的数量的比值:
经过以下变换:
结合式(1)和式(2):
采用更简洁的表示:
同时我们注意到有:,代入式(9):
这就得到了贝叶斯定理。 -
贝叶斯定理与边缘概率、联合概率、条件概率的关系
2019-03-04 16:55:54 -
切比雪夫中值定理验证联合概率的收敛性质
2020-07-06 12:24:41import numpy as np ...联合概率为多组样本的概率乘积(交集) table = pd.DataFrame((np.random.rand(32).reshape(16,2)>0.5).astype(int),columns=['X','Y']) table def prob(table): names = -
python3 联合概率,边缘概率,贝叶斯定理(含详细推导)
2019-11-27 18:58:02左下角的图显示了从这些变量的联合概率分布中抽取的60个点(N=60)的样本。剩下的图显示了p(X)和p(Y)的边缘分布的直方图估计值和以及条件分布p(X|Y = 1)对应于右下角的最后一行。 案例: 假设有 ... -
贝叶斯①——贝叶斯原理篇(联合概率&条件概率&贝叶斯定理&拉普拉斯平滑)
2019-06-24 21:56:19贝叶斯分类是一类以贝叶斯定理为基础的分类算法的总称,其中基于特征之间相互独立的朴素贝叶斯是最简单,但效果却非常好的一种分类算法。本文整理了贝叶斯算法的基本原理,希望能够对大家有所帮助~~ 一、贝叶斯定理 ... -
概率密度变换公式 雅可比矩阵_的联合概率密度函数f(x,y).ppt
2021-01-13 22:06:23的联合概率密度函数f(x,y)解:(X,Y)的概率密度为 变换为 解出逆变换为 雅可比行列式为 在变换之下,区域G={(x,y)|x>0,y>0}与 G*={(u,v)|u>0,v>0}一一对应。随机向量变换的其它条件均满足,因此由定理可得... -
【深度学习笔记整理-1.2】概率模型和贝叶斯定理
2020-05-15 14:31:42①联合概率: 表示包含多个条件且所有条件同时成立的概率。 在机器学习中,这些所谓的条件其实就是数据的各种特征, 比如一个人身高=180,同时体重=180([180,180])的概率P(身高=180,体重=180)就是一种联合概率... -
概率相关
2019-11-04 18:02:40全概率公式、贝叶斯公式、大数定理、中心极限定理联合概率边缘概率条件概率全概率公式贝叶斯公式正态分布大数定理中心极限定理 本文整理了一下最近需要用到的概率方面的知识(ps:没想到当年学的正态分布会有这么广泛... -
贝叶斯定理
2019-03-07 00:23:00条件概率(英语:conditional probability)就是事件A在事件B发生的条件下发生的概率。...A与B的联合概率表示为 \({\displaystyle P(A\cap B)} P(A\cap B)\)或者 \({\displaystyle P(A,B)} P(A,B)\)或者 \... -
bayes概率
2020-09-03 21:42:27边缘概率是这样得到的:在联合概率中,把最终结果中那些不需要的事件通过合并成它们的全概率,而消去它们(对离散随机变量用求和得全概率,对连续随机变量用积分得全概率),这称为边缘化(marginalization),比如A... -
简单说说贝叶斯定理
2020-08-23 21:24:55在引出贝叶斯定理之前,先学习几个定义: 条件概率(又称后验概率)就是事件A在另外一个事件B已经发生...联合概率表示两个事件共同发生的概率。A与B的联合概率表示为或者。 边缘概率(又称先验概率)是某个事件发生的概 -
概率统计
2019-04-04 14:02:23条件概率,联合概率和全概率公式: 边缘概率 独立性和条件独立性 期望、方差、协方差和相关系数 常用概率分布 贝叶斯及其应用 中心极限定理 极大似然估计 概率论中的独立同分布? 机器下学习为什么要使用概率 我们... -
贝叶斯定理笔记(1)
2018-10-09 14:19:21贝叶斯定理: 贝叶斯定理是关于随机事件A和B的条件概率(或边缘概率)的一则定理。其中P(A|B)是在B发生的情况下A发生的可能性。 贝叶斯定理也称贝叶斯推理。...2、联合概率 指的是包含多个条件且... -
理解贝叶斯定理
2018-09-26 18:59:23条件概率 先要从条件概率讲起,条件概率,一般记作P(A|B),意思是当B事件发生时,...其中 $P(A \cap B)$ 意思是A和B共同发生的概率,称为联合概率。也可以写作 P(A,B) 或 P(AB)。注意,定义中A与B之间不一定有因果或... -
贝叶斯定理笔记
2020-06-01 16:36:21ab同时发生的概率是:p(a)*p(b) 联合概率 根据交换律可得:p(a)*p(b)=p(b)*p(a)=p(a and b)=p(b and a) 对a、b进行展开p(a and b)=p(a)*p(b|a) p(b|a) 是a发生时b发生的概率 p(b and a)=p(b)*p(a|b) p(a|b) 是b... -
-
从贝叶斯定理到模糊动态贝叶斯网络
2020-03-12 16:12:43从贝叶斯定理到模糊贝叶斯动态网络 贝叶斯定理公式: p(c)为类先验概率 ...由上面贝叶斯定理公式来估计后验概率的主要困难在于:类条件概率 是所有属性上的联合概率,难以从有限的训练样本中直接估计而得... -
贝叶斯定理在拼写检查中的应用
2017-04-19 18:58:32贝叶斯定理 条件概率 通常条件概率表示为P(A|B)P(A|B),表示在给定B条件下A事件发生的概率。... 通常意义下,联合概率表示为P(A,B)=P(A)P(B|A)P(A, B)=P(A)P(B|A)贝叶斯定理 由联合概率乘法交换律 -
「机器学习_3」概率数学基础
2020-03-22 19:43:55条件概率,边缘概率,联合概率,全概率,贝叶斯定理是机器学习中几乎所有算法的基础,虽然公式记住了,但是为什么是这样,以及如何理解看过之后隔一段时间问题忘,这里在这里好好做下总结 1. 边缘概率 边缘概率... -
为什么朴素贝叶斯定理会被叫做朴素的?
2020-06-25 10:24:44联合概率 条件概率 独立事件和从属事件 考虑两个事件A和B。当事件A的发生概率不依赖于事件B的发生时,则A和B是独立的事件。例如,如果你有两枚普通硬币,那么两枚硬币的正面概率都是0.5。因此,事件是独立的。 现在... -
机器学习--第一章贝叶斯定理及其应用
2019-10-02 06:23:28贝叶斯统计都是以条件概率,联合概率为基础的,所以我们从概率,条件概率,联合概率开始,然后到贝叶斯定理,最后讲一个贝叶斯的应用--垃圾邮件的过滤 概率:事件发生的可能性,比如抛一枚硬币,正面向上的可能性有... -
机器学习的基石——概率论和贝叶斯定理
2018-04-02 22:39:481、联合概率分布联合概率分布简称联合分布,是两个及以上随机变量组成的随机变量的概率分布。对于二维离散随机向量,设X和Y都是离散型随机变量, 和 分别是X和Y的一切可能的几何,则X和Y的联合概率分布可以表示为... -
Gibbs 采样定理的若干证明
2017-04-03 14:46:49坐标平面上的三点,A(x1,y1),B(x1,y2),C(x2,y1)A(x_1,y_1),B(x_1,y_2),C(x_2, y_1),假设有概率分布 p(x,y)p(x,y)(P(X=x,Y=y)P(X=x,Y=y) 联合概率),则根据联合概率与条件概率的关系,则有如下两个等式: -
概率导论(基础部分笔记)
2019-03-24 11:58:17概率模型1.1样本空间1.2概率律1.2.1 概率率模型-离散模型古典概型条件概率全概率定理和贝叶斯准则独立性2.离散随机变量分布列伯努利分布列随机变量的函数期望均值方差多个随机变量的联合分布在某个条件下的随机变量...
-
elasticsearch进阶(二)错误问题汇总
-
2021-03-01
-
Galera 高可用 MySQL 集群(PXC v5.7+Hapro)
-
ApacheShiro权限框架理论介绍
-
ELF视频教程
-
具有不确定性的非完整链形式系统的鲁棒镇定
-
C/C++反汇编解密
-
求子集I
-
Mycat深入学习
-
基于纳米线波导和一维光子晶体纳米梁腔的模分-波分混合解复用器
-
angular-chart:AngularJS指令,用于可调整的动态更新c3图表-源码
-
时滞分数阶系统PD~μ控制器参数整定的图解法
-
项目经理成长之路
-
掺有Fabry-Perot滤光片的全光纤宽波长可调th掺杂光纤环形激光器
-
二叉树的最大路径和
-
具有超窄波长间隔的多波长光纤参量振荡器
-
MySQL 高可用工具 heartbeat 实战部署详解
-
access应用的3个开发实例
-
CBOEX交易所—牛年开跑,开启数字交易新局面!
-
my_cat