贝叶斯公式 订阅
贝叶斯定理由英国数学家贝叶斯 ( Thomas Bayes 1702-1761 ) 发展,用来描述两个条件概率之间的关系,比如 P(A|B) 和 P(B|A)。按照乘法法则,可以立刻导出:P(A∩B) = P(A)*P(B|A)=P(B)*P(A|B)。如上公式也可变形为:P(A|B)=P(B|A)*P(A)/P(B)。 展开全文
贝叶斯定理由英国数学家贝叶斯 ( Thomas Bayes 1702-1761 ) 发展,用来描述两个条件概率之间的关系,比如 P(A|B) 和 P(B|A)。按照乘法法则,可以立刻导出:P(A∩B) = P(A)*P(B|A)=P(B)*P(A|B)。如上公式也可变形为:P(A|B)=P(B|A)*P(A)/P(B)。
信息
提出时间
1763年《机会学说中一个问题的解》
表达式
P(A|B)=P(B|A)*P(A)/P(B)
提出者
Thomas Bayes
应用学科
数学
中文名
贝叶斯公式
适用领域范围
概率论
外文名
Bayes Rule
贝叶斯公式定义
贝叶斯的统计学中有一个基本的工具叫贝叶斯公式、也称为贝叶斯法则, 尽管它是一个数学公式,但其原理毋需数字也可明了。如果你看到一个人总是做一些好事,则那个人多半会是一个好人。这就是说,当你不能准确知悉一个事物的本质时,你可以依靠与事物特定本质相关的事件出现的多少去判断其本质属性的概率。 用数学语言表达就是:支持某项属性的事件发生得愈多,则该属性成立的可能性就愈大。贝叶斯公式又被称为贝叶斯定理、贝叶斯规则是概率统计中的应用所观察到的现象对有关概率分布的主观判断(即先验概率)进行修正的标准方法。所谓贝叶斯公式,是指当分析样本大到接近总体数时,样本中事件发生的概率将接近于总体中事件发生的概率。但行为经济学家发现,人们在决策过程中往往并不遵循贝叶斯规律,而是给予最近发生的事件和最新的经验以更多的权值,在决策和做出判断时过分看重近期的事件。面对复杂而笼统的问题,人们往往走捷径,依据可能性而非根据概率来决策。这种对经典模型的系统性偏离称为“偏差”。由于心理偏差的存在,投资者在决策判断时并非绝对理性,会行为偏差,进而影响资本市场上价格的变动。但长期以来,由于缺乏有力的替代工具,经济学家不得不在分析中坚持贝叶斯法则。 [1] 
收起全文
精华内容
下载资源
问答
  • 知乎上对贝叶斯公式的理解,对我有帮助,把它存在了笔记上,现在不用笔记了,所以为了资源的丢失,上上传上来吧,如果你也需要,岂不更好?
  • 已知先验分布概率和条件概率,使用贝叶斯公式,求后验分布的概率
  • 全概率公式和贝叶斯公式.它们与之前的两个公式一起构成概率计算问题的四大公式.
  • 第七节贝叶斯公式 全概率公式和贝叶斯公式主要用于 计算比较复杂事件的概率,它们实质上 是加法公式和乘法公式的综合运用. 综合运用 加法公式 乘法公式 P(A+B)=P(A)+P(B P(AB)= P(AP(BIA AB互斥 P(A>0 例1有三个箱子,...
  • 图解贝叶斯公式

    千次阅读 2021-03-17 14:35:40
    图解贝叶斯公式 文章目录图解贝叶斯公式前言:参考链接:公式背景:以一个例子来理解先验和后验概率:贝叶斯公式:常见名词我的图:总结:联系方式: 前言: 老规矩,先说说为什么要写这篇博客。 研一上《模式识别》...

    图解贝叶斯公式

    前言:

    老规矩,先说说为什么要写这篇博客。
    研一上《模式识别》和《机器学习》的时候,我是弄懂了贝叶斯公式的,当时还觉得这个简单,我理解了。
    但是一段时间没用了之后,我自己推导不出来了。
    模糊的印象就是,我当时在百度百科上找到了一个非常好的图解例子;
    为什么有这样的印象呢?还不是因为百度百科的信息价值一直都比较低,因此偶尔能找到一个靠谱的词条,记忆尤为深刻~

    重新走一遍当初的推导过程,并且,记录分享一下~

    参考链接:

    贝叶斯公式-百度百科

    公式背景:

    贝叶斯定理由英国数学家贝叶斯 ( Thomas Bayes 1702-1761 ) 发展,用来描述两个条件概率之间的关系,比如 P(A|B) 和 P(B|A)。按照乘法法则,可以立刻导出:
    P(A∩B) = P(A)*P(B|A)=P(B)*P(A|B)。

    这个公式太直观了,事件AB同时发生的概率:
    等于当事件A发生了之后,再乘以在事件A发生的基础上事件B发生的概率。
    或者事件B发生了之后,再乘以在事件B发生基础上事件A发生的概率。
    符合朴素的认知习惯。

    如上公式可以稍微变化为:
    P(A|B)=P(B|A)*P(A)/P(B)。

    这个公式从上往下看也很容易理解,就是等式两端,同除以概率P(B)。
    试着直观上描述这个公式。
    等式左边是事件B发生后,事件A也被发生的概率;就是下图中间的那个部分P(A∩B),占整个事件B发生的比例;
    等式右边是P(B|A)*P(A),就是P(B∩A),也是下图中间的那个部分,除以概率P(B),也就是占整个B发生的比例。
    虽然啰里啰嗦的,但是勉强能把简洁的公式,用语言描述出来了~
    在这里插入图片描述

    以一个例子来理解先验和后验概率:

    贝叶斯公式:

    P(A|B)=P(B|A)*P(A)/P(B)

    常见名词

    参考链接:
    https://www.zhihu.com/question/19725590/answer/32275564

    在贝叶斯定理中,每个名词都有约定俗成的名称:P(A)是 A 的先验概率,之所以称为“先验”是因为它不考虑任何 B 方面的因素。

    1. P(A|B)是已知 B 发生后 A 的条件概率,也由于得自 B 的取值而被称作 A 的后验概率
    2. P(B|A)是已知 A 发生后 B 的条件概率,也由于得自 A 的取值而被称作 B 的后验概率
    3. P(B)是 B 的先验概率,也作标淮化常量(normalizing constant)。

    按这些术语,贝叶斯定理可表述为:
    后验概率 = (相似度-条件概率 * 先验概率)/标淮化常量

    这里面的相似度是第一次出现,其实就是P(B|A),如果P(B|A)=P(A|B),那么事件AB是同一个事件,用条件概率当成相似度,倒也貌似合理~

    也就是说,后验概率与先验概率和相似度的乘积成正比。
    另外,比例P(B|A)/P(B)也有时被称作标淮相似度(standardised likelihood),Bayes定理可表述为:后验概率 = 标淮相似度 * 先验概率

    百度百科例子加强版:

    现分别有2黑盒子和3个白盒子,在每个黑盒子 里分别有 7 个红球和 3 个白球,在每个白盒子里有1 个红球和 9 个白球。
    现已知闭着眼从五个盒子中,摸到了一个盒子,在里面抽出了一个球,是红色的。
    问这个红球来自白盒子的概率是多少?

    我来写一个较为详细的分析笔记:

    在这里例子中,待求的概率是P(从白盒子中|拿到红球)
    那么带入公式,可以知道,事件B是拿到了红球,事件A是从白盒子中拿的;
    既然明确了事件AB是什么,就从这个题设中,获取已知信息;
    P(B|A)=P(拿到红球|从白盒子中)=1/10
    P(A)=3/5,因为随机摸盒子,有3/5的概率是白的。
    P(B)=P(拿到红球)=3/10,这个就得考虑全盘了,总共红球有5 * 8个,所有的球有5 * 10个
    带入可得上面的结果:
    P(A│B)=P(B│A)*P(A)/P(B) =1/5

    这里的先验概率P(A)是从白盒子中拿,这个和球是什么颜色无关;单纯的看白盒子占所有盒子的中的比例。这个一眼就能看出来,算是先验,应该好理解。

    条件概率是P(B|A),从白盒子中拿到红球的概率;这个就是有条件的了。这个值越大,那么从白盒子中拿红球的概率就越大。

    上面两个一乘,就变成了在白盒子中选到红球的概率了

    我的图:

    在这里插入图片描述
    图画错了~

    标准化常量是P(B),即拿到红色球的概率。
    好好思考一下其中的含义;

    总结:

    贝叶斯公式,用来估计和预测东西还是有点用的。

    最后加点其他例子:
    贝叶斯公式应用——(1)用来调研尴尬敏感问题

    联系方式:

    ps: 欢迎做强化的同学加群一起学习:

    深度强化学习-DRL:799378128

    欢迎关注知乎帐号:未入门的炼丹学徒

    CSDN帐号:https://blog.csdn.net/hehedadaq

    极简spinup+HER+PER代码实现:https://github.com/kaixindelele/DRLib

    展开全文
  • 贝叶斯公式整理

    千次阅读 2020-04-30 19:46:07
    1.贝叶斯公式思想 2.事件的贝叶斯公式 3.连续型二维随机变量的贝叶斯公式 4.一般的贝叶斯公式

    0.补充

    事件的乘法公式:(1) 若 P ( A ) > 0 , 则 P ( A B ) = P ( A ) P ( B ∣ A ) 若P(A)>0,则P(AB) = P(A)P(B|A) P(A)>0,P(AB)=P(A)P(BA)
    ( 2 ) 若 P ( A 1 A 2 . . . A n − 1 ) > 0 , 则 P ( A 1 A 2 . . . A n − 1 A n ) = P ( A 1 ) P ( A 2 ∣ A 1 ) P ( A 3 ∣ A 1 A 2 ) . . . P ( A n ∣ A 1 A 2 . . . A n − 1 ) (2)若P(A_1A_2...A_{n-1})>0,则P(A_1A_2...A_{n-1}A_n)=P(A_1)P(A_2|A_1)P(A_3|A_1A_2)...P(A_n|A_1A_2...A_{n-1}) (2)P(A1A2...An1)>0,P(A1A2...An1An)=P(A1)P(A2A1)P(A3A1A2)...P(AnA1A2...An1)

    全概率公式 : 设 B 1 , B 2 , . . . , B n 是 样 本 空 间 的 一 个 划 分 , 即 B 1 , B 2 , . . . , B n 互 不 相 容 , 且 ⋃ i = 1 n B i = Ω , 如 果 P ( B i ) > 0 , i = 1 , 2 , . . . , n , 则 对 任 意 事 件 A 有 : 设B_1,B_2,...,B_n是样本空间的一个划分,即B_1,B_2,...,B_n互不相容,且\quad \bigcup_{i=1}^{n}B_i=\Omega,如果P(B_i)>0,i=1,2,...,n,则对任意事件A有: B1,B2,...,BnB1,B2,...,Bni=1nBi=Ω,P(Bi)>0,i=1,2,...,n,A
    P ( A ) = ∑ i = 1 n P ( B i ) P ( A ∣ B i ) P(A) = \sum_{i=1}^{n}P(B_i)P(A|B_i) P(A)=i=1nP(Bi)P(ABi)
    理解:若A 是一个复杂的事件,可以通过此全概率公式求解。即A发生的概率为A 在不同情况 B i B_i Bi下的加权平均和,每一项的权重为对应情况 B i B_i Bi发生的概率。
    例子:摸彩模型
    设在n张彩票中有一张奖券,求第二个人摸到奖券的概率是多少?
    解:设第二个人摸到奖券为事件B,直接求事件B不好算。可以考虑不同情况下事件B的概率,然后利用全概率公式求加权和。显然,此事件与前一个人是否摸到奖券有直接关系,设 A 1 A_1 A1为第一个人摸到奖券, A 1 ˉ \bar{A_1} A1ˉ为第一个人没有摸到奖券,分别计算B 在这两种情况下的概率为:
    P ( B ∣ A 1 ) = 0 ; P ( B ∣ A 1 ˉ ) = 1 n − 1 P(B|A_1)=0 ; P(B|\bar{A_1})= \frac{1}{n-1} P(BA1)=0;P(BA1ˉ)=n11

    由全概率公式可得: P ( B ) = P ( A 1 ) P ( B ∣ A 1 ) + P ( A 1 ˉ ) P ( B ∣ A 1 ˉ ) = n − 1 n 1 n − 1 = 1 n P(B)=P(A_1)P(B|A_1)+P(\bar{A_1})P(B|\bar{A_1})=\frac{n-1}{n} \frac{1}{n-1}=\frac{1}{n} P(B)=P(A1)P(BA1)+P(A1ˉ)P(BA1ˉ)=nn1n11=n1
    第二个人与第一个人抽到奖券的概率是一样的,但前提是第二个人不知道第一个人的抽奖结果。同理,在后一个人不知道前一个人的抽奖结果时,第3、4、…、n个人抽到奖券的概率均为 1 n . \frac{1}{n}. n1.
    但是在后一个人知道前一个人的抽奖结果时,相应的每个人抽到奖券的概率也就变了。

    1.贝叶斯公式思想

    从上述的摸彩问题可以看出,我们知道的信息多少直接决定我们所求事件的概率的大小。
    贝叶斯学派认为:一件事件的概率是人们根据经验对该事件发生的可能性所给出的个人信念,称为主观概率。主观概率的确定可以根据自己的经验或者是别人的经验确定。例如:对于某项有风险的投资,某个专家认为成功的可能性为60%,而这个专家的估计往往是偏保守型的,我们可以修正为成功的概率为70%。

    在真实世界里,我们所做的往往是根据事发后的现象,和某种先验信息结合,去估计事物的可能性,这正是贝叶斯的思路。

    2.事件的贝叶斯公式

    P ( B ∣ A ) = P ( A ∣ B ) P ( B ) P ( A ∣ B ) P ( B ) + P ( A ∣ B ˉ ) P ( B ˉ ) P(B|A) = \frac{P(A|B)P(B)}{P(A|B)P(B)+P(A|\bar{B})P(\bar{B})} P(BA)=P(AB)P(B)+P(ABˉ)P(Bˉ)P(AB)P(B)

    先用乘法公式再用全概率公式可证明。
    理解:B是“因”或是“先”,故我们求P(B|A) 是违背了真实的事件发生的先后顺序,所有必须转化为P(A|B)来求。知道了事件A的信息后,我们可用P(B|A)去修正事件B的无条件概率P(B)。

    更一般的,多个事件的贝叶斯公式为:
    P ( B i ∣ A ) = P ( B i ) P ( A ∣ B i ) ∑ j = 1 n P ( B j ) P ( A ∣ B j ) P(B_i|A) = \frac{P(B_i)P(A|B_i)}{\sum_{j=1}^{n} P(B_j)P(A|B_j) } P(BiA)=j=1nP(Bj)P(ABj)P(Bi)P(ABi)

    3.连续型二维随机变量的贝叶斯公式

    p ( x ∣ y ) = p ( y ∣ x ) p X ( x ) ∫ − ∞ ∞ p ( y ∣ x ) p X ( x ) d x p(x|y)=\frac{p(y|x) p_{X} (x)}{\int_{- \infty}^{\infty} p(y|x)p_{X}(x) dx } p(xy)=p(yx)pX(x)dxp(yx)pX(x)

    4.贝叶斯公式估计分布中的未知参数

    在统计推断中,贝叶斯学派用三种信息去估计未知参数,分别问:总体信息、样本信息和先验信息。与经典学派不同的是,除了使用总体信息和样本信息,贝叶斯统计还注意使用先验信息的收集、挖掘和加工,使他数量化,形成先验分布,用于统计推断中去。
    π ( θ ∣ X ) = p ( X ∣ θ ) π ( θ ) ∫ Θ p ( X ∣ θ ) π ( θ ) d θ = h ( X , θ ) ∫ Θ h ( X , θ ) d θ \pi(\theta|X) = \frac{p(X|\theta) \pi(\theta)}{\int_{\Theta}^{} p(X|\theta) \pi(\theta) d\theta } = \frac{h(X,\theta)}{\int_{\Theta}^{} h(X,\theta) d \theta} π(θX)=Θp(Xθ)π(θ)dθp(Xθ)π(θ)=Θh(X,θ)dθh(X,θ)
    其中, X = ( x 1 , x 2 , . . . , x n ) 为 样 本 X=(x_1,x_2,...,x_n)为样本 X=(x1,x2,...,xn)
    π ( θ ) 为 θ 的 先 验 分 布 , π ( θ ∣ X ) 是 有 了 总 体 、 样 本 和 先 验 信 息 之 后 , 对 π ( θ ) 作 的 修 正 。 \pi(\theta)为\theta 的先验分布,\pi(\theta|X)是有了总体、样本和先验信息之后,对\pi(\theta)作的修正。 π(θ)θπ(θX)π(θ)
    使用后验分布 π ( θ ∣ X ) 的 均 值 作 为 θ 的 点 估 计 , 称 为 θ 的 贝 叶 斯 估 计 或 后 验 期 望 估 计 。 \pi(\theta|X)的均值作为\theta 的点估计,称为\theta的贝叶斯估计或后验期望估计。 π(θX)θθ
    即: θ ^ B = E ( θ ∣ X ) \hat{\theta}_B = E(\theta|X) θ^B=E(θX)

    参考文献:
    【1】茆诗松,程依明,濮晓龙.概率论与数理统计教程(第二版)[M].北京:高等教育出版社,2004,3.
    【2】知乎的一篇文章:怎么简单理解贝叶斯公式?

    展开全文
  • 贝叶斯公式

    千次阅读 2018-08-03 09:54:34
    在介绍贝叶斯定理之前,先简单地介绍一下条件概率,描述的是事件 A 在另一个事件 B 已经发生条件下的概率,记作 , A 和 B 可能是相互独立的两个事件,也可能不是:  表示 A,B 事件同时发生的概率,如果 A 和 ...

    条件概率和全概率

    在介绍贝叶斯定理之前,先简单地介绍一下条件概率,描述的是事件 A 在另一个事件 B 已经发生条件下的概率,记作 P(A|B), A 和 B 可能是相互独立的两个事件,也可能不是:

    P(A|B)=\frac{P(A\cap B)}{P(B)}

    P(A\cap B) 表示 A,B 事件同时发生的概率,如果 A 和 B 是相互独立的两个事件,那么:

    P(A|B)=\frac{P(A\cap B)}{P(B)}=\frac{P(A)\times P(B)}{P(B)}=P(A)

    上面的推导过程反过来证明了如果 A 和 B 是相互独立的事件,那么事件 A 发生的概率与 B 无关。

    稍微做一下改变:

    P(A\cap B)=P(A|B)\times P(B)

    考虑到先验条件 B 的多种可能性,这里引入全概率公式:

    P(A) =P(A\cap B)+P(A\cap B^C)=P(A|B)\times P(B)+P(A|B^c)\times P(B^c)

    这里 B^c 表示事件 B 的互补事件,从集合的角度来说是 B 的补集:

    P(B)+P(B^c)=1

    条件概率和全概率公式可以通过韦恩图形象地表示出来:

    贝叶斯公式

    在条件概率和全概率的基础上,很容易推导出贝叶斯公式:

    P(A|B)=\frac{P(A\cap B)}{P(B)}=\frac{P(B|A)\times P(A)}{P(B)}=\frac{P(B|A)\times P(A)}{P(B|A)\times P(A)+P(B|A^c)\times P(A^c)}

    看上去贝叶斯公式只是把 A 的后验概率转换成了 B 的后验概率 + A 的边缘概率的组合表达形式,因为很多现实问题中 P(A|B) 或 P(A\cap B) 很难直接观测,但是 P(B|A) 和 P(A) 却很容易测得,利用贝叶斯公式可以方便我们计算很多实际的概率问题。

    一个很有意思的例子

    在生活中,几乎所有人(包括统计学者)都会无意识地将两个事件的后验概率混淆,即:

    P(A|B)=P(B|A)

    最经典的一个例子就是疾病检测,假设某种疾病在所有人群中的感染率是0.1%,医院现有的技术对于该疾病检测准确率为 99%(已知患病情况下, 99% 的可能性可以检查出阳性;正常人 99% 的可能性检查为正常),如果从人群中随机抽一个人去检测,医院给出的检测结果为阳性,那么这个人实际得病的概率是多少?

    很多人会脱口而出 "99%",但真实概率远低于此,因为他们把两个后验概率搞混了,如果用 A 表示这个人患有该疾病,用 B 表示医院检测的结果是阳性,那么 P(B|A) = 99\% 表示的是「已知一个人得病的情况下医院检测出阳性的概率」,而我们现在问的是「对于随机抽取的这个人,已知检测结果为阳性的情况下这个人患病的概率」,即P(A|B) 。

    我们可以用贝叶斯定理来计算这个人实际得病的概率:

    P(A|B)=\frac{P(B|A)\times P(A)}{P(B|A)\times P(A)+P(B|A^c)\times P(A^c)}

    其中:

    • P(A)=0.001,被检测者患病的概率
    • P(A^c)=0.999,被检测未者患病的概率
    • P(B|A)=0.99,已知患病的情况下检测为阳性的概率
    • P(B|A^c)=0.01,已知未患病的情况下检测为阳性的概率

    将上面的概率代入到贝叶斯公式中,可得:

    P(A|B)=\frac{P(B|A)\times P(A)}{P(B|A)\times P(A)+P(B|A^c)\times P(A^c)}=\frac{0.99\times 0.001}{0.99\times 0.001 + 0.01\times 0.999}\approx 0.09

    这个公式在这里的实际意义是什么?让我们用图来解释(图中概率经过四舍五入,考虑到图片的尺寸,面积并没有和概率严格对应起来): 

    从贝叶斯的角度来看,随意选取的一个被测者,由于信息并不充分,未检测之前有假阳性、真阳性、假阴性和真阴性四种可能,这些可能性由检测技术和该疾病的感染率决定,当检测结果为阳性的时候,只剩下真阳性和假阳性两种可能,而真阳性的概率仅为假阳性的十分之一,贝叶斯公式在这里的实际意义是:

    P(A|B)=\frac{True\ Positive}{True\ Positive+False\ Positive}=\frac{0.001}{0.01+0.001}\approx0.09

    即使被医院检测为阳性,实际患病的概率其实还不到10%,有很大可能是假阳性,往往需要复检来确定是否真的患病,让我们再来计算初检和复检结果都为阳性时,患病的可能性。假设两次检查的准确率相同,都是99%,这里令 B 为第一次检测结果为阳性,C 为第二次检测结果为阳性,A 为被检测者患病,那么两次检测结果都是阳性患病的概率可以表示为:

    P(A|(B\cap C))=\frac{P((B\cap C)|A)\times P(A)}{P((B\cap C)|A)\times P(A)+P((B\cap C)|A^c)\times P(A^c)}
     

    其中:

    • P(A)=0.001,被检测者患病的概率
    • P(A^c)=0.999,被检测者未患病的概率
    • P((B\cap C)|A) = 0.99\times 0.99 = 0.9801,已知患病情况下连续两次检测结果为阳性的概率
    • P((B\cap C)|A^c) = 0.01\times 0.01 = 0.0001,已知未患病情况下连续两次检测结果为阳性的概率

    代入后可得:

    \begin{split}P(A|(B\cap C)) &=\frac{P((B\cap C)|A)\times P(A)}{P((B\cap C)|A)\times P(A)+P((B\cap C)|A^c)\times P(A^c)}\\&=\frac{0.9801\times 0.001}{0.9801\times 0.001 + 0.0001\times 0.999}\\&\approx 0.9\end{split}

    可见复检结果大大提高了检测的可信度,联系上面的图,复检的意义在于大幅减少假阳性的可能(0.01 -> 0.0001)从而提高阳性检测的准确性。

    展开全文
  • 贝叶斯统计与贝叶斯公式

    千次阅读 2019-06-02 09:20:16
    贝叶斯统计是上述贝叶斯公式的一个简单推广。这个推广,简单地讲,无非是做了下面的一点置换:       进一步,按统计学的习惯写法,将   记作   , 也就是在给定数据下的似然...

    https://www.toutiao.com/a6695720844376670733/

     

     

    逻辑推理的一个常见误区是以偏概全。一个典型例子是:许多渠道显示,地震发生时伴随的一个常见现象是动物园里的动物普遍地焦躁不安。于是,有些人就把动物焦躁不安作为地震预测的一个强有力的手段。更有甚者,一旦发现动物普遍地焦躁不安,直接就说,哪里要发生地震了。那,这样的推理具有什么样的缺陷呢?

    地震和动物焦躁不安都是不确定性事件。用A表示动物园里的动物普遍地焦躁不安,用B表示地震的发生。那们上述推理犯了这样一个错误:

    贝叶斯统计与贝叶斯公式

     

    更加直白一点讲,误将正命题的正确性当成了逆命题的正确性。

    仔细想想,我们在日常生活当中,实际上经常性地犯这样类似的错误。比如,在一次列车旅行当中,坐在你对面的旅客和你攀谈。你注意到这位朋友中等身材。简短的语言交流之后,你发现他思维敏捷程度甚至不输任何人。继续接触下来,你感觉这个人做的工作似乎与应急管理非常类似。继续聊天,那人告诉你他比王宝强还喜欢K歌。这个时候你边上的另一位旅客说,你猜猜他是做什么工作的?给两个选项:

    (A)应急管理研究

    (B)农民

    你会选哪个呢?如果你选(A),但你就陷入了刚刚讲的推理误区了。对照贝叶斯公式,你发现你漏掉了什么?

    你在这个推理过程当中漏掉了背景信息!在一个这样的列车上,你说是研究员多呢,还是农民多?反过来,如果坐的是高铁,那你直接猜他做应急管理研究。

    上面讲的这个推理误区,在认知心理学里称作为Representative Bias.

     

    贝叶斯统计是上述贝叶斯公式的一个简单推广。这个推广,简单地讲,无非是做了下面的一点置换:

     

    贝叶斯统计与贝叶斯公式

     

     

    进一步,按统计学的习惯写法,将

    贝叶斯统计与贝叶斯公式

     

    记作

    贝叶斯统计与贝叶斯公式

     

    , 也就是在给定数据下的似然函数,那么贝叶斯统计的参数估计的公式就表现为

     

    贝叶斯统计与贝叶斯公式

     

     

    上式中三项分别为后验分布、似然函数、先验分布。

    理解上述贝叶斯统计公式,有几个需要注意的问题。

    第一,这是中国人的智慧,永远不要把话讲得太满。什么意思呢,我们不要将先验概率的定义域限得太死。没有充分的、机理上的证据,不要将定义域的上下限定得过于具体。比如,实际计算时一个常见的错误是人为地定一个位于某个确定区间内的均匀分布,然后还宣扬自己没有先验信息。这样做的直接后果是,将一大批可能的黑天鹅[注1]都赶尽杀绝。引申开来就是,自己的推理永远跳不出你先验分布的框框里面。要注意,如果在某个区间

    贝叶斯统计与贝叶斯公式

     

    ,那么无论数据(事实)如何,在该区间

    贝叶斯统计与贝叶斯公式

     

    永远是零——这就是屁股决定脑袋的贝叶斯。

    第二,如果将先验分布理解为对不确定性参数所有先验知识和信息的一个概率描述,那么,贝叶斯更新表现为似然函数乘以先验分布,就可以更加直观地理解为它是不同渠道信息的一个融合。这与数据本身不同观察值在条件相互独立前提下构造似然函数的办法是一脉相承的。这里的关键问题在于,如何对先验信息和知识进行概率化表达?

    第三,从预测的角度,贝叶斯学派和传统的Fisher学派也是一脉相承的。假设某个随机量

    贝叶斯统计与贝叶斯公式

     

    服从某个参数化概率模型,记作

    贝叶斯统计与贝叶斯公式

     

    那么,在给定数据下的预测值可以写成如下形式:

    贝叶斯统计与贝叶斯公式

     

    引入条件独立性[注2],式中第一项

    贝叶斯统计与贝叶斯公式

     

    即为随机变量的固有不确定性模型,而第二项

    贝叶斯统计与贝叶斯公式

     

    在贝叶斯统计当中即为参数的后验分布,在Fisher学派里头即为似然函数。第二项反映的是模型参数的不确定性。这样,这个预测公式既包含了固有不确定性(Aleatory uncertainty),又包括了认知的不确定性(Epistemic uncertainty)。

    第四,贝叶斯统计往往涉及到高维积分,这一点从上面的预测公式容易看出。当模型参数比较多,后验分布经过似然函数的藕合后通常变是相互关联。因此在计算许多统计量如后验均值、方差时,都将涉及到高维积分。为此,许多现代统计计算方法如Markov-chain Monte Carlo, Quasi Monte Carlo等应用而生。

    贝叶斯统计与贝叶斯公式

    展开全文
  • 下面总结几个我在学习贝叶斯公式的时候能够对我的理解有所帮助的要点,首先引用一句话: “概率论只不过把常识用数学公式表达了出来”——拉普拉斯 贝叶斯公式将人的思维方式用数学公式表达出来,所以贝叶斯公式在...
  • 贝叶斯理论是深度学习机器学习领域中重要的一个理论支撑,这个文档是不错的参考。
  • 贝叶斯公式经典题

    千次阅读 2020-11-07 02:28:45
    题目: 比如找次品问题:A,B,C 产品占比分布为 1/2, 1/6, 1/3; A,B,C的次品率分布为 0.2, 0.1, 0.3; 求出现次品是A做出来的概率; 计算:
  • 贝叶斯分析是整个机器学习的基础框架 中学课本里说概率这个东西表述是一件事情发生的频率, 或者说这叫做客观概率。 贝叶斯框架下的概率理论确从另一个角度给我们展开了答案, 它认为概率是我们个人的一个主观概念,...
  • 基于贝叶斯公式的垃圾邮件分类 包含邮件数据以及R语言代码,有视频演示,有讲解ppt
  • 贝叶斯公式 定义 根据条件概率的定义,在事件B发生的条件下事件A发生的概率是 P(A|B)=P(A∩B)/P(B) 同样地,在事件A发生的条件下事件B发生的概率 P(B|A)=P(A∩B)/P(A) 整理与合并上述两个方程式,便可以得到: P(A|B...
  • I . 贝叶斯分类器 II . 贝叶斯推断 ( 逆向概率 ) III . 贝叶斯推断 应用场景 ( 垃圾邮件过滤 ) IV . 贝叶斯方法 由来 V ....VI . 贝叶斯公式 VII . 贝叶斯公式 ③ 推导过程 VIII . 使用贝叶斯公式求逆向概率
  • 贝叶斯公式简单解释及其运用

    千次阅读 2019-08-16 15:47:34
    贝叶斯定理是18世纪英国数学家托马斯·贝叶斯(Thomas Bayes)提出得重要概率论理论。以下摘一段 wikipedia 上的简介: 所谓的贝叶斯定理源于他生前为解决一个“逆概”问题写的一篇文章,而这篇文章是在他死后才由他...
  • 搞定贝叶斯公式,只需记住这5个字

    千次阅读 2020-05-06 21:15:00
    导读:贝叶斯公式预测的核心思想就5个字——“看起来更像”。作者:莫凡来源:华章计算机(ID:hzbook_jsj)01 贝叶斯公式的基本思想朴素贝叶斯由两部分组成,“朴素”是一种带有假设...
  • 通俗理解贝叶斯公式

    千次阅读 2019-05-10 22:55:41
    什么,贝叶斯公式就这么简单,是的,贝叶斯公式就是将原来的两个条件概率公式组合了一下。 我们再做变换,分解P(A), P(B-)是事件B不发生的概率。 事件A发生的概率,等于事件B发生的概率乘以事件B发生的情况...
  • 贝叶斯公式的理解

    万次阅读 多人点赞 2018-02-09 12:47:37
    最近我自己在学习一些关于机器学习的东西,目前学到了贝叶斯统计这一块,我觉得很感兴趣,于是便找了一些资料看了看,在自己琢磨一段时间后,写了一篇博客,原文地址:机器学习(一) —— 浅谈贝叶斯和...
  • 作者是看了csdn的一篇关于贝叶斯公式的博客结合自己的学习体验,于是想到了自己也可以适当输出一下,以作巩固,并把自己的理解添加进去以启迪后来者。 先写出几个基本概念: 1,联合概率: 联合概率指的是包含...
  • 概率论只不过是把常识用数学公式表达了出来。——拉普拉斯记得读本科的时候,最喜欢到城里的计算机书店里面去闲逛,一逛就是好几个小时;有一次,在书店看到一本书,名叫贝叶斯方法。当时数学系的课程还没有学到概率...
  • 神奇的贝叶斯公式

    千次阅读 2018-12-13 22:27:44
    引言 贝叶斯法则以托马斯.贝叶斯命名,他研究如何...Price编辑了贝叶斯的主要著作《An Essay towards solving a Problem in the Doctrine of Chances》,在1763年贝叶斯去世2年后发表在Philosophical Transactions ...
  • 从条件概率到贝叶斯公式

    万次阅读 多人点赞 2019-07-15 00:04:26
    本文将从条件概率出发,引出概率论与数理统计中非常重要的两个公式:全概率公式和贝叶斯公式。 首先,我们来看下什么是条件概率? 定义:设A、B是两个事件,且P(B)>0,则称比值为在事件B已经发生的条件下,事件...
  • 1.全概率公式 (1).条件概率公式 举个例子,比如让你背对着一个人,让你猜猜背后这个人是女孩的概率是多少?直接猜测,肯定是只有50%的概率,假如现在告诉你背后这个人是个长头发,那么女的概率就变为90%。所以...
  • 使用贝叶斯公式求解,随机点名多少次,学生的可信度降到了0.01以下,该同学需要经过多少次,可信度才能上升到0.85 。 假定 初始同学可信的概率是0.8 , 可信同学上课的概率是0.8 ,不可信同学上课的概率是0.4,请...
  • 贝叶斯公式的简单理解

    千次阅读 多人点赞 2019-11-07 15:48:10
    频率派与贝叶斯派 首先要知道,对概率的不同解读区分了频率派和贝叶斯派。 什么是概率呢?简单来说,概率指的是事件发生的可能性。比如抛一枚硬币,如果有人问你 硬币最终正面向上的概率是多少?你可能脱口而出 P = ...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 36,803
精华内容 14,721
关键字:

贝叶斯公式