精华内容
下载资源
问答
  • https://blog.csdn.net/michael_r_chang/article/details/39188321https://www.cnblogs.com/wybang/p/3206719.htmlhttps://blog.csdn.net/jteng/article/details/603346281. 伯努利分布伯努利分布(Bernoulli ...

    https://blog.csdn.net/michael_r_chang/article/details/39188321

    https://www.cnblogs.com/wybang/p/3206719.html

    https://blog.csdn.net/jteng/article/details/60334628

    1. 伯努利分布

    伯努利分布(Bernoulli distribution)又名两点分布0-1分布,介绍伯努利分布前首先需要引入伯努利试验(Bernoulli trial)

    • 伯努利试验是只有两种可能结果的单次随机试验,即对于一个随机变量X而言:

    伯努利试验都可以表达为“是或否”的问题。例如,抛一次硬币是正面向上吗?刚出生的小孩是个女孩吗?等等

    • 如果试验E是一个伯努利试验,将E独立重复地进行n次,则称这一串重复的独立试验为n重伯努利试验
    • 进行一次伯努利试验,成功(X=1)概率为p(0<=p<=1),失败(X=0)概率为1-p,则称随机变量X服从伯努利分布。伯努利分布是离散型概率分布,其概率质量函数为:

    2. 二项分布

    二项分布(Binomial distribution)是n重伯努利试验成功次数的离散概率分布。

    • 如果试验E是一个n重伯努利试验,每次伯努利试验的成功概率为p,X代表成功的次数,则X的概率分布是二项分布,记为X~B(n,p),其概率质量函数为

      显然,

    • 从定义可以看出,伯努利分布是二项分布在n=1时的特例
    • 二项分布名称的由来,是由于其概率质量函数中使用了二项系数,该系数是二项式定理中的系数,二项式定理由牛顿提出:

    • 二项分布的典型例子是扔硬币,硬币正面朝上概率为p, 重复扔n次硬币,k次为正面的概率即为一个二项分布概率。

    3. 多项分布

    多项式分布(Multinomial Distribution)是二项式分布的推广。二项式做n次伯努利实验,规定了每次试验的结果只有两个,如果现在还是做n次试验,只不过每次试验的结果可以有多m个,且m个结果发生的概率互斥且和为1,则发生其中一个结果X次的概率就是多项式分布。

    • 扔骰子是典型的多项式分布。扔骰子,不同于扔硬币,骰子有6个面对应6个不同的点数,这样单次每个点数朝上的概率都是1/6(对应p1~p6,它们的值不一定都是1/6,只要和为1且互斥即可,比如一个形状不规则的骰子),重复扔n次,如果问有k次都是点数6朝上的概率就是

    • 多项式分布一般的概率质量函数为:

    4. 贝塔分布

    在介绍贝塔分布(Beta distribution)之前,需要先明确一下先验概率、后验概率、似然函数以及共轭分布的概念。

    • 通俗的讲,先验概率就是事情尚未发生前,我们对该事发生概率的估计。利用过去历史资料计算得到的先验概率,称为客观先验概率; 当历史资料无从取得或资料不完全时,凭人们的主观经验来判断而得到的先验概率,称为主观先验概率。例如抛一枚硬币头向上的概率为0.5,这就是主观先验概率。
    • 后验概率是指通过调查或其它方式获取新的附加信息,利用贝叶斯公式对先验概率进行修正,而后得到的概率。
    • 先验概率和后验概率的区别:先验概率不是根据有关自然状态的全部资料测定的,而只是利用现有的材料(主要是历史资料)计算的;后验概率使用了有关自然状态更加全面的资料,既有先验概率资料,也有补充资料。另外一种表述:先验概率是在缺乏某个事实的情况下描述一个变量;而后验概率(Probability of outcomes of an experiment after it has been performed and a certain event has occured.)是在考虑了一个事实之后的条件概率。
    • 似然函数
    • 共轭分布(conjugacy):后验概率分布函数与先验概率分布函数具有相同形式

    好了,有了以上先验知识后,终于可以引入贝塔分布啦!!首先,考虑一点,在试验数据比较少的情况下,直接用最大似然法估计二项分布的参数可能会出现过拟合的现象(比如,扔硬币三次都是正面,那么最大似然法预测以后的所有抛硬币结果都是正面)。为了避免这种情况的发生,可以考虑引入先验概率分布来控制参数,防止出现过拟合现象。那么,问题现在转为如何选择

    先验概率和后验概率的关系为:

    二项分布的似然函数为(就是二项分布除归一化参数之外的后面那部分,似然函数之所以不是pdf,是因为它不需要归一化):

    如果选择的先验概率也与次方德乘积的关系,那么后验概率分布的函数形式就会跟它的先验函数形式一样了。具体来说,选择prior的形式是,那么posterior就会变成这个样子了(为pdf的归一化参数),所以posterior和prior具有相同的函数形式(都是也与次方的乘积),这样先验概率与后验概率就是共轭分布了。

    所以,我们选择了贝塔分布作为先验概率,其概率分布函数为:

    ,其中

    5. 狄利克雷分布

    狄利克雷分布(Dirichlet distribution)是多项分布的共轭分布,也就是它与多项分布具有相同形式的分布函数。

    • 概率分布函数为:

    6. 后记

    本篇博文只是将伯努利分布、二项分布、多项分布、贝塔分布和狄利克雷分布做了简单的介绍,其中涉及到大量的概率基础和高等数学的知识,文中的介绍只是粗浅的把这些分布的概念作了大概介绍,没有对这些分布的产生历史做介绍。我想,更好的介绍方式,应是从数学史的角度,将这几项分布的发现按照历史规律来展现,这样会更直观、形象。后续再补吧!


       在机器学习领域中,概率模型是一个常用的利器。用它来对问题进行建模,有几点好处:1)当给定参数分布的假设空间后,可以通过很严格的数学推导,得到模型的似然分布,这样模型可以有很好的概率解释;2)可以利用现有的EM算法或者Variational method来学习。通常为了方便推导参数的后验分布,会假设参数的先验分布是似然的某个共轭分布,这样后验分布和先验分布具有相同的形式,这对于建模过程中的数学推导可以大大的简化,保证最后的形式是tractable。

        在概率模型中,Dirichlet这个词出现的频率非常的高。初始机器学习的同学或者说得再广一些,在学习概率模型的时候,很多同学都不清楚为啥一个表现形式如此奇怪的分布Dirichlet分布会出现在我们的教科书中,它是靠啥关系攀上了多项分布(Multinomial distribution)这个亲戚的,以至于它可以“堂而皇之”地扼杀我大天朝这么多数学家和科学家梦想的?为了引出背后这层关系,我们需要先介绍一个概念——共轭先验(Conjugate Prior)

    • Conjugate Prior: In Bayesian probability theory, if the posterior distributions p(θ|x) are in the same family as the prior probability distribution p(θ), the prior and posterior are then called conjugate distributions, and the prior is called a conjugate prior for the likelihood. ----from wiki
    • 用中文来讲,在贝叶斯统计理论中,如果某个随机变量Θ的后验概率 p(θ|x)和气先验概率p(θ)属于同一个分布簇的,那么称p(θ|x)和p(θ)为共轭分布,同时,也称p(θ)为似然函数p(x|θ)的共轭先验。

        介绍了这个重要的概念之后,我们回到文章的正题。首先需要弄清楚什么是二项分布(Binomial distribution)。这个概念是从伯努利分布推进的。伯努利分布是一个离散型的随机分布,其中的随机变量只有两类取值,非正即负{+,-}。二项分布即重复n次的伯努利试验,记为 X~b(n,p)。概率密度函数(概率质量函数)为。再来看看Beta分布,给定参数,取值范围为[0,1]的随机变量x的概率密度函数,其中。这里假定,先验分布和似然概率如下所示:

    那么很容易知道后验概率为

         弄清楚了Beta分布和二项分布之间的关系后,对于接下来的Dirichlet 分布和多项分布(Multinomial distribution)的关系理解将会有非常大的帮助。多项分布,从字面上所表现出的含义,我们也大抵知道它的意思。它本身确实也是这样的,其单次试验中的随机变量的取值不再是0-1的,而是有多种离散值可能(1,2,3...,k),其中。多项分布的概率密度函数为。而Dirichlet分布的的密度函数形式也如出一辙:,其中。到这里,我们可以看到Beta分布和Dirichlet 分布有多相似啊,二项分布和多项分布有多相似啊

         再一次来看看共轭。假设有先验分布

    另有似然函数

    则后验概率

    ,和Dirichlet 分布形式一致。

        其实,细心的读者已经发现,这里这四类分布,如果但从数学形式上看,它们的组织形式都是一致的,都是通过乘积的形式构成,加上先验分布、似然函数和后言分布之间的乘积推导关系,可以很容易发现,它们所表现出的共轭性质很容易理解。


    Beta分布与Dirichlet分布的定义域均为[0,1],在实际使用中,通常将两者作为概率的分布,Beta分布描述的是单变量分布,Dirichlet分布描述的是多变量分布,因此,Beta分布可作为二项分布的先验概率,Dirichlet分布可作为多项分布的先验概率。这两个分布都用到了Gamma函数,所以,首先了解一下Gamma函数。

    1. Gamma函数

      首先看其表达式 
      Γ(x)=0tx1etdtΓ(x)=∫0∞tx−1e−tdt 
    这样的表达看懂都很难,更不知道那些数学家怎么想出来的。据LDA数学八卦中记录,在Gamma函数的发现中做出主要贡献的数学家有哥德巴赫、丹尼尔·伯努利(不是伯努利分布的那个伯努利),最终由欧拉解决这个问题(这些大数学家互相都认识的啊)。 
      Gamma函数是对阶乘在实数领域的扩展,也就是说,Γ(x+1)=xΓ(x)Γ(x+1)=xΓ(x),下面用分部积分的方法进行推导,如不关心,可以略过。 
      

    Γ(x)=0tx1etdt=1x0etdtx=1x(ettx|00txdet)=1x0txetdt=1xΓ(x+1)Γ(x)=∫0∞tx−1e−tdt=1x∫0∞e−tdtx=1x(e−ttx|0∞−∫0∞txde−t)=1x∫0∞txe−tdt=1xΓ(x+1)

    据PRML第71页(2.14)式,Gamma函数在Beta分布和Dirichlet分布中起到了归一化的作用。

    2. Beta分布

      Beta分布描述的是定义在区间[0,1]上随机变量的概率分布,由两个参数α>0α>0β>0β>0决定,通常记为μBeta(μ|α,β)μ∼Beta(μ|α,β),其概率密度函数如下 
      P(μ|α,β)=Γ(α+β)Γ(α)Γ(β)μα1(1μ)β1=1B(α,β)μα1(1μ)β1P(μ|α,β)=Γ(α+β)Γ(α)Γ(β)μα−1(1−μ)β−1=1B(α,β)μα−1(1−μ)β−1 
    其中,Γ()Γ(⋅)就是Gamma函数,B(α,β)B(α,β)为Beta函数,并且 
      B(α,β)=Γ(α)Γ(β)Γ(α+β)B(α,β)=Γ(α)Γ(β)Γ(α+β) 
    Beta分布的概率密度函数曲线如下图:(摘自wikipedia Beta distribution


    Beta distribution 

    由于Beta分布定义在区间[0,1]上,所以适合作为概率的分布。第一段提到Beta分布可作为二项分布的先验概率,那就需要从二项分布的定义来理解Beta分布的形式。已知二项分布的形式为: 
      p(x=k|n,μ)=Cknμk(1μ)nkp(x=k|n,μ)=Cnkμk(1−μ)n−k 
    μμ进行后验概率估计时,其似然项是μμ(1μ)(1−μ)的指数形式,如果先验概率也选择为μμ(1μ)(1−μ)的指数形式,那么后验概率就仍然保持这种指数形式,这种性质叫做共轭分布,我们会在后面的文章中对共轭分布进行介绍。 
    因此,Beta分布就是μμ(1μ)(1−μ)的指数形式,其中Beta函数为归一化系数。Beta分布的均值和方差分别为 
      E[μ]=αα+βE[μ]=αα+β 
      var(μ)=αβ(α+β)2(α+β+1)var(μ)=αβ(α+β)2(α+β+1)

    3. Dirichlet分布

      Dirichlet分布是关于定义在区间[0,1]上的多个随机变量的联合概率分布,假设有dd个变量μiμi,并且di=1μi=1∑i=1dμi=1,记μ=(μ1,μ2,...,μd)μ=(μ1,μ2,...,μd),每个μiμi对应一个参数αi>0αi>0,记α=(α1,α2,...,αd)α=(α1,α2,...,αd)α^=di=1αiα^=∑i=1dαi,那么它的概率密度函数为 
    p(μ|α)=Dir(μ|α)=Γ(α^)Γ(α1)Γ(αd)di=1μαi1ip(μ|α)=Dir(μ|α)=Γ(α^)Γ(α1)⋯Γ(αd)∏i=1dμiαi−1 
      Dirichlet分布的每一个随机变量具有统计量如下: 
      E[μi]=αiα^E[μi]=αiα^ 
      var(μi)=αi(α^αi)α^2(α^+1)var(μi)=αi(α^−αi)α^2(α^+1) 
      cov(μi,μj)=αiαjα^2(α^+1)cov(μi,μj)=αiαjα^2(α^+1) 
      由于Dirichlet分布描述的是多个定义于区间[0,1]的随机变量的概率分布,所以通常将其用作多项分布参数μiμi的概率分布。



    展开全文
  • 二项分布是随机独立事件的可能结果是2个,对于这2个结果的概率分布;因此,多项式分布是随机独立事件的可能结果是多个(大于2个),对于多个可能结果的概率分布;伯努利分布是随机独立事件的结果为0和1两种情况的...
    看到的一篇


    为什么叫二项分布,又为什么叫多项分布?
      比较简单容易理解的文章,貌似是电子书的一章告诉你为什么叫二项分布,又为什么叫多项分布。
    二项分布

    如果掷一枚硬币,正面向上的结局的概率为0.5 。反面向上的结局的概率也是0.5。那么出现正面向上事件或者反面向上事件的概率就是0.5+0.5=1,即二者必居其一。

    如果掷两次硬币,根据独立事件的概率乘法定理那么两次都是正面(反面)向上的概率是0.5×0.5=0.25。另外第一个是正第二个是反的出现概率也是0.5×0.5=0.25。同理第一个反第二个正的出现概率也是0.5×0.5=0.25。于是一正一反的概率是前面两个情况的和,即0.25+0.25=2×0.25=0.5。它们的合计值仍然是1。列成表就是:

    两个正面的概率

    一正一反的概率

    两个反面的概率

    0.25

    2×0.25=0.5

    0.25

     

    注意到代数学中

    (a+b)2=a2+2ab+b2,

    而在a=0.5,b=0.5时,有

    12=(0.5+0.5)2=0.25+2×0.5×0.5+0.25=1

    这说明掷两次硬币的各个结局的出现概率可以通过对二项式的平方展开而得到。顺此,对于掷n次硬币的各种结局的出现概率也可以通过对二项式的n次方的展开而得到。

    例如n=3时,有(注意0.5×0.5×0.5=0.125)

    13=(0.5+0.5)3=0.125+3×0.125+3×0.125+0.125=

    0.125+0.375+0.375+0.125=1

    上式4项中的4个概率值0.1250.3750.3750.125分别对应于3正、21反、12反和3反,这四种结局。

    注意到对二项式的展开的牛顿公式:

    (a+b)n=an+nan-1b++[n!/m!(n-m)!](an-mbm)+bn

    ab分别等于0.5代入上式我们就得到n+1项,以其通项而论,它就代表了有n-m个正面m个反面的事件的出现概率。即这种类型的问题(如掷多次硬币)的概率分布恰好可以用二项式展开的牛顿公式表示。而这也就是为什么把这种概率分布类型称为二项分布的原因。

    如果ab并不等于0.5,那么只要把A事件出现的概率以p代入,把B事件的出现概率以(1-p)代入,以上公式仍然正确,(a+b仍然=1)。

    所以对于仅有AB两个结局的随机事件,如果A事件出现概率为pB事件的出现概率为1-p,那么在n次随机实验中A事件出现n-m B事件出现m次的情况(对应一种复合事件)的出现概率P应当是(这里的P是大写的)

    P=[n!/m!(n-m)!][pn-m(1-p)m]

    注意到上面公式的对称性,它也可以写为

    P=[n!/m!(n-m)!][pm(1-p)n-m]

    它就是所谓二项分布概型的随机事件的出现概率公式,也是牛顿二项式展开在变量为对应概率值的情况下的通项。它就是本章公式(11.3)的由来。

    另外,当p=0.5时,显然[pm(1-p)n-m]总是等于1/(2)n,注意到[p+(1-p)]n=1,所以二项式公式展开的n+1项的各个系数的合计值应当等于2n

    为什么叫二项分布,又为什么叫多项分布?

    上式中并没有p,所以这个系数和公式与p的具体数值无关。一般概率图书中对二项分布多有介绍。

    为什么叫二项分布,又为什么叫多项分布? 多项分布

    把二项分布公式再推广,就得到了多项分布(在一般概率书中很少介绍它,但是热力学中涉及到它)。

    某随机实验如果有k个可能结局A1A2Ak,它们的概率分布分别是p1p2pk,那么在N次采样的总结果中,A1出现n1次,A2出现n2次,Ak出现nk次的这种事件的出现概率P有下面公式:

    为什么叫二项分布,又为什么叫多项分布?

    这就是多项分布的概率公式。把它称为多项式分布显然是因为它是一种特殊的多项式展开式的通项。

    我们知道,在代数学里当k变量的和的N次方的展开式 (p1+ p2+…+ p)N是一个多项式,其一般项就是前面的公式给出的值。如果这变量恰好是可能有的各种结局的出现概率,那么,由于这些概率的合计值对应一个必然事件的概率。而必然事件的概率等于1,于是上面的多项式就变成了

    (p1+ p2+…+ p)N =1N=1

    即此时多项式的值等于1

    因为(p1+ p2+…+ p)N的值等于1。我们也就认为它代表了一个必然事件进行了次抽样的概率(=1,必然事件)。而当把这个多项式可以展开成很多项时,这些项的合计值等于1提示我们这些项是一些互不相容的事件(N次抽样得到的)的对应概率。即多项式展开式的每一项都是一个特殊的事件的出现概率。于是我们把展开式的通项作为A1出现n1次,A2出现n2次,Ak出现nk次的这种事件的出现概率。这样就得到了前面的公式。

    如果各个单独事件的出现概率p1p2pk都相等,即p1=p2=…=pk=p(注意这里是小写的p),

    注意到p1+p2+…+pk =1,就得到p1=p2 =…=pk =p=1/

    把这个值代入多项式的展开式,就使展开式的各个项的合计值满足下式:

    N!/(n1!n2!…nk!)](1/k)N=1

    即∑N!/(n1!n2!…nk!)]=kN

    以上求和中遍及各个ni的一切可能取的正整数值,但是要求各个ni的合计值等于。  即

    n1+n2+…nk=N

    在热力学讨论物质微观状态的可能个数时,经常用另外的思路引出N!/(n1!n2!…nk!)式。并且称它为热力学几率。它是一个比天文数字还大很多的数,把它称为几率(概率)并不妥当。但是热力学里由于各个微观状态的出现概率相等,这对应我们在前面讨论的p1=p2 =…=pk =p=1/k于是

    [N!/(n1!n2!…nk!)]1/kN

    就真正具有数学上的概率的含义。换句话说,物理学里的热力学几率[N!/(n1!n2!…nk!)]乘上(1/kN)以后就是数学中定义的(具有归一性)的概率了。

    展开全文
  • 二项分布与泊松分布

    2017-06-22 22:09:38
    二项分布定义二项分布即重复n次独立的伯努利试验。在每次试验中只有两种可能的结果,而且两种结果发生与否互相对立,并且相互独立,与其它各次试验结果无关,事件发生与否的概率在每一次独立试验中都保持不变,...

    最近学的一门课需要概率论方面的知识,但考完试就把概率论忘得干净,所以现在重新学习概率论中的二项分布和泊松分布,并探讨他们之间的关系。


    二项分布的定义:二项分布即重复n次独立的伯努利试验。在每次试验中只有两种可能的结果,而且两种结果发生与否互相对立,并且相互独立,与其它各次试验结果无关,事件发生与否的概率在每一次独立试验中都保持不变,则这一系列试验总称为n重伯努利实验,当试验次数为1时,二项分布服从0-1分布。

    记作:X~B(n,p)

    二项分布的期望:E(X)=n*p

    网上的证明过程很多,我试着用大白话来解释。这个n*p是什么意思呢?就是说,如果进行m次n重伯努利试验,每一次试验事件A发生的次数为Xi,那么ΣXi/m=n*p,即这m次n重伯努利试验中事件A平均发生n*p次。怎么理解呢?我们把n重伯努利试验拆分成一次一次来看,每一次事件A发生的概率为p,不发生的概率为1-p。我们可以把一次伯努利试验看成一份,事件A发生要占p份。因为每一次伯努利试验都是独立的,所以我们把两次伯努利试验看成一份,事件A发生要占p份。以此类推,我们把n次伯努利试验看成一份,事件A发生要占p份。所以说二项分布的期望(事件A发生次数的平均值)为n*p.


    当伯努利试验中,进行试验的次数很多,而事件A发生的概率有比较小的时候(量化来说n≥100,p≤0.1),可以用泊松分布来近似二项分布。泊松分布的期望为λ,而λ=n*p,这可以说明很多问题。

    一个二项分布只要用n和p就可以完整描述,那么在泊松分布中k=10就可以描述为:在n≥100,p≤0.1的n重伯努利试验(这个伯努利试验进行n次,每一次事件A发生的概率为p)中,事件A发生10次的概率为(λ^10/k!)*e^(-λ).

    展开全文
  • 二项分布

    千次阅读 2013-12-11 09:58:48
    二项分布[编辑] 维基百科,自由的百科全书 二项分布 机率 质量 函数 累积分布函数 参数  试验次数 (整数)  成功概率 (实数) 值域 概率密度函数 ...

    二项分布[编辑]

    维基百科,自由的百科全书
    二项分布
    机率 质量 函数
    累积分布函数
    参数 n \geq 0 试验次数 (整数)
    0\leq p \leq 1 成功概率 (实数)
    值域 k \in \{0,\dots,n\}\!
    概率密度函数 {n\choose k} p^k (1-p)^{n-k} \!
    累积分布函数 I_{1-p}(n-\lfloor k\rfloor, 1+\lfloor k\rfloor) \!
    标记 {{{notation}}}
    期望值 n\,p\!
    中位数 \{\lfloor np\rfloor, \lceil np \rceil\}之一
    众数 \lfloor (n+1)\,p\rfloor\!\lfloor (n+1)\,p\rfloor\!-1
    方差 n\,p\,(1-p)\!
    偏态 \frac{1-2\,p}{\sqrt{n\,p\,(1-p)}}\!
    峰态 \frac{1-6\,p\,(1-p)}{n\,p\,(1-p)}\!
    熵值 \frac{1}{2} \ln \left( 2 \pi n e p (1-p) \right) + O \left( \frac{1}{n} \right)\!
    动差生成函数 (1-p + p\,e^t)^n \!
    特征函数 (1-p + p\,e^{i\,t})^n \!

    概率论统计学中,二项分布n独立的是/非试验中成功的次数的离散概率分布,其中每次试验的成功概率p。这样的单次成功/失败试验又称为伯努利试验。实际上,当n = 1时,二项分布就是伯努利分布。二项分布是显著性差异二项试验的基础。

    详述[编辑]

    概率质量函数[编辑]

    一般地,如果随机变量\mathit{X}服从参数为\mathit{n}\mathit{p}的二项分布,我们记X \sim b(n,p)X \sim B(n,p).n次试验中正好得到k次成功的概率由概率质量函数给出:

    f(k;n,p) = \Pr(K = k) = {n\choose k}p^k(1-p)^{n-k}

    对于k = 0, 1, 2, ..., n,其中{n\choose k}=\frac{n!}{k!(n-k)!}

    二项式系数(这就是二项分布的名称的由来),又记为C(nk),  nCk,或nCk。该公式可以用以下方法理解:我们希望有k次成功(pk)和n − k次失败(1 − p)n − k。然而,k次成功可以在n次试验的任何地方出现,而把k次成功分布在n次试验中共有C(nk)个不同的方法。

    在制造二项分布概率的参考表格时,通常表格中只填上n/2个值。这是因为k > n/2时的概率可以从它的补集计算出:

    f(k;n,p)=f(n-k;n,1-p). \,

    因此,我们要看另外一个k和另外一个p(二项分布一般不是对称的)。然而,它的表现不是任意的。总存在一个整数M,满足

    (n+1)p-1 < M \leq (n+1)p. \,

    作为k的函数,表达式ƒ(knp)当k < M时单调递增,k > M时单调递减,只有当(n + 1)p是整数时例外。在这时,有两个值使ƒ达到最大:(n + 1)p和(n + 1)p − 1。M是伯努利试验的最可能的结果,称为众数。注意它发生的概率可以很小。

    累积分布函数[编辑]

    累积分布函数可以表示为:

    F(x;n,p) = \Pr(X \le x) = \sum_{i=0}^{\lfloor x \rfloor} {n\choose i}p^i(1-p)^{n-i}.

    其中\scriptstyle \lfloor x\rfloor\,是小于或等于x最大整数

    它也可以用正则化不完全贝塔函数来表示:

    \begin{align}F(k;n,p) & = \Pr(X \le k) = I_{1-p}(n-k, k+1) \\& = (n-k) {n \choose k} \int_0^{1-p} t^{n-k-1} (1-t)^k \, dt.\end{align}

    期望和方差[编辑]

    如果X ~ B(np)(也就是说,X是服从二项分布的随机变量),那么X期望值

    \operatorname{E}[X] = np

    方差

    \operatorname{Var}[X] = np(1 - p).

    这个事实很容易证明。首先假设有一个伯努利试验。试验有两个可能的结果:1和0,前者发生的概率为p,后者的概率为1 − p。该试验的期望值等于μ = 1 · p + 0 · (1−p) = p。该试验的方差也可以类似地计算:σ2 = (1−p)2·p + (0−p)2·(1−p) = p(1 − p).

    一般的二项分布是n次独立的伯努利试验的和。它的期望值和方差分别等于每次单独试验的期望值和方差的和:

    \mu_n = \sum_{k=1}^n \mu = np, \qquad    \sigma^2_n = \sum_{k=1}^n \sigma^2 = np(1 - p).

    众数和中位数[编辑]

    通常二项分布B(n, p)的众数等于⌊(n + 1)p⌋,其中e ⌊ ⌋ 是取整函数。然而,当(n + 1)p是整数且p不等于0或1时,分布有两个众数:(n + 1)p和(n + 1)p − 1。当p等于0或1时,众数相应地等于0或 n。这些情况可以综述如下:

    \text{mode} =       \begin{cases}        \lfloor (n+1)\,p\rfloor & \text{if }(n+1)p\text{ is 0 or a noninteger}, \\        (n+1)\,p\ \text{ and }\ (n+1)\,p - 1 &\text{if }(n+1)p\in\{1,\dots,n\}, \\        n & \text{if }(n+1)p = n + 1.      \end{cases}

    一般地,没有一个单一的公式可以求出二项分布的中位数,甚至中位数可能是不唯一的。然而有几个特殊的结果:

    • 如果np是整数,那么平均数、中位数和众数相等,都等于np[1][2]
    • 任何中位数m都位于区间⌊np⌋ ≤ m ≤ ⌈np⌉内。[3]
    • 中位数m不能离平均数太远:|m − np| ≤ min{ ln 2, max{p, 1 − p} }。[4]
    • 如果p ≤ 1 − ln 2,或p ≥ ln 2,或|m − np| ≤ min{p, 1 − p}(除了p = ½、n是奇数的情况以外),那么中位数是唯一的,且等于m = round(np)。[3][4]
    • 如果p = 1/2,且n是奇数,那么区间½(n − 1) ≤ m ≤ ½(n + 1)中的任何数m都是二项分布的中位数。如果p = 1/2且n是偶数,那么m = n/2是唯一的中位数。

    两个二项分布的协方差[编辑]

    如果有两个服从二项分布的随机变量XY,我们可以求它们的协方差。利用协方差的定义,当n = 1时我们有

    \operatorname{Cov}(X, Y) = \operatorname{E}(XY) - \mu_X \mu_Y.

    第一项仅当XY都等于1时非零,而μXμY分别为X = 1和Y = 1的概率。定义pBXY都等于1的概率,便得到

    \operatorname{Cov}(X, Y) = p_B - p_X p_Y, \,

    对于n次独立的试验,我们便有

    \operatorname{Cov}(X, Y)_n = n ( p_B - p_X p_Y ). \,

    如果XY是相同的变量,便化为上面的方差公式。

    与其他分布的关系[编辑]

    二项分布的和[编辑]

    如果X ~ B(np)和Y ~ B(mp),且XY相互独立,那么X + Y也服从二项分布;它的分布为

    X+Y \sim B(n+m, p).\,

    伯努利分布[编辑]

    伯努利分布是二项分布在n = 1时的特殊情况。X ~ B(1, p)与X ~ Bern(p)的意思是相同的。相反,任何二项分布B(np)都是n次独立伯努利试验的和,每次试验成功的概率为p

    泊松二项分布[编辑]

    二项分布是泊松二项分布的一个特殊情况。泊松二项分布n次独立、不相同的伯努利试验(pi)的和。如果X服从泊松二项分布,且p1 = … = pn =p,那么X ~ B(np)。

    正态近似[编辑]

    n = 6、p = 0.5时的二项分布以及正态近似

    如果n足够大,那么分布的偏度就比较小。在这种情况下,如果使用适当的连续性校正,那么B(np)的一个很好的近似是正态分布

    \mathcal{N}(np,\, np(1-p)).

    n越大(至少20),近似越好,当p不接近0或1时更好。[5]不同的经验法则可以用来决定n是否足够大,以及p是否距离0或1足够远:

    • 一个规则是x=npn(1 − p)都必须大于 5。

    泊松近似[编辑]

    当试验的次数趋于无穷大,而乘积np固定时,二项分布收敛于泊松分布。因此参数为λ = np的泊松分布可以作为二项分布B(np)的近似,如果n足够大,而p足够小。[6]

    极限[编辑]

    • n趋于∞,p趋于0,而np固定于λ > 0,或至少np趋于λ > 0时,二项分布B(np)趋于期望值为λ的泊松分布
    • n趋于∞而p固定时,
    {X-np \over \sqrt{np(1-p)\ }}
    的分布趋于期望值为 0、方差为 1的正态分布。这个结果是中心极限定理的一个特殊情况。

    例子[编辑]

    一个简单的例子如下:掷一枚骰子十次,那么掷得4的次数就服从n = 10、p = 1/6的二项分布。

    参见[编辑]

    展开全文
  • 二项分布和多项分布

    千次阅读 2019-10-12 10:38:34
    二项分布和多项分布 二项分布(binomial distribution):nnn重伯努利随机实验,假设X∈{0,1,⋯ ,n}X \in \{ 0, 1, \cdots, n \}X∈{0,1,⋯,n}表示事件111发生的次数。若事件111的发生的概率为θ\thetaθ,则XXX...
  • 二项分布定义、性质、分布图形特征、相互关系、与正态分布的关系
  • 二项分布定义以及二项分布检验的理论与方法
  • 文章目录伯努利分布二项分布项分布贝塔分布狄利克雷分布高斯分布 伯努利分布 伯努利分布(Bernoulli distribution)又名两点分布或0-1分布,介绍伯努利分布前首先需要引入伯努利试验(Bernoulli trial)。 伯努利...
  • 项分布定义

    2012-05-05 13:50:00
    二项分布公式再推广,就得到了多项分布(在一般概率书中很少介绍它,但是热力学中涉及到它)。 二项分布的典型例子是扔硬币,硬币正面朝上概率...(严格定义见二项分布中伯努利实验定义)把二项扩展为多就得到...
  • 二项分布和Beta分布

    千次阅读 2016-06-25 16:30:04
    本文通过实例介绍二项分布和Beta分布含义,并使用pymc对抛硬币进行模拟实验,从而获得Beta分布 http://hyry.dip.jp/tech/slice/slice.html/42 In [15]: %pylab inline import pylab as pl import numpy as...
  • 二项分布最大值,泊松分布的推导,几何分布的推导 (概统2.应用) 1.二项分布 二项分布就是独立事件n重伯努利试验,每次试验只有A发生与不发生两种结果,求n次试验中恰好发生k次的概率。 P{X=k} = $C_{n}^{k}p^{k}q...
  • 二项分布的期望和方差

    万次阅读 2019-05-09 17:03:00
    二项分布的期望和方差 .
  • 概率的二项分布和多项分布 本章用到了概率论中的二项分布和多项分布公式,这里做简要说明。 一个事件必然出现,就说它100%要出现。100%=1,所以100%出现的含义就是出现的概率P=1。 即必然事件的出现概率为1。 ...
  • 也许,机遇不会出现在前进的路上,但返回不是我们的方向。作者:泛音公众号:知识交点内容范围:正态分布,泊松分布,多项分布二项分布,伯努利分布简述:正态分布是上述分布趋于极限的分布,属于连...
  • 2. 二项分布 多次独立的伯努利实验, 3. 多项分布 定义:设可能的实验结果可分成k组: A1、A2、…、An ,每次实验结果落入某一组Ai的几率为sigma Pi= 1, where i =1 to k。如果共进行了n次独立的实 验,...
  • 最近在撰写笔记 【Sklearn源码学习笔记】(含官网样例解读)无监督学习之高斯混合模型 的过程中,官方Sklearn源码中...本文分三个部分“【二项分布】”、“【多项分布】”、“【Beta分布】”、“【狄利克雷分布...
  • 伯努利分布(Bernoulli distribution)又名 两点分布 或 0-1分布,在讲伯努利分布前首先需要介绍伯努利试验(Bernoulli Trial)。 1.1 伯努利试验 伯努利试验是只有两种可能结果的单词随机试验,即对于一个随机变量 ...
  • 分布分布关系1、二项分布2、几何分布3、泊松分布4、二项分布转化泊松分布,泊松转化正态分布 1、二项分布   n次独立重复试验,每次事件出现的结果只有两个,出现同一结果的概率相同为p;   抛硬币,假设硬币不...
  • 关于Beta分布二项分布与Dirichlet分布、多项分布的关系 链接:http://www.cnblogs.com/wybang/p/3206719.html  在机器学习领域中,概率模型是一个常用的利器。用它来对问题进行建模,有几点好处:1)当给定...
  • 二项分布

    千次阅读 2020-03-30 19:45:34
    本文链接:个人站 | 简书 | CSDN 版权声明:除特别声明外,本博客文章均采用 BY-NC-SA 许可协议。...泊松分布二项分布、以及负二项分布都可以用来刻画计数类数据。其中,泊松分布的 μ=σ2\...
  • 浅谈两点分布二项分布,伽马分布,指数分布,泊松分布,卡方分布,t分布,F分布,均匀分布,正态分布,β分布,狄利克雷分布。(红丸子,白丸子,四喜丸子。。。) 我们知道,在数理统计中,经常是和各种分布打...
  • 离散型随机变量,二项分布,泊松分布,指数分布,几何分布(概统2.知识) 1.0-1分布 。例如抛硬币,正面朝上设为1,反面朝上设为0 分布律为 结果随机变量X 1 0 概率 P p 1-p ...
  • 二项分布 前文列表 计数原理 组合与排列 统计与分布之高斯分布 统计与分布之泊松分布 伯努利分布 伯努利分布(Bernoulli Distribution),是一种离散分布,又称为 “0-1 分布” 或 “两点分布”。...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 411,735
精华内容 164,694
关键字:

二项分布的定义是什么