精华内容
下载资源
问答
  • 本篇目录参考资料:电子工业出版社的《深入浅出统计学》前言具体内容几何分布 X~Geo( p )二项分布 X~B(n,p)泊松分布 X~Po(λ\lambdaλ) 具体内容 几何分布 X~Geo( p ) 1、目的:为了取得第一次成功,需要进行多少次...

    参考资料:电子工业出版社的《深入浅出统计学》

    前言

    善用一些特殊的概率分布,可以让我们对一些问题能以前所未有的速度计算概率、期望和方差。

    具体内容

    几何分布 X~Geo( p )

    1、目的:为了取得第一次成功,需要进行多少次试验。
    2、应用条件:进行一系列独立试验,每一次试验或成功或失败,每一次试验的成功概率p相同。
    3、基础公式:
    P ( X = r ) = p q r − 1 P(X=r)=pq^{r-1} P(X=r)=pqr1 P ( X > r ) = q r \qquad P(X>r)=q^r P(X>r)=qr P ( X ≤ r ) = 1 − q r \qquad P(X \leq r)=1-q^r P(Xr)=1qr E ( X ) = 1 / p \qquad E(X)=1/p E(X)=1/p D ( X ) = q / p 2 \qquad D(X)=q/p^2 D(X)=q/p2 在这里插入图片描述

    二项分布 X~B(n,p)

    1、目的:在n次试验中能成功多少次。
    2、应用条件:进行一系列次数有限的独立试验,每一次试验或成功或失败,每一次试验的成功概率p相同。
    3、基础公式:
    P ( X = r ) = C n r p r q n − r P(X=r)=C_n^rp^rq^{n-r} P(X=r)=Cnrprqnr E ( X ) = n p \qquad E(X)= np E(X)=np D ( X ) = n p q \qquad D(X)=npq D(X)=npq
    在这里插入图片描述在这里插入图片描述

    泊松分布 X~Po( λ \lambda λ)

    1、目的:想知道给定区间内的事件发生次数。
    2、应用条件:单个事件在给定区间内随机、独立地发生,已知给定区间内的事件平均发生次数,或者叫发生率,且这个发生次数或发生率是有限的。
    3、基础公式:
    P ( X = r ) = e − λ λ r r ! P(X=r)=\frac{e^{-\lambda} \lambda^r}{r!} P(X=r)=r!eλλr E ( X ) = λ \qquad E(X)= \lambda E(X)=λ D ( X ) = λ \qquad D(X)=\lambda D(X)=λ
    4、如果X~Po( λ x \lambda x λx),X~Po( λ y \lambda y λy),且X和Y是相互独立的,那么X+Y~Po( λ x + λ y \lambda_x +\lambda_y λx+λy)。
    5、如果X~B(n,p),其中n足够大,p足够小,则可将该部分近似看作X ~Po(np)。主要用于当使用二项分布时计算量过于庞大时,利用泊松分布来便捷计算。

    在这里插入图片描述在这里插入图片描述在这里插入图片描述

    展开全文
  • 二项分布最大值,泊松分布的推导,几何分布的推导 (概统2.应用) 1.二项分布 二项分布就是独立事件n重伯努利试验,每次试验只有A发生与不发生两种结果,求n次试验中恰好发生k次的概率。 P{X=k} = $C_{n}^{k}p^{k}q...

    二项分布最大值,泊松分布的推导,几何分布的推导 (概统2.应用)

    1.二项分布

    二项分布就是独立事件n重伯努利试验,每次试验只有A发生与不发生两种结果,求n次试验中恰好发生k次的概率。

    P{X=k} = Cknpkqnk, C n k p k q n − k , k=0,1,2,..n
    q=1-p;

    简记为 X~B(n,p)

    [二项分布.问题1]:大家知道,二项分布中,当N趋于很大,p趋于0时,二项分布可以近似看作泊松分布,可以用泊松分布公式代替二项分布公式计算,泊松分布公式比二项分布公式简单。问,射击例子中,连续射n次,如果n很大,那么射中次数为k次的概率P{X=k}可以用泊松分布吗?

    答:这主要看每次射中概率p,泊松分布的条件是n很大,p很小,n趋于无穷,p趋于0,n*p是一个常数 λ λ ,(这个常数是事件出现的频率或者总体平均值);如果射击手每次射击的射中概率p为零点几之类,是不可以用泊松公式计算的,因为泊松公式需要定义一个常数 λ λ ,这个常数它要么是单位时间内的发生次数,要么是一个集合个体总数N乘以每个个体发生的极小概率p, λ λ =N*p;在射击例子中,射中概率p并不是很小很小,无法定义单位时间内射中次数,也无法定义N,所以不能用泊松分布公式计算。必须用标准的二项公式计算。
    所以说,射击n次,射中k次的概率,是典型的二项分布的实例。

    [二项分布.问题2: k取多少时,二项分布P{X=k}达到最大值?]
    二项分布的公式是
    P{X=k} = Cknpkqnk, C n k p k q n − k , k=0,1,2,..n, q=1-p;
    记为 X~B(n,p)
    k等于多少时,P{X=k}达到最大值?具有最大值?

    可以采用比值法,因为二项分布的P(X)分布律的函数趋势与泊松分布,与正态分布类似,都是先逐渐向上,再逐渐向下,中间有一个最大值。
    【二项分布,n很大,p趋于0时,演变成泊松分布;泊松分布,当随机变量取连续值时,演变成正态分布】
    这里写图片描述
    图形在最大值前单调增,最大值后单调减
    可以采用比值法,但是有两个比值
    k>=0 , P(X=(k+1))P(X=k) P ( X = ( k + 1 ) ) P ( X = k ) 由 大于1(单调增),转为小于1(单调减),等于1时,k最大

    k>=1 , P(X=k)P(X=(k1)) P ( X = k ) P ( X = ( k − 1 ) ) 由 大于1(单调增),转为小于1(单调减),等于1时,k最大

    计算, P(X=(k+1))P(X=k) P ( X = ( k + 1 ) ) P ( X = k ) >=1 ;(1),k的值

    再计算, P(X=k)P(X=(k1)) P ( X = k ) P ( X = ( k − 1 ) ) >=1 ;(2),k的值

    设 q=1-p;

    展开计算(1)式
    P(X=(k+1))P(X=k) P ( X = ( k + 1 ) ) P ( X = k ) = Ck+1npk+1qnk1Cknpkqnk C n k + 1 p k + 1 q n − k − 1 C n k p k q n − k = Ck+1nCknpq C n k + 1 C n k ∗ p q = n!(nk1)!(k+1)!n!(nk)!k!p1p n ! ( n − k − 1 ) ! ( k + 1 ) ! n ! ( n − k ) ! k ! p 1 − p
    = (nk)!k!(nk1)!(k+1)!p1p ( n − k ) ! k ! ( n − k − 1 ) ! ( k + 1 ) ! ∗ p 1 − p = nkk+1p1p n − k k + 1 ∗ p 1 − p >=1
    得到
    (n-k)p >= (k+1)(1-p)
    np-kp >= k+1 -kp -p
    最后得到
    k<=(n+1)p -1 ;(3)

    展开计算(2)式
    P(X=k)P(X=(k1)) P ( X = k ) P ( X = ( k − 1 ) ) = CknpkqnkCk1npk1qnk+1 C n k p k q n − k C n k − 1 p k − 1 q n − k + 1 = CknCk1npq C n k C n k − 1 ∗ p q = n!(nk)!k!n!(nk+1)!(k1)!p1p n ! ( n − k ) ! k ! n ! ( n − k + 1 ) ! ( k − 1 ) ! p 1 − p
    = (nk+1)!(k1)!(nk)!k!p1p ( n − k + 1 ) ! ( k − 1 ) ! ( n − k ) ! k ! ∗ p 1 − p = nk+1kp1p n − k + 1 k ∗ p 1 − p >=1
    得到
    (n-k+1)p >= k(1-p)
    np-kp+p >= k-kp
    最后得到
    k<=(n+1)p ;(4)
    ==
    k<=(n+1)p -1 ; (3)
    k<=(n+1)p ;(4)
    结合(3)和(4),
    (n+1)p 刚好为整数时(没有余数,没有小数点后面)
    k的最大值有两个,分别是
    k1=(n+1)p -1
    k2=(n+1)p
    (n+1)p 不为整数时(有余数,有小数点后面的数),只有一个最大值,
    取(4)的整数部分(向下取整) ,floor((n+1)p); 向下取整数部分
    k= floor( (n+1)p ) = (n+1)p ;


    2. 二项分布演变到泊松分布的推导

    大家知道二项分布当n很大,p很小,p趋于0时,即 n,p0 n → ∞ , p → 0 , np= λ λ λ λ 是一个常数的情况下,可以用泊松分布近似代替二项分布。那么怎样推导呢?下面是推导过程**

    泊松分布的公式:
    P{X=k} = (λt)kk!e(λt) ( λ t ) k k ! ∗ e − ( λ t ) , (k=0,1,2,…)
    当取单位时间 t=1时,泊松分布的公式简化为:
    P{X=k} = λkk!eλ λ k k ! ∗ e − λ , (k=0,1,2,…)

    简记为:X~ P(λ) P ( λ )


    由二项分布的公式得,
    P{X=k} = Cknpkqnk, C n k p k q n − k , k=0,1,2,..n
    其中,q=1-p;

    当, limtp0 lim t → − ∞ , p → 0 ,时
    P{X=k} = Cknpk(1p)nk C n k p k ( 1 − p ) n − k
    = n!(nk)!k!pk(1p)nk n ! ( n − k ) ! ∗ k ! ∗ p k ∗ ( 1 − p ) n − k

    = n(n1)(n2)...(n(k1))(nk)!(nk)!k!pk(1p)nk n ∗ ( n − 1 ) ∗ ( n − 2 ) ∗ . . . ( n − ( k − 1 ) ) ( n − k ) ! ( n − k ) ! ∗ k ! ∗ p k ∗ ( 1 − p ) n − k

    = n(n1)(n2)...(n(k1))k!pk(1p)nk n ∗ ( n − 1 ) ∗ ( n − 2 ) ∗ . . . ( n − ( k − 1 ) ) k ! ∗ p k ∗ ( 1 − p ) n − k (1)

    注:对于 n(n1)(n2)...(n(k1)) n ∗ ( n − 1 ) ∗ ( n − 2 ) ∗ . . . ( n − ( k − 1 ) ) 总共有k项(从(n-0) 到 (n-(k-1)) )
    n n → ∞ 时,k是一个有限数(n是总样本数,k是发生故障的次数),k与n相加减,k可以忽略掉,
    limn>(n(n1)(n2)...(n(k1))) lim n − > ∞ ( n ∗ ( n − 1 ) ∗ ( n − 2 ) ∗ . . . ( n − ( k − 1 ) ) ) ≈ nk n k (k被忽略掉了)
    同理:
    limn>(1p)nk lim n − > ∞ ( 1 − p ) n − k ≈ (1p)n ( 1 − p ) n (k被忽略掉了)

    接上面(1)式,
    当, limtp0 lim t → − ∞ , p → 0 ,时
    (1)式等于,
    P{X=k} = n(n1)(n2)...(n(k1))k!pk(1p)nk n ∗ ( n − 1 ) ∗ ( n − 2 ) ∗ . . . ( n − ( k − 1 ) ) k ! ∗ p k ∗ ( 1 − p ) n − k

    =nkk!pk(1p)nk = n k k ! ∗ p k ∗ ( 1 − p ) n − k

    =nkk!pk(1p)n = n k k ! ∗ p k ∗ ( 1 − p ) n (2)

    又注:n*p 意味着单位时间内发生的次数,定义为一个常数 λ λ ,
    λ λ =n*p , n=λp n = λ p

    接上面(2)式就等于,
    当, limtp0 lim t → − ∞ , p → 0 ,时
    P{X=k} = nkk!pk(1p)n n k k ! ∗ p k ∗ ( 1 − p ) n

    = (np)kk!(1p)n ( n p ) k k ! ∗ ( 1 − p ) n

    = λkk!(1p)n λ k k ! ∗ ( 1 − p ) n

    = λkk!(1p)λp λ k k ! ∗ ( 1 − p ) λ p (3)

    又注:设 t=1p t = − 1 p ,
    那么 , p=1t,(1p)=(1+1t) p = − 1 t , ( 1 − p ) = ( 1 + 1 t )
    λp λ p = - λt λ t = t(λ) t ( − λ )
    (1p)λp=(1+1t)t(λ) ( 1 − p ) λ p = ( 1 + 1 t ) t ( − λ )
    因为 p0 p → 0 , 所以, t t → − ∞ , t − t → ∞

    那么,上面(3)式就得到:
    当, limtp0 lim t → − ∞ , p → 0 ,时
    P{X=k} = λkk!(1p)λp λ k k ! ∗ ( 1 − p ) λ p
    = λkk!(1+1t)t(λ) λ k k ! ∗ ( 1 + 1 t ) t ( − λ ) (4)

    又注: 由e的定义式(e的公式)得:
    每次加无限小分份量 1n 1 n ,再累积无限多次{n},就是e
    参考:对自然数e的理解,e的证明,e的计算(基础)
    e= limn>(1+1n)n lim n − > ∞ ( 1 + 1 n ) n
    e= limn>(1+1n)n lim n − > − ∞ ( 1 + 1 n ) n
    在那篇博文有证明得出,n无论趋于正无穷,还是趋于负无穷, (1+1n)n ( 1 + 1 n ) n 结果都是e
    因此得: limt(1+1t)t=e lim t → − ∞ ( 1 + 1 t ) t = e
    ====

    n n → − ∞ 的证明方法:
    n=1x n = 1 x , 利用 limx0(1+x)1n=e lim x → 0 ( 1 + x ) 1 n = e ;
    ===
    直观理解,如果t趋于负无穷,那么指数(t)就是累积除的关系,
    每次减无限小分份量 1t 1 t ,但是累积除以无限多次{t},还是等于e
    limt(1+1t)t=e lim t → − ∞ ( 1 + 1 t ) t = e

    那么,上面(4)式就得到:
    当, limtp0 lim t → − ∞ , p → 0 ,时
    P{X=k} = λkk!(1+1t)t(λ) λ k k ! ∗ ( 1 + 1 t ) t ( − λ )

    = λkk!(e)λ λ k k ! ∗ ( e ) − λ = λkk!eλ λ k k ! ∗ e − λ

    P{X=k} = λkk!eλ λ k k ! ∗ e − λ , (k=0,1,2,…)

    如果用单位时间内发生次数来表达, λ λ 可以表示成 λt λ t
    上式可以表示成:
    当, limtp0 lim t → − ∞ , p → 0 ,时
    P{X=k} = (λt)kk!e(λt) ( λ t ) k k ! ∗ e − ( λ t ) , (k=0,1,2,…)


    3.泊松分布公式与 自然数 的定义 e

    参考前面博文对自然数e的理解,证明,计算(基础)

    ex e x = i=0(x)ii! ∑ i = 0 ∞ ( x ) i i !
    ex e x = 1+x+ (x)22!+(x)33!+...+(x)n1n! ( x ) 2 2 ! + ( x ) 3 3 ! + . . . + ( x ) n 1 n !
    ===
    近似计算(e<4)的情况,e的指数越大,后面的项越大,越需要多项展开):
    ex e x = 1+x+ (x)22+(x)36+(x)424+(x)5120 ( x ) 2 2 + ( x ) 3 6 + ( x ) 4 24 + ( x ) 5 120

    =====
    思考问题:
    ex e x 的泰勒级数展开多项式中,哪一项的值最大?
    答案是:x等于多少就是哪项值最大,恰好第x项的值最大。
    可以参考前面博文对自然数e的理解,证明,计算(基础)
    物理意义:单位时间内事件发生的次数最大可能性就是平均概率。
    ===
    比如x=1,第一项最大 x=1。
    x=2: 第一项及第二项 都是最大 (x)22=222=2 ( x ) 2 2 = 2 2 2 = 2
    x=3,第三项 最大 (x)36=336 ( x ) 3 6 = 3 3 6 =4.73;
    x=4,第四项 最大 (x)424=4424=25624 ( x ) 4 24 = 4 4 24 = 256 24 =12;
    以此类推….

    可以看到 λkk! λ k k ! 其实就是 eλ e λ 的第k项。
    也就是等于说,P{X=k}的概率,就是 eλ e λ 的第k项 的占比例。

    [泊松分布.问题1,泊松分布P{x=k},k等于多少时,P{X=k}最大?]
    已知泊松分布的公式,
    P{X=k} = λkk!eλ λ k k ! ∗ e − λ , (k=0,1,2,…)
    记为 X~P( λ λ )

    P{X=k}的值,就是 eλ e λ 的第k项 的占比例, 那么 k等于多少时,P{X=k}最大?

    从直观上理解,单位时间最有可能发生的次数当然是平均数。
    从e的泰勒展开多项式理解, eλ e λ 的泰勒展开式,就是第 λ λ 项值最大。

    也就是 k = λ λ 时, P{X= λ λ } 取得最大值。


    4.二项分布到几何分布的推导

    几何分布也是从二项分布而来。实际背景是重复独立试验下首次成功的概率(n重伯努利试验,首次成功的 n 值)
    举例:射击n次,首次射中时的n值。
    有放回地抽取样品,首次抽到次品时的抽取次数。

    二项分布公式,重复试验n次,成功k次的概率:
    P{X=k} = Cknpkqnk, C n k p k q n − k , k=0,1,2,..n

    重复试验n次,成功1次的概率:
    P{X=1} = C1np(1p)n1, C n 1 p ( 1 − p ) n − 1 ,

    成功的这一次,恰好是第一次的概率
    从1到n,一共射击了n次,如果射击n次仅成功1次,成功的这一次有可能是是第1次,有可能是第2次,,,有可能是第n次,共有n种可能,
    所以,成功的这一次,恰好是第一次的概率 = P(X=1)n P ( X = 1 ) n = C1np(1p)n1n C n 1 p ( 1 − p ) n − 1 n = p(1p)n1 p ( 1 − p ) n − 1

    所以,几何分布公式(事件首次发生的n值分布):

    P{X=n} = p(1p)n1 p ( 1 − p ) n − 1

    纪为 X~G(p)

    展开全文
  • https://blog.csdn.net/michael_r_chang/article/details/39188321https://www.cnblogs.com/wybang/p/3206719.htmlhttps://blog.csdn.net/jteng/article/details/603346281. 伯努利分布伯努利分布(Bernoulli ...

    https://blog.csdn.net/michael_r_chang/article/details/39188321

    https://www.cnblogs.com/wybang/p/3206719.html

    https://blog.csdn.net/jteng/article/details/60334628

    1. 伯努利分布

    伯努利分布(Bernoulli distribution)又名两点分布0-1分布,介绍伯努利分布前首先需要引入伯努利试验(Bernoulli trial)

    • 伯努利试验是只有两种可能结果的单次随机试验,即对于一个随机变量X而言:

    伯努利试验都可以表达为“是或否”的问题。例如,抛一次硬币是正面向上吗?刚出生的小孩是个女孩吗?等等

    • 如果试验E是一个伯努利试验,将E独立重复地进行n次,则称这一串重复的独立试验为n重伯努利试验
    • 进行一次伯努利试验,成功(X=1)概率为p(0<=p<=1),失败(X=0)概率为1-p,则称随机变量X服从伯努利分布。伯努利分布是离散型概率分布,其概率质量函数为:

    2. 二项分布

    二项分布(Binomial distribution)是n重伯努利试验成功次数的离散概率分布。

    • 如果试验E是一个n重伯努利试验,每次伯努利试验的成功概率为p,X代表成功的次数,则X的概率分布是二项分布,记为X~B(n,p),其概率质量函数为

      显然,

    • 从定义可以看出,伯努利分布是二项分布在n=1时的特例
    • 二项分布名称的由来,是由于其概率质量函数中使用了二项系数,该系数是二项式定理中的系数,二项式定理由牛顿提出:

    • 二项分布的典型例子是扔硬币,硬币正面朝上概率为p, 重复扔n次硬币,k次为正面的概率即为一个二项分布概率。

    3. 多项分布

    多项式分布(Multinomial Distribution)是二项式分布的推广。二项式做n次伯努利实验,规定了每次试验的结果只有两个,如果现在还是做n次试验,只不过每次试验的结果可以有多m个,且m个结果发生的概率互斥且和为1,则发生其中一个结果X次的概率就是多项式分布。

    • 扔骰子是典型的多项式分布。扔骰子,不同于扔硬币,骰子有6个面对应6个不同的点数,这样单次每个点数朝上的概率都是1/6(对应p1~p6,它们的值不一定都是1/6,只要和为1且互斥即可,比如一个形状不规则的骰子),重复扔n次,如果问有k次都是点数6朝上的概率就是

    • 多项式分布一般的概率质量函数为:

    4. 贝塔分布

    在介绍贝塔分布(Beta distribution)之前,需要先明确一下先验概率、后验概率、似然函数以及共轭分布的概念。

    • 通俗的讲,先验概率就是事情尚未发生前,我们对该事发生概率的估计。利用过去历史资料计算得到的先验概率,称为客观先验概率; 当历史资料无从取得或资料不完全时,凭人们的主观经验来判断而得到的先验概率,称为主观先验概率。例如抛一枚硬币头向上的概率为0.5,这就是主观先验概率。
    • 后验概率是指通过调查或其它方式获取新的附加信息,利用贝叶斯公式对先验概率进行修正,而后得到的概率。
    • 先验概率和后验概率的区别:先验概率不是根据有关自然状态的全部资料测定的,而只是利用现有的材料(主要是历史资料)计算的;后验概率使用了有关自然状态更加全面的资料,既有先验概率资料,也有补充资料。另外一种表述:先验概率是在缺乏某个事实的情况下描述一个变量;而后验概率(Probability of outcomes of an experiment after it has been performed and a certain event has occured.)是在考虑了一个事实之后的条件概率。
    • 似然函数
    • 共轭分布(conjugacy):后验概率分布函数与先验概率分布函数具有相同形式

    好了,有了以上先验知识后,终于可以引入贝塔分布啦!!首先,考虑一点,在试验数据比较少的情况下,直接用最大似然法估计二项分布的参数可能会出现过拟合的现象(比如,扔硬币三次都是正面,那么最大似然法预测以后的所有抛硬币结果都是正面)。为了避免这种情况的发生,可以考虑引入先验概率分布来控制参数,防止出现过拟合现象。那么,问题现在转为如何选择

    先验概率和后验概率的关系为:

    二项分布的似然函数为(就是二项分布除归一化参数之外的后面那部分,似然函数之所以不是pdf,是因为它不需要归一化):

    如果选择的先验概率也与次方德乘积的关系,那么后验概率分布的函数形式就会跟它的先验函数形式一样了。具体来说,选择prior的形式是,那么posterior就会变成这个样子了(为pdf的归一化参数),所以posterior和prior具有相同的函数形式(都是也与次方的乘积),这样先验概率与后验概率就是共轭分布了。

    所以,我们选择了贝塔分布作为先验概率,其概率分布函数为:

    ,其中

    5. 狄利克雷分布

    狄利克雷分布(Dirichlet distribution)是多项分布的共轭分布,也就是它与多项分布具有相同形式的分布函数。

    • 概率分布函数为:

    6. 后记

    本篇博文只是将伯努利分布、二项分布、多项分布、贝塔分布和狄利克雷分布做了简单的介绍,其中涉及到大量的概率基础和高等数学的知识,文中的介绍只是粗浅的把这些分布的概念作了大概介绍,没有对这些分布的产生历史做介绍。我想,更好的介绍方式,应是从数学史的角度,将这几项分布的发现按照历史规律来展现,这样会更直观、形象。后续再补吧!


       在机器学习领域中,概率模型是一个常用的利器。用它来对问题进行建模,有几点好处:1)当给定参数分布的假设空间后,可以通过很严格的数学推导,得到模型的似然分布,这样模型可以有很好的概率解释;2)可以利用现有的EM算法或者Variational method来学习。通常为了方便推导参数的后验分布,会假设参数的先验分布是似然的某个共轭分布,这样后验分布和先验分布具有相同的形式,这对于建模过程中的数学推导可以大大的简化,保证最后的形式是tractable。

        在概率模型中,Dirichlet这个词出现的频率非常的高。初始机器学习的同学或者说得再广一些,在学习概率模型的时候,很多同学都不清楚为啥一个表现形式如此奇怪的分布Dirichlet分布会出现在我们的教科书中,它是靠啥关系攀上了多项分布(Multinomial distribution)这个亲戚的,以至于它可以“堂而皇之”地扼杀我大天朝这么多数学家和科学家梦想的?为了引出背后这层关系,我们需要先介绍一个概念——共轭先验(Conjugate Prior)

    • Conjugate Prior: In Bayesian probability theory, if the posterior distributions p(θ|x) are in the same family as the prior probability distribution p(θ), the prior and posterior are then called conjugate distributions, and the prior is called a conjugate prior for the likelihood. ----from wiki
    • 用中文来讲,在贝叶斯统计理论中,如果某个随机变量Θ的后验概率 p(θ|x)和气先验概率p(θ)属于同一个分布簇的,那么称p(θ|x)和p(θ)为共轭分布,同时,也称p(θ)为似然函数p(x|θ)的共轭先验。

        介绍了这个重要的概念之后,我们回到文章的正题。首先需要弄清楚什么是二项分布(Binomial distribution)。这个概念是从伯努利分布推进的。伯努利分布是一个离散型的随机分布,其中的随机变量只有两类取值,非正即负{+,-}。二项分布即重复n次的伯努利试验,记为 X~b(n,p)。概率密度函数(概率质量函数)为。再来看看Beta分布,给定参数,取值范围为[0,1]的随机变量x的概率密度函数,其中。这里假定,先验分布和似然概率如下所示:

    那么很容易知道后验概率为

         弄清楚了Beta分布和二项分布之间的关系后,对于接下来的Dirichlet 分布和多项分布(Multinomial distribution)的关系理解将会有非常大的帮助。多项分布,从字面上所表现出的含义,我们也大抵知道它的意思。它本身确实也是这样的,其单次试验中的随机变量的取值不再是0-1的,而是有多种离散值可能(1,2,3...,k),其中。多项分布的概率密度函数为。而Dirichlet分布的的密度函数形式也如出一辙:,其中。到这里,我们可以看到Beta分布和Dirichlet 分布有多相似啊,二项分布和多项分布有多相似啊

         再一次来看看共轭。假设有先验分布

    另有似然函数

    则后验概率

    ,和Dirichlet 分布形式一致。

        其实,细心的读者已经发现,这里这四类分布,如果但从数学形式上看,它们的组织形式都是一致的,都是通过乘积的形式构成,加上先验分布、似然函数和后言分布之间的乘积推导关系,可以很容易发现,它们所表现出的共轭性质很容易理解。


    Beta分布与Dirichlet分布的定义域均为[0,1],在实际使用中,通常将两者作为概率的分布,Beta分布描述的是单变量分布,Dirichlet分布描述的是多变量分布,因此,Beta分布可作为二项分布的先验概率,Dirichlet分布可作为多项分布的先验概率。这两个分布都用到了Gamma函数,所以,首先了解一下Gamma函数。

    1. Gamma函数

      首先看其表达式 
      Γ(x)=0tx1etdtΓ(x)=∫0∞tx−1e−tdt 
    这样的表达看懂都很难,更不知道那些数学家怎么想出来的。据LDA数学八卦中记录,在Gamma函数的发现中做出主要贡献的数学家有哥德巴赫、丹尼尔·伯努利(不是伯努利分布的那个伯努利),最终由欧拉解决这个问题(这些大数学家互相都认识的啊)。 
      Gamma函数是对阶乘在实数领域的扩展,也就是说,Γ(x+1)=xΓ(x)Γ(x+1)=xΓ(x),下面用分部积分的方法进行推导,如不关心,可以略过。 
      

    Γ(x)=0tx1etdt=1x0etdtx=1x(ettx|00txdet)=1x0txetdt=1xΓ(x+1)Γ(x)=∫0∞tx−1e−tdt=1x∫0∞e−tdtx=1x(e−ttx|0∞−∫0∞txde−t)=1x∫0∞txe−tdt=1xΓ(x+1)

    据PRML第71页(2.14)式,Gamma函数在Beta分布和Dirichlet分布中起到了归一化的作用。

    2. Beta分布

      Beta分布描述的是定义在区间[0,1]上随机变量的概率分布,由两个参数α>0α>0β>0β>0决定,通常记为μBeta(μ|α,β)μ∼Beta(μ|α,β),其概率密度函数如下 
      P(μ|α,β)=Γ(α+β)Γ(α)Γ(β)μα1(1μ)β1=1B(α,β)μα1(1μ)β1P(μ|α,β)=Γ(α+β)Γ(α)Γ(β)μα−1(1−μ)β−1=1B(α,β)μα−1(1−μ)β−1 
    其中,Γ()Γ(⋅)就是Gamma函数,B(α,β)B(α,β)为Beta函数,并且 
      B(α,β)=Γ(α)Γ(β)Γ(α+β)B(α,β)=Γ(α)Γ(β)Γ(α+β) 
    Beta分布的概率密度函数曲线如下图:(摘自wikipedia Beta distribution


    Beta distribution 

    由于Beta分布定义在区间[0,1]上,所以适合作为概率的分布。第一段提到Beta分布可作为二项分布的先验概率,那就需要从二项分布的定义来理解Beta分布的形式。已知二项分布的形式为: 
       p(x=k|n,μ)=Cknμk(1μ)nkp(x=k|n,μ)=Cnkμk(1−μ)n−k  
    μμ 进行后验概率估计时,其似然项是 μμ (1μ)(1−μ) 的指数形式,如果先验概率也选择为 μμ (1μ)(1−μ) 的指数形式,那么后验概率就仍然保持这种指数形式,这种性质叫做共轭分布,我们会在后面的文章中对共轭分布进行介绍。 
    因此,Beta分布就是 μμ (1μ)(1−μ) 的指数形式,其中Beta函数为归一化系数。Beta分布的均值和方差分别为 
       E[μ]=αα+βE[μ]=αα+β  
       var(μ)=αβ(α+β)2(α+β+1)var(μ)=αβ(α+β)2(α+β+1)

    3. Dirichlet分布

      Dirichlet分布是关于定义在区间[0,1]上的多个随机变量的联合概率分布,假设有dd个变量μiμi,并且di=1μi=1∑i=1dμi=1,记μ=(μ1,μ2,...,μd)μ=(μ1,μ2,...,μd),每个μiμi对应一个参数αi>0αi>0,记α=(α1,α2,...,αd)α=(α1,α2,...,αd)α^=di=1αiα^=∑i=1dαi,那么它的概率密度函数为 
    p(μ|α)=Dir(μ|α)=Γ(α^)Γ(α1)Γ(αd)di=1μαi1ip(μ|α)=Dir(μ|α)=Γ(α^)Γ(α1)⋯Γ(αd)∏i=1dμiαi−1 
      Dirichlet分布的每一个随机变量具有统计量如下: 
      E[μi]=αiα^E[μi]=αiα^ 
      var(μi)=αi(α^αi)α^2(α^+1)var(μi)=αi(α^−αi)α^2(α^+1) 
      cov(μi,μj)=αiαjα^2(α^+1)cov(μi,μj)=αiαjα^2(α^+1) 
      由于Dirichlet分布描述的是多个定义于区间[0,1]的随机变量的概率分布,所以通常将其用作多项分布参数μiμi的概率分布。



    展开全文
  • python生成X~N(μ,σ^2)正态分布数据。(均值为μ,标准差为σ) 代码 # import numpy as np # import numpy.matlib # import math # #注意:对于来自的随机样本N(mu, sigma^2) ##我们可以用 sigma * np.matlib...

    python生成X~N(μ,σ^2)正态分布数据。(均值为μ,标准差为σ)

    代码

    
    import numpy as np
    import numpy.matlib
    import math
    
    
    # #注意:对于来自的随机样本N(mu, sigma^2)
    ##我们可以用 sigma * np.matlib.randn(...) + mu 。
    # #例如,制作一个3 x 3矩阵,其中的样本取自N(3, 4):
    # # 所以这里 mu = 3, sigma = 2
    
    def probability(mu,b):
        sigma = math.sqrt(b)
        pro = sigma * np.matlib.randn((3, 3)) + mu
        return pro
    
    print(probability(3,4))
    
    第二种方法
    def probability(mu,sigma):
        sigma = math.sqrt(sigma)
        pro = numpy.random.normal(mu,sigma, 30)
        pro = pro.reshape(15,2) #这里可将生成的矩阵数据改变为自己想要的维度
        return pro
        
    print(probability(1,0.02))
    
    

    图片


        这里为生成的3*3大小的矩阵,因为使用的randn函数,所以每次生成的数值都不同。

    展开全文
  • 求证:φ(u)=ejau−12u2σ2 ,t∈R\varphi(u)=e^{jau-\frac{1}{2}u...φ(u)=∫+∞−∞ejuxf(x)dx\varphi(u)=\int _ {-\infty} ^ {+\infty} e^{jux}f(x)dx =∫+∞−∞ejux12πσ2−−−−√e−(x−a)22σ2dx=\in
  • 二项分布熵的性质

    2019-12-29 07:57:15
    二项分布熵的性质,丁勇,,本文证明了二项分布的熵有如下性质:设X ~ B(n,p)对确定的n,当p<1>1/2时,熵随着p的增加而减少,当p
  • 概率分布二项分布与多项分布

    万次阅读 多人点赞 2017-02-10 22:38:02
    1. 伯努利分布(Bernoulli distribution)  伯努利分布又称分布或0-1分布,即一次试验只有正例和反例两种可能,以随机变量表示就是X只能取0或1,伯努利试验是只有两种可能结果的单次随机试验
  • Poisson Distribution ...一直感觉学统计学太难了,各种分布,傻傻搞不清,就算是现在弄清楚了,以后再实战中见到这个分布的时候还是懵逼。 基本概念:所有统计分布都是用于描述事件发生概率的,所有事件发生概率之...
  • 概率论 各种分布及其期望、方差、分布函数

    万次阅读 多人点赞 2017-12-29 23:13:15
    二项分布 X~b(n,p) 泊松分布 X~π(λ)π(λ)\pi(\lambda) 均匀分布 X~U(a,b) 指数分布 正态/高斯分布 X~N(μ,σ2μ,σ2\mu,\sigma^2) ——————————————————– χ2χ2\chi ^2分布 χ2∼χ2(n)χ2∼χ...
  • 离散分布主要包括3个重要的分布:几何分布二项分布和泊松分布,这里主要介绍下这三种分布解决的典型概率问题,区别和联系。 1. 几何分布: 问题:查德在任意一次滑雪中(假定每次滑雪都是独立事件)不出事故顺利...
  • 二项分布

    千次阅读 2013-12-11 09:58:48
    二项分布[编辑] 维基百科,自由的百科全书 二项分布 机率 质量 函数 累积分布函数 参数  试验次数 (整数)  成功概率 (实数) 值域 概率密度函数 ...
  • 伯努利分布(0-1分布、两点分布):进行一次伯努利试验,表示单个二元变量x∈{0,1}x\in \{0,1\}x∈{0,1}的分布,使用单个连续变量μ∈[0,1]\mu\in[0,1]μ∈[0,1]表示x=1x=1x=1的概率。 Bern(x∣μ)=μx(1−μ)1−...
  • 文章目录伯努利分布二项分布项分布贝塔分布狄利克雷分布高斯分布 伯努利分布 伯努利分布(Bernoulli distribution)又名两点分布或0-1分布,介绍伯努利分布前首先需要引入伯努利试验(Bernoulli trial)。 伯努利...
  • 二项分布是说,n重伯努利实验中成功(事件A)的次数为X,,已知事件A发生的概率是p,也即是P(A)=p,则X服从二项分布b(n,p)。记作:X~b(n,p)。 二项分布最典型的实验是抛硬币实验,抛n次硬币,有k次正面朝上的概率...
  • 概率论常见分布

    2020-05-08 11:03:09
    二项分布 X~b(n,p) 泊松分布 X~π(λ) 泊松分布是单位时间内独立事件发生次数的概率分布。泊松分布可以作为二项分布的极限得到。 一般情况下 均匀分布 X~U(a,b) 指数分布 ![在这里插入图片描述]...
  • 离散型变量 如:二项分布、泊松分布 三者之间的关系 二项分布(Binomial distribution) 二项分布(Binomial distribution)是n重伯努利试验成功次数的离散概率分布,记作。伯努利试验是只有两种可能结果的单次随机...
  • 伯努利分布 瑞士数学家雅克·伯努利``(Jacques Bernoulli,1654~1705)首次研究独立重复试验(每次成功率为p)。在他去世后的第8年(1713年),他侄子...二项分布(Binomial Distribution, 维基百科)是n个独立的是...
  • 上一篇讲了正态分布的基本概念和概率求解的计算方法(正态分布及其概率计算https://blog.csdn.net/weixin_41140174/article/details/99696028),这篇主要讲独立正态分布组合概率的计算、二项分布近似正态分布的条件...
  • 二项分布算法(递归)

    千次阅读 2016-07-15 23:38:13
    关于用递归实现的二项分布算法 最近在看Sedgewick...这里我令服从二项分布Xb(N,k,p)X\sim b(N,k,p),书本上习题给出的算法是:public static double binomial(int N, int k, double p) { if( N == 0 && k == 0 )
  • 二项式定理与二项分布 二项式定理 二项式定理我们在高中就学过了,即: (a+b)n=(n0)anb0+(n1)an−1b1+....+(nn−1)a1bn−1+(nn)a0bn=∑i=0n(ni)an−ibi(a+b)^n = {n \choose 0}a^nb^0 + {n \choose 1}a^{n-1}b^1+......
  • matlab实现二项分布

    万次阅读 2016-04-22 15:13:51
    二项分布 1. 求n次独立重复试验中事件A恰好发生k次的概率P。 命令:pdf 或 binopdf 格式:pdf (‘bino’, k, n, p) 或 binopdf (k, n, p) 说明:该命令的功能是计算二项分布中事件A恰好发生k次的概率。pdf为...
  • 离散型随机变量,二项分布,泊松分布,指数分布,几何分布(概统2.知识) 1.0-1分布 。例如抛硬币,正面朝上设为1,反面朝上设为0 分布律为 结果随机变量X 1 0 概率 P p 1-p ...
  • 最近在撰写笔记 【Sklearn源码学习笔记】(含官网样例解读)无监督学习之高斯混合模型 的过程中,官方Sklearn源码中...本文分三个部分“【二项分布】”、“【多项分布】”、“【Beta分布】”、“【狄利克雷分布...
  • 二项分布(Binomial Distribution)

    万次阅读 2017-09-15 12:48:16
    二项分布(Binomial Distribution)
  • 伯努利分布二项分布

    千次阅读 2017-09-17 16:46:17
    伯努利分布-Bernoulli distribution 伯努利分布是一种离散分布,有两种可能的结果。1表示成功,出现的概率为p(其中0 ...二项分布是n个独立的是/非试验中成功的次数的离散概率分布,其中每次试验的成功概率为p。这样的单
  • 分布分布关系1、二项分布2、几何分布3、泊松分布4、二项分布转化泊松分布,泊松转化正态分布 1、二项分布   n次独立重复试验,每次事件出现的结果只有两个,出现同一结果的概率相同为p;   抛硬币,假设硬币不...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 218,569
精华内容 87,427
关键字:

二项分布x~b