-
2017-02-10 22:38:02
1. 伯努利分布(Bernoulli distribution)
伯努利分布又称二点分布或0-1分布,即一次试验只有正例和反例两种可能,以随机变量表示就是X只能取0或1,伯努利试验是只有两种可能结果的单次随机试验,假设一次试验出现正例的概率为p(0<p<1),那么 P(X=1)=p , P(X=0)=1−p ,可以统一表达为 P(X=k)=pk(1−p)1−k,k=0,1 ,则称X服从参数为p的伯努利分布,记为 X∼Ber(p)
最简单的伯努利试验就是抛硬币,抛一次硬币,正反面出现的概率均为0.5,出现正面的分布是服从参数为0.5的伯努利分布。2. 二项分布(binomial distribution)
将伯努利试验独立地重复n次称为n重伯努利试验,独立是指每次试验结果互相不影响,二项分布是n重伯努利试验中正例发生次数的离散概率分布,也就是说,抛n次硬币,出现正面的次数的概率分布。
记每次伯努利试验正例发生的概率为p,总共试验次数为n,随机变量X表示出现正例的次数,则记 X∼B(n,p) 表示X服从参数为(n,p)的二项分布,观测变量 x∈[0,n] , x 取k的概率,即在n次伯努利试验中,正例出现k次的概率为
P(x=k)=Cknpk(1−p)n−k
其中 Ckn=n!k!(n−k)! 为二项系数。二项分布具有期望 E[X]=np 和方差 D[X]=np(1−p) ,详情请参考wikipedia binomial distribution.
此处举一个从二项分布采样的例子,python的numpy库中有二项分布的生成器,其三个参数分别为试验次数、正例概率和采样个数,如下:
import numpy
a = numpy.random.binomial(n=10, p=0.7, size = 1)
生成a为0-10的整数,如果令参数size=10000,则生成a为大小为10000的数组,每个元素取0-10的整数,画出a的分布图如下,可见正例出现7次的样本数最多,并以7为中心向两侧递减。
3. 多项分布(multinomial distribution)
多项分布是对二项分布的扩展,二项分布是单变量分布,而多项分布是多变量分布。二项分布的典型例子是抛硬币,每次试验有正反两种对立的可能,多项分布的例子是扔骰子,每次试验有多种可能,进行多次试验,多项分布描述的是每种可能发生次数的联合概率分布。
在单次试验中,假设一共有k种可能情况,记这k种可能发生的概率为 μ=[μ1,...,μk] ,并且 ∑ki=1μi=1 ,记 x=[x1,...,xk] ,其中 xi∈{0,1} ,并且 ∑ki=1xi=1 ,即 xi 中只有一个为1,其他均为0,也就是每次试验只有一种可能发生, xi 取1的概率为 μi ,那么, x 的概率为
P(x|μ)=∏ki=1μxii
将试验进行N次,记第i种可能发生的次数为 mi , ∑ki=1mi=N ,那么多项分布表示 mi 的联合概率分布
P(m1,...,mk|N,μ)=Multi(m1,...,mk|N,μ)=N!m1!⋯mk!∏di=1μmii
多项分布的统计量如下:
E[mi]=Nμi
var(mi)=Nμi(1−μi)
cov(mi,mj)=−Nμiμj,(i≠j)
详情请参考wikipedia multinomial distribution.
下面举一个从多项分布采样的例子,python的numpy库中有多项分布的生成器,其三个参数分别为试验次数、每种可能发生的概率向量和采样次数,如下:
import numpy
a = numpy.random.multinomial(n=10, pvals=[0.2,0.4,0.4], size = 1)
生成a为一个三维向量,如[2,7,1],向量的每个元素位于0-10之间,三个元素之和为10。设置size = 1000,就会得到1000个三维向量,这1000个向量的均值为[2.013,4.058,3.929],可见其均值的分布趋近于概率[0.2,0.4,0.4].更多相关内容 -
浅谈两点分布,二项分布,伽马分布,指数分布,泊松分布,卡方分布,t分布,F分布,均匀分布,正态分布,β...
2019-10-15 16:39:02浅谈两点分布,二项分布,伽马分布,指数分布,泊松分布,卡方分布,t分布,F分布,均匀分布,正态分布,β分布,狄利克雷分布。(红丸子,白丸子,四喜丸子。。。) 我们知道,在数理统计中,经常是和各种分布打...分布家族的伦理关系
浅谈两点分布,二项分布,伽马分布,指数分布,泊松分布,卡方分布,t分布,F分布,均匀分布,正态分布,β分布,狄利克雷分布。(红丸子,白丸子,四喜丸子。。。)
我们知道,在数理统计中,经常是和各种分布打交道,也经常搞清楚搞不清楚,我是谁,我在学什么,这些分布,到底是些什么关系?
最近在学随机过程又遇到了这个问题,虽然好像并没有什么太多关系,但是搞不清楚的,马马虎虎的感觉很不爽,而且什么鬼分布的概率密度函数,感觉记了一辈子都记不下来,记住又忘,记住又忘。所以本文的意图是要梳理这些分布的关系,以及他们代表的实际意义,还有加强对他们的概率密度函数,期望方差等的记忆。(很粗浅)
涉及的分布主要有:两点分布,二项分布,伽马分布,指数分布,泊松分布,卡方分布,t分布,F分布,均匀分布,正态分布,β分布,狄利克雷分布。(怎么这么多分布!)
好了,废话不多说,直接开干。
1. 两点分布:
两点分布很简单,就是说一个实验有两种可能,非此即彼,概率分别是P和1-P,这个实验只做一次,ok,它就是服从两点分布。
2. 二项分布:
但是,我要是要做多次呢,比如我要做n次独立重复的伯努利实验,那么我们就可以对实验成功的次数X构建一个二项分布,所以X的分布律是: P ( X = k ) = C n k p k ( 1 − p ) n − k P(X=k) = C_n^kp^k(1-p)^{n-k} P(X=k)=Cnkpk(1−p)n−k
3. 泊松分布:
说了二项分布,不得不说说泊松分布,这个分布是弄啥捏,就是描述一段时间内某个事件发生的次数的概率一个分布,故计数类的模型比较适合用泊松分布,等等,这个和二项分布有什么不一样吗?好像都是一个意思?其实确实是一个意思,只是我们知道,当 P ( X = k ) = C n k p k ( 1 − p ) n − k P(X=k) = C_n^kp^k(1-p)^{n-k} P(X=k)=Cnkpk(1−p)n−k
这个里面的n变得灰常大,这个公式就没眼看了,那么我们只能考虑一下变个形式:
P ( X = k ) = λ k k ! e − λ P(X=k) = \frac{\lambda^k}{k!}e^{-\lambda} P(X=k)=k!λke−λ注意,这里的 λ \lambda λ是个什么鬼?
其实 λ = n p \lambda=np λ=np,比如我描述一个事件发生的概率是0.0002,而我要知道1000个样本中事件发生的次数的概率,我可以直接用lambda来刻画这个模型,一个参数搞定两个参数的活,这不就节约了工钱吗?(显然可以看出,当k值变化是, e − λ e^{-\lambda} e−λ是不改变的,所以有 Σ n = 0 ∞ λ k k ! = e λ \Sigma_{n=0}^{\infty}\frac{\lambda^{k}}{k!}=e^\lambda Σn=0∞k!λk=eλ,其实后来看来, e − λ e^{-\lambda} e−λ这个就是一个归一化因子而已鸭)其实泊松分布并没有那么严格要求n取非常大,一般只需要大于等于50,我们就可以用泊松分布。
4. 伽马分布:
到了有名的伽马分布,其实我们见了很多次伽马分布,伽马分布的概率密度函数依然有可能写不出来,
其实这个分布实际上是什么意思呢??描述什么样的一个过程呢?其实可以这样理解:伽马分布描述的是一个事件A第 α \alpha α次发生所需要的时间, α \alpha α被我们称作形状参数, β \beta β则是一个尺度参数。那么就是发生的概率,可把理解为一个描述发生频率的参数,发生一次需要的时间是 1 / β 1/\beta 1/β,这也不难理解了为什么.
E ( X ) = α β , V a r ( X ) = α β 2 E(X) = \frac{\alpha}{\beta}, Var(X) = \frac{\alpha}{\beta^2} E(X)=βα,Var(X)=β2α5. 指数分布:
在伽马分布中,当 a l p h a = 1 alpha=1 alpha=1意思就是发生一次需要的时间,很显然,这就是指数分布的含义。
指数分布的概率密度函数很简单,是 f ( x ) = λ e − λ x f(x) = \lambda e^{-\lambda x} f(x)=λe−λx,期望是 1 / λ 1/{\lambda} 1/λ我们可以用它来描述什么呢,比如一个故障发生的时间,可以用指数分布来描述。
6. 卡方分布:
χ 2 \chi^2 χ2分布也可以看做是伽马分布的特例: χ 2 ( n ) = Γ ( n 2 , 1 n ) \chi^2(n) = \Gamma(\frac{n}{2} ,\frac{1}{n}) χ2(n)=Γ(2n,n1)可是这有什么意义呢??好像从表面上看不出任何的意义,其实这可以从另一个角度去描述,比如有N个独立随机变量都是标准正态分布,那么他们的平方和就是卡方分布,这个分布常常用来构造假设检验的检验统计量中,检验统计量就是为了尽可能多的包含统计信息,而这个分布就很好的做到了呀。
7. t分布:
t分布是个什么鬼??我们也经常用t分布来构造检验统计量,简而言之,一个标准正态分布比上另一个卡方分布Y的,这就是t分布,那么我们可以想象,当n趋于无穷大时,这个分布是收敛于标准正态分布的。所以一般的t分布,它的概率密度图像比正态分布的尾部更大,就这个特点。8. F分布:
F分布就是两个卡方分布的一通骚操作,分别用两个分布除以他们的自由度,再相比,就得到了F分布。同样的,这个分布主要用在假设检验中,构造检验统计量。
9. 均匀分布:
到了均匀分布了,均匀分布没有什么特殊的地方,就是在区间内取任意值概率都是相等的。所以期望也就是区间的中点处。记住均值和方差:
10. 正态分布:
正态分布有意思了,自然界很多现象都是服从正态分布的,比如人的身高,社会的财富,班上的成绩,一句经典的话叫做:实验工作者认为它是数学定理,数学工作者认为它是一个经验定理。有意思,这里有知乎大佬的解说:https://www.zhihu.com/question/26854682
其实整正态分布呢,可以看做是在二项分布在n趋于无穷,进行无数次伯努利实验后结果的分布。如下图:
假设每次小球掉下来非左即右,那么N次实验之后,如下图结果:
这就是为什么是正态分布是这样,考虑简化一下模型,社会财富也是如此,大多数人在平庸,少数人在右边,你要是任由发展,无所作为,那么你大概率是平庸的,但是你如果在每次的选择中能够左右自己的道路,那你就越可能往正态分布的右边走,是不是很励志?
11. β \beta β分布:
这是一个描述概率的概率分布,听起来有点抽象, b e t a ( α , β ) beta(\alpha,\beta) beta(α,β)中,假设我用击球的例子,击中次数是 α = 81 \alpha=81 α=81,未击中的次数是 β = 219 \beta=219 β=219,那么击中率的概率密度是
那么假设又实验了300次,击中100次。分布变成了beta(),这里很有趣,看到了吗,在后面的实验数据上来之后,并没有改变原来函数的分布,计算变得十分简单,这种不改变函数本身所属family的特性,我们叫做共轭,于是密度函数变成了:
所以我们可以这样理解,我们可以用beta分布结合先验知识,通过后续的数据对先验结论进行修正,即:先合理假设,再科学修正。详细的请看原文大佬给力解释:
https://blog.csdn.net/a358463121/article/details/52562940
12. 狄利克雷分布:
在贝叶斯推理的先验分布中,Dirichlet分布是最常用的一种分布,刚才讨论了beta分布,那么聪明的你,是否想过,如果我的实验不是两种结果,比如我把击中未击中具体化到:击中10,9,8,7…环,这么多结果,k种结果分别发生的概率,如何去刻画每种概率发生的概率?理解到了这个意思,就理解到了狄利克雷分布。其余的就不再赘述,详细的可见知乎er的回答,比我这个详细一万倍。
https://www.zhihu.com/question/26751755/answer/80931791
作为本文草草的见解的草草的结尾,唯有祭出神图,以镇此文:
-
概率论中常见分布总结以及python的scipy库使用:两点分布、二项分布、几何分布、泊松分布、均匀分布、指数...
2020-06-04 11:50:49概率分布有两种类型:离散(discrete)概率分布...离散概率分布的例子有伯努利分布(Bernoulli distribution)、二项分布(binomial distribution)、泊松分布(Poisson distribution)和几何分布(geometric distributhttps://www.cnblogs.com/pinking/p/7898313.html
概率分布有两种类型:离散(discrete)概率分布和连续(continuous)概率分布。离散概率分布也称为概率质量函数(probability mass function)。离散概率分布的例子有伯努利分布(Bernoulli distribution)、二项分布(binomial distribution)、泊松分布(Poisson distribution)和几何分布(geometric distribution)等。
连续概率分布也称为概率密度函数(probability density function),它们是具有连续取值(例如一条实线上的值)的函数。正态分布(normal distribution)、指数分布(exponential distribution)和β分布(beta distribution)等都属于连续概率分布。
1、两点分布(伯努利分布)
伯努利试验:
伯努利试验是在同样的条件下重复地、各次之间相互独立地进行的一种试验。
即只先进行一次伯努利试验,该事件发生的概率为p,不发生的概率为1-p。这是一个最简单的分布,任何一个只有两种结果的随机现象都服从0-1分布。
最常见的例子为抛硬币
其中,
期望E = p
方差D = p*(1-p)2+(1-p)*(0-p)2 = p*(1-p)
2、二项分布(n重伯努利分布)(X~B(n,p))
即做n个两点分布的实验
其中,
E = np
D = np(1-p)
对于二项分布,可以参考https://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.binom.html
二项分布的应用场景主要是,对于已知次数n,关心发生k次成功。
对于抛硬币的问题,做100次实验,观察其概率分布函数:from scipy.stats import binom import matplotlib as mpl import matplotlib.pyplot as plt import numpy as np ## 设置属性防止中文乱码 mpl.rcParams['font.sans-serif'] = [u'SimHei'] mpl.rcParams['axes.unicode_minus'] = False
首先导入库函数以及设置对中文的支持
fig,ax = plt.subplots(1,1) n = 100 p = 0.5 #平均值, 方差, 偏度, 峰度 mean,var,skew,kurt = binom.stats(n,p,moments='mvsk') print mean,var,skew,kurt #ppf:累积分布函数的反函数。q=0.01时,ppf就是p(X<x)=0.01时的x值。 x = np.arange(binom.ppf(0.01, n, p),binom.ppf(0.99, n, p)) ax.plot(x, binom.pmf(x, n, p),'o') plt.title(u'二项分布概率质量函数') plt.show()
观察概率分布图,可以看到,对于n = 100次实验中,有50次成功的概率(正面向上)的概率最大。3、几何分布(X ~ GE§)
在n次伯努利实验中,第k次实验才得到第一次成功的概率分布。其中:P(k) = (1-p)^(k-1)*p
E = 1/p 推导方法就是利用错位相减法然后求lim - k ->无穷
D = (1-p)/p^2 推导方法利用了D(x) = E(x)2-E(x2),其中E(x^2)求解同上
几何分布可以参考:https://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.geom.html#scipy.stats.geom
fig,ax = plt.subplots(1,1) p = 0.5 #平均值, 方差, 偏度, 峰度 mean,var,skew,kurt = geom.stats(p,moments='mvsk') print mean,var,skew,kurt #ppf:累积分布函数的反函数。q=0.01时,ppf就是p(X<x)=0.01时的x值。 x = np.arange(geom.ppf(0.01, p),geom.ppf(0.99, p)) ax.plot(x, geom.pmf(x, p),'o') plt.title(u'几何分布概率质量函数') plt.show()
因此,可以看到,对于抛硬币问题,抛个两三次就能成功。4、泊松分布(X~P(λ))
描述单位时间/面积内,随机事件发生的次数。P(x = k) = λk/k!*e(-λ) k = 0,1,2, … λ >0
泊松分布可作为二项分布的极限而得到。一般的说, λ=np,若其中n很大,p很小,X的分布接近于泊松分布。通常当n≧20,p≦0.05时,就可以用泊松公式近似得计算。
λ:单位时间/面积下,随机事件的平均发生率
E = λ
D = λ
譬如:某一服务设施一定时间内到达的人数、一个月内机器损坏的次数等。
假设某地区,一年中发生枪击案的平均次数为2。
fig,ax = plt.subplots(1,1) mu = 2 #平均值, 方差, 偏度, 峰度 mean,var,skew,kurt = poisson.stats(mu,moments='mvsk') print mean,var,skew,kurt #ppf:累积分布函数的反函数。q=0.01时,ppf就是p(X<x)=0.01时的x值。 x = np.arange(poisson.ppf(0.01, mu),poisson.ppf(0.99, mu)) ax.plot(x, poisson.pmf(x, mu),'o') plt.title(u'poisson分布概率质量函数') plt.show()
因此,一年内的枪击案发生次数的分布如上所示。
与二项分布对比:fig,ax = plt.subplots(1,1) n = 1000 p = 0.1 #平均值, 方差, 偏度, 峰度 mean,var,skew,kurt = binom.stats(n,p,moments='mvsk') print mean,var,skew,kurt #ppf:累积分布函数的反函数。q=0.01时,ppf就是p(X<x)=0.01时的x值。 x = np.arange(binom.ppf(0.01, n, p),binom.ppf(0.99, n, p)) p1, = ax.plot(x, binom.pmf(x, n, p),'b*',label = 'binom') mu = n*p #平均值, 方差, 偏度, 峰度 mean,var,skew,kurt = poisson.stats(mu,moments='mvsk') print mean,var,skew,kurt #ppf:累积分布函数的反函数。q=0.01时,ppf就是p(X<x)=0.01时的x值。 x = np.arange(poisson.ppf(0.01, mu),poisson.ppf(0.99, mu)) p2, = ax.plot(x, poisson.pmf(x, mu),'ro',label = 'poisson') plt.legend(handles = [p1, p2]) plt.title(u'对比') plt.show()
5、均匀分布(X~U(a,b))
对于随机变量x的概率密度函数:
则称随机变量X服从区间[a,b]上的均匀分布。E = 0.5(a+b)
D = (b-a)^2 / 12
均匀分布在自然情况下极为罕见,而人工栽培的有一定株行距的植物群落即是均匀分布。这表明X落在[a,b]的子区间内的概率只与子区间长度有关,而与子区间位置无关,因此X落在[a,b]的长度相等的子区间内的可能性是相等的,所谓的均匀指的就是这种等可能性。
落在某一点的概率都是相同的
若[x1,x2]是[a,b]的任一子区间,则
P{x1≤x≤x2}=(x2-x1)/(b-a)
这表明X落在[a,b]的子区间内的概率只与子区间长度有关,而与子区间位置无关。
fig,ax = plt.subplots(1,1) loc = 1 scale = 1 #平均值, 方差, 偏度, 峰度 mean,var,skew,kurt = uniform.stats(loc,scale,moments='mvsk') print mean,var,skew,kurt #ppf:累积分布函数的反函数。q=0.01时,ppf就是p(X<x)=0.01时的x值。 x = np.linspace(uniform.ppf(0.01,loc,scale),uniform.ppf(0.99,loc,scale),100) ax.plot(x, uniform.pdf(x,loc,scale),'b-',label = 'uniform') plt.title(u'均匀分布概率密度函数') plt.show()
6、指数分布X~ E(λ)
E = 1/λD = 1/λ^2
fig,ax = plt.subplots(1,1) lambdaUse = 2 loc = 0 scale = 1.0/lambdaUse #平均值, 方差, 偏度, 峰度 mean,var,skew,kurt = expon.stats(loc,scale,moments='mvsk') print mean,var,skew,kurt #ppf:累积分布函数的反函数。q=0.01时,ppf就是p(X<x)=0.01时的x值。 x = np.linspace(expon.ppf(0.01,loc,scale),expon.ppf(0.99,loc,scale),100) ax.plot(x, expon.pdf(x,loc,scale),'b-',label = 'expon') plt.title(u'指数分布概率密度函数') plt.show()
指数分布通常用来表示随机事件发生的时间间隔,其中lambda和poisson分布的是一个概念(我认为),不知道为什么知乎上:https://www.zhihu.com/question/24796044,他们为啥说这俩不一样呢?我觉得这两种分布的期望肯定不一样啊,一个描述发生次数,一个描述两次的时间间隔,互为倒数也是应该的啊。指数分布常用来表示旅客进机场的时间间隔、电子产品的寿命分布(需要高稳定的产品,现实中要考虑老化的问题)
指数分布的特性:无记忆性
比如灯泡的使用寿命服从指数分布,无论他已经使用多长一段时间,假设为s,只要还没有损坏,它能再使用一段时间t 的概率与一件新产品使用时间t 的概率一样。
这个证明过程简单表示:
P(s+t| s) = P(s+t , s)/P(s) = F(s+t)/F(s)=P(t)
7、正态分布(X~N(μ,σ^2))
E = μD = σ^2
正态分布是比较常见的,譬如学生考试成绩的人数分布等
fig,ax = plt.subplots(1,1) loc = 1 scale = 2.0 #平均值, 方差, 偏度, 峰度 mean,var,skew,kurt = norm.stats(loc,scale,moments='mvsk') print mean,var,skew,kurt #ppf:累积分布函数的反函数。q=0.01时,ppf就是p(X<x)=0.01时的x值。 x = np.linspace(norm.ppf(0.01,loc,scale),norm.ppf(0.99,loc,scale),100) ax.plot(x, norm.pdf(x,loc,scale),'b-',label = 'norm') plt.title(u'正太分布概率密度函数') plt.show()
补充:
大数定理:
随着样本的增加,样本的平均数将接近于总体的平均数,故推断中,一般会使用样本平均数估计总体平均数。
大数定律讲的是样本均值收敛到总体均值
中心极限定理:
独立同分布的事件,具有相同的期望和方差,则事件服从中心极限定理。他表示了对于抽取样本,n足够大的时候,样本分布符合x~N(μ,σ^2)
中心极限定理告诉我们,当样本量足够大时,样本均值的分布慢慢变成正态分布
-
概率统计13——二项分布与多项分布
2019-12-28 19:21:43如果随机试验仅有两个可能的结果,那么这两个结果可以用0和1表示,此时随机变量X将是一个0/1的变量,其分布是单个二值随机变量的分布,称为伯努利分布。注意伯努利分布关注的是结果只有0和...原文 | https://mp.weixin.qq.com/s/bOchsmHTINKKlyabCQKMSg
相关阅读
伯努利分布
如果随机试验仅有两个可能的结果,那么这两个结果可以用0和1表示,此时随机变量X将是一个0/1的变量,其分布是单个二值随机变量的分布,称为伯努利分布。注意伯努利分布关注的是结果只有0和1,而不管观测条件是什么。
性质
设p是随机变量等于1的概率,伯努利分布有一些特殊的性质:
将上面的两个式子合并:
伯努利变量是离散型,并且是一个0/1变量,它的数学期望是:
方差是:
极大似然
对于伯努利分布的质量函数来说,p是唯一的参数。如果给定N个独立同分布的样本 {x(1), x(2), ……, x(N)},x(t)是投硬币的结果,是随机变量,x(t)ϵ{0, 1},可以通过极大似然估计,根据样本推测出p的取值:
取对数似然函数:
这是个符合直觉的结果,即使没学过概率和极大似然也能得出这个结论。
二项分布
假设某个试验是伯努利试验,成功概率用p表示,那么失败的概率为1-p。现在进行了N次这样的试验,成功了x次,失败了N-x次,发生这种情况的概率是多少?
质量函数
对于每次实验来说,成功的概率都是p,失败的概率是1-p。假设已经完成了N次试验,并且前x次都成功了,后N-x次都失败了:
x次成功的情况当然不止一种,比如成功和失败交叉在一起:
这种成功和失败的排列顺序共有
种不同的情况,因此对于任意N次伯努利试验,成功了x次的概率是:
的另一种记法是
。
P(x)就是二项分布的质量函数,是N次伯努利试验中取得x次成功的概率。
性质
二项分布的均值和方差分别为Np和Np(1-p)。
从二项分布的质量函数P(x)可知,概率分布只与试验次数N和成功概率p有关,p越接近0.5,二项分布将越对称。保持二项分布试验的次数N不变,随着成功概率p逐渐接近0.5,二项分布逐渐对称,且近似于均值为Np、方差为Np(1-p)的正态分布:
多项分布
多项分布是二项分布的扩展,其中随机试验的结果不是两种状态,而是K种互斥的离散状态,每种状态出现的概率为pi,p1 + p1 + … + pK = 1,在这个前提下共进行了N次试验,用x1~xK表示每种状态出现次数,x1 + x2 + …+ xK = N,称X=(x1, x2, …, xK)服从多项分布,记作X~PN(N:p1, p2,…,pn)。
质量函数
如果说二项分布的典型案例是扔硬币,那么多项分布就是扔骰子。骰子有6个不同的点数,扔一次骰子,每个点数出现的概率(对应p1~p6)都是1/6。重复扔N次,6点出现x次的概率是:
这和二项分布的质量函数类似。现在将问题扩展一下,扔N次骰子,1~6出现次数分别是x1~x6时的概率是多少?
仍然和二项式类似,假设前x1次都是1点,之后的x2次都是2点……最后x6次都是6点:
1~6出现次数分别是x1~x6的情况不止一种,1点出现x1次的情况有
种;在1点出现x1次的前提下,2点出现x2次的情况有
种;在1点出现x1次且2点出现x2次的前提下,3点出现x3的情况有
种……扔N次骰子,1~6出现次数分别是x1~x6时的概率是:
根据①:
最终,扔骰子的概率质量函数是:
把这个结论推广到多项分布:某随机实验如果有K种可能的结果C1~CK,它们出现的概率是p1~pK。在N随机试验的结果中,分别将C1~CK的出现次数记为随机变量X1~XK,那么C1出现x1次、C2出现x2次……CK出现xK次这种事件发生的概率是:
其中x1 + x2 + …+ xK = N,p1 + p2 + …+ pK = 1。
极大似然
多项式的极大似然是指在随机变量X1=x1, X2=x2, ……, XK=xK时,最可能的p1~pK。
对数极大似然:
现在问题变成了求约束条件下的极值:
根据拉格朗日乘子法:
根据约束条件:
这也是个符合直觉的结论。面对有N个样本的K分类数据集,当pi = xi/N 时,Ci类最可能出现xi次。为了这个结论我们却大费周章,也许又有人因此而嘲笑概率简单了……
出处:微信公众号 "我是8位的"
本文以学习、研究和分享为主,如需转载,请联系本人,标明作者和出处,非商业用途!
扫描二维码关注作者公众号“我是8位的”
-
两点的高斯求积分公式自编写亲测可用
2019-12-29 14:27:38两点的高斯求积分公式自编写亲测可用-高斯积分公式-自编写-matlab书写-用于两点高斯求积直接运行.m文件即可 -
二项分布与负二项分布的均值与方差推导
2021-01-30 16:31:32(好久没写知乎文章了,又不知道该写什么,就随便水一水吧)二项分布: 次试验,每次试验有 的概率出现目标事件,记 为 次试验后出现目标事件的次数;负二项分布:若干次试验,每次试验有 的概率出现目标事件,记 为... -
二项分布期望和方差公式推导
2021-04-26 22:13:40https://wenku.baidu.com/view/2b4fb3bc750bf78a6529647d27284b73f24236e2?fr=tag&word=%E4%BA%8C%E9%A1%B9%E5%88%86%E5%B8%83%E6%96%B9%E5%B7%AE -
二项分布与泊松分布
2018-10-24 20:22:10二项分布(Binomial distribution) 要介绍二项分布,先要介绍伯努利实验,然后自然而然就想到了抛硬币问题,正面朝上的概率为p,反面朝上的概率为q (q = 1 - p),假设正面朝上标记为1,反面朝上为0,则一次伯努利... -
伯努利分布、二项分布、多项分布、Beta分布、Dirichlet分布
2018-06-05 17:40:46https://blog.csdn.net/michael_r_chang/article/details/39188321https://www.cnblogs.com/wybang/p/3206719.htmlhttps://blog.csdn.net/jteng/article/details/603346281. 伯努利分布伯努利分布(Bernoulli ... -
二项式定理与二项分布、多项式定理与多项分布
2019-09-29 12:03:04二项式定理与二项分布 二项式定理 二项式定理我们在高中就学过了,即: (a+b)n=(n0)anb0+(n1)an−1b1+....+(nn−1)a1bn−1+(nn)a0bn=∑i=0n(ni)an−ibi(a+b)^n = {n \choose 0}a^nb^0 + {n \choose 1}a^{n-1}b^1+...... -
均匀分布、正态分布、二项分布、泊松分布、指数分布
2019-08-05 22:16:05均匀分布 表示在相同长度间隔的分布概率是等...二项分布 由伯努利提出:指重复n次的伯努利试验,每次试验中只有两种可能的结果,且两种结果发生与否互相独立。试验次数为1时,服从0-1分布。 概率密度函数: 公式 ... -
伯努利分布、二项分布、多项分布、贝塔分布、狄利克雷分布(似然与概率)
2020-10-05 16:37:19瑞士数学家雅克·伯努利(Jacques Bernoulli,1654~1705)首次研究独立重复试验(每次成功率为p)。在他去世后的第8年(1713年),他侄子尼克拉斯出版了伯努利的著作...伯努利分布(Bernoulli distribution)又名两点分布或0 -
统计与分布之伯努利分布与二项分布
2018-04-07 00:05:24伯努利分布(Bernoulli Distribution),是一种离散分布,又称为 “0-1 分布” 或 “两点分布”。例如抛硬币的正面或反面,物品有缺陷或没缺陷,病人康复或未康复,此类满足「只有两种可能,试验结果相互独立且对立... -
伯努利分布、二项分布
2019-09-08 16:32:55一、伯努利分布(又称为0-1分布、两点分布) 伯努利试验说的是下面一种事件情况:在生活中,有一些事件的发生只有两种可能,发生或者不发生(或者叫成功或者失败),这些事件都可以被称为伯努利试验。 那么其概率... -
二项分布的期望和方差
2021-03-07 11:13:20二项分布的期望和方差:二项分布期望np,方差np(1-p);0-1分布,期望p方差p(1-p)。证明过程最简单的证明办法是:X能够分解成n个相互独立的,都服从以p为参数的(0-1)分布的随机变量之和:X=X1+X2+...+Xn,Xi~b(1,p),... -
伯努利分布、二项分布和多项分布
2020-09-28 09:48:15伯努利分布(Bernoulli distribution)又名 两点分布 或 0-1分布,在讲伯努利分布前首先需要介绍伯努利试验(Bernoulli Trial)。 1.1 伯努利试验 伯努利试验是只有两种可能结果的单词随机试验,即对于一个随机变量 ... -
统计学基础——常用的概率分布(二项分布、泊松分布、指数分布、正态分布)
2019-12-17 14:05:03离散型变量 如:二项分布、泊松分布 三者之间的关系 二项分布(Binomial distribution) 二项分布(Binomial distribution)是n重伯努利试验成功次数的离散概率分布,记作。伯努利试验是只有两种可能结果的单次随机... -
伯努利分布,0-1分布,二项分布区别?
2021-06-29 11:36:03伯努利分布,0-1分布,两点分布是同一个东西,二项分布和它们不同。一般容易混肴的原因是二项分布中的二容易让人产生错误理解。 伯努利分布: 它 的自变量X是0和1,也就是事件发生(成功)和事件不发生(不成功... -
高中数学基础10:二项分布与二项式定理
2018-03-16 22:59:582)每次试验都是只有两种结果:发生与不发生 3)各次试验中的事件是相互独立的 4)每次试验,某事件发生的概率是相同的 2、伯努利试验 伯努利试验(Bernoulli experiment)是在同样的条件下重复地、相互... -
统计学2:随机变量分布规律(二项分布、泊松分布、正态分布)
2019-01-27 19:59:59统计学:基本知识及随机变量分布规律 1、统计学基本知识:均值、方差、标准差 - 总体(Population) 抽样(Sample) 均值(mean) μ=∑i=1NxiN\mu = \frac{\sum_{i=1}^{N}{x_i}}{N}μ=N∑i=1Nxi... -
常用的数据分布(泊松分布,二项分布,伯努利分布,正态分布,均匀分布等)
2019-08-04 23:05:45随机变量这个是概率学中的一个基本概念,在实际问题中有的试验结果本身就是数量表示,有的结果却不行,比如掷骰子,试验结果有6个,可以记为1,2,3,4,5,6。但另如抛硬币正反面,结果看似跟数值毫无关系,我们一般会做... -
均值定理六个公式_最接近神的数学公式—正态分布
2020-11-22 08:05:14关注数学,关注AI,关注我们公众号ID:Math-AI我们从高中就开始学正态分布,现在做数据分析、机器学习还是离不开它,那你有没有想过正态分布有什么特别之处?为什么那么多关于数据科学和机器学习的文章都围绕正态... -
二项分布
2016-09-16 21:13:13说起二项分布(binomial distribution),不得不提的前提是伯努利试验(Bernoulli experiment),也即n次独立重复试验。伯努利试验是在同样的条件下重复、相互独立进行的一种随机试验。 伯努利试验的特点是: (1)... -
概率论基础(4)五种重要的分布(二项、泊松、均匀、指数、正态分布)
2019-06-13 18:02:03知识点:五种重要的分布(二项、泊松、均匀、指数、正态分布) 基础:下面前三篇的链接地址: 概率论基础(1)古典和几何概型及事件运算 概率论基础(2)条件概率、全概率公式和贝叶斯公式 概率论基础(3)一维随机... -
《PRML》学习笔记2.1——伯努利分布、二项分布和Beta分布,从贝叶斯观点出发
2018-12-27 20:42:011.伯努利分布和二项分布 对于伯努利分布,我们是十分熟悉的,从小学开始,老师就教会我们如何对掷硬币这件事进行数据建模:对于一个二元随机变量,表示掷硬币结果为正面朝上,表示反面朝上。根据常识,我们都认为... -
统计学:几何分布、二项分布、泊松分布
2019-12-31 18:38:38一、几何分布 假设某种赌博游戏的胜率为0.2,那么意味着你玩第一次就胜出的概率为0.2。 那玩第二次才胜出呢?“玩第二次才胜出”就意味着玩第一次是失败的,而直到第二次才胜出,那么这件事发生的概率就是0.8×0.2... -
离散型分布K阶原点矩的递推公式
2021-02-06 19:13:06【统计理论与方法】 离散型分布 K 阶原点矩的递推公式 陈权宝 (连云港化工高等... 摘 要: 文章通过对二项分布、泊松分布和几何分布 K 阶原点矩中的某个参数求导的方法, 推导出这三个分布含有微分形式的递推公式,... -
二项分布期望和方差的公式推导
2014-10-01 09:25:31而且两种结果发生与否互相对立,并且相互独立,与其它各次试验结果无关,事件发生与否的概率在每一次独立试验中都保持不变,则这一系列试验总称为n重伯努利实验,当试验次数为1时,二项分布就是伯努利分布。 -
最大似然法估计二项式分布参数
2021-04-27 09:38:011.二项式分布与似然值估计公式二项分布基本公式求发生某件事情的概率: 如在人们对两种口味饮料无偏好时,即人们喜欢香橙口味的概率p=0.5,喜欢葡萄口味的概率p=0.5,那么7个人中4个人喜欢香橙口味的概率为0.273。...