分布家族的伦理关系

浅谈两点分布，二项分布，伽马分布，指数分布，泊松分布，卡方分布，t分布，F分布，均匀分布，正态分布，β分布，狄利克雷分布。（红丸子，白丸子，四喜丸子。。。）

我们知道，在数理统计中，经常是和各种分布打交道，也经常搞清楚搞不清楚，我是谁，我在学什么，这些分布，到底是些什么关系？

最近在学随机过程又遇到了这个问题，虽然好像并没有什么太多关系，但是搞不清楚的，马马虎虎的感觉很不爽，而且什么鬼分布的概率密度函数，感觉记了一辈子都记不下来，记住又忘，记住又忘。所以本文的意图是要梳理这些分布的关系，以及他们代表的实际意义，还有加强对他们的概率密度函数，期望方差等的记忆。（很粗浅）

涉及的分布主要有：两点分布，二项分布，伽马分布，指数分布，泊松分布，卡方分布，t分布，F分布，均匀分布，正态分布，β分布，狄利克雷分布。（怎么这么多分布！）

好了，废话不多说，直接开干。

1. 两点分布：

两点分布很简单，就是说一个实验有两种可能，非此即彼，概率分别是P和1-P，这个实验只做一次，ok，它就是服从两点分布。

2. 二项分布：

但是，我要是要做多次呢，比如我要做n次独立重复的伯努利实验，那么我们就可以对实验成功的次数X构建一个二项分布，所以X的分布律是：$$P(X=k)=C_n^k{p}^k(1-p{)}^{n-k}$$

3. 泊松分布：

说了二项分布，不得不说说泊松分布，这个分布是弄啥捏，就是描述一段时间内某个事件发生的次数的概率一个分布，故计数类的模型比较适合用泊松分布，等等，这个和二项分布有什么不一样吗?好像都是一个意思？其实确实是一个意思，只是我们知道，当$$P(X=k)=C_n^k{p}^k(1-p{)}^{n-k}$$
这个里面的n变得灰常大，这个公式就没眼看了，那么我们只能考虑一下变个形式：
$$P(X=k)=\frac{{\lambda }^k}{k!}{e}^{-\lambda }$$

注意，这里的$\lambda$是个什么鬼？

其实$\lambda =np$,比如我描述一个事件发生的概率是0.0002，而我要知道1000个样本中事件发生的次数的概率，我可以直接用lambda来刻画这个模型，一个参数搞定两个参数的活，这不就节约了工钱吗？（显然可以看出，当k值变化是，$e^{-\lambda }$是不改变的，所以有${\Sigma }_{n=0}^{\infty }\frac{{\lambda }^k}{k!}=e^{\lambda }$，其实后来看来，$e^{-\lambda }$这个就是一个归一化因子而已鸭）其实泊松分布并没有那么严格要求n取非常大，一般只需要大于等于50，我们就可以用泊松分布。

4. 伽马分布：

到了有名的伽马分布，其实我们见了很多次伽马分布，伽马分布的概率密度函数依然有可能写不出来，

其实这个分布实际上是什么意思呢？？描述什么样的一个过程呢？其实可以这样理解：伽马分布描述的是一个事件A第$\alpha$次发生所需要的时间，$\alpha$被我们称作形状参数，$\beta$则是一个尺度参数。那么就是发生的概率，可把理解为一个描述发生频率的参数，发生一次需要的时间是$1/\beta$,这也不难理解了为什么.
$$E(X)=\frac{\alpha }{\beta },Var(X)=\frac{\alpha }{{\beta }^2}$$

5. 指数分布：

在伽马分布中，当$alpha=1$意思就是发生一次需要的时间，很显然，这就是指数分布的含义。

指数分布的概率密度函数很简单，是$f(x)=\lambda e^{-\lambda x}$,期望是$1/\lambda$我们可以用它来描述什么呢，比如一个故障发生的时间，可以用指数分布来描述。

6. 卡方分布：

${\chi }^2$分布也可以看做是伽马分布的特例：${\chi }^2(n)=\Gamma (\frac{n}{2},\frac{1}{n})$可是这有什么意义呢？？好像从表面上看不出任何的意义，其实这可以从另一个角度去描述，比如有N个独立随机变量都是标准正态分布，那么他们的平方和就是卡方分布，这个分布常常用来构造假设检验的检验统计量中，检验统计量就是为了尽可能多的包含统计信息，而这个分布就很好的做到了呀。

7. t分布：

​​​​
t分布是个什么鬼？？我们也经常用t分布来构造检验统计量，简而言之，一个标准正态分布比上另一个卡方分布Y的，这就是t分布，那么我们可以想象，当n趋于无穷大时，这个分布是收敛于标准正态分布的。所以一般的t分布，它的概率密度图像比正态分布的尾部更大，就这个特点。

8. F分布：

F分布就是两个卡方分布的一通骚操作，分别用两个分布除以他们的自由度，再相比，就得到了F分布。同样的，这个分布主要用在假设检验中，构造检验统计量。

9. 均匀分布：

到了均匀分布了，均匀分布没有什么特殊的地方，就是在区间内取任意值概率都是相等的。所以期望也就是区间的中点处。记住均值和方差：

10. 正态分布：

正态分布有意思了，自然界很多现象都是服从正态分布的，比如人的身高，社会的财富，班上的成绩，一句经典的话叫做：实验工作者认为它是数学定理，数学工作者认为它是一个经验定理。有意思，这里有知乎大佬的解说：https://www.zhihu.com/question/26854682

其实整正态分布呢，可以看做是在二项分布在n趋于无穷，进行无数次伯努利实验后结果的分布。如下图：

假设每次小球掉下来非左即右，那么N次实验之后，如下图结果：

这就是为什么是正态分布是这样，考虑简化一下模型，社会财富也是如此，大多数人在平庸，少数人在右边，你要是任由发展，无所作为，那么你大概率是平庸的，但是你如果在每次的选择中能够左右自己的道路，那你就越可能往正态分布的右边走，是不是很励志？

11. $\beta$分布：

这是一个描述概率的概率分布，听起来有点抽象，$beta(\alpha ,\beta )$中，假设我用击球的例子，击中次数是$\alpha =81$，未击中的次数是$\beta =219$,那么击中率的概率密度是

那么假设又实验了300次，击中100次。分布变成了beta(),这里很有趣，看到了吗，在后面的实验数据上来之后，并没有改变原来函数的分布，计算变得十分简单，这种不改变函数本身所属family的特性，我们叫做共轭，于是密度函数变成了：

所以我们可以这样理解，我们可以用beta分布结合先验知识，通过后续的数据对先验结论进行修正，即：先合理假设，再科学修正。详细的请看原文大佬给力解释：

https://blog.csdn.net/a358463121/article/details/52562940

12. 狄利克雷分布：

在贝叶斯推理的先验分布中，Dirichlet分布是最常用的一种分布，刚才讨论了beta分布，那么聪明的你，是否想过，如果我的实验不是两种结果，比如我把击中未击中具体化到：击中10,9,8,7…环，这么多结果，k种结果分别发生的概率，如何去刻画每种概率发生的概率？理解到了这个意思，就理解到了狄利克雷分布。其余的就不再赘述，详细的可见知乎er的回答，比我这个详细一万倍。

https://www.zhihu.com/question/26751755/answer/80931791

作为本文草草的见解的草草的结尾，唯有祭出神图，以镇此文：

https://www.cnblogs.com/pinking/p/7898313.html
概率分布有两种类型：离散（discrete）概率分布和连续（continuous）概率分布。

离散概率分布也称为概率质量函数（probability mass function）。离散概率分布的例子有伯努利分布（Bernoulli distribution）、二项分布（binomial distribution）、泊松分布（Poisson distribution）和几何分布（geometric distribution）等。

连续概率分布也称为概率密度函数（probability density function），它们是具有连续取值（例如一条实线上的值）的函数。正态分布（normal distribution）、指数分布（exponential distribution）和β分布（beta distribution）等都属于连续概率分布。

1、两点分布（伯努利分布）

伯努利试验：

伯努利试验是在同样的条件下重复地、各次之间相互独立地进行的一种试验。

即只先进行一次伯努利试验，该事件发生的概率为p，不发生的概率为1-p。这是一个最简单的分布，任何一个只有两种结果的随机现象都服从0-1分布。

最常见的例子为抛硬币

其中，

期望E = p

方差D = p*(1-p)^{2+(1-p)*(0-p)}2 = p*(1-p)

2、二项分布（n重伯努利分布）（X~B(n,p））

即做n个两点分布的实验

其中，

E = np

D = np(1-p)

对于二项分布，可以参考https://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.binom.html

二项分布的应用场景主要是，对于已知次数n，关心发生k次成功。

对于抛硬币的问题，做100次实验，观察其概率分布函数：

from scipy.stats import binom
import matplotlib as mpl
import matplotlib.pyplot as plt
import numpy as np
 
## 设置属性防止中文乱码
mpl.rcParams['font.sans-serif'] = [u'SimHei']
mpl.rcParams['axes.unicode_minus'] = False

首先导入库函数以及设置对中文的支持

fig,ax = plt.subplots(1,1)
n = 100
p = 0.5
#平均值, 方差, 偏度, 峰度
mean,var,skew,kurt = binom.stats(n,p,moments='mvsk')
print mean,var,skew,kurt
#ppf:累积分布函数的反函数。q=0.01时，ppf就是p(X<x)=0.01时的x值。
x = np.arange(binom.ppf(0.01, n, p),binom.ppf(0.99, n, p))
ax.plot(x, binom.pmf(x, n, p),'o')
plt.title(u'二项分布概率质量函数')
plt.show()

观察概率分布图，可以看到，对于n = 100次实验中，有50次成功的概率（正面向上）的概率最大。

3、几何分布（X ～ GE§）

在n次伯努利实验中，第k次实验才得到第一次成功的概率分布。其中：P(k) = (1-p)^(k-1)*p

E = 1/p 推导方法就是利用错位相减法然后求lim - k ->无穷

D = (1-p)/p^2 推导方法利用了D(x) = E(x)^2-E(x2)，其中E(x^2)求解同上

几何分布可以参考：https://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.geom.html#scipy.stats.geom

fig,ax = plt.subplots(1,1)
p = 0.5
#平均值, 方差, 偏度, 峰度
mean,var,skew,kurt = geom.stats(p,moments='mvsk')
print mean,var,skew,kurt
#ppf:累积分布函数的反函数。q=0.01时，ppf就是p(X<x)=0.01时的x值。
x = np.arange(geom.ppf(0.01, p),geom.ppf(0.99, p))
ax.plot(x, geom.pmf(x, p),'o')
plt.title(u'几何分布概率质量函数')
plt.show()

因此，可以看到，对于抛硬币问题，抛个两三次就能成功。

4、泊松分布（X~P(λ)）

描述单位时间/面积内，随机事件发生的次数。P(x = k) = λ^k/k!*e(-λ) k = 0,1,2, … λ >0

泊松分布可作为二项分布的极限而得到。一般的说， λ=np，若其中n很大，p很小，X的分布接近于泊松分布。通常当n≧20,p≦0.05时，就可以用泊松公式近似得计算。

λ：单位时间/面积下，随机事件的平均发生率

E = λ

D = λ

譬如：某一服务设施一定时间内到达的人数、一个月内机器损坏的次数等。

假设某地区，一年中发生枪击案的平均次数为2。

fig,ax = plt.subplots(1,1)
mu = 2
#平均值, 方差, 偏度, 峰度
mean,var,skew,kurt = poisson.stats(mu,moments='mvsk')
print mean,var,skew,kurt
#ppf:累积分布函数的反函数。q=0.01时，ppf就是p(X<x)=0.01时的x值。
x = np.arange(poisson.ppf(0.01, mu),poisson.ppf(0.99, mu))
ax.plot(x, poisson.pmf(x, mu),'o')
plt.title(u'poisson分布概率质量函数')
plt.show()

因此，一年内的枪击案发生次数的分布如上所示。
与二项分布对比：

fig,ax = plt.subplots(1,1)
 
n = 1000
p = 0.1
#平均值, 方差, 偏度, 峰度
mean,var,skew,kurt = binom.stats(n,p,moments='mvsk')
print mean,var,skew,kurt
#ppf:累积分布函数的反函数。q=0.01时，ppf就是p(X<x)=0.01时的x值。
x = np.arange(binom.ppf(0.01, n, p),binom.ppf(0.99, n, p))
p1, = ax.plot(x, binom.pmf(x, n, p),'b*',label = 'binom')
 
mu = n*p
#平均值, 方差, 偏度, 峰度
mean,var,skew,kurt = poisson.stats(mu,moments='mvsk')
print mean,var,skew,kurt
#ppf:累积分布函数的反函数。q=0.01时，ppf就是p(X<x)=0.01时的x值。
x = np.arange(poisson.ppf(0.01, mu),poisson.ppf(0.99, mu))
p2, = ax.plot(x, poisson.pmf(x, mu),'ro',label = 'poisson')
 
plt.legend(handles = [p1, p2])
plt.title(u'对比')
plt.show()

5、均匀分布（X~U(a,b)）

对于随机变量x的概率密度函数：

则称随机变量X服从区间[a,b]上的均匀分布。

E = 0.5（a+b）

D = （b-a）^2 / 12

均匀分布在自然情况下极为罕见，而人工栽培的有一定株行距的植物群落即是均匀分布。这表明X落在[a,b]的子区间内的概率只与子区间长度有关，而与子区间位置无关，因此X落在[a,b]的长度相等的子区间内的可能性是相等的，所谓的均匀指的就是这种等可能性。

落在某一点的概率都是相同的

若[x1,x2]是[a,b]的任一子区间，则

P{x1≤x≤x2}=(x2-x1)/(b-a)

这表明X落在[a,b]的子区间内的概率只与子区间长度有关，而与子区间位置无关。

fig,ax = plt.subplots(1,1)
 
loc = 1
scale = 1
 
#平均值, 方差, 偏度, 峰度
mean,var,skew,kurt = uniform.stats(loc,scale,moments='mvsk')
print mean,var,skew,kurt
#ppf:累积分布函数的反函数。q=0.01时，ppf就是p(X<x)=0.01时的x值。
x = np.linspace(uniform.ppf(0.01,loc,scale),uniform.ppf(0.99,loc,scale),100)
ax.plot(x, uniform.pdf(x,loc,scale),'b-',label = 'uniform')
 
plt.title(u'均匀分布概率密度函数')
plt.show()

6、指数分布X~ E（λ）

E = 1/λ

D = 1/λ^2

fig,ax = plt.subplots(1,1)
 
lambdaUse = 2
loc = 0
scale = 1.0/lambdaUse
 
#平均值, 方差, 偏度, 峰度
mean,var,skew,kurt = expon.stats(loc,scale,moments='mvsk')
print mean,var,skew,kurt
#ppf:累积分布函数的反函数。q=0.01时，ppf就是p(X<x)=0.01时的x值。
x = np.linspace(expon.ppf(0.01,loc,scale),expon.ppf(0.99,loc,scale),100)
ax.plot(x, expon.pdf(x,loc,scale),'b-',label = 'expon')
 
plt.title(u'指数分布概率密度函数')
plt.show()

指数分布通常用来表示随机事件发生的时间间隔，其中lambda和poisson分布的是一个概念（我认为），不知道为什么知乎上：https://www.zhihu.com/question/24796044，他们为啥说这俩不一样呢？我觉得这两种分布的期望肯定不一样啊，一个描述发生次数，一个描述两次的时间间隔，互为倒数也是应该的啊。

指数分布常用来表示旅客进机场的时间间隔、电子产品的寿命分布（需要高稳定的产品，现实中要考虑老化的问题）

指数分布的特性：无记忆性

比如灯泡的使用寿命服从指数分布，无论他已经使用多长一段时间，假设为s，只要还没有损坏，它能再使用一段时间t 的概率与一件新产品使用时间t 的概率一样。

这个证明过程简单表示：

P(s+t| s) = P(s+t , s)/P(s) = F（s+t）/F（s）=P(t)

7、正态分布（X~N(μ，σ^2)）

E = μ

D = σ^2

正态分布是比较常见的，譬如学生考试成绩的人数分布等

fig,ax = plt.subplots(1,1)
 
 
loc = 1
scale = 2.0
#平均值, 方差, 偏度, 峰度
mean,var,skew,kurt = norm.stats(loc,scale,moments='mvsk')
print mean,var,skew,kurt
#ppf:累积分布函数的反函数。q=0.01时，ppf就是p(X<x)=0.01时的x值。
x = np.linspace(norm.ppf(0.01,loc,scale),norm.ppf(0.99,loc,scale),100)
ax.plot(x, norm.pdf(x,loc,scale),'b-',label = 'norm')
 
plt.title(u'正太分布概率密度函数')
plt.show()

补充：

大数定理：

随着样本的增加，样本的平均数将接近于总体的平均数，故推断中，一般会使用样本平均数估计总体平均数。

大数定律讲的是样本均值收敛到总体均值

中心极限定理：

独立同分布的事件，具有相同的期望和方差，则事件服从中心极限定理。他表示了对于抽取样本，n足够大的时候，样本分布符合x~N(μ,σ^2)

中心极限定理告诉我们，当样本量足够大时，样本均值的分布慢慢变成正态分布

原文 | https://mp.weixin.qq.com/s/bOchsmHTINKKlyabCQKMSg

相关阅读

最大似然估计(概率10)

寻找“最好”（3）函数和泛函的拉格朗日乘数法

伯努利分布

　　如果随机试验仅有两个可能的结果，那么这两个结果可以用0和1表示，此时随机变量X将是一个0/1的变量，其分布是单个二值随机变量的分布，称为伯努利分布。注意伯努利分布关注的是结果只有0和1，而不管观测条件是什么。

性质

　　设p是随机变量等于1的概率，伯努利分布有一些特殊的性质：

　　将上面的两个式子合并：

　　伯努利变量是离散型，并且是一个0/1变量，它的数学期望是：

　　方差是：

极大似然

　　最大似然估计(概率10)

　　对于伯努利分布的质量函数来说，p是唯一的参数。如果给定N个独立同分布的样本 {x(1), x(2), ……, x(N)}，x(t)是投硬币的结果，是随机变量，x(t)ϵ{0, 1}，可以通过极大似然估计，根据样本推测出p的取值：

　　取对数似然函数：

　　这是个符合直觉的结果，即使没学过概率和极大似然也能得出这个结论。

二项分布

　　假设某个试验是伯努利试验，成功概率用p表示，那么失败的概率为1-p。现在进行了N次这样的试验，成功了x次，失败了N-x次，发生这种情况的概率是多少？

质量函数

　　对于每次实验来说，成功的概率都是p，失败的概率是1-p。假设已经完成了N次试验，并且前x次都成功了，后N-x次都失败了：

　　x次成功的情况当然不止一种，比如成功和失败交叉在一起：

　　这种成功和失败的排列顺序共有种不同的情况，因此对于任意N次伯努利试验，成功了x次的概率是：

　　的另一种记法是 。

　　P(x)就是二项分布的质量函数，是N次伯努利试验中取得x次成功的概率。

性质

　　二项分布的均值和方差分别为Np和Np(1-p)。

　　从二项分布的质量函数P(x)可知，概率分布只与试验次数N和成功概率p有关，p越接近0.5，二项分布将越对称。保持二项分布试验的次数N不变，随着成功概率p逐渐接近0.5，二项分布逐渐对称，且近似于均值为Np、方差为Np(1-p)的正态分布：

多项分布

　　多项分布是二项分布的扩展，其中随机试验的结果不是两种状态，而是K种互斥的离散状态，每种状态出现的概率为pi，p1 + p1 + … + pK = 1，在这个前提下共进行了N次试验，用x1~xK表示每种状态出现次数，x1 + x2 + …+ xK = N，称X=(x1, x2, …, xK)服从多项分布，记作X~PN(N：p1, p2,…,pn)。

质量函数

　　如果说二项分布的典型案例是扔硬币，那么多项分布就是扔骰子。骰子有6个不同的点数，扔一次骰子，每个点数出现的概率（对应p1~p6）都是1/6。重复扔N次，6点出现x次的概率是：　　

　　这和二项分布的质量函数类似。现在将问题扩展一下，扔N次骰子，1~6出现次数分别是x1~x6时的概率是多少？

　　仍然和二项式类似，假设前x1次都是1点，之后的x2次都是2点……最后x6次都是6点：

　　1~6出现次数分别是x1~x6的情况不止一种，1点出现x1次的情况有种；在1点出现x1次的前提下，2点出现x2次的情况有种；在1点出现x1次且2点出现x2次的前提下，3点出现x3的情况有种……扔N次骰子，1~6出现次数分别是x1~x6时的概率是：

　　根据①：

　　最终，扔骰子的概率质量函数是：

　　把这个结论推广到多项分布：某随机实验如果有K种可能的结果C1~CK，它们出现的概率是p1~pK。在N随机试验的结果中，分别将C1~CK的出现次数记为随机变量X1~XK，那么C1出现x1次、C2出现x2次……CK出现xK次这种事件发生的概率是：

　　其中x1 + x2 + …+ xK = N，p1 + p2 + …+ pK = 1。

极大似然

　　多项式的极大似然是指在随机变量X1=x1, X2=x2, ……, XK=xK时，最可能的p1~pK。

　　对数极大似然：

　　现在问题变成了求约束条件下的极值：

　　根据拉格朗日乘子法：

　　寻找“最好”（3）函数和泛函的拉格朗日乘数法

　　根据约束条件：

　　这也是个符合直觉的结论。面对有N个样本的K分类数据集，当pi = xi/N 时，Ci类最可能出现xi次。为了这个结论我们却大费周章，也许又有人因此而嘲笑概率简单了……

　　出处：微信公众号 "我是8位的"

　　本文以学习、研究和分享为主，如需转载，请联系本人，标明作者和出处，非商业用途！ 

　　扫描二维码关注作者公众号“我是8位的”