目录
 
 
 
1 基本概念
 
2 离散型随机变量的概率分布
 
2.1 二项分布
 
2.2 超几何分布 
 
2.2.1 概念
 
2.2.2 举例
 
2.3 泊松分布 
 
3 连续型随机变量的概率分布
 
3.1 均匀分布 
 
3.1.1 概念
 
3.2 正态分布
 
3.2.1 概念
 
3.3  指数分布 
 
3.3.1 概念
 
3.3.2 举例
 
4 参考文献
 

1 基本概念
 
在之前的博文中，已经明白了概率分布函数和概率密度函数。下面来讲解一下常见的离散型和连续型随机变量概率分布。
 
在此之前，介绍几个基本概念：
 
均值（期望值expected value）：
方差（variance）： 
标准差（standard deviation):
其中，可以证明
 
2 离散型随机变量的概率分布
 
2.1 二项分布
 
如果进行n次不同的实验，每次试验完全相同并且只有两种可能的结果，这样的实验结果分布情况就是二项分布。最简单的比如投掷一枚硬币，不管进行多少次实验，实验结果都只有正面朝上或者反面朝上，这就是一个简单的二项分布。 
 
二项分布概率分布：
 
 
其中：n代表n次实验，x表示实验结果为T的次数，q是实验结果为T的概率，q=1-p，表示实验结果为F的概率。
 
二项分布的 
 均值：
 方差：
 标准差：
 二项分布对于结果只有两种情况的随机事件有非常好的描述，属于日常生活中最常见、最简单的随机变量概率分布，在知道某种实验结果概率的情况下，能够很好推断实验次数后发生其中某一结果次数的概率。
 
2.2 超几何分布 
 
2.2.1 概念
 
超几何分布和二项分布比较相似，二项分布每次实验完全一样，而超几何分布前一次的实验结果会影响后面的实验结果。简单地讲，二项分布抽取之后放回元素，而超几何分布是无放回的抽取。 
 超几何分布的概率分布，均值和方差
 
 
 
 
2.2.2 举例
 
在一个口袋中装有30个球，其中有10个红球，其余为白球，这些球除颜色外完全相同。游戏者一次从中摸出5个球。摸到至少4个红球就中一等奖，那么获一等奖的概率是多少？
 
解：由题意可见此问题归结为超几何分布模型。
 
其中N = 30. r = 10. n = 5.
 
P（一等奖）= P(X=4）+ P(X=5）
 
由公式
 
 
 
,x=0,1,2,...得：
 
 
 
 
 
P（一等奖） = 106/3393
 
2.3 泊松分布 
 
2.3.1 概念
 
泊松分布适合于描述单位时间内随机事件发生的次数。泊松分布适合于描述单位时间（或空间）内随机事件发生的次数。如某一服务设施在一定时间内到达的人数，电话交换机接到呼叫的次数，汽车站台的候客人数，机器出现的故障数，自然灾害发生的次数，一块产品上的缺陷数，显微镜下单位分区内的细菌分布数等等。
 
泊松分布的概率分布，均值和方差： 
 
 
泊松分布的参数λ是单位时间(或单位面积)内随机事件的平均发生率。
 
 
 
2.3.2 举例
 
采用0.05J/㎡紫外线照射大肠杆菌时，每个基因组平均产生3个嘧啶二体。实际上每个基因组二体的分布是服从泊松分布的，将取如下形式： 
 
 
 
 
 
 
 
 
……
 
3 连续型随机变量的概率分布
 
3.1 均匀分布 
 
3.1.1 概念
 
均匀概率分布（uniform probability distribution）是指连续随机变量所有可能出现值出现概率都相同。 
 
 均匀分布的概率分布，均值，方差和标准差： 
 
 
均值：
 
方差：
 标准差：
 
如何求解均值和标准差：
 
 
3.2 正态分布
 
3.2.1 概念
 
正态分布是统计学中常见的一种分布，表现为两边对称，是一种钟型的概率分布（bell curve），其概率密度图为：
 
 
概率密度函数为：
 
 
 
其中，是正态随机变量的均值； 是标准差； 是圆周率，约等于3.1416··· ；e=2.71828⋅⋅⋅
 
特别的，当且的正态分布，被称为标准正态分布（standard distribution），此时有：
 
 
 
正态分布转化为标准正态分布： 
 正态分布x，均值是μ，标准差是σ，z定义为
 
正态分布来近似二项分布 :
 当n足够大的时候，正态分布对于离散型二项分布能够很好地近似。 
 
评价正态分布 :
 如何来确定数据是否正态分布，主要有以下几种方法： 
 1. 图形感受法：建立直方图或者枝干图，看图像的形状是否类似正态曲线，既土墩形或者钟形，并且两端对称。 
 2. 计算区间，看落在区间的百分比是否近似于68%，95%，100%。（切比雪夫法则和经验法则） 
 3. 求IQR和标准差s，计算IQR/s，如若是正态分布，则IQR/s≈1.3.
 4. 建立正态概率图，如果近似正态分布，点会落在一条直线上。 
 
 
3.3  指数分布 
 
3.3.1 概念
 
指数分布是描述泊松分布中事件发生时间间隔的概率分布。除了用于泊松过程的分析，还有许多其他应用，如以下场景：
 
世界杯比赛中进球之间的时间间隔
超市客户中心接到顾客来电之间的时间间隔
流星雨发生的时间间隔
机器发生故障之间的时间间隔
 
癌症病人从确诊到死亡的时间间隔
 
指数分布有如下的适用条件： 
 1. x是两个事件发生之间的时间间隔，并且x>0; 
 2. 事件之间是相互独立的； 
 3. 事件发生的频率是稳定的； 
 4. 两个事件不能发生在同一瞬间。
 
这几个条件实质上也是使用泊松分布的前提条件。如果满足上述条件，则x是一个指数随机变量，x的分布是一个指数分布。如果不满足上述条件，那么需要使用Weibull分布或者gamma分布。
 
指数分布只有一个参数，“λ”，λ是事件发生的频率，在不同的应用场景中可能有不同名称：
 
事件频率
到达频率
死亡率
故障率
转变率
…………
λ是单元时间内事件发生的次数，这里需要注意的是，单元时间可以是秒，分，小时等不同的单位，同时λ根据单元时间度量的不同，其数值也不一样。如单元时间为1小时，λ为6，则单元时间1分钟，λ为6/60=0.1
 
指数分布的概率密度函数（probability density func,PDF）由λ和x(时间)构成：
 
 
均值：
 
方差：
 
3.3.2 举例
 
一个设备出现多次故障的时间间隔记录如下：
 
23, 261, 87, 7, 120, 14, 62, 47, 225, 71, 246, 21, 42, 20, 5, 12, 120, 11, 3, 14, 71, 11, 14, 11, 16, 90, 1, 16, 52, 95
 
根据上面数据，我们可以计算得到该设备发生故障的平均时间是59.6小时，即单位小时时间内发生故障事件的次数为λ=1/59.6=0.0168。 
 那么该设备在3天（72小时)内出现故障的概率是多大呢？即求P(x<72)，这就需要计算指数分布的累积分布函数： 
 

 也即该设备3天内出现故障的概率大于70%。
 

4 参考文献
 
【1】统计学：离散型和连续型随机变量的概率分布
 
【2】指数分布
 
 

1. 几种分布分类
 
(1) 离散分布：
  伯努利分布（零一分布，两点分布），二项分布，几何分布，泊松分布（Poisson分布）
 
(2) 连续分布：
  指数分布，正态分布（高斯分布），均匀分布
 
(3) 抽样分布：
  卡方分布（X2分布），F分布，T分布
 
(4) 其它分布：
  多项分布，Beta分布，Dirichlet分布
 
2. 基本概念
 
概率密度函数
 概率密度函数是描述某个连续随机变量的值在某个确定值附近的可能性。
 
累积分布
 累积分布是随机变量小于等于某个确定值的所有可能性。
 
3. 离散分布
 
3.1 伯努利分布
 (1) 应用场景 
 只有两种实验结果。
 

 3.2 二项分布
 描述在独立n次实验中成功次数，相当于多次进行伯努利实验。
 
 
3.3 几何分布
 描述伯努利试验中，第一次成功所进行的试验次数。
 
随机变量X表示第一次成功所进行试验的次数。
 
 
3.4 泊松分布
 
某一区间内发生随机事件次数的概率分布。
 

 泊松分布不具有记忆性，比如：
 
 
4. 连续分布
 
4.1 均匀分布
 在取值范围内，随机变量出现的概率均一样。
 概率密度函数：
 
 
期望和方差：
 
 
 
4.2 高斯分布(正态分布)
 适用于连续型数据或者数据离散性小，数据基本符合正态分布特点。
 
概率密度函数，期望和方差：
 
 正态分布的的普遍性可以中心极限定理得到。几个随机变量（独立同分布）的和形成的分布，服从高斯分布。
 
4.3 指数分布
 两次随机事件发生时间间隔的概率分布。
 
指数分布可以用泊松分布推导得到：
 
 
λ> 0是分布的一个参数，常被称为率参数（rate parameter），即每单位时间内发生某事件的次数。
 
 
最近开通了个公众号，主要分享机器学习原理与数学联系，推荐系统，风控等算法相关的内容，感兴趣的伙伴可以关注下。
 
 公众号相关的学习资料会上传到QQ群596506387，欢迎关注。
 
 
参考：
 
xieyan0811 简书

 
机器学习的本质就是用概率分布来解释世界上的所有事情，并用各种各样的模型和算法来逼近目标的概率分布，而概率分布的核心就是正态分布。正态分布又叫高斯分布，是机器学习理论中最常见的分布。
 
正态分布流行的原因只有一个：简单。
 
概率分布和正态分布
 
想要构建一个预测模型，那么需要：
 
了解目标变量的基本性质，手段是重复试验
根据试验结果确定，需要预测的变量是一个离散值还是一个连续值
为可能的备选值分配概率，比如概率为0的值就是理论上不会出现的值
 
简而言之，重复大量的独立试验，分别记录试验结果，根据这些值作图，得到的曲线（曲面）就是预测目标的概率分布曲线（曲面）。概率分布依赖于样本的矩，比如平均值、标准差、偏度及峰度。本文所述正态分布，就是常见的概率分布模型之一。
 
正态分布的图像，就是一条倒钟形曲线，样本的平均值、众数及中位数是相等的，那么该变量就是正态分布的。
 

 

  
 
 
正态分布之所以简单，在于其只依赖于两个参数，即样本的均值与方差，也就是一阶矩和二阶矩，这也让近似正态分布的参数估计十分简单精确。
 
为什么是正态分布
 
这个问题的数理根据是中心极限定理，该定律揭示了随机现象的关键性质：平稳结果的稳定性，即当样本量N趋于无穷时，N个抽样样本的的均值的分布趋于正态分布，该定理对总体分布不做要求，即无论何种分布都服从该定理。
 

 

  
 
 
同时，正态分布还十分便于进行假设检验，比如有名的 
 

   原则。同时，符合正态分布的数据还有一个好处，就是正态分布的组合（加减乘除）依然符合正态分布。
 
 
正态分布的转换
 
为了得到正态分布，有时候需要对样本进行一系列转换，下面给出几种：
 
线性变换
 

 

   ，常见变换，不解释
 
 
2.Box-cox变换
 
Box-cox变换是一种广义幂变换方法，可以应对连续的响应变量不满足正态分布的情况，其原理是引入一个参数，通过对该参数进行估计进而确定需要的数据变换形式，一般形式为：
 

 

  
 
 
式中 
 

   是引入的参数，该参数的确定是通过一系列样本 
 
 

   来估计一个
 
 

  满足
 
 

 

  
 
 
该过程可以用scipy包中的stats.boxcox方法实现。
 
3.YEO-JOHNSON变换
 
改变换同样是一种幂变换，具有幂变换的一般性质：缩小随机变量的异方差性（heteroscedasticity）并放大其正态性（normality），从而达到将其向正态分布转换的目的。该变换在形式上做出变化，使其能够应用在0和负值情况下，是box-cox变换的拓展。修改过的变换形式为：
 

 

  
 
 
sklearn中提供了该方法。
 
sklearn.preprocessing.PowerTransformer(method=’yeo-johnson’, standardize=True, copy=True)
 
在机器学习问题中，尽量不要在不进行变换的情况下假设变量服从正态分布。

 

 

  
 
 
写在前面：
 
PDF：概率密度函数，连续型随机变量的概率密度函数是一个描述这个随机变量的输出值，在某个确定的取值点附近的可能性的函数，针对的是连续型。
PMF : 概率质量函数，概率质量函数是离散随机变量在各特定取值上的概率，针对的是离散型。
CDF : 累积分布函数，又叫分布函数，是概率密度函数的积分，能完整描述一个随机变量X的概率分布。
 
一、离散型分布
 
1.伯努利分布
 
又叫0-1分布或者两点分布，也就是实验只有两种结果p和1-p，典型抛硬币
 
期望和方差如下：
 
p(x=1)=p
p(x=0)=1-p
E(x)=p
D(x)=p(1-p)
 

  
from 
 
 
2.二项分布(n重伯努利分布)
 
有以下假设：
 
包含了n个相同的实验
每次实验只有两种结果，‘成功’或‘失败’
‘成功’的概率p在每次实验中都是相同的，‘失败’的概率1-p
实验是相互独立的
 
期望和方差如下：
 
p(x=k)=p的k次*(1-p)的n-k次，只要发生了k次就行，不管在什么时候发生的
E(x)=np
D(x)=np(1-p)
当n=1时，二项分布就退化为伯努利分布
 
3.超几何分布
 
定义为有N件产品，其中有M件次品，现从中任取n件，则在n件中所含的次品数X是一个随机变量，概率函数为
 

 

  
 
 
E(x)=1/p
D(x)=1-p/p方
 
4.泊松分布
 
在一指定时间内或者指定的面积或体积内某一事件出现的次数分布，比如某种仪器某月出现故障的次数，单位时间到达柜台的人数，假设平均每小时有20个人到达柜台，也就是描述某段时间事情发生的具体概率，概率质量函数为：
 

 

  
 
 
E(x)=lamda
D(x)=lamda
 
当p<=0.25,n>20,np<=5时，用泊松分布近似代替二项分布效果较好，和指数分布也有一定的关联
 
二、连续型分布
 
1.均匀分布
 
也叫矩阵分布，是对称概率分布，在相同长度间隔的分布概率是相等的。通常由数轴上的最大值a和最小值b决定，记为U(a,b)，概率密度函数为f(x)=1/b-a(在a～b之间取值)
 
E(x)=(a+b)/2
D(x)=(b-a)**2/12
 
2.指数分布
 
表示事件的时间间隔的概率，比如每小时到达柜台的人的时间间隔t，是可以由泊松分布推导来的，比如下一个人到的时间间隔是t，也就是t时间内没有人来，那么可以用泊松分布的n=0来推导，如果在间隔t内发生了，那么就是1-上面的概率，概率密度函数为
 

 

  
 
 
E(x)=1/lamda
D(x)=1/lamda**2
 
3.正态分布
 
最重要且常见的分布，根据中心极限定理可知，从均值为miu,方差为sigma**2的任意一个总体中抽取样本量为n的样本，当n充分大时，样本均值的抽样分布近似服从均值为miu,方差为sigma**2/n的正态分布，常要求n>=30。用于各种估计和检验中
 
E(x)=miu
D(x)=sigma**2
 
4.对数正态分布
 
一组正偏态分布的数据可以通过取对数来换成对称的正态分布
 
5.韦伯分布
 
给可靠性数据或者生存数据建模的时候，韦伯分布是最常用的，比如在有效寿命期间有多少次保修索赔，有两个参数，其中k是形状参数，另一个是尺度参数，如果k=1时就是指数分布
 

 

  
 
 
关于k的解释：
 
k<1表示失败率随时间降低，经常发生在有缺陷的项目早期就失败的情况，因为有缺陷的已经被剔除了，所以失败率随时间降低
k=1表示失败率不随时间变化，也许是外部随机原因导致的结果
k>1表示失败率随时间增加，常常出现在'老化'的过程或者部件中，随着k的增大越来越接近正态分布
 
6.分布和假设检验
 
新生儿的平均体重是3.5kg，标准偏差为0.76kg，想检查出所有和普通婴儿显著不同的孩子，应该如何处理一个体重为2.6kg的孩子？
 
H0：认为该婴儿是健康的
 
H1：认为该婴儿是不健康的
 
计算我们在感兴趣值的CDF，计算方式如下：
 

  
from 
 
 
得到的结果是0.118，也就是一个健康的婴儿的体重比平均体重轻至少0.9kg的概率是11.8%，由于是正态分布，那么健康的婴儿的体重比平均体重重至少0.9kg的概率也是11.8%。也就是说如果该婴儿是健康的那么体重偏离均值至少0.9kg的概率是2*11.8%=23.6%，也就是原假设为真的前提下出现原假设甚至更极端情况的概率为0.23，结果并不显著，说明认为是健康的
 
下面的章节还会详细讲假设检验
 
三、来自正态分布的连续型分布
 
t分布：正态分布的总体中，样本均值的样本分布。用于小样本且真实的均值/标准差未知的情况
卡方分布：描述正态分布的变异程度
F分布：用于比较两组正态分布的变异程度
 
接下来分别进行介绍
 
1.t分布
 
是类似于正态分布的一种对称分布，比正态分布要平坦和分散，在处理异常值的时候更加稳健，它依赖于自由度，随着自由度的增大，t分布逐渐趋于正态分布。应用是用于在一个小样本总体且标准差未知的均值估计/检验或者两个正态总体的均值之差的估计/检验，见下节分析
 
2.卡方分布
 
如果一个随机变量X服从标准正态分布，那么X**2服从卡方分布，常用于正态总体方差的估计和检验
 
 ：一个药品订单规定发货的药片的标准差为0.05，检验下面一组药片是否符合标准？
 
n=13，随机样本的重量为3.04、2.94、3.01、3.00、2.94、2.91、3.02、3.04、3.09、2.95、2.99、3.10、3.02
 

  
import 
 
 
结果是0.19，也就是说若这批药来自标准差为0.05的一个分布，那么得到一个大于或等于我们观察到的卡方值的可能性为0.19，远远高于显著性水平，所以不能拒绝原假设，也就是这批药符合期望的标准差。
 
3.F分布
 
最常见运用在方差分析中，可以用来判断两个组别是否具有相同的方差
 

 

  
 
 
 ：比较两组数据的准确度(由变异程度决定)，数据一：[20.7,20.3,20.3,20.3,20.7,19.9,19.9,19.9,20.3,20.3,19.7,20.3]
 
数据二：[19.7,19.4,20.1,18.6,18.8,20.2,18.7,19]
 

  
import 
 
 
下一章讲参数检验