通信-随机过程系列第2篇
尽管随机实验结果的意义是明确的，但这种结果往往是不利于进行数学分析的。例如，随机实验结果是硬币的正面或反面，这并不是一个方便的数学表示。
开篇问题：如果一个喷泉每91分钟喷发一次。你随机来到哪里，逗留了20分钟。你看到它喷发的概率是多少？
为何要引入随机变量
在这些情况下，如果我们为随机实验的结果分配一个数字或一系列值，通常会更方便。例如，硬币的正面可以对应1，反面可以对应于0。为随机实验的结果分配一个数字的过程，我们叫做用随机变量表达。
图1 抛掷硬币的结果与随机变量
一个随机试验的样本空间为S，随机实验的结果是s，s是S中的元素，s∈S，定义一个函数X(s)，其中定义域为S，值域为实数的子集，这个函数叫叫作随机变量。
图2表述了随机变量的概念。在概率与样本空间之间，添加一个随机变量，这样更有利于数学计算。
图2 随机变量的概念
使用随机变量的好处是，无论随机实验潜在事件的形式如何，现在都可以根据实际值的数量来进行概率分析。随机变量可能是离散的，并且只接受有限的数值，例如在抛硬币实验中。或者，随机变量可以是连续的，并接受一系列的实数。
举例1：抛3个硬币会得到几个正面？
X="正面的个数" 是随机变量。可以有0个正面(如果所有硬币都是反面向上)、1个正面、2个正面或3个正面。所以样本空间={0, 1, 2, 3}。
但现在结果的概率不再完全是相等的了。
三个硬币可以抛出八个结果：
图3 抛3次硬币，H代表正面头像，T代表反面
在图3里我们可以看到只有1个结果有三个正面，但有 3个结果有两个正面，3个结果有一个正面，和 1个结果没有正面。所以:
P(X=3)=1/8
P(X=2)=3/8
P(X=1)=3/8
P(X=0)=1/8
举例2：2个骰子Dice的点数之和
现在我们同时抛掷2个骰子Dice，并定义随机变量X="两个骰子点数之和".
图4 抛掷2个骰子的试验
那么一共会有6×6 =36个可能的结果，见图4所示，样本空间S是{2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12}；
我们可以数一数样本空间中每个值发生的频率，并计算它们的概率：
2仅出现1次, 所以P(X=2)=1/36；
3出现2次 所以P(X=3)=2/36=1/18；
4出现3次, 所以P(X=4)=3/36=1/12；
5出现4次, 所以P(X=5)=4/36=1/9；
6出现5次, 所以P(X=6)=5/36；
7出现6次, 所以P(X=7)=6/36=1/6；
8出现5次, 所以P(X=8)=5/36；
9出现4次, 所以P(X=9)=4/36=1/9；
10出现3次, 所以P(X=10)=3/36=1/12；
11出现2次,所以P(X=11)=2/36=1/18；
12出现1次, 所以P(X=12)=1/36；
两个骰子的点数的和是5、6、7或8的概率是多少？
就是：P(5≤X≤8) 是多少？
由于随机变量取值是离散的，P(5≤X≤8)=P( X=5)+P(X=6)+P(X=7)+P(X=8)=(4+5+6+5)/36=20/36=5/9
同样的，在表示特定时刻噪声电压幅值的随机变量是一个连续的随机变量，因为理论上，它可能具有正负无穷大之间的任意值。随机变量也可能是复值的，但复值随机变量总是被视为两个实值随机变量的向量。
对于硬币抛掷试验 ，我们可以这样描述：
图5 硬币抛掷试验
x=0对应结果为硬币的反面，x=1对应结果为硬币的正面，P[X=x]表示出现事件x的概率。图5中有2个delta函数，权重为1/2，表示了抛掷硬币的2种结果。
连续随机变量
随机变量可以是离散或连续的：
离散数据只能取某些数值(例如 1、2、3、4、5)
连续数据可以取一个范围(值域)里的任何数值(例如人的身高)
离散的随机变量如举例1和2所示，在这里，我们重点说一下连续随机变量。
均匀分布(也称为矩形分布)
在均匀分布中，a和b之间所有的随机变量的概率是相等的。不像取值是离散的随机变量，这里a和b之间有无数个取值，是连续的。但不管怎样，所有概率之和一定为1。
图6 均与分布
因为所有概率的和一定是1，所以矩形的面积=1，p×(b−a)=1，所以p=1/(b−a)；
还可以写成：若a≤x≤b，P(X=x)=1/(b−a) ，否则P(X=x)=0
再看开篇喷泉的问题。
答案很容易，91分之20是：p=20/91=0.22；
你是随机到达喷泉，如果你等91分钟，那么你便一定会(p=1)看到它喷发。
所以你到达喷泉处，要么能立马看到喷发，或者在91分钟里的任何时间看到。
图7 91分钟内的均匀
累积均匀分布
我们也可以有累积均匀分布，如图8所示。
图8 累积均匀分布
这种分布叫 "累积分布函数"，英语是 "cumulative distribution function"，简称 "CDF"
现在用以上均匀分布的 "CDF" 来计算概率：
图9 CDF计算概率
在a+20，概率累积到大约0.22。
概率密度函数
如图9所示，分布函数可以表示为Fx(x)，随机变量X取小于或等于x的任何值的概率。公式见图10-1。
图10 概率分布函数
概率分布函数Fx(x)有3个基本的属性：
概率分布函数Fx(x)取值在0和1之间；
概率分布函数Fx(x)是一个单调不减函数，如图10公式2；
如果X是连续随机变量，且Fx(X)是可微的，那么可以定义概率密度函数fx(x)，图10公式3
除了CDF，还有一个英语叫作 "probability density function"的函数，简称 "pdf"
图11 PDF
概率密度函数PDF具有如下4个基本属性：
图12 PDF的4个基本属性
我们考察一个随机变量X位于x1和x2之间的概率，由定义可以得到
正态分布
最重要的连续分布是标准正态分布。它非常重要，连它的随机变量也有独特的名字： Z.
Z的图形是个对称的钟形曲线，图13：
图13 正态分布曲线
通常我们需要求Z在两个数值之间的概率。如 P(0
用标准正态分布表来求答案。从0开始，向右去到0.45，答案是 0.1736。
P(0
图14 计算概率
随机变量的统计量
随机变量的取值是随机的，让人琢磨不定。但是我们总是要抽取一些确定的数值，才能掌握随机变量的特征。这些确定的数值，就是随机变量的统计量。
一般地，随机变量的N阶矩定义为
一阶矩是随机变量的均值MEAN，二阶矩是功率。
如果把随机变量的均值减掉，再求N阶矩，得到的是N阶中心矩。
一阶中心矩一定是零，二阶中心矩叫作方差。
方差是非常重要的统计量，它反映的是随机变量偏离均值的程度。
对于零均值信号，方差也等于信号的功率。对于非零均值信号，方差=功率-均值的平方。

均匀分布
墨文昱：均匀分布​zhuanlan.zhihu.com
离散随机变量的均匀分布：假设 X 有 k 个取值：x1, x2, ..., xk 则均匀分布的概率密度函数为: 
连续随机变量的均匀分布：假设 X 在 [a, b] 上均匀分布，则其概率密度函数为： 
伯努利分布
伯努利分布：参数为 p∈[0,1]，设随机变量 X ∈ {0,1}，则概率分布函数为： 
期望为p，方差为p(1-p)
二项分布
独立重复地进行 n 次试验中，成功 x 次的概率: 
期望为np，方差为np(1-p)
高斯分布
我们在做模型训练的之后，随机变量取值范围是实数，大多数情况下都假设变量服从高斯分布，原因：
随机变量大多数情况下有若干个因素组合而成，中心极限定理表明，多个独立随机变量的和近似正态分布
在具有相同方差的所有可能的概率分布中，正态分布的熵最大（即不确定性最大）；熵大带来的信息量多
典型的一维正态分布的概率密度函数为 :
拉普拉斯分布
概率密度函数：
期望为u，方差为 
拉普拉斯分布比高斯分布更加尖锐和狭窄，在正则化中通常会利用该性质
泊松分布
假设已知事件在单位时间（或者单位面积）内发生的平均次数为λ，则泊松分布描述了：事件在单位时间（或者单位面积）内发生的具体次数为 k 的概率。 概率密度函数：
期望：λ，方差为：λ

原创声明：本文为 SIGAI 原创文章，仅供个人学习使用，未经允许，不能用于商业目的。
其它机器学习、深度学习算法的全面系统讲解可以阅读《机器学习-原理、算法与应用》，清华大学出版社，雷明著，由SIGAI公众号作者倾力打造。
书的购买链接
书的勘误，优化，源代码资源
概率密度函数是概率论中的核心概念之一，用于描述连续型随机变量所服从的概率分布。在机器学习中，我们经常对样本向量x的概率分布进行建模，往往是连续型随机变量。很多同学对于概率论中学习的这一抽象概念是模糊的。在今天的文章中，SIGAI将直观的解释概率密度函数的概念，帮你更深刻的理解它。
从随机事件说起
回忆我们在学习概率论时的经历，随机事件是第一个核心的概念，它定义为可能发生也可能不发生的事件，因此是否发生具有随机性。例如，抛一枚硬币，可能正面朝上，也可能反面朝上，正面朝上或者反面朝上都是随机事件。掷骰子，1到6这6种点数都可能朝上，每种点数朝上，都是随机事件。
与每个随机事件a关联的有一个概率值，它表示该事件发生的可能性：p(a)这个概率值必须在0到1之间，22即满足下面的不等式约束：
0<= p(a)<=1
另外，对于一次实验中所有可能出现的结果，即所有可能的随机事件，它们的概率之和必须为1：
这些随机事件不会同时发生，但必须有一件会发生。例如，对于抛硬币，不是正面朝上就是反面朝上，不会出现其他情况（这里假设硬币抛出去后不会立着），因此有：
p(正面朝上)+p(反面朝上)=1
很多时候，我们假设这些基本的随机事件发生的概率都是相等的，因此，如果有n个基本的随机事件，要使得它们发生的概率之和为1，则它们各自发生的概率都为：
对于抛硬币，正面朝上和反面朝上的概率各为1/2，对于掷骰子，每个点朝上的概率各为1/6。对于这种只有有限种可能的情况，我们通过枚举各种可能的情况，可以算出每个事件发生的概率。例如，如果我们要计算掷骰子出现1点或者2点的概率，只需要将这两点至少有一点出现的情况数，比上所有可能的情况数，就得到概率值：
上面的例子中，随机事件所有可能的情况只有有限种，而且可以用整数对这些随机事件进行编号，如 
 。
然而，有有限就有无限，对于可能有无限种情况的随机事件，我们该如何计算它发生的概率？考虑一个简单的问题，有一个长度和高度都为1的正方形，如果我们随机的扔一个点到这个正方形里，这个点落在右上方也就是红色区域里的概率是多少？
你可能已经想到了，直接用红色三角形的面积，比上整个正方形的面积，应该就是这个概率：
在这里，随机点所落的位置坐标(x, y)的分量x和y都是[0, 1]区间内的实数，这有无限多种情况，不能再像之前那样把所有的情况全部列出来，统计出这些情况的数量，然后和总情况数相除得到概率值。而是使用了“面积”这一指标来计算。看来，对这种类型的随机事件，我们得借助于“长度”，“面积”，“体积”这样的积分值来计算。
如果用集合来描述这些随机事件的话，第一种情况是有限集，我们可以给集合里的每个元素编号。第二种情况是无限集，元素的个数多到无法用整数下标来编号。
整数集与实数集
高中时我们学过集合的概念，并且知道整数集是z，实数集是R。对于有限集，可以统计集合中元素的数量即集合的基数（cardinal number，也称为集合的势cardinality）。对于无限集，元素的个数显然是无穷大，但是，都是无穷大，能不能分个三六九等呢？
回忆微积分中的极限，对于下面的极限：
虽然当x趋向于正无穷的时候，x和exp(x)都是无穷大，但它们是有级别的，在exp(x)面前，x是小巫见老巫。
同样的，对于整数集和实数集，也是有级别大小的。任意两个整数之间，如1与2之间，都密密麻麻的分布着无穷多个实数，而且，只要两个实数不相等，不管它们之间有多靠近，如0.0000001和0.0000002，在它们之间还有无穷多个实数。在数轴上，整数是离散的，而实数则是连续的，密密麻麻的布满整个数轴。因此，实数集的元素个数显然比整数要高一个级别。 
随机变量
变量是我们再熟悉不过的概念，它是指一个变化的量，可以取各种不同的值。随机变量可以看做是关联了概率值的变量，即变量取每个值有一定的概率。例如，你买彩票，最后的中奖金额x就是一个随机变量，它的取值有3种情况，以0.9的概率中0元，0.09的概率中100元，0.01的概率中1000元。变量的取值来自一个集合，可以是有限集，也可以是无限集。对于无限集，可以是离散的，也可以是连续的，前者对应于整数集，后者对应于实数集。 
离散型随机变量
随机变量是取值有多种可能并且取每个值都有一个概率的变量。它分为离散型和连续型两种，离散型随机变量的取值为有限个或者无限可列个（整数集是典型的无限可列），连续型随机变量的取值为无限不可列个（实数集是典型的无限不可列）。
描述离散型随机变量的概率分布的工具是概率分布表，它由随机变量取每个值的概率p(x = xi )= pi依次排列组成。它满足：
下面是一个概率分布表的例子：
表2.2  一个随机变量的概率分布表
如果我们把前面例子中掷骰子的点数x看做是随机变量，则其取值为1-6之间的整数，取每个值的概率为1/6，这是典型的离散型随机变量。
连续型随机变量
把分布表推广到无限情况，就可以得到连续型随机变量的概率密度函数。此时，随机变量取每个具体的值的概率为0，但在落在每一点处的概率是有相对大小的，描述这个概念的，就是概率密度函数。你可以把这个想象成一个实心物体，在每一点处质量为0，但是有密度，即有相对质量大小。
以上面在正方形内随机扔一个点的问题为例，此时，落点的坐标(x, y)就是连续型随机变量，落到任意一点(x, y)的概率值为0。因为这一个点的数量为1，而整个正方形内的点数为无穷大，二者之比值为0：
这实际上是均匀分布，即落在任何一点处的概率值相等。对于有些问题，落在各个不同的点处的概率是不相等的，就像一个实心物体，有些点处的密度大，有些点处的密度小，由此引入了概率密度函数的概念。
一个函数如果满足如下条件，则可以称为概率密度函数：
这可以看做是离散型随机变量的推广，积分值为1对应于取各个值的概率之和为1。分布函数是概率密度函数的变上限积分，它定义为：
显然这个函数是增函数，而且其最大值为1。分布函数的意义是随机变量的概率。注意，连续型随机变量取某一个值的概率为0，但是其取值落在某一个区间的值可以不为0：
虽然连续型随机变量取一个值的概率为0，但取各个不通过的值的概率还是有相对大小的，这个相对大小就是概率密度函数。这就好比一个物体，在任意一点处的质量为0，但在这一点有密度值，密度值衡量了在各点处的质量的相对大小。
从这个角度，我们可以将概率密度函数解释为随机变量落在一个区间内的概率与这个区间大小的比值在区间大小趋向于0时的极限：
这个过程如下图所示：
还是以上面的正方形为例，如果要计算随机点(x, y)都落在区间[0, 0.5]内的概率，可以这样计算：
这个面积，就是积分值，对应于分布函数。最常见的连续型概率分布是正态分布，也称为高斯分布。它的概率密度函数为：
其中μ和 
 分别为均值和方差。现实世界中的很多数据，例如人的身高、体重、寿命等都近似服从正态分布。另外一种常用的分布是均匀分布，如果随机变量x服从区间[a,b]内的均匀分布，则其概率密度函数为：
在程序设计和机器学习中，这两种分布是最为常见的。

本文主要介绍概率密度函数和累积密度函数的概念。
一、离散型的概率密度函数与累积密度函数
对于一个离散型的随机变量 
 ，它可能服从我们已知的一些理论分布，也可能服从某个未知的乱七八糟的分布。这时候，我们有一种稳（cu）健（bao）的方式去描述它的分布情况，那就是概率密度函数 
 和累积分布函数 
 ：
 ……(1)
……(2) 
下面我们说说这两个函数的关系。假设一个分布有若干个可能的观测值{ 
 }，那么 
 如刚刚所言，就是随机变量小于等于 
 的概率，它可以表示成：
 ……(3)
特别地，当 
 ，有：
 ……(4)
举一个例子说明这个关系。假设一个分布只有{ 
 }， 
 就是随机变量不大于 
 的概率。既然分布里面不大于 
 的只可能是 
 和 
 ，那这个概率自然可以写成 
 ，也就是 
 了。
同理，要求某个 
 的概率密度函数，也可以由某两个累积密度函数相减得到。例如上例里面， 
 就等于 
，具体写成严谨的表达方式有些麻烦，就不写了 。
二、连续型概率密度函数与累积密度函数
对离散型随机变量，它的任何一个观测值，我们基本上都可以轻易算出它的概率，进而得到整个分布的概率密度函数和累积密度函数。但我们的随机变量不再是离散型的，而是连续型的，就再也无法算出某个观测值出现的概率了。譬如说， 
 是一个在 
 区间均匀分布的随机变量， 
 的概率就没办法算出来（测度论咱们先不涉及）。
幸运的是，我们至少还是知道各个观测值对应概率的比例的。就像上面的例子，各个观测值对应概率比例都是一样的，均匀分布嘛。那可不可以在连续区间上方画一条曲线，曲线在某点的高度代表着这个点作为观测值出现的概率呢？根据这个想法，我们引入了连续型的概率密度函数。
概率密度函数帮助我们解决连续型随机变量遇到的分析困难。对于一个分布于区间 
 上的连续随机变量，我们可以构造一个概率密度函数 
 来描述该变量的分布情况。 注意，只是相对大小，不是绝对大小，例如 
 并不是说 
 被观测到的概率是 
 。
那问题来了，既然 
 衡量的是
相对大小，那我给 
 随意乘一个非零常数 
 ，让它变成 
 ，并且当做新的概率密度函数，是不是不会有影响呢？
为了方便分析，我们参考式子(4)，给了 
 一个限制：
 ……(5)
其中 记
 为该分布的可行域。这样限制下来，每个分布对应的概率密度函数就是唯一的了。
类比离散型随机变量的累积密度函数，参考式子(3)，我们也很容易猜到连续型随机变量的累积密度函数会定义为：
 ……(6)，
也就是该随机变量不大于 
 的概率。