有的材料按照 一维离散 ->  一维连续 -> 多维离散 -> 多维连续的角度讲解。
我比较喜欢先讲清楚离散，再扩展到连续。
这也跟 MIT 6.041 课程 的编排一致
随机变量和随机过程，不一样。要区分开。 
独立性，依旧是一个重要议题。在伯努利“独立”重复实验相关的计算中，很实用。
Geometric 和 Binomial 分布的 PMF，期望，方差公式和推导过程。
随机变量的分布函数 
  在下一篇讨论: 概率论笔记3--连续随机变量、数学期望和方差
目录
随机变量定义。是 function，而非 variable
PMF 公式。how to compute（图）, Geometric, Binomial
数学期望。 
 , 
方差
条件 PMF 和条件期望。在新的样本空间里，缩放 PMF。
Geometric PMF 期望计算。Memoryless & Total Expectation theorem
联合分布和边缘分布。
独立性。独立联合分布的 E 和 Var 计算。
Binomial means and variance。
1. Random variables 随机变量的定义
An assignment of a value (number) to every possible outcome.
Mathematically: A function from the sample space Ω to the real numbers.
随机变量，不是一个变量，而是一个 function(函数)。
一个 sample space 可以定义多个 Random variables，即多个特征。
比如，sample space 是一个班级里的所有学生，Random variables 可以是身高函数、体重函数。
Notation:
random variable X -- 大写
numerical value x -- 小写
2 个性质：
2. Probability mass function (PMF)  分布律
两种写法：
分布律也可以用表格的形式表示，如
How to compute a PMF  
 ：
collect all possible outcomes for which X is equal to x
add their probabilities
repeat for all x
找准 sample space 里的所有互斥事件，并满足 
 ，
找准 random variable 的所有取值，同样满足 sum = 1
找准映射关系，累加起来。
2.1. Example：Geometric PMF 几何分布的 PMF
几何级数：X = number of coin tosses until first had
几何级数的 PMF：
等比数列
2.2. Example: Binomial PMF 二项分布的 PMF
二项分布：X =  number of heads in n independent coin tosses
二项分布的 PMF: 
3. Expectation 数学期望
加权求平均。
center of gravity of PMF -- 计算 PMF 图形很规则的 E[X] 时，可以直接写出结果。
级数绝对收敛
关键公式： 
作为对比，如果不是线性函数，
关键公式的推导：从 sample space 到 X 再到 Y 的转换，可以以 sample space 为最小 element 计算，也可以以 X 为最小 element 计算 Y。
如果以 X 计算，那就是 x 的值 g(x) 乘以对应的分布律 
性质：
线性函数的数学期望，等于数学期望的线性函数。
如果不是线性函数，则不满足, 即 
4. Variance 方差
推导过程，反复使用 ： 
5. Conditional PMF and expectation 条件 PMF 和条件期望
在新的样本空间里重新计算 PMF 和 expectation 即可。
没有新的概念和知识，但在计算中很实用。
在这个特例中，加条件前后的样本空间，PMF 形状不变，只是少了 X=1.
将剩下的概率值做一次缩放即可，从 1/4 缩放到 1/3 
6. Geometric PMF, Memoryless Property & Total Expectation theorem
几何级数：X = number of coin tosses until first had
几何级数的 PMF：
用代数推导的过程：
两边同乘 (1-p), 得
旧式 减 新式 ，
左侧，得到 
右侧错位相减，得到 
所以， 
Memoryless Property: Given that X > 2, 1/4 the r.v. X − 2 has same geometric PMF
与前面的条件 PMF 一样，曲线形状不变，做一次放缩。
Total Expectation theorem：
利用全概率公式
Geometric Example:
其中，
事件 
，只有一个事件，且值为 1（投掷次数）。所以， 
事件 
， 
7. Joint PMFs and marginal PMFs 联合分布和边缘分布
在一个 sample space 上可以定义多个随机变量，比如，学生的身高 
 和体重 
 .
随机变量之间，不一定独立，需要作为一个整体来研究。
类似一维随机变量的分布律，二维的叫 联合分布律，也可以用二维表格表示。
关于 X 的边缘分布律 
关于 Y 的边缘分布律 
三维的条件分布律
8. independence 独立性
X, Y, Z 相互独立： 
注意，此处的 X，Y，Z 来自同一个 sample space。
9. Binomial means and variance 二项分布的数学期望和方差
二项分布是 N 重独立实验，利用独立性计算期望和方差，可以口算。
由 
 可知， 
 时，方差最大，不确定性最大。
Reference:
MIT 6.041 Probabilistic Systems Analysis and Applied Probability, Fall 2010 Video 5-7
概率论与数理统计 -- 浙江大学 chapter 2-4

概论：
一维随机变量期望与方差
二维随机变量期望与方差
协方差
1.一维随机变量期望与方差：
公式：
离散型：
E(X)=∑i=1->nXiPi
Y=g(x)
E(Y)=∑i=1->ng(x)Pi
连续型：
E(X)=∫-∞->+∞xf(x)dx
Y=g(x)
E(Y)=∫-∞->+∞g(x)f(x)dx
方差：D(x)=E(x²)-E²(x)
标准差：根号下的方差
常用分布的数学期望和方差：
0~1分布 期望p 方差p(1-p)
二项分布B(n，p) 期望np，方差np(1-p)
泊松分布π(λ) 期望λ 方差λ
几何分布 期望1/p ,方差(1-p)/p²
正态分布 期望μ，方差σ²
均匀分布，期望a+b/2,方差(b-a)²/12
指数分布E(λ)期望1/λ,方差1/λ²
卡方分布，x²(n) 期望n 方差2n
期望E(x)的性质：
E(c)=c
E(ax+c)=aE(x)+c
E(x+-Y)=E(X)+-E(Y)
X和 Y相互独立：
E(XY)=E(X)E(Y)
方差D(X)的性质：
D(c)=0
D(aX+b)=a²D(x)
D(X+-Y)=D(X)+D(Y)+-2Cov(X，Y)
X和Y相互独立：
D(X+-Y)=D(X)+D(Y)
2.二维随机变量的期望与方差：
 3.协方差：Cov(X，Y)：
D(X+-Y)=D(X)+D(Y)+-2Cov(X，Y)
协方差：
Cov(X，Y)=E(XY)-E(X)E(Y)
相关系数：
ρxY=Cov(X，Y)/X的标准差*Y的标准差
ρxY=0为X与Y不相关
记住：独立一定不相关 ，不相关不一定独立。
协方差的性质：
Cov(X，Y)=Cov(Y，X)
Cov(X，C)=0
CoV(X，X)=D(X)
Cov(ax+b，Y)=aCov(X，Y)

目录
1. 两点分布
2. 二项分布/伯努利分布	【X~B(n, p)】
3. 泊松分布【ξ ~ P(λ)】
4. 几何分布【ξ ~ Ge(p)】
5. 超几何分布 【ξ ~ H(n, M , N)】
6. 负二项分布

1. 两点分布


定义： 实验的结果只有两种情况，即随机变量只有两个值，则称随机变量ξ服从两点分布。


分布律



-p：表示实验成功的概率。


分布函数


概率密度函数


期望： E(ξ) = p


方差： D(ξ) = p(1-p)


2. 二项分布/伯努利分布	【X~B(n, p)】


定义： n个相互独立的两点分布的组合，具体分布律如下：



（ⅰ）当n为1时，即为两点分布。

（ⅱ）当n趋于无穷大时，即为泊松分布。


分布函数：


概率密度函数：


期望： E(ξ) = np


方差： D(ξ) = np(1-p)


✈二项分布最大值问题。
3. 泊松分布【ξ ~ P(λ)】


定义：





-λ：（一次实验中，实验成功的概率pn ）× （总的试验次数n）


分布函数


概率密度函数


期望： E(ξ) = λ


方差： D(ξ) = λ


泊松定理
4. 几何分布【ξ ~ Ge§】

分布函数
概率密度函数
期望： E(ξ) = 1/p
方差： D(ξ) = (1-p) / p2

几何分布的无记忆性
5. 超几何分布 【ξ ~ H(n, M , N)】

分布函数
概率密度函数
期望


方差



超几何分布的二项分布近似：

当n<<N时，

6. 负二项分布
期望



方差

在 离散随机变量 的基础上，讨论连续随机变量有差异的性质。
连续随机变量的公式和计算，以微积分为基础。
但是在边界条件、可导性、可积性等，没有太多的展开。
毕竟有限个点的概率和，依旧是 0。并不影响最终的概率值。
PDF 概率密度函数
CDF 分布函数
联合分布
1. Probability density function (PDF) 概率密度函数
连续随机变量，任一指定实数值的概率，都是 0.
用离散变量的方式计算概率，不再适用。
连续随机变量，讨论在一个区间（可能是无限小区间）内的概率，而非一个点的概率。
定义概率密度函数 
在边界 a, b 上的概率，不做严格性讨论。
性质：
2. Expectations and variance 数学期望和方差
与离散随机变量相似，公式改为积分的形式。
3. Cumulative distribution function (CDF)  分布函数
对离散和连续函数都适用的，统一的表述方式
 可能存在不连续的点，因为在具体一点上的概率都是 0，所以，忽略有限个边界点不影响积分结果。
  可以是连续随机变量的 
 和离散随机变量的 PMF 累加的结果。
4. Gaussian (normal) PDF 高斯（正态）分布 PDF
5. 联合分布函数
Reference:
MIT 6.041 Probabilistic Systems Analysis and Applied Probability, Fall 2010 Video 8-9
概率论与数理统计 -- 浙江大学 chapter 2-4