1. 二维均匀分布

2. 二维正态分布【(ξ,ŋ) ~ N(μ1,σ1,μ2,σ2,)】

性质：

相关系数为0 <=> 两个随即变量相互独立

不相关 == 相互独立

概论：
一维随机变量期望与方差
二维随机变量期望与方差
协方差
1.一维随机变量期望与方差：
公式：
离散型：
E(X)=∑i=1->nXiPi
Y=g(x)
E(Y)=∑i=1->ng(x)Pi
连续型：
E(X)=∫-∞->+∞xf(x)dx
Y=g(x)
E(Y)=∫-∞->+∞g(x)f(x)dx
方差：D(x)=E(x²)-E²(x)
标准差：根号下的方差
常用分布的数学期望和方差：
0~1分布 期望p 方差p(1-p)
二项分布B(n，p) 期望np，方差np(1-p)
泊松分布π(λ) 期望λ 方差λ
几何分布 期望1/p ,方差(1-p)/p²
正态分布 期望μ，方差σ²
均匀分布，期望a+b/2,方差(b-a)²/12
指数分布E(λ)期望1/λ,方差1/λ²
卡方分布，x²(n) 期望n 方差2n
期望E(x)的性质：
E(c)=c
E(ax+c)=aE(x)+c
E(x+-Y)=E(X)+-E(Y)
X和 Y相互独立：
E(XY)=E(X)E(Y)
方差D(X)的性质：
D(c)=0
D(aX+b)=a²D(x)
D(X+-Y)=D(X)+D(Y)+-2Cov(X，Y)
X和Y相互独立：
D(X+-Y)=D(X)+D(Y)
2.二维随机变量的期望与方差：
 3.协方差：Cov(X，Y)：
D(X+-Y)=D(X)+D(Y)+-2Cov(X，Y)
协方差：
Cov(X，Y)=E(XY)-E(X)E(Y)
相关系数：
ρxY=Cov(X，Y)/X的标准差*Y的标准差
ρxY=0为X与Y不相关
记住：独立一定不相关 ，不相关不一定独立。
协方差的性质：
Cov(X，Y)=Cov(Y，X)
Cov(X，C)=0
CoV(X，X)=D(X)
Cov(ax+b，Y)=aCov(X，Y)

随机变量
1. 概率（质量）函数/分布律（列）
（1）概率（质量）函数
（2）分布律（列）
2. 分布函数
（1）定义
（2）性质
3. 概率密度函数
（1）定义
（2）性质

1. 概率（质量）函数/分布律（列）
（1）概率（质量）函数

（2）分布律（列）

性质：


2. 分布函数
（1）定义

（2）性质

3. 概率密度函数
（1）定义

（2）性质

文章目录
必须知道的概率论知识
一维变量
离散随机变量
def
常见分布
几何分布
期望
方差
二项分布——b(n,p)
期望
方差
泊松分布—— $P(\lambda)$
期望
方差
超几何分布——h(n,N,M)
期望
方差
连续型随机变量
def
常见分布
均匀分布——U(a,b)
密度函数
分布函数
期望
方差
指数分布—— $Exp(\lambda)$
密度函数
分布函数
期望
方差
柯西分布
密度函数
正态分布——$N(\mu, \sigma ^ 2)$
密度函数
分布函数
期望
方差
标准正态分布——N(0,1）
密度函数
分布函数
伽玛分布—— $Ga(\alpha, \lambda)$
伽玛函数
密度函数
期望
方差
自由度为n的$\chi ^2$分布——$\chi ^2 (n)$
密度函数
期望
方差
贝塔分布——Be(a,b)
贝塔函数
密度函数
期望
与均匀分布的关系
期望的性质
方差与方差的性质

必须知道的概率论知识

常见分布
期望
方差
性质

一维变量
离散随机变量
def
离散随机变量X的分布列

$P = (X = x_i) = p(x_i) \qquad i = 1,2,...,n$

则X的数学期望为：$\sum_{i=1}^{n} x_i p(x_i)$，记为;

$E(X) = \sum_{i=1}^{n} x_i p(x_i)$

若X的取值可列，且无穷级数$\sum_{i=1}^{\infty} x_i p(x_i)$收敛，则$E(X) = \sum_{i=1}^{\infty} x_i p(x_i)$.
常见分布
几何分布
$p(x) = P(X = x) = p(1 - p)^{x - 1},x = 1,2,....$.
期望
$E(X) = \frac{1}{p}$.

推导

令$q = 1 -p$，则有;

$E(X) = \sum_{x=1}^{\infty} x p q^{x -1} \\ = p \sum_{x=1}^{\infty} x q^{x -1} \\ = p \sum_{x=1}^{\infty} \frac{d(q^x)}{dq} \\ = p \frac{d}{dq} \sum_{x=0}^{\infty} q^x
\\ = p \frac{d}{dq}(\frac{1}{1-q}) = \frac{1}{p}$
方差
$Var(X) = \frac{1 - p}{p^2}$

推导

$E(X^2) =\sum_{x=1}^{\infty} x^2 p q^{x -1} \\ = p \sum_{x=1}^{\infty} x^2 q^{x -1} \\ = p \sum_{x=1}^{\infty} x \frac{d(q^x)}{dq} \\ = p \frac{d}{dq} \sum_{x=0}^{\infty}  x q^x$
由无穷级数的理论可知$\sum_{x=0}^{\infty}  x q^x = \frac{q}{(1-q)^2}$
从而：
接上式:$E(X^2) = p \frac{d}{dq} (\frac{q}{(1-q)^2)} = \frac{2p-p^2}{p^3} = \frac{2-p}{p^2}$.从而得到方差。
二项分布——b(n,p)
$p(x) = P(X = x) = \begin{pmatrix} n \\ x \end{pmatrix} p^x (1 - p)^{n -x} \qquad x = 0,1,....,n$
n=1,时的二项分布b(1,p),又称为两点分布或0-1分布。
期望
$E(X) = np$

推导

$E(X) = \sum_{x = 0}^{n} x \begin{pmatrix} n \\ x \end{pmatrix} p^x (1 - p)^{n -x} \\
=np \sum_{x = 0}^{n} \begin{pmatrix} n - 1 \\ x - 1 \end{pmatrix} p^{x -1} (1 - p)^{n -x} \\
= np \sum_{x = 0}^{n} \begin{pmatrix} n - 1 \\ x \end{pmatrix} p^{x} (1 - p)^{n - 1 - x} \\
=np[p + (1 - p)]^{n -1} = np$
方差
$Var(X) = np(1-p)$

推导

$E(X^2) = \sum_{x = 0} ^ n x ^2 \begin{pmatrix} n \\ x \end{pmatrix} p ^ x (1-p)^{n-x} \\ 
= \sum_{x = 2} ^ n x (x-1) \begin{pmatrix} n \\ x \end{pmatrix} p ^ x (1-p)^{n-x} + \sum_{x = 1} ^ n x  \begin{pmatrix} n \\ x \end{pmatrix} p ^ x (1-p)^{n-x} \\
= n (n-1) p^2 \sum_{x = 2} ^ n \begin{pmatrix} n-2 \\ x-2 \end{pmatrix} p^{x-2} (1-p)^{n-x} + np \\
= n(n-1) p^2 + np = n^2p^2 + np(1-p)$
故:

$Var(X) = E(X^2) - E(X)^2 = np (1-p)$
泊松分布—— $P(\lambda)$
$P(X = x) = \frac{\lambda^x}{x!} e ^ {- \lambda} \qquad x = 0,1,.... \qquad \lambda > 0$
期望
$E(X) = \lambda$

推导

$E(X) = \sum_{x = 0}^{\infty} x \cdot \frac{\lambda^x}{x!} e ^ {- \lambda} = \lambda e ^{- \lambda} \sum_{x = 1}^{\infty} \frac{\lambda ^{x - 1}}{(x - 1)!} = \lambda$
方差
$Var(X) = \lambda$

推导

$E(X - \lambda)^2 = E[X^2 - 2\lambda X + \lambda ^2]= E(X^2) - 2 \lambda E(X) + \lambda ^2$
又

$E(X^2) = \sum_{x =0} ^ {\infty} x ^ 2 \cdot \frac{\lambda ^ x}{x!} e ^ {- \lambda} \\
= \sum_{x = 1} ^ {\infty} x  \cdot \frac{\lambda ^ x}{(x-1)!} e ^ {- \lambda} \\ 
= \sum_{x = 1} ^ {\infty} [(x -1) + 1]  \cdot \frac{\lambda ^ x}{(x-1)!} e ^ {- \lambda} \\
= \lambda ^2 e ^ {- \lambda} \sum_{x = 2} ^ {\infty} \frac{\lambda ^ {x - 2}}{(x-2)!} + \lambda e ^ {- \lambda} \sum_{x = 1} ^ {\infty} \frac{\lambda ^ {x -1}}{(x-1)!} \\
= \lambda ^2 + \lambda$

故：$E(X - \lambda)^2 =  \lambda ^2 + \lambda - 2 \lambda ^2 + \lambda ^2 = \lambda$
超几何分布——h(n,N,M)
$P(X = x) = \frac{\begin{pmatrix} M \\ x \end{pmatrix} \begin{pmatrix} N-M \\ n-x \end{pmatrix}}{\begin{pmatrix} N \\ n \end{pmatrix}} \qquad x=0,1,\dots,r,\ r=min(n,M)$
期望
$E(X) = \frac{nM}{N}$

推导

$\begin{aligned}
E(X) & = \sum_{x = 0}^{r} x \frac{\begin{pmatrix} M \\ x \end{pmatrix} \begin{pmatrix} N-M \\ n-x \end{pmatrix}}{\begin{pmatrix} N \\ n \end{pmatrix}} \\ 
& = \frac{nM}{N} \sum_{x = 1}^{r} \frac{\begin{pmatrix} M - 1 \\ x - 1 \end{pmatrix} \begin{pmatrix} N-M \\ n-x \end{pmatrix}}{\begin{pmatrix} N - 1 \\ n - 1 \end{pmatrix}}\\
& = \frac{nM}{N}
\end{aligned}$
方差
$Var(X) = \frac{nM}{N}(1-\frac{M}{N})(\frac{N-n}{N-1})$

推导

$\begin{aligned}
E(X^2) & = \sum_{x = 0}^{r} x^2 \frac{\begin{pmatrix} M \\ x \end{pmatrix} \begin{pmatrix} N-M \\ n-x \end{pmatrix}}{\begin{pmatrix} N \\ n \end{pmatrix}} \\ 
& = \frac{nM}{N} \sum_{x = 1}^{r} x \frac{\begin{pmatrix} M - 1 \\ x - 1 \end{pmatrix} \begin{pmatrix} N-M \\ n-x \end{pmatrix}}{\begin{pmatrix} N - 1 \\ n - 1 \end{pmatrix}}\\
& = \frac{nM}{N} \sum_{x = 1}^{r} (x -1) \frac{\begin{pmatrix} M - 1 \\ x - 1 \end{pmatrix} \begin{pmatrix} N-M \\ n-x \end{pmatrix}}{\begin{pmatrix} N - 1 \\ n - 1 \end{pmatrix}} + \frac{nM}{N} \sum_{x = 1}^{r}  \frac{\begin{pmatrix} M - 1 \\ x - 1 \end{pmatrix} \begin{pmatrix} N-M \\ n-x \end{pmatrix}}{\begin{pmatrix} N - 1 \\ n - 1 \end{pmatrix}} \\
& = \frac{nM}{N} (M-1) \sum_{x = 1}^{r}  \frac{\begin{pmatrix} M - 2 \\ x - 2 \end{pmatrix} \begin{pmatrix} N-M \\ n-x \end{pmatrix}}{\begin{pmatrix} N - 1 \\ n - 1 \end{pmatrix}} + \frac{nM}{N} \\
& = \frac{nM}{N}[\frac{(M-1)(n-1)}{N-1} + 1]
\end{aligned}$
再由方差公式即可求得。
连续型随机变量
def
$p(x)$是实数轴上的一个函数，满足：
（1）$p(x) \geq 0$.（非负）
（2）$\int_{- \infty}^{\infty} = 1$
则称$p(x)$为概率密度函数。
期望：$E(X) = \int_{- \infty } ^ {\infty} x p(x) d x$.
分布函数：
$F(x) = P(X \leq x) = \int_{- \infty}^{x} p(x)dx$.
分布函数的性质


$F(x)$是直线上的连续函数


$P(X = x) = 0$


$P(a \leq X \leq b) = P(a \leq X < b) = P(a < X \leq b) = P(a < X < b)$


在$F(x)$导数存在的点x 上有：
​	$F'(x) = p(x)$


常见分布
均匀分布——U(a,b)
密度函数
$p(x)=
\begin{cases}
\frac{1}{b - a} & a \leq x \leq b \\
0 & 其他
\end{cases}$
分布函数
$F(x)=
\begin{cases}
0 & x < a \\
\frac{x - a}{b - a} & a \leq x \leq b \\
1 & x > b
\end{cases}$
期望
$E(X) = \int_{- \infty } ^ {\infty} x p(x) d x = \int_a^b x \cdot \frac{1}{b -a}dx = \frac{1}{b -a} \frac{x^2}{2}|_a^b = \frac{b^2 - a^2}{2 (b -a)} = \frac{a + b}{2}$
方差
$E(X^2) = \int_a^b \frac{x^2}{b -a}dx \\
= \frac{1}{b -a} \frac{x^3}{3}|_a^b \\
= \frac{1}{3}(b^2 + ab + a^2)$
故:

$Var(X) = \frac{(b-a)^2}{12}$
指数分布—— $Exp(\lambda)$
密度函数
$p(x)=
\begin{cases}
\lambda e ^{- \lambda x} & x \geq 0 \\
0 & x < 0
\end{cases}$
分布函数
$F(x)=
\begin{cases}
1 - e ^{- \lambda x} & x \geq 0 \\
0 & x < 0
\end{cases}$
期望
$E(X) = \int_{- \infty } ^ {\infty} x p(x) d x = \int_0^{\infty} \lambda x e ^ {- \lambda x}dx = \frac{1}{\lambda}$
方差
$Var(X) = \frac{1}{\lambda ^ 2}$
推导 见伽马分布。
柯西分布
密度函数
$p(x) = \frac{1}{\pi (1 + x^2)}$
数学期望不存在
正态分布——$N(\mu, \sigma ^ 2)$
密度函数
$p(x) = \frac{1}{\sqrt{2 \pi} \sigma} e ^ {- \frac{(x - \mu) ^ 2}{2 \sigma ^ 2}} \qquad - \infty < x < \infty$
分布函数
$F(x) = \frac{1}{\sqrt{2 \pi} \sigma} \int _{- \infty}^{x} e ^ {- \frac{(x - \mu) ^ 2}{2 \sigma ^ 2}} dx \qquad - \infty < x < \infty$
期望
$E(X) = \mu$.

推导

$令 z = \frac{x - \mu}{\sigma},\\
E(X) = \frac{1}{\sqrt{2 \pi} \sigma} \int _{- \infty}^{\infty} x e ^ {- \frac{(x - \mu) ^ 2}{2 \sigma ^ 2}} dx \\
=\frac{1}{\sqrt{2 \pi} \sigma} \int _{- \infty}^{\infty} (\sigma z + \mu) e ^ {- \frac{z ^ 2}{2}} dz \\
= \frac{1}{\sqrt{2 \pi}} [\sigma \int _{- \infty}^{\infty} z e ^ {- \frac{x ^ 2}{2}}dz + \mu \int _{- \infty}^{\infty} e ^ {- \frac{x ^ 2}{2}}dz] \\
= 0 + \mu = \mu$
方差
$Var(X) = E(X - E(X))^2 \\
= E(X - \mu) ^ 2 \\
= \frac{1}{\sqrt{2 \pi}} \sigma \int _{- \infty}^{\infty} (x - \mu) ^ 2 e ^ {- \frac{(x - \mu) ^ 2}{2 \sigma ^ 2}} dx \\
\overset{u = \frac{x - \mu}{\sigma}}{=} \frac{\sigma ^2}{\sqrt{2 \pi}}\int _{- \infty}^{\infty} u ^2 e ^ {- \frac{u ^ 2}{2}} d u \\
= \frac{2 \sigma ^2}{\sqrt{2 \pi}}\int _{0}^{\infty} u ^2 e ^ {- \frac{u ^ 2}{2}} d u \\
\overset{y = \frac{u^2}{2}}{=} \frac{2 \sigma ^2}{\sqrt{2 \pi}} \sqrt{2} \int _{0}^{\infty} y ^{\frac{1}{2}} e ^ {- y} d y \\
= \frac{2 \sigma ^2}{\sqrt{2 \pi}} \sqrt{2} \Gamma (\frac{3}{2}) = \frac{2 \sigma ^2}{\sqrt{2 \pi}} \frac{\sqrt{2 \pi}}{2} = \sigma ^2$
标准正态分布——N(0,1）
密度函数
$\phi(\mu) = \frac{1}{\sqrt{2 \pi}} e ^ {- \frac{ u ^ 2}{2}} \qquad - \infty < u < \infty$
分布函数
$\Phi(\mu) = \frac{1}{\sqrt{2 \pi}} \int _{- \infty}^{u} e ^ {- \frac{ x ^ 2}{2}}dx \qquad - \infty < u < \infty$

对任意实数u，有：

$\Phi (- u) = 1 - \Phi(u)$

当$X \sim N(\mu, \sigma^2)$时，$U = \frac{X - \mu}{\sigma}$是标准正态变量，即$U \sim N(0,1)$.

伽玛分布—— $Ga(\alpha, \lambda)$
伽玛函数
含参数$\alpha$的积分;

$\Gamma (\alpha) = \int_0^{\infty} x^{\alpha - 1}e^{- x}dx \qquad \alpha > 0$

性质：

$\Gamma(1) = 1, \Gamma (\frac{1}{2}) = \sqrt{\pi}$
递推公式：$\Gamma (\alpha + 1) = \alpha \Gamma (\alpha)$.特别对于n，$\Gamma (n + 1) = n!$
$\int _0 ^{\infty} x ^ {\alpha - 1} e ^ {-\lambda x} d x = \frac {\Gamma (\alpha)}{\lambda ^ {\alpha}}$

密度函数
$p(x) = 
\begin{cases}
\frac{\lambda ^ {\alpha}}{\Gamma (\alpha)} x ^ {\alpha - 1} e ^ {- \lambda x} & x > 0 \\
0 & x \leq 0
\end{cases}$
简记为;

$p(x) = \frac{\lambda ^ {\alpha}}{\Gamma (\alpha)} x ^ {\alpha - 1} e ^ {- \lambda x} \qquad x > 0$

$\alpha = 1$的时候伽马分布就是指数分布，密度函数

$p(x) = \lambda e ^{- \lambda x} \qquad x > 0$

$\alpha = \frac{n}{2}, \lambda = \frac{1}{2}$时伽马分布为卡方分布。
期望
$E(X) = \frac{\lambda ^ {\alpha}}{\Gamma (\alpha)} \int_0 ^{\infty} x ^ {\alpha} e ^ {- \lambda x} d x = \frac{\Gamma (\alpha + 1)}{\Gamma (\alpha)} \frac{1}{\lambda} = \frac{\alpha}{\lambda}$
方差
$E(X^2) = \frac{\lambda ^ {\alpha}}{\Gamma (\alpha)} \int_0 ^{\infty} x^2 \cdot x ^ {\alpha} e ^ {- \lambda x} d x \\
= \frac{\lambda ^ {\alpha}}{\Gamma (\alpha)} \frac{\Gamma (\alpha + 2)}{\lambda ^ {\alpha + 2}} \\
= \frac{\alpha(\alpha +1)}{\lambda ^2}$
自由度为n的$\chi ^2$分布——$\chi ^2 (n)$
即伽玛分布$Ga(\frac{n}{2}, \frac{1}{2})$,
密度函数
$p(x) = \frac{1}{\Gamma (\frac{n}{2}) 2 ^{\frac{n}{2}}} x ^ {\frac{n}{2} -1} e ^{- \frac{x}{2}} \qquad x > 0$
期望
$E(X) = n$
方差
$Var(X) = 2n$
推导见伽马分布。
贝塔分布——Be(a,b)
贝塔函数
含参数a，b的积分：

$\beta (a,b) = \int _0 ^1 x ^{a - 1}(1 - x)^{b -1} d x \qquad a > 0, b > 0$

性质：


$\beta(a,b) = \beta(b,a)$


贝塔函数与伽玛函数的关系：

$\beta(a,b) = \frac{\Gamma(a) \Gamma(b)}{\Gamma(a+b)}$


密度函数
$p(x) = \frac{\Gamma(a+b)}{\Gamma(a) \Gamma(b)} x ^ {a - 1} (1 -x)^ {b - 1} \qquad 0 \leq x \leq 1$
期望
$E(X) =\frac{\Gamma(a+b)}{\Gamma(a) \Gamma(b)} \int _ 0 ^ 1 x ^ {a - 1} (1 -x)^ {b - 1} d x \\
=\frac{\Gamma(a+b)}{\Gamma(a) \Gamma(b)} \cdot \frac{\Gamma(a + 1) \Gamma(b)}{\Gamma(a+b + 1)} \\
= \frac{a}{a + b}$
与均匀分布的关系
Be（1,1）就是[0,1] 上的均匀分布。
期望的性质

$E[cg(X)] = c E[g(X)]$
$E[g(X) \pm h(X)] = E[g(X)] \pm E[h(X)]$
$E(c) =c$,c为常数

方差与方差的性质
$Var(X) = E[X - E(X)]^2$
性质：

$Var(c) = 0$,c为常数
$Var(a X + b) = a ^ 2 Var(X)$
$Var(X) = E(X^2) - [E(X)]^ 2$

多元情况后续更新。