本节包括：
期望：定义与性质
方差与协方差：方差、标准差、协方差、相关系数、协方差矩阵、矩的定义与性质
条件期望：条件期望与条件方差
典型随机变量的期望方差
期望
离散
设一离散随机变量 
 有概率分布 
，

若 
，则称 
 为随机变量
的
期望 
连续
设一连续随机变量 
 的概率密度函数为 
，若 
，

则称 
为随机变量
的
期望
期望的性质 
(1) 期望与概率的关系：
设 
 是一事件，
为
的示性函数，则
(2) 随机向量函数的期望：
设
为一随机向量，
，若
有联合概率密度函数
，则对于满足 
 的实函数
，
 的期望为
(3) 期望的线性：
假定
，
为固定实数，

则
的期望存在，且
(4) 期望的独立性：
对于独立随机变量
，

(5) 
积分定义的期望：
方差与协方差
方差与标准差 
若随机变量
的期望
有限，称
为
的
方差，
为
的
标准差 
计算：
方差的性质 
(1) 

(2) 
重要不等式 
(1) 马尔科夫不等式
：

对任意随机变量
与固定实数
，
(2) 切比雪夫不等式
：

对任意方差有限的随机变量
，

有时也写成：
(3) 柯西—施瓦茨不等式
：

若
，则

当且仅当存在实数 
 使得 
时等号成立 
(4) 琴生不等式
：

对于凸函数
，
协方差
若
，随机变量
 的
协方差定义为 

计算：
；若
，称 
不相关 
相关系数
若
，随机变量
 的
相关系数定义为 

计算：
；

若
，称 
 存在
线性关系
性质 
(1) 

(2) 

(3) 不相关的三种等价定义：
 (4) 独立性强于不相关，但当
时
独立等价于不相关
协方差矩阵 
对于n维随机向量
，其
协方差矩阵定义为：
注记 协方差矩阵是对称和非负定的
矩
的
阶原点矩：
，
阶中心矩：
注记 期望和方差就是其1阶原点矩和2阶中心矩
条件期望
条件期望 
设
为随机向量，若
，则称

 为
在
上的
条件期望，
为
关于
的
条件期望
注记 
(1) 条件期望就是条件分布的期望，
为
的
函数，
为
的函数，即
随机变量 
(2) 条件期望的本质是期望，因而具有期望的一切性质：
当
独立时，
条件方差 
称

为
关于
的
条件方差
注记 方差分解公式：
典型随机变量的期望方差

在概率论中学到的二维随机变量的协方差公式到底对应什么物理意义呢，为什么就能度量两个随机变量之间之间相关性了呢？这里带着大家，结合随机变量取值图像来实际理解这个公式，从此以后不再是死记硬背，而是通熟易懂的理解了它的实际意义我们就能更好地使用它，这个在统计学，机器学习等方面都有运用。文章简短，一看就会！！！

先上公式：

协方差：Cov(X,Y) = E[(X-E[X]) (Y-E[Y])]

相关系数：r(X,Y) = Cov(X,Y) / ( sqrt(Var[X]) * sqrt(Var[Y] )     注：Var[X]代表随机变量X的方差

 

从相关系数公式可以看出，相关系数公式只是把 协方差算出来的值 除以了 两个方差的开根号值，也就是相关系数跟协方差是一种正比例关系



     注：图中分别有两个随机变量X,Y，其中x1,x2.....xn 是X变量的所有取值，y1,y2.....yn 是Y变量的所有取值

红色的线代表自己的均值，▲X代表X变量当前取值和自己均值的差，▲Y代表X变量当前取值和自己均值的差

 

从相关这个词语的意思可以知道，如果两个变量X,Y相关性越大，那么他两的取值方式（都同时取了均值之上呢还是相反呢）应该越像：如上图所示

比如X变量当前取值x1是小于自己的均值E[X]的（▲x1 = x1-E[X] <0），同时Y当前取值y1也是小于自己的均值E[Y]的      （▲y1 = y1-E[X] <0），那我们就说X,Y当前的的取值方式一样，x1,y1两点正相关

比如X变量当前取值x2是大于自己的均值E[X]的（▲x2 = x2-E[X] >0），同时Y当前取值y2也是大于自己的均值E[Y]的         （▲y2 = y2-E[X] >0），那我们还是说X,Y当前的取值x2,y2正相关，因为取值方式确实还是一样的，都是在均值之上。

正相关判定性：上述两个式子等价于这个式子▲X*▲Y=（xi-E[X]）* （yi-E[Y]）>0

很明显上面图中X,Y两个随机变量所有的取值应该是正相关的，因为X,Y两个随机变量取值与均值差的正负性完全相同，那么总体上肯定就是正相关。就是上下波动性相同



既然我们知道如何判断正相关，同理，判断负相关就是，两者的取值方式是否刚好相反，

比如上图所示：xi取值在均值下方，此时的yi在均值上方，那我们就说他们取值方式相反，即负相关

或者 xi取值在均值上方，此时的yi在均值下方，那我们就说他们取值方式相反，也是负相关

负相关判定性：就等价于这个式子▲X*▲Y=（xi-E[X]）* （yi-E[Y]）<0

很明显上面图中X,Y两个随机变量所有的取值应该是负相关的，因为X,Y两个随机变量取值与均值差的正负性完全相反，那么总体上肯定就是负相关。也就是波动性相反

由于随机变量X,Y可以取很多个可能的值，上面我们已经得到了每个点的正负相关性，但是我们需要分析X,Y的整体相关性，所以我们需要把他们每个点的相关性都累加起来，然后取个平均值，就可以知道X,Y的整体相关性了

也就是：( ((x1-E[X])*y1-E[Y]) +  ((x2-E[X])*y2-E[Y]) +........((xn-E[X])*(yn-E[Y]) ) / n          （1）

其中x1,x2.....xn 是X变量的可能取值，E[X]是X变量的均值，即E[X] = (x1+x2+...xn) / n

其中y1,y2.....yn 是Y变量的可能取值，E[Y]是X变量的均值，即E[Y] = (y1+y2+...yn) / n

 

根据 均值 E[Z] = (z1+z2+z3+.....zn) / n 的定义公式，上面这个公式（1）不就是 E[(X-E[X]) (Y-E[Y])] 嘛，这个就是协方差的公式呀，所以协方差就是度量了X,Y两变量的整体相关性，即X,Y取值的方式相似性，都同时取了均值之上呢还是相反呢。

然后 Cov(X,Y) / ( sqrt(Var[X]) * sqrt(Var[Y] )，就是把协方差除以两个变量各自的方差（方差是常数），

这样操作后，可以理解为使得相关系数就是协方差被归一化了为【0，1】之间取值了（有兴趣自己去测试一下），更便于我们进行各种计算。

 

上面两图，如果题目给出了具体的值x1,x2...xn,y1.y2...yn，我们就可以进行计算相关系数了，

上面第一个图因为两变量取值方式完全相同，即完全正相关，相关系数算出来肯定=1

上面第二个图因为两变量取值方式完全相反，即完全负相关，相关系数算出来肯定=-1



如上图所示：如果左边一部分取值负相关，右边一部分正相关，也就是左边X和Y在均值上下取刚好相反，右边部分的同时在均值之上，总体算出来，X,Y相关系数可能是0（即不相关），也可能是0.2等，也可能是-0.3等等，即相关性没那么强。

 

总结：所以，协方差是两个变量X,Y相关性的一种度量，而相关系数就是协方差归一化的表现，

协方差正值越大代表正相关性越强，即X,Y同时取均值之上或者之下的值更多，整体来看，X,Y上下波动性（图像走势）同向（不太严谨，但是便于通俗理解）。

协方差负值越大代表负相关性越强，即X,Y一个取均值之上，同时另一个取均值之下的值更多（图像走势相反）。

如果协方差为0，代表不相关，整体来看，X,Y取值方式相反的点相互抵消了，即一部分上下波动同向，一部分反向，总体就相互抵消了

因此，相关性就是度量了X,Y两变量的整体相关性，即X,Y取值的方式相似性，都同时取了均值之上呢还是相反呢。大概理解上来说，就是指随机变量X,Y取值的上下波动方向性（走势）相同的程度

戳这里：概率论思维导图 ！！！

数学期望

离散型随机变量的数学期望

（这里要求级数绝对收敛，若不绝对收敛，则E(X)不存在）

如果有绝对收敛，则有

，其中

连续型随机变量的数学期望

（这里要求绝对收敛）

对于连续型随机变量的函数g(X)，有如下结论：

若积分收敛，则



二维随机变量的数学期望

（1）设(X,Y)是离散型随机变量，联合分布率为：

若绝对收敛，则Z=g(X,Y)的数学期望存在，且有



（2）设(X,Y)为连续型随机变量，联合概率密度函数为f(x,y)，若绝对收敛，则Z=g(X,Y)的数学期望存在，且有



特别，





数学期望的性质

（1）设C为常数，则E(C)=C

（2）设C为常数，则E(CX)=CE(X)

（3）E(X+Y)=E(X)+E(Y)

推论

（4）设随机变量X和Y相互独立，则E(XY)=E(X)E(Y)

 

方差

设X为离散型随机变量，分布律为,则



设X为连续型随机变量，概率密度函数为f(x)，则



方差的性质

（1）

（2）设C为常数，则D(C)=0

（3）设C为常数，则

（4）设X，Y相互独立，则D(X+Y)=D(X)+D(Y)

推论:设相互独立，则



 

协方差和相关系数

协方差（刻画X与Y之间的相互关系）：

相关系数（标准协方差）

E(XY)=E(X)E(Y)+Cov(X,Y)

D(X+Y)=D(X)+D(Y)+2Cov(X,Y)

Cov(X,X)=D(X)

若Cov(X,Y)=0，则称X与Y不相关。

当X与Y相互独立时，X与Y不相关。但是，当X与Y不相关时，未必有X与Y相互独立。

协方差与相关系数的性质：

（1）Cov(X,Y)=Cov(Y,X)

（2）Cov(aX,bY)=abCov(X,Y)

（3）

（4）

在二维正态分布中，参数$\rho$被定义为随机变量$X,Y$的相关系数，即$\rho=r(x,y)$。由
$r(x,y)=\frac{Cov(x,y)}{\sqrt{Var[x]Var[y]}} \\
Cov(x,y)=E[XY]-E[X]E[Y]$
即可证明。由于$E[XY]$的求解较为繁琐，本文记录此过程。
假设随机变量$(X,Y)\sim N(\mu_1,\mu_2,\sigma_1^2,\sigma_2^2,\rho)$，求$E[XY]$。
解：
$\begin{aligned}
    E[XY]&=\int_{-\infty}^\infty
    {
        \text dx\int_{-\infty}^\infty
        {
            \frac{xy}
            {
                2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}
            }
            \exp
            \left\{
                -\frac{1}{2(1-\rho^2)}
                \left(
                    \frac{(x-\mu_1)^2}{\sigma_1^2}-2\rho\frac{(x-\mu_1)(y-\mu_2)}{\sigma_1\sigma_2}+\frac{(y-\mu_2)^2}{\sigma_2^2}
                \right)
            \right\}
            \text dy
        }
    } \\
    &=\frac{1}
    {
        2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}
    }
    \int_{-\infty}^\infty
    {
        x
        \exp
        \left\{
            -\frac{1}{2(1-\rho^2)}\left(\frac{(x-\mu_1^2)}{\sigma_1^2}\right)
        \right\}
        \text dx\int_{-\infty}^\infty
        {
            y
            \exp
            \left\{
                -\frac{1}{2(1-\rho^2)}
                \left(
                    -2\rho\frac
                    {(x-\mu_1)(y-\mu_2)}
                    {\sigma_1\sigma_2}+\frac{(y-\mu_2)^2}{\sigma_2^2}
                \right)
            \right\}
            \text dy
        }
    }
\end{aligned}$
作代换$x\rightarrow\sigma_1x+\mu_1,y\rightarrow\sigma_2y+\mu_2$，则
$\begin{aligned}
    E[XY]&=\frac{1}
    {
        2\pi\sqrt{1-\rho^2}
    }
    \int_{-\infty}^\infty
    {
        (\sigma_1x+\mu_1)
        \exp
        \left\{
            -\frac{1}{2(1-\rho^2)}x^2
        \right\}
        \text dx\int_{-\infty}^\infty
        {
            (\sigma_2y+\mu_2)
            \exp
            \left\{
                -\frac{1}{2(1-\rho^2)}
                \left(
                    -2\rho xy+y^2
                \right)
            \right\}
            \text dy
        }
    }
\end{aligned}$
由于
$\begin{aligned}
    \int_{-\infty}^\infty
    {
        \exp
        \left(
            \frac{-x^2+2kx}{l^2}
        \right)
        \text dx
    }
    &=
    \int_{-\infty}^\infty
    {
        \exp
        \left[
            \frac{-(x-k)^2+k^2}{l^2}
        \right]
        \text dx
    } 
    \\ &=
    \exp\frac{k^2}{l^2}
    \int_{-\infty}^\infty
    {
        \exp
        \left(
            -\frac{u^2}{l^2}
        \right)
        \text du
    }
    \\ &=
    l\exp\frac{k^2}{l^2}
    \int_{-\infty}^\infty
    {
        \exp
        \left(
            -v^2
        \right)
        \text dv
    }
    \\ &=
    l\exp\frac{k^2}{l^2}\sqrt{\pi}
    \\
    \int_{-\infty}^\infty
    {
        x\exp
        \left(
            \frac{-x^2+2kx}{l^2}
        \right)
        \text dx
    }
    &=
    \int_{-\infty}^\infty
    {
        x\exp
        \left[
            \frac{-(x-k)^2+k^2}{l^2}
        \right]\text dx
    } 
    \\ &=
    \exp\frac{k^2}{l^2}
    \int_{-\infty}^\infty
    {
        (u+k)\exp(-\frac{u^2}{l^2})\text du
    }
    \\ &=
    \exp\frac{k^2}{l^2}l
    \int_{-\infty}^\infty
    {
        (vl+k)\exp(-v^2)\text dv
    }
    \\ &=
    kl\exp\frac{k^2}{l^2}\sqrt{\pi}
\end{aligned}$
因此
$\begin{aligned}
    E[XY]&=\frac{1}
    {
        \sqrt{2\pi}
    }
    \int_{-\infty}^\infty
    {
        (\sigma_1x+\mu_1)(\sigma_2\rho x+\mu_2)
        \exp
        \left\{
            -\frac{x^2}{2}
        \right\}
        \text dx
    }
    \\ &=
    \mu_1\mu_2+\rho\sigma_1\sigma_2
\end{aligned}$