文章目录
 
协方差矩阵
协方差
协方差矩阵
   
多元正态分布
协方差矩阵的特征值分解
  
 

 
协方差矩阵
 
协方差
 
在统计学中，方差用来度量单个随机变量的离散程度，而协方差用来刻画两个随机变量的相似程度，方差的计算公式
 ${\sigma }_x^2=\frac{1}{n-1}\sum _i^n(x_i-\bar{x})$
 其中 $n$ 表示样本数，$\bar{x}$ 表示观测样本的均值。
 协方差的计算公式定义为：
 $\sigma (x,y)=\frac{1}{n-1}\sum _{i=1}^n(x_i-\bar{x})(y_i-\bar{y})$
 在公式中，$\bar{x},\bar{y}$分别表示两个随机变量对应的观测样本均值。
 可以发现：
 
 
 
方差 ${\sigma }_x^2$ 可视作随机变量 $x$ 关于自身的协方差。
 
 
协方差矩阵
 
给定一个$d$维随机向量$x=(x_1,x_2,\cdots ,x_d)$，则
 $\sigma (x_m,x_k)=\frac{1}{n-1}\sum _{i=1}^n(x_{mi}-{\bar{x}}_m)(x_{ki}-{\bar{x}}_k)$
 协方差矩阵为：
 $$\Sigma =\left[\begin{array}{ccc}\sigma (x_1,x_1)& \cdots & \sigma (x_1,x_d)\\ ⋮& \ddots & ⋮\\ \sigma (x_d,x_1)& \cdots & \sigma (x_d,x_d)\end{array}\right]$$
 根据上述协方差矩阵的定义，矩阵$\Sigma$为对称矩阵(symmetric matrix)，其大小为 $d\times d$。
 
多元正态分布
 
 
 
假设一个向量$x$服从均值向量为$\mu$的均值向量、协方差矩阵为$\Sigma$的多元正态分布(multi-variable Gaussian distribution)，则
 $p(x)=|2\pi \Sigma {|}^{-\frac{1}{2}}\exp (-\frac{1}{2}(x-\mu {)}^T{\Sigma }^{-1}(x-\mu ))$
 
 
令均值向量$\mu =0$，指数前的系数 $|2\pi \Sigma {|}^{-\frac{1}{2}}$为常数项，所以有
 $p(x)\propto \exp (-\frac{1}{2}{x}^T{\Sigma }^{-1}x)$
 
令$x$为二维随机向量$x=(x_1,x_2)$，其协方差矩阵为单位矩阵 $I_2$，则$x_1$和$x_2$的方差均为1，生成的散点图如下：
 
 
对于每个随机数，似然为：
 $\mathcal{L}\propto \exp (-\frac{1}{2}{x}^{T}x)$
 对图1的点进行一个线性变换：$t=Ax$，得到图2：
 
 在上述变换中，矩阵$A$称为变换矩阵(transformation matrix)，将变换矩阵分解为两个矩阵。
 尺度矩阵(scaling matrix)：
 $S=\left[\begin{array}{cc}{s}_1& 0\\ 0& s_2\end{array}\right]=\left[\begin{array}{cc}1& 0\\ 0& \frac{1}{2}\end{array}\right]$
 旋转矩阵(rotation matrix)：
 $R=\left[\begin{array}{cc}\cos \theta & -\sin \theta \\ \sin \theta & \cos \theta \end{array}\right]=\left[\begin{array}{cc}\cos \frac{\pi }{6}& -\sin \frac{\pi }{6}\\ \sin \frac{\pi }{6}& \cos \frac{\pi }{6}\end{array}\right]=\left[\begin{array}{cc}\frac{\sqrt{3}}{2}& -\frac{1}{2}\\ \frac{1}{2}& \frac{\sqrt{3}}{2}\end{array}\right]$
 
其中$\theta$为逆时针旋转的度数。
 
 
 
变换矩阵、尺度矩阵和旋转矩阵的关系：$A=RS$
 
 
$A=RS=\left[\begin{array}{cc}\frac{\sqrt{3}}{2}& -\frac{1}{4}\\ \frac{1}{2}& \frac{\sqrt{3}}{4}\end{array}\right]$
 
经过线性变换 $t=Ax$，$t$的分布：
 将$x=A^{-1}t$ 带入似然 $\mathcal{L}(x)$
 $$\begin{gathered} \mathcal{L}\propto \exp (-\frac{1}{2}(A^{-1}t{)}^T(A^{-1}t)) \\ =\exp (-\frac{1}{2}{t}^T(A^{T}A{)}^{-1}t) \end{gathered}$$
 可得，多元正态分布的协方差矩阵：
 $\Sigma =A{A}^T=\left[\begin{array}{cc}\frac{13}{16}& \frac{3\sqrt{3}}{16}\\ \frac{3\sqrt{3}}{16}& \frac{7}{16}\end{array}\right]$
 
协方差矩阵的特征值分解
 
 
 
对于实对称矩阵$\Sigma$，必相似于对角矩阵，即存在可逆矩阵P，满足：
 $\Sigma =P\Lambda P^T$
 $P$的每一列为相互正交的特征向量，$\Lambda$为对角矩阵，特征值从大到小排列。
 
 
上述对称矩阵的分解可得：
 $\Sigma =(P{\Lambda }^{1/2})(P{\Lambda }^{1/2}{)}^T=A{A}^T=(RS)(RS{)}^T$
 可得：
 $P=R=\left[\begin{array}{cc}\cos \theta & -\sin \theta \\ \sin \theta & \cos \theta \end{array}\right]=\left[\begin{array}{cc}\frac{\sqrt{3}}{2}& -\frac{1}{2}\\ \frac{1}{2}& \frac{\sqrt{3}}{2}\end{array}\right]$
 $\Lambda =S{S}^T=\left[\begin{array}{cc}{s}_1^2& 0\\ 0& s_2^2\end{array}\right]=\left[\begin{array}{cc}1& 0\\ 0& \frac{1}{4}\end{array}\right]$
 
所以，多元正态分布得概率密度由协方差矩阵的特征向量控制旋转(rotation)，特征值控制尺度(scale)，均值向量控制概率密度的均值。
 
关于矩阵在线性变换的理解，见下篇博客。
 
如何直观地理解「协方差矩阵」？

正态分布中的半正定矩阵（协方差矩阵）
 
1.什么是正定矩阵和半正定矩阵
 
我们学习半正定矩阵前，得先了解，正定矩阵与半正定矩阵的关系以及什么是正定矩阵。这里先学习什么是二次型。
 
首先给出二次型的定义
 定义1:设P为数域，$a_{i}j\in P,i,j=1,2,\dots ,n$,n个数字x_1,x_2…,x_n的二次齐次多项式。
 
 
称为数域P上的一个n元二次型
 而这个式子可进一步可写成：
 
 由于约定二次型中
 
 ，可知$x_i{x}_j=x_j{x}_i$,有
 
 由于笔者数学基础差，在此记录一下转化过程
 
 将上式子的系数a排列成一个n×n矩阵
 
 这个矩阵就称为二次型的矩阵，由于上面我们所约定$a_{i}j=a_{j}i,i,j=1,2,\dots ,n$,由此可知$A^{\prime }=A$。
 
意思是：转置矩阵=原矩阵
 这种转置矩阵和原矩阵相等的矩阵称为对称矩阵，即二次型矩阵都是对称矩阵。
 
这个式子可以进一步化成以下形式：
 原式为：
 
 把x提出来
 
 再次转化成矩阵形式
 再把矩阵中x提取出来得到
 
 其中
 
 我们称 f(x)=X’AX 为二次型的矩形形式，其中实对称矩阵A称为该二次型的矩阵。
 二次型f称为实对称矩阵A的二次型。实对称矩阵A的秩称为:二次型的秩。于是，二次型f与其实对称矩阵A之间有一一对应关系。
 
$$\forall x\in R^n且x\ne 0\{\begin{array}{r}{X}^{T}AX>0(1)\\ X^{T}AX\ge 0(2)\end{array}$$
 其中（1）式成立，则称为正定矩阵，（2）式成立则称为半正定矩阵。
 
其中x^T Ax为二次型的矩形形式。
 
举一个简单的例子：
 (1)假设
 $$A=\left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right],x=\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]$$
 
则$X^{T}AX=x_1^2+x_1^2>0$。满足这一条件称为正定矩阵。
 
(2)假设
 
$$A=\left[\begin{array}{cc}1& 1\\ 1& 1\end{array}\right],x=\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]$$
 则$X^{T}AX=x_1^2+x_1^2+2x_1{x}_2=(x_1+x_2{)}^2\ge 0$。满足这一条件称为半正定矩阵。
 
2.正定矩阵和半正定矩阵意义
 
在一维中，二次函数表达形式为
 $y=a{x}^2+bx+c$,
 当$a>0$时，开口向上，凸函数，存在最低点。当$a<0$时，开口向下，凹函数，存在最高点。
 输入：x 单元（一维下的值）
 输出：y 单值（一维下的值）
 
在多维中，二次函数的输入x数为矩阵形式，例如：
 输入：$$A=\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}m\right],多元（多位下的矩阵）$$
 输出：y 单值（一维下的值）
 
这里我们可以得到一个结论，
 假设A矩阵为正定矩阵且对称，则所有特征值≥0;
 
个人总结推导：
 当$A$矩阵为正定时，$\forall x\in R^n$且$x\ne 0,X^{T}AX>0$ 。
 当$A$矩阵为对称时，$A^T=A$，且必有正交矩阵$P^{T}AP=\wedge$，其中$\wedge$是以$A$的$n$个特征值为对角元素的对角矩阵。对应于不同特征值的特征向量正交，故这$n$个单位特征向量两两正交。以它们为列向量构成正交矩阵P,则可得到：$P^{T}AP=P^T\wedge P=\wedge$
 即可得：$A=P^T\wedge P$。
 
将$A=P^T\wedge P代入X^{T}AX>0$，可得：$X^T{P}^T\wedge PX>0$。
 假设$y=P^{T}X,y^T=P{X}^T,P^T$为一个可逆的n×n矩阵。则$X^{T}P\wedge P^{T}X>0$可化为$y^T\wedge y>0$。
 因为
 $\wedge =\left[\begin{array}{ccc}{\lambda }_1& \cdots & 0\\ ⋮& \ddots & ⋮\\ 0& \cdots & {\lambda }_1\end{array}\right]$
 
$y^T\wedge y={\lambda }_1{y}_1^2+{\lambda }_2{y}_2^2+\cdots +{\lambda }_n{y}_n^2>0$，可得到当取任取$y_i=1$，其他元素都为0时，可得到${\lambda }_i>0$。
 
个人理解：对于$x\ne 0$，其$y^T\wedge y>0$的情况下，$y^T$和$y$都不等于0。且$y^T$和$y$相乘都为正，所以$\wedge$的值应大于0，即所有的${\lambda }_i$>0。
 
同理可推出半正定矩阵中的特征值。
 假设$A$矩阵为半正定矩阵，则所有特征值≥0;
 
3.半正定矩阵
 
上面已经介绍了半正定矩阵，下面证明协方差矩阵是半正定矩阵。
 首先先理解什么是协方差矩阵
 设$Y=[(y_1,y_2,y_3,\dots ,y_n){]}^T$为$n$维随机变量，称矩阵为
 

 要证明$\sum$为半正定矩阵，需要证明对于任意$Y=[(y_1,y_2,y_3,\dots ,y_n){]}^T$为$n$维随机变量，有$Y^T\sum Y\ge 0$。
 
先计算Y^T∑部分
 
 
 在把$X$加进去，计算$Y^T\sum Y$部分
 假设
 
 由此我们可以得到：$Y^T\sum Y=E(W^2)>0$
 
所以我们可以理解了在概率机器人中多元正太分布的密度函数：
 
 其中，μ数均值矢量，∑是一个半正定矩阵也称协方差矩阵。

 
 
1. k阶（原点）矩和k阶中心矩的定义
 
 
 
 
2. k+l阶混合（原点）矩和k+l阶混合中心矩的定义
 
 
 
 
3. n元随机变量的数学期望（向量）的定义
 
 
 
 
4. n元随机变量的协方差矩阵的定义
 
 
 
 
5. n元正态随机变量的联合概率密度的矩阵表示
 
 
 
 
6. n元正态随机变量的四条重要性质
 
 
 
 
 
 
 
7. 示例
 
 
 
 

本博文源于matlab基础，主要对协方差矩阵如何生成进行讲解。该函数使用randn
 
cov使用
 
randn(m,n) % 生成一个m*n标准正态分布 矩阵
cov(m)% 求出m的协方差矩阵
 
例子：求出5*6阶服从正态分布随机数的协方差矩阵
 
>> p = randn(5,6)

p =

    0.6630    0.4853    1.5352    0.0359   -2.0543   -0.0787
   -0.8542   -0.5955   -0.6065   -0.6275    0.1326   -0.6817
   -1.2013   -0.1497   -1.3474    0.5354    1.5929   -1.0246
   -0.1199   -0.4348    0.4694    0.5529    1.0184   -1.2344
   -0.0653   -0.0793   -0.9036   -0.2037   -1.5804    0.2888

>> cov(p)

ans =

    0.5333    0.2058    0.7220   -0.0110   -0.9222    0.2571
    0.2058    0.1720    0.2609    0.0330   -0.4424    0.1530
    0.7220    0.2609    1.3578    0.0520   -0.9066    0.0918
   -0.0110    0.0330    0.0520    0.2529    0.4083   -0.1762
   -0.9222   -0.4424   -0.9066    0.4083    2.5379   -0.9402
    0.2571    0.1530    0.0918   -0.1762   -0.9402    0.4091

>>