摘要
 
高斯分布被誉为"上帝的分布", 其强悍的建模能力和优美的数学性质使得高斯分布在现实中得到广泛的应用. 由中心极限定理 
 

   我们知道, 大量独立同分布的随机变量的均值在做适当标准化之后会依分布收敛于高斯分布, 这使得高斯分布具有普适性的建模能力. 数学上, 当使用高斯分布对贝叶斯推断的似然和先验进行建模时, 得到的后验同样为高斯分布, 即其具有共轭先验性质. 在随机过程理论中, 多元高斯分布则是高斯过程的理论基础. 这种种场景使得高斯分布颇受重视, 并发展出一套成熟完整的理论体系. 本文主要介绍多元高斯分布的由来与其背后的几何原理, 分为如下章节:
 
 
阐述多元标准高斯分布;
由多元标准高斯分布导出多元高斯分布;
阐述多元高斯分布的几何意义;
总结.
 
关键词: 多元高斯分布, 高斯过程, 概率论与数理统计, 机器学习
 
校对: @叶定南, @Towser, @Syous 
 
编者按: 评论区中, @Towser 和 @Syous 两位大神对多元高斯分布有非常深刻的见解和讨论.
 

 
多元标准高斯分布
 
熟悉一元高斯分布的同学都知道, 若随机变量 
 

   , 则有如下的概率密度函数
 
 

 

  
 
 
而如果我们对随机变量 
 

   进行标准化, 用 
 
 

   对(1)进行换元, 继而有
 
 

 

  
 
 
此时我们说随机变量 
 

   服从一元标准高斯分布, 其均值 
 
 

   , 方差 
 
 

   , 其概率密度函数为
 
 

 

  
 
 
需要注意的是, 为了保证概率密度函数在 
 

   上的积分为1, 换元时需要求 
 
 

   , 从而得到(3).
 
 
随机变量 
 

  
 
  标准化的过程, 实际上的消除量纲影响和分布差异的过程. 通过将随机变量的值减去其均值再除以标准差, 使得随机变量与其均值的差距可以用若干个标准差来衡量, 从而实现了不同随机变量与其对应均值的差距, 可以以一种相对的距离来进行比较.
 
一元标准高斯分布与我们讨论多元标准高斯分布有什么关系呢? 事实上, 多元标准高斯分布的概率密度函数正是从(4)导出的. 假设我们有随机向量 
 

   , 其中 
 
 

   且 
 
 

   彼此独立, 即随机向量中的每个随机变量 
 
 

   都服从标准高斯分布且两两彼此独立. 则由(4)与独立随机变量概率密度函数之间的关系, 我们可得随机向量 
 
 

   的联合概率密度函数为
 
 

 

  
 
 
我们称随机向量 
 

   , 即随机向量服从均值为零向量, 协方差矩阵为单位矩阵的高斯分布. 在这里, 随机向量 
 
 

   的协方差矩阵是 
 
 

   组成的矩阵, 即
 
 

 

  
 
 
由于随机向量 
 

   , 所以其协方差矩阵的对角线元素为1, 其余元素为0. 如果我们取常数 
 
 

   , 则可得函数 
 
 

   的等高线为 
 
 

   , 当随机向量 
 
 

   为二维向量时, 我们有
 
 

 

  
 
 
由(7)我们可知, 其等高线为以(0, 0)为圆心的同心圆.
 

 

  
 
 
 
多元高斯分布
 
由上一节我们知道, 当随机向量 
 

   时, 其每个随机变量 
 
 

   彼此独立, 我们可通过(4)与独立随机变量概率密度函数之间的关系得出其联合概率密度函数(5). 那对于普通的随机向量 
 
 

   , 即其每个随机变量 
 
 

   且 
 
 

   彼此不独立的情况下, 我们该如何求随机向量 
 
 

   的联合概率密度函数呢? 一个很自然的想法是, 
 
 如果我们能通过线性变换, 使得随机向量 
 

  
 
  中的每个随机变量彼此独立, 则我们也可以通过独立随机变量概率密度函数之间的关系求出其联合概率密度函数. 事实上, 我们有如下定理可完成这个工作 
 

  
 
 

  定理1: 若存在随机向量 
  

    , 其中 
  
  

    为均值向量, 
  
  

    半正定实对称矩阵为 
  
  

    的协方差矩阵, 则存在满秩矩阵 
  
  

    , 使得 
  
  

    , 而 
  
  

    .
  
 
 
有了定理1, 我们就可以对随机向量 
 

   做相应的线性变换, 使其随机变量在线性变换后彼此独立, 从而求出其联合概率密度函数, 具体地
 
 

 

  
 
 
由多元函数换元变换公式, 我们还需要求出雅可比行列式 
 

   , 由(8)可得
 
 

 

  
 
 
由(9)(10), 我们可进一步得
 

 

  
 
 
我们得到随机向量 
 

   的联合概率密度函数为
 
 

 

  
 
 
在(12)中, 随机向量 
 

   的协方差矩阵还未得到体现, 我们可通过线性变换(8)做进一步处理
 
 

 

  
 
 
我们发现, (12)中 
 

   就是线性变换前的随机向量 
 
 

   的协方差矩阵 
 
 

   , 所以由(12)(13), 我们可以得到联合概率密度函数的最终形式
 
 

 

  
 
 
原本由定理1, 我们还需要求线性变换矩阵 
 

  
 
  , 才能确定随机向量 
 

  
 
  的联合概率密度函数的表达式, 现在由(13)我们即可得最终形式(14), 随机向量 
 

  
 
  的联合概率密度函数由其均值向量 
 

  
 
  和其协方差矩阵 
 

  
 
  唯一确定, 但我们需要明白的是, 这是通过定理1的线性变换 
 

  
 
  得到的, 即此线性变换隐含其中.
 
如果我们取常数 
 

   , 则可得函数 
 
 

   的等高线为
 
 

   , 当随机向量 
 
 

   为二维向量时, 我们对协方差矩阵 
 
 

   进行分解, 因为其为实对称矩阵, 可正交对角化
 
 

 

  
 
 
由于矩阵 
 

   是酉矩阵, 所以 
 
 

   可以理解为将随机向量 
 
 

   , 均值向量 
 
 

   在矩阵 
 
 

   的列向量所组成的单位正交基上进行投影并在该单位正交基上进行相减. 我们不妨记投影后的向量分别为 
 
 

   , 同时记矩阵 
 
 

   , 则(15)的二次型可表示为
 
 

 

  
 
 
由(16)我们可知, 此时函数 
 

   的等高线是在矩阵 
 
 

   的列向量所组成的单位正交基上的一个椭圆, 椭圆的中心是 
 
 

   , 长半轴为 
 
 

   , 短半轴为 
 
 

   . 
 
 
如果协方差矩阵 
 

   不是对角矩阵, 则正交对角化得到的酉矩阵 
 
 

   不是标准正交基, 其代表一个旋转, 此时的椭圆应该是一个倾斜的椭圆, 随机向量 
 
 

   中的随机变量不是彼此独立的; 
 
 

 

  
 
 
 
如果协方差矩阵 
 

   是对角矩阵, 则正交对角化得到的酉矩阵 
 
 

   就是标准正交基, 则前述的投影是在标准正交基上完成的, 此时的椭圆应该是一个水平的椭圆, 随机向量 
 
 

   中的随机变量就是彼此独立的.
 
 

 

  
 
 
 
多元高斯分布的几何意义
 
现在我们知道, 随机向量 
 

   的联合概率密度函数是通过线性变换 
 
 

   的帮助, 将随机向量 
 
 

   的各个随机变量去相关性, 然后利用独立随机变量概率密度函数之间的关系得出的, 亦既是定理1所表述的内容. 那具体地, 线性变化 
 
 

   是怎么去相关性使随机向量 
 
 

   的各个随机变量彼此独立的呢? 我们不妨在二维平面上, 再次由定理1和(15)出发来看看这个去相关性的过程.
 
 
由定理1我们有
 

 

  
 
 
再由(15)(17)可得
 

 

  
 
 
由(18)我们已经可以非常明显地看出线性变换 
 

   的具体操作了
 
 

 

  
 
 
我们先对标准正交基进行拉伸, 横轴和纵轴分别拉伸 
 

   倍, 再使用酉矩阵 
 
 

   对拉伸后的正交基进行旋转, 最后将去均值的随机向量 
 
 

   在新的正交基上进行投影, 从而使完成线性变换 
 
 

   后的随机变量在新的正交基上彼此独立. 值得注意的是, 如果随机向量 
 
 

   本来就是独立随机变量组成的, 此时其协方差矩阵是一个对角矩阵, 则酉矩阵 
 
 

   是一个单位矩阵 
 
 

   , 此线性变换中只有拉伸而没有旋转.
 
 

 

  
 
 
 
而如果我们只保留 
 

  
 
  这个投影后坐标轴长度较长的对应的坐标, 我们就可以达到将随机向量 
 

  
 
  进行降维的效果, 而这, 就是所谓的PCA(principal component analysis, 主成分分析).
 
总结
 
本文从多元标准高斯分布出发, 阐述了如何通过线性变换, 将任意的服从多元高斯分布的随机向量去相关性, 并求出其联合概率密度函数的过程, 最后给出了线性变换的具体过程阐述. 多元高斯分布是许多其他理论工具的基础, 掌握它是进行其他相关理论研究的关键.
 

 
引用
 
[1] Wikipedia contributors. "中心极限定理."维基百科, 自由的百科全书. 维基百科, 自由的百科全书, 9 May 2018. Web. 9 May 2018.‹https://zh.wikipedia.org/w/index.php?title=%E4%B8%AD%E5%BF%83%E6%9E%81%E9%99%90%E5%AE%9A%E7%90%86&oldid=49494817›.
 
[2] Do, C. (2008).The Multivariate Gaussian Distribution. [online] Cs229.stanford.edu. Available at: http://cs229.stanford.edu/section/gaussians.pdf [Accessed 13 Mar. 2019].
 
[3] 张, 伟. (2019). 多元正态分布. [online] Staff.ustc.edu.cn. Available at: http://staff.ustc.edu.cn/~zwp/teach/MVA/Lec4_slides.pdf [Accessed 13 Mar. 2019].
 
[4] Wikipedia contributors. "多元正态分布."维基百科, 自由的百科全书. 维基百科, 自由的百科全书, 16 Sep. 2018. Web. 16 Sep. 2018.‹https://zh.wikipedia.org/w/index.php?title=%E5%A4%9A%E5%85%83%E6%AD%A3%E6%80%81%E5%88%86%E5%B8%83&oldid=51304757›.
 
[5] Wikipedia contributors. "雅可比矩阵."维基百科, 自由的百科全书. 维基百科, 自由的百科全书, 7 Dec. 2018. Web. 7 Dec. 2018.‹https://zh.wikipedia.org/w/index.php?title=%E9%9B%85%E5%8F%AF%E6%AF%94%E7%9F%A9%E9%98%B5&oldid=52294204›.

转自：https://www.cnblogs.com/jiangkejie/p/12939776.html
 
高斯分布是一类非常重要的概率分布，在概率统计，机器学习中经常用到。
 
一维高斯分布
 
一维高斯分布的概率密度函数（pdf）形式为：
 
 
 
 
红色的曲线是标准的正态分布，即均值为0，方差为1的正态分布。
 
我们可以采用以下方程从均值为 μ 标准差为 σ 的高斯分布中采样（再参数化技巧）: 
 
 
 其中，ϵ 从一个标准高斯分布中采样。
 
多维/多变量高斯分布
 
正态分布的概念可以扩展到一个以上的维度——k维的一般多元正态分布的概率密度函数如下:
 
 
 其中，|Σ|为协方差矩阵的行列式。
 
 在2D中，均值向量μ和对称的协方差矩阵Σ定义为：
 
 
 其中ρ是两个维度x1和x2之间的相关系数。
 
 
各向同性的高斯分布
 
各向同性的高斯分布（球形高斯分布）指的是各个方向方差都一样的多维高斯分布，协方差为正实数与identity matrix相乘。
 
因为高斯的circular symmetry，只需要让每个轴上的长度一样就能得到各向同性，也就是说分布密度值仅跟点到均值距离相关，而不和方向有关。
 
各向同性的高斯每个维度之间也是互相独立的，因此密度方程可以写成几个1维度高斯乘积形式。要注意的是，几个高斯分布乘在一起得到各向同性，但几个Laplace分布相乘就得不到各向同性！
 
此类高斯分布的参数个数随维度成线性增加，只有均值在增加，而方差是一个标量，因此对计算和存储量的要求不大，因此非常讨人喜欢~
 
 
其中， Σ =  σI,  I为单位阵，σ为标量。
 
 
 两个多元高斯分布之间的KL散度的解析表示
 
 
 根据上述引理，可推导出两个多元高斯分布之间的KL散度的解析表示：
 
 
 具有对角协方差矩阵的多元高斯分布与多元标准高斯分布间的KL散度
 
对角形式的协方差矩阵 Σ = diag(σ2), σ为标准差向量。
 
具有对角协方差矩阵的高斯分布每个维度之间也是互相独立的，因此密度方程也可以写成几个1维度高斯乘积形式。
 
 
 
 
 
 一种直观的解释方式：
 
注意到，密度方程可以写成几个1维度高斯乘积形式，
 
 
 
 
 最后的结果是各个维度结果的加和。
 
 复数高斯分布
 
随机变量是复数时，定义以下复高斯分布：
 
 
 
 
 当mu=0时，该分布是圆对称的（对于x的相位偏移具有不变性）。
 

 参考：
 
https://www.zhihu.com/question/343638697/answer/808598383
  
 
https://kexue.fm/archives/5253 
 
 
 
https://blog.csdn.net/NeutronT/article/details/78086340
 
 

 
高斯分布和卡方分布
 
高斯分布和卡方分布
高斯分布
1 单元高斯分布
1.1 一维随机变量
1.2 标准正太分布
1.3 numpy中使用正太分布
    
2 多元高斯分布
2.1 独立多元/维高斯分布
2.2 举例-画2维独立不相关高斯图
2.3 相关系数
2.3 举例-画2维不独立相关高斯图
   
  
 

 
高斯分布和卡方分布
 
高斯分布
 
1 单元高斯分布
 
1.1 一维随机变量
 
定义：若连续型随机变量$X$的概率密度为
 $$f(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}},-\infty <x<\infty ,\text{\hspace{1em}(1.1)}$$
 其中$\mu ,\sigma (\sigma >0)$为常数，则称$X$服从参数为$\mu ,\sigma$的正太/高斯分布，记为$X\sim N(\mu ,{\sigma }^2)$.
 性质：
 
$f(x)\ge 0$
${\int }_{-\infty }^{\infty }f(x)dx=1$
 
下图为均值为$\mu ,均方根为\sigma$的高斯分布图，峰值最大值为$f(x{)}_{max}=\frac{1}{\sqrt{2\pi }\sigma },x=\mu .$
 
 特点：
 
如果固定方差${\sigma }^2$, 改变参数$\mu$，则正太曲线沿着$x$轴平行移动，而图形的形状不改变。
 
 这个问题很容易想明白，因为均值$\mu$是跟$(x-\mu )$一起的，因此$(x-(\mu +\delta ))=((x-\delta )-\mu )$, 即对$x$做了平移处理。
 
import numpy as np
import matplotlib.pyplot as plt
import mpl_toolkits.axisartist as axisartist

#定义坐标轴函数
def setup_axes(fig, rect):
    ax = axisartist.Subplot(fig, rect)
    fig.add_axes(ax)

    ax.set_ylim(-.2, 1.2)
    #自定义刻度
#    ax.set_yticks([-10, 0,9])
    ax.set_xlim(-10,10)
    ax.axis[:].set_visible(False)

	#第2条线，即y轴,经过x=0的点
    ax.axis["y"] = ax.new_floating_axis(1, 0)
    ax.axis["y"].set_axisline_style("-|>", size=1.5)
#    第一条线，x轴，经过y=0的点
    ax.axis["x"] = ax.new_floating_axis(0, 0)
    ax.axis["x"].set_axisline_style("-|>", size=1.5)

    return(ax)

def gaussian(x,mu,sigma):
    f_x = np.exp(-np.power(x-mu, 2.)/(2*np.power(sigma,2.)))
    return(f_x)

#设置画布
fig = plt.figure(figsize=(8, 8)) #建议可以直接plt.figure()不定义大小
ax1 = setup_axes(fig, 111)
ax1.axis["x"].set_axis_direction("bottom")
ax1.axis['y'].set_axis_direction('right')

#在已经定义好的画布上加入高斯函数

x_values = np.linspace(-20,20,2000)
for mu,sigma in [(2,3),(3,3),(4,3)]:
   plt.plot(x_values,gaussian(x_values,mu,sigma),label=r'$\mu=$'+str(mu)+',$\sigma^2=3$')

plt.show()
 
如果固定$\mu$, 改变参数$\sigma$，由于峰值最大值为$f(x{)}_{max}=\frac{1}{\sqrt{2\pi }\sigma }$，所以$\sigma$变小则图形“尖瘦”，反之“矮胖”
 
 
for mu,sigma in [(2,0.5),(2,2),(2,3)]:
    plt.plot(x_values,gaussian(x_values,mu,sigma),label=r'$\mu=2$'+',$\sigma^2=$'+str(sigma**2))
 
1.2 标准正太分布
 
特别的， 当$\mu =0,\sigma =1$时随机变量$X$服从标准正太分布,记为$X\sim N(0,1)$，分布密度和分布函数为：
 $$f(x)=\frac{1}{\sqrt{2\pi }}{e}^{-\frac{x^2}{2}},-\infty <x<\infty$$
 $$F(x)=\frac{1}{\sqrt{2\pi }}{\int }_{-\infty }^x{e}^{-\frac{t^2}{2}}dt,-\infty <x<\infty$$
 注意分布密度函数$F(x)$是$x$的函数而不是$t$的函数，因为$t$被积分掉了，而$x$才是变化的量。
 一般的，对于$X\sim N(\mu ,{\sigma }^2)$的分布函数，可通过线性变换化成标准正太分布形式。
 $$F(x)={\int }_{-\infty }^x\frac{1}{\sigma \sqrt{2\pi }}{e}^{-\frac{(t-\mu {)}^2}{2{\sigma }^2}}dt$$
 令$y=\frac{t-u}{\sigma }$,可得
 $$F(x)={\int }_{-\infty }^{\frac{x-\mu }{\sigma }}\frac{1}{\sqrt{2\pi }}{e}^{-\frac{y^2}{2}}dy$$
 （上面利用$dy=d(\frac{t-\mu }{\sigma })=d\frac{t}{\sigma }$,因为后者是常数为零；当$t=x时，y=\frac{x-\mu }{\sigma }$,这是上限）
 所以由上式可以看到$y\sim N(0,1)$,即y服从标准正太分布
 （P276，高数三）
 
1.3 numpy中使用正太分布
 
可以参考这篇博客：numpy random --mr.cat博文
 
2 多元高斯分布
 
可以参考这篇博文多元高斯分布，用google浏览器打开，否则会有些公式不能显示
 
2.1 独立多元/维高斯分布
 
这一部分将以图片形式引用这篇博文多元高斯分布，感谢博主，建议大家查看原文，因为写的很好。
 
 这里$z^2$之所以可以写成$U\Sigma U^T$的形式，即进行奇异值分解，是因为$z^2$是二次型。强烈建议看一下这个博文如何理解二次型，简单说，二次型就是$f(x,y)$变量中每一项的$x和y$的幂次相加等于2.如下图
 
 
 
 (注意：在上面的图片中，不相关的二维正太分布每个截面都是圆形，表示不相关)
 
即，在一元标准正太分布中，分布密度为
 $$f(x)=\frac{1}{\sqrt{2\pi }}{e}^{-\frac{x^2}{2}},-\infty <x<\infty ,\text{\hspace{1em}(2.1.1)}$$
 而在$n$元标准正太分布中，分布密度为
 $$f(z)=\frac{1}{{\left(\sqrt{2\pi }\right)}^n{\sigma }_z}{e}^{-\frac{z^2}{2}},{\sigma }_z={\sigma }_1{\sigma }_2\dots {\sigma }_n,\text{\hspace{1em}(2.1.2)}$$
 所以，需要记住的是，最一般的$n$维高斯分布密度函数为
 $$f(z)=\frac{1}{{\left(\sqrt{2\pi }\right)}^n|\Sigma {|}^{1/2}}{e}^{-\frac{(x-{\mu }_x{)}^T(\Sigma {)}^{-1}(x-{\mu }_x)}{2}}，\text{\hspace{1em}(2.1.3)}$$
 $$(x-{\mu }_x{)}^T=[(x_1-{\mu }_{x_1})(x_2-{\mu }_{x_2})\dots ]是行矩阵$$
 $$\Sigma 是协方差矩阵$$以2维矩阵为例，$\Sigma$的表达式为
 
 
2.2 举例-画2维独立不相关高斯图
 
即上面$(2.1.2)$的$n=2$的情况
 $$f(x)=\frac{1}{{\left(\sqrt{2\pi }\right)}^2{\sigma }_1{\sigma }_2}{e}^{-\frac{(x_1-{\mu }_1{)}^2}{2{\sigma }_1^2}-\frac{(x_2-{\mu }_2{)}^2}{2{\sigma }_2^2}},\text{\hspace{1em}(2.2.1)}$$
 
 
import numpy as np
import matplotlib.pyplot as plt
import mpl_toolkits.axisartist as axisartist
from mpl_toolkits.mplot3d import Axes3D #画三维图不可少
from matplotlib import cm  #cm 是colormap的简写

#定义坐标轴函数
def setup_axes(fig, rect):
    ax = axisartist.Subplot(fig, rect)
    fig.add_axes(ax)

    ax.set_ylim(-.2, 1.2)
    #自定义刻度
#    ax.set_yticks([-10, 0,9])
    ax.set_xlim(-10,10)
    ax.axis[:].set_visible(False)

	#第2条线，即y轴,经过x=0的点
    ax.axis["y"] = ax.new_floating_axis(1, 0)
    ax.axis["y"].set_axisline_style("-|>", size=1.5)
#    第一条线，x轴，经过y=0的点
    ax.axis["x"] = ax.new_floating_axis(0, 0)
    ax.axis["x"].set_axisline_style("-|>", size=1.5)

    return(ax)
# 1_dimension gaussian function
def gaussian(x,mu,sigma):
    f_x = 1/(sigma*np.sqrt(2*np.pi))*np.exp(-np.power(x-mu, 2.)/(2*np.power(sigma,2.)))
    return(f_x)

# 2_dimension gaussian function
def gaussian_2(x,y,mu_x,mu_y,sigma_x,sigma_y):
    f_x_y = 1/(sigma_x*sigma_y*(np.sqrt(2*np.pi))**2)*np.exp(-np.power\
              (x-mu_x, 2.)/(2*np.power(sigma_x,2.))-np.power(y-mu_y, 2.)/\
              (2*np.power(sigma_y,2.)))
    return(f_x_y)

#设置2维表格
x_values = np.linspace(-5,5,2000)
y_values = np.linspace(-5,5,2000)
X,Y = np.meshgrid(x_values,y_values)
#高斯函数
mu_x,mu_y,sigma_x,sigma_y = 0,0,0.8,0.8
F_x_y = gaussian_2(X,Y,mu_x,mu_y,sigma_x,sigma_y)
#显示三维图
fig = plt.figure()
ax = plt.gca(projection='3d')
ax.plot_surface(X,Y,F_x_y,cmap='jet')
# 显示等高线图
#ax.contour3D(X,Y,F_x_y,50,cmap='jet')
# 显示2d等高线图,画8条线
# plt.contour(X,Y,F_x_y,8)
 
如果画成平面上的等高线图会更好理解，如下图，是一个个圆，也就是无相关
 
    ax.set_ylim(-4, 4)
    #自定义刻度
#    ax.set_yticks([-10, 0,9])
    ax.set_xlim(-4,4)
 
#设置画布
fig = plt.figure(figsize=(8, 8)) #建议可以直接plt.figure()不定义大小
ax1 = setup_axes(fig, 111)
ax1.axis["x"].set_axis_direction("bottom")
ax1.axis['y'].set_axis_direction('right')
 
# 显示2d等高线图,画8条线
plt.contour(X,Y,F_x_y,8)
 
 
2.3 相关系数
 
这里参考高数三P342.
 定义：设二维随机向量$(X,Y)$的方差$DX>0,DY>0$，协方差$Cov(X,Y)$都存在，则称
 $${\rho }_{X,Y}=\frac{Cov(X,Y)}{\sqrt{DX}\sqrt{DY}}=\frac{Cov(X,Y)}{{\sigma }_X{\sigma }_Y}$$
 为随机变量$X和Y$的相关系数
 性质：
 
$|{\rho }_{XY}|\le 1$
$\rho$是可以为负数的
$\rho 越接近1$表明相关程度越大，$\rho =1$表明随机点$(X,Y)$在$y=ax+b$线上；$\rho =0$表示不相关，此时协方差=0
 
2.3 举例-画2维不独立相关高斯图
 
协方差矩阵$\Sigma$的形式为$$\text{\hspace{1em}(2.3,1)}$$
 
 
对角线上是方差，其他是协方差，当随机变量之间不独立的时候，协方差是不为零的。上面的协方差矩阵可以写成$$\text{\hspace{1em}(2.3,2)}$$
 
 公式$(2.1.3)$考虑相关时，$\rho$不等于0，此时协方差矩阵$\Sigma$是$(2.3.2)$的形式，因此分布密度函数为
 $$f(x)=\frac{1}{2\pi {\sigma }_1{\sigma }_2\sqrt{1-{\rho }^2}}{e}^{-\frac{1}{2(1-{\rho }^2)}\left[\frac{(x_1-{\mu }_1{)}^2}{{\sigma }_1^2}-2\rho \frac{(x-{\mu }_1)(x-{\mu }_2)}{{\sigma }_1{\sigma }_2}+\frac{(x_2-{\mu }_2{)}^2}{{\sigma }_2^2}\right]}\text{\hspace{1em}(2.3.3)}$$
 过程如下：
 
 现在，画出2维高斯分布相关图
 现在画出几种相关图，首先看一下三维图
 

 
 
 
 
 

高斯那些公式 
 
 
已知 $D$ 维向量 $\mathbf {x}$，其高斯概率分布为：
 

 $$\begin{split}
\mathcal N\left(\mathbf x|\mathbf \mu, \mathbf \Sigma\right)=&\frac1{\left(2\pi\right)^{D/2}}\frac1{|\Sigma|^{1/2}}\exp\left(-\frac12\left(\mathbf x-\mathbf \mu\right)^T\Sigma^{-1}\left(\mathbf x-\mathbf \mu\right)\right)\\
=&\frac1{\sqrt{|\Sigma|(2\pi)^D}}\exp\left(-\frac12\left(\mathbf x-\mathbf \mu\right)^T\Sigma^{-1}\left(\mathbf x-\mathbf \mu\right)\right)
\end{split}$$ 
 
显然默认 $\mathbf x$ 是一个列向量
还需注意的是，当传递进去的是样本矩阵 $X$（以行为样本） 而不是列向量 $x$，则在计算指数部分时，
 
-1/2*sum(X/Sigma .* X, 2);
当多元高斯分布退化为一元高斯时，$\Sigma$ 对应着 $\sigma^2$（方差），而不是标准差（standard deviation）
这里 $d=\sqrt{\left(\mathbf x-\mathbf \mu\right)^T\Sigma^{-1}\left(\mathbf x-\mathbf \mu\right)}$ 也称为马氏距离； 
 是对一元高斯分布对应的 $d=\frac{x-\mu}{\sigma}$ 得拓展；
多元时的 $d=\sqrt{\left(\mathbf x-\mathbf \mu\right)^T\Sigma^{-1}\left(\mathbf x-\mathbf \mu\right)}$ 也可视为某种程度的 z-分数，尤其在变量之间彼此独立，并且方差相同时， $d=\frac{\|\mathrm x-\mu\|}{\sigma}$（z-分数）， 
 
  
d=1，68%
d=2，95%
d=3, 99% 
 3σ rule for multivariate normal distribution
 
1. 条件高斯分布（Conditional Gaussian distributions）
 
Multivariate normal distribution - Wikipedia
 
2. 编程时的技巧
 
$\alpha \exp(f(x))$ 的计算通常转换为，求对数，再求指数的形式：$e^{\log\alpha\exp(f(x))}=e^{\log \alpha+f(x)}$
$p=\frac1{\sqrt{|\Sigma|(2\pi)^D}}\exp\left(-\frac12\left(\mathbf x-\mathbf \mu\right)^T\Sigma^{-1}\left(\mathbf x-\mathbf \mu\right)\right)$ ⇒ $\log p=-\frac D2\log(2\pi)-\frac12\log |\Sigma|-\frac12\left(\mathbf x-\mathbf \mu\right)^T\Sigma^{-1}\left(\mathbf x-\mathbf \mu\right)$
 
3. 多元高斯概率密度函数的 matlab 实现
 
function p = gaussProb(X, mu, Sigma)
d = size(Sigma, 2);
X = bsxfun(@minus, X, mu(:)');
log1 = -d/2*log(2*pi)-1/2*logdet(Sigma);
log2 = -1/2*sum(X/Sigma .* X, 2);
p = exp(log1+log2);
end
 
这里的 
   
    X
   <script type="math/tex" id="MathJax-Element-18">X</script>（样本矩阵）以行为样本；