1. 多元高斯分布
设 
 维随机向量 
 服从多元高斯分布， 
 为随机变量 
 的一阶矩，且 
 维向量 
 ， 
 为随机变量 
 和 
 的二阶矩（ 
 时为方差， 
 时为协方差），且 
 维半正定矩阵 
 为
 。
那么，如果随机向量 
 满足多元高斯分布，其联合概率密度函数为
 。
2. 多元高斯分布的性质
如果上述 
 维随机向量 
 服从多元高斯分布， 
 ：
性质 1：存在 
 维的向量 
 和 
 维矩阵 
 ，使得 
 非奇异，那么 
 也服从多元高斯分布，即 
 的一阶矩为 
 维的 
 ，二阶矩为 
 维的
 ， 
 。
性质2：设 
 ，其中 
 为前 
 维， 
 为后 
 维，则 
 的一阶矩和二阶矩分别为 
 和 
 。那么， 
 与 
 是统计独立的，且 
 ， 
 。其中 
 ， 
 。
性质3：设存在矩阵 
 和矩阵 
 ，使得矩阵 
 与 
 非奇异，则当且仅当 
 时，
 与 
 是相互独立的。
3. 舒尔补(schur complement)
设 
 ，则 
 ，根据
性质1，可以得到 
 ，即 
 。
对于 
 ，设 
 ，则 
 ，根据性质1可得到 
 的一阶矩为 
，二阶矩为 
，即 
 。
此时 
 ，根据
性质3， 得
 与 
 是统计独立的，即
性质2。
舒尔补： 
 就称为 
 的舒尔补。
设 
 为随机向量 
 和随机向量 
 的联合概率分布，利用schur补，可得 
 。
舒尔补的物理意义见图1。
那么，根据统计独立的性质，其联合概率密度函数可以写为
 ，
从这个公式，我们可以看到 
 (行列式值)，即 
 可被对角化，表示为
 。
这个可逆矩阵 
 与上述 
 有关，且
 。（可自行验证）

高斯那些公式 


已知 D 维向量 x，其高斯概率分布为：



N(x|μ,Σ)==1(2π)D/21|Σ|1/2exp(−12(x−μ)TΣ−1(x−μ))1|Σ|(2π)D−−−−−−−√exp(−12(x−μ)TΣ−1(x−μ))
显然默认 x  是一个列向量
还需注意的是，当传递进去的是样本矩阵 X（以行为样本） 而不是列向量 x，则在计算指数部分时，

-1/2*sum(X/Sigma .* X, 2);
当多元高斯分布退化为一元高斯时，Σ 对应着 σ2（方差），而不是标准差（standard deviation）
这里 d=(x−μ)TΣ−1(x−μ)−−−−−−−−−−−−−−−−√ 也称为马氏距离； 

是对一元高斯分布对应的 d=x−μσ 得拓展；
多元时的  d=(x−μ)TΣ−1(x−μ)−−−−−−−−−−−−−−−−√ 也可视为某种程度的 z-分数，尤其在变量之间彼此独立，并且方差相同时， d=∥x−μ∥σ（z-分数）， 
d=1，68%
d=2，95%
d=3, 99% 
3σ rule for multivariate normal distribution
1. 条件高斯分布（Conditional Gaussian distributions）

Multivariate normal distribution - Wikipedia



2. 编程时的技巧

αexp(f(x)) 的计算通常转换为，求对数，再求指数的形式：elogαexp(f(x))=elogα+f(x)
p=1|Σ|(2π)D√exp(−12(x−μ)TΣ−1(x−μ)) ⇒ logp=−D2log(2π)−12log|Σ|−12(x−μ)TΣ−1(x−μ)
3. 多元高斯概率密度函数的 matlab 实现



function p = gaussProb(X, mu, Sigma)
d = size(Sigma, 2);
X = bsxfun(@minus, X, mu(:)');
log1 = -d/2*log(2*pi)-1/2*logdet(Sigma);
log2 = -1/2*sum(X/Sigma .* X, 2);
p = exp(log1+log2);
end

这里的 X（样本矩阵）以行为样本；

 


多元高斯分布的一个重要性质是如果两个变量集是联合高斯分布，那么其中一个基于另一个变量集上的条件分布仍然是高斯分布。边缘高斯分布也有类似结论。
考虑第一种情形的条件高斯分布。假设X是一个满足高斯分布的D维向量，我们把X分作两个子集Xa和Xb。不失一般性，我们记Xa为X的前M个元素，Xb为剩下D-M个元素，即


我们还定义期望向量的分块


及协方差矩阵的分块






注意到协方差的对称性隐含着和也是对称的，以及。

 

在许多情形下，使用协方差矩阵的逆会更加方便



它被称为精度矩阵（precision matrix，图模型中的称谓）。事实上，我们将看到高斯分布的一些性质大部分都会很自然地用协方差的形式表示，然而当精度矩阵（precision
 matrix，图模型中的称谓）表示时另外一些性质的形式将会变得更加简单。因此，我们也引入了精度矩阵（precision matrix，图模型中的称谓）的分块形式

与向量X的分块（2.65）一致。因为对称矩阵的逆仍然是对称的，所以和都是对称矩阵，以及
。在此需要强调的是，不是简单的给取逆。事实上，我们将会考察分块矩阵的逆和其分块的逆之间的关系。
         首先，我们来寻求条件概率的表示。根据概率的乘法性质，得到该条件概率可以简单地通过用Xb的观测值来修正联合概率并归一化其结果表示从而得到合理的Xa上的合理概率分布。我们不是具体地实行归一化，而是采用高效地方法，即考虑（2.44）给出的高斯分布中指数的二次形然后在计算的最后恢复归一化系数。使用划分（2.65），（2.66）和（2.69）得到

 



可见这是一个关于Xa的函数，而且是二次形式，因此，对应的条件分布将是高斯分布。因为，这种分布（高斯分布）完全由期望和方差表征，所以，我们的目标是检查（2.70）的期望和方差的等价表示。
         它是一个与高斯分布相联系的极普通的例子，有时称为“完全平方”，其中给了我们高斯分布中指数项中的二次形式，以及我们需要确定对应的期望和方差。该问题可以直接通过标记普通高斯分布的指数可以记为

这里的“const”表示独立于X的项，而且我们利用了的对称性。因此，如果将普通的二项形式并且将它表示为（2.71）右边的形式，那么我们可以立即将X的二次项的系数等同于协方差矩阵的逆而且X的线性项系数等同于，由此我们可以获得。

现在将该步骤应用于条件高斯分布它的指数项的二次形式由（2.70）给出。我们分别用
和表示该分布的期望和方差。考虑该函数依赖于Xa，对于Xb则视为常数。如果我们将Xa所有二次项提出，则得到


据此可以立即总结出的协方差矩阵（精度矩阵的逆）为



现在考虑（2.70）中Xa所有的线性项

这里我们利用了。从我们讨论普通形式（2.71）中可知，表达式中Xa的系数一定等于，因此，


这里我们利用了（2.73）。
         （2.73）和（2.75）的结果是由初始联合分布的精度矩阵中的分块项表示的。我们同样可以用协方差矩阵的对应分块项来表示这些结果。为了实现这个，我们利用了以下分块矩阵的逆的恒等式



这里我们定义


的大小称作（2.76）左边矩阵相对于子矩阵D的舒尔补（Schur
 complement）。采用定义



并利用（2.76），可得到


通过这些我们可以获得条件分布的期望和方差的等式如下


比较（2.73）和（2.82），可以当采用精度矩阵的分块项来表示条件概率相对于采用协方差矩阵的分块项更加简单。注意，条件概率的期望（由（2.81给出）），是Xb的线性函数，而协方差（由（2.82给出））独立于Xa。这代表了一种线性高斯模型的例子。

 
2.3.2边缘高斯分布
         我们已经见到如果联合分布是高斯分布，那么条件高斯分布也是高斯分布。现在我们回到如下的边缘分布的讨论，


我们将看到，它同样是高斯分布。同样，我们的策略关注与联合分布的二次形式指数项从而确定边缘分布的期望和方差。

         在（2.70）中，联合分布的二次形式可以用精度矩阵的分块形式表示。因为我们的目标是对Xb积分，这可以很容易地通过首先考虑包含Xb的项然后配方来简化积分达到。提出哪些仅包含Xb的项，得到

 

这里我们定义了



 

可见依赖于Xb的项能够转化到和（2.84）中右端项的第一项对应的高斯分布的标准二次形式，加上一个并不依赖于Xb（但是依赖于Xa）的项。因此，使用二次形式的指数形式，我们可以发现（2.83）在Xb上的积分是如下形式

该积分是在非归一化的高斯分布上的积分，所以结果将会和其系数有关。通过（2.43）给出的归一化高斯形式我们可以知道系数和均值独立，并且只依赖于协方差矩阵的行列式。因此，对Xb配方，我们可以积出Xb而分布（2.84）左边的依赖于Xa剩余项是（2.84）右边的最后一项其中m由（2.85）给出。结合该项以及（2.70）的依赖于Xa的剩余项，得到

这里“const”表示数值独立于Xa。再次，通过同（2.71）比较，可以发现边缘分布的协方差矩阵是



类似地，期望是



 

这里利用了（2.88）。在（2.88）中协方差是由（2.69）给出的精度矩阵的分块项表示。就像我们之前所做的那样，可以用（2.67）给出的协方差矩阵的对应分块项来重新表示它们。这些分块矩阵的关系是

 

利用（2.76），有



因此我们获得了满意的直观结果，即边缘分布的期望和方差为

 

可以看到对于边缘分布，使用协方差矩阵的分块矩阵项表示均值和方差时最简单的，然而，在条件分布中使用精度矩阵表示均值和协方差更简便。




原文地址：http://tonyshen.blog.51cto.com/4569905/801260

多维高斯模型在机器学习中应用广泛，在学到 Generative Learning Algorithm的时候，碰到了高斯模型，才意识到一定要恶补一下这部分知识，之前上自然语言课的时候，就因为多维高斯模型不懂，全程懵逼。本来想把这部分内容同生成学习法放在一起，但是想到这玩意把我虐那么痛苦，就单独一篇博客来写。
首先学习高斯模型之前，我们一定会  随机向量函数分布 的该概念
随机向量函数分布


这种概率密度转换方式 在本科教材是没有见过的，所以我们来推到一下，这是什么玩意？！！！
首先解释一下什么叫一一变换，所谓一一变换就是


这是线性变换的解释，但是基本就是这个意思，就是x与y是一一对应的。

感觉还是有必要，把高数课本掏出来

接下来，我们来解释一下是怎么推导出带雅可比的概率密度表达
首先我们要明白一个概率学上的概念，就是多元函数概率密度是怎么来的？ 废话不多说，把本科概率密度教材再陶出来！


也就是说，我们的概率密度 实质是从分布函数二阶偏导求得的
有了以上理论基础，咱们就开始推导
首先我们定义：

这个公式，没有在哪本教材上看到过，但我觉得这样的表示没有问题，教材上是把联系偏导数作为概率密度，那我把梯度模作为概率密度不可以吗？ 我觉得问题不大！！


雅可比式在高等数学下册 多元函数那里有介绍。
完成了上面的证明之后，我们来看看多维高斯分布模型的式子

这个是怎么来的，其实就是经过两个步骤

1，一维高斯模型联合分布成多维

2.经过线性变化
首先一维高斯模型联合分布就是累乘吗。

经过线性变化是什么意思呢？

这个y就是x的线性表示，注意u是一个列向量。

可以看出X是一个多维高斯模型，Y也是！我们要做的是把Y的多维高斯模型概率密度函数表示出来

其实就是套前面的公式吗！

注意下面这个式子



再看看这个最终的式子就不疑惑了吧！！

但是大部分机器学习资料里，多维高斯模型可不是这么表示的，因为我们看看，这里的A，C都是什么鬼，是不是都是依赖于另一个变量X的矩阵啊？我们现在来看看，这两个矩阵跟Y向量有什么关系，想办法用Y自身的统计量来替换他

首先我们要明白这些概念



注意为什么V(X)为什么小曲了？ 因为我们在一维高斯里是方差为1，发展出来的多维的协方差是一个单位矩阵
有了上面的推到，我们可以用Y的协方差来替换掉原来式子里的A和C,就变成下面的式子

而这个就是一般机器学习里常见到的公式拉！

我们在一维里最关心的是均值和方差，在多维里最关心的是 均值和协方差

以上是关于高斯模型的推导过程，现在我们来看看机器学习中比较关心的性质

这个图没什么太多好说的，只是在改变协方差矩阵对角线上的数改的越大，图形就越尖。好理解

上面这个图，我在上NLP的时候，懵逼过，其实就是高斯模型在平面上的投影，等高线上的（x,y）概率是相等的。
以上就是高斯模型的介绍
如果你看到这里，请扫一下我得支付宝红包二维码，哈哈哈