精华内容
下载资源
问答
  • 1. 多元高斯分布设 维随机向量 服从多元高斯分布, 为随机变量 的一阶矩,且 维向量 , 为随机变量 和 的二阶矩( 时为方差, 时为协方差),且 维半正定矩阵 为 。那么,如果随机向量 满足多元高斯分布,其联合概率...

    1cfc024a7f1eaaa5ae7e8b8b5adc7737.png

    1. 多元高斯分布

    维随机向量
    服从多元高斯分布,
    为随机变量
    的一阶矩,且
    维向量
    为随机变量
    的二阶矩(
    时为方差,
    时为协方差),且
    维半正定矩阵

    那么,如果随机向量

    满足多元高斯分布,其联合概率密度函数为

    2. 多元高斯分布的性质

    如果上述

    维随机向量
    服从多元高斯分布,

    性质 1:存在

    维的向量
    维矩阵
    ,使得
    非奇异,那么
    也服从多元高斯分布,即
    的一阶矩为
    维的
    ,二阶矩为
    维的

    性质2:

    ,其中
    为前
    维,
    为后
    维,则
    的一阶矩和二阶矩分别为
    。那么,
    是统计独立的,且
    。其中

    性质3:设存在矩阵

    和矩阵
    ,使得矩阵
    非奇异,则当且仅当
    时,
    是相互独立的。

    3. 舒尔补(schur complement)

    ,则
    ,根据
    性质1,可以得到
    ,即

    对于

    ,设
    ,则
    ,根据性质1可得到
    的一阶矩为
    ,二阶矩为
    ,即

    此时

    ,根据
    性质3, 得
    是统计独立的,即
    性质2

    舒尔补:

    就称为
    的舒尔补。

    为随机向量
    和随机向量
    的联合概率分布,利用schur补,可得

    舒尔补的物理意义见图1。

    875ed0115e40f3160a7383e3795dd3e9.png
    图1 舒尔补

    那么,根据统计独立的性质,其联合概率密度函数可以写为

    从这个公式,我们可以看到

    (行列式值),即
    可被对角化,表示为

    这个可逆矩阵

    与上述
    有关,且

    。(可自行验证)
    展开全文
  • 多元高斯分布及多元条件高斯分布

    千次阅读 2016-10-29 13:06:11
    已知 D 维向量 x,其高斯概率分布为:N(x|μ,Σ)

    高斯那些公式

    已知 D 维向量 x,其高斯概率分布为:

    N(x|μ,Σ)==1(2π)D/21|Σ|1/2exp(12(xμ)TΣ1(xμ))1|Σ|(2π)Dexp(12(xμ)TΣ1(xμ))
    • 显然默认 x 是一个列向量
    • 还需注意的是,当传递进去的是样本矩阵 X(以行为样本) 而不是列向量 x,则在计算指数部分时,

      -1/2*sum(X/Sigma .* X, 2);
    • 当多元高斯分布退化为一元高斯时,Σ 对应着 σ2(方差),而不是标准差(standard deviation)

    • 这里 d=(xμ)TΣ1(xμ) 也称为马氏距离;
      是对一元高斯分布对应的 d=xμσ 得拓展;
    • 多元时的 d=(xμ)TΣ1(xμ) 也可视为某种程度的 z-分数,尤其在变量之间彼此独立,并且方差相同时, d=xμσ(z-分数),

    1. 条件高斯分布(Conditional Gaussian distributions)

    Multivariate normal distribution - Wikipedia

    2. 编程时的技巧

    • αexp(f(x)) 的计算通常转换为,求对数,再求指数的形式:elogαexp(f(x))=elogα+f(x)

    • p=1|Σ|(2π)Dexp(12(xμ)TΣ1(xμ))logp=D2log(2π)12log|Σ|12(xμ)TΣ1(xμ)

    3. 多元高斯概率密度函数的 matlab 实现

    function p = gaussProb(X, mu, Sigma)
    d = size(Sigma, 2);
    X = bsxfun(@minus, X, mu(:)');
    log1 = -d/2*log(2*pi)-1/2*logdet(Sigma);
    log2 = -1/2*sum(X/Sigma .* X, 2);
    p = exp(log1+log2);
    end
    • 这里的 X(样本矩阵)以行为样本;
    展开全文
  • 条件高斯分布

    千次阅读 2016-03-16 09:31:50
    多元高斯分布的一个重要性质是...假设X是一个满足高斯分布的D维向量,我们把X分作两个子集Xa和Xb。不失一般性,我们记Xa为X的前M个元素,Xb为剩下D-M个元素,即 我们还定义期望向量的分块 及协方差矩阵的分块

     

    多元高斯分布的一个重要性质是如果两个变量集是联合高斯分布,那么其中一个基于另一个变量集上的条件分布仍然是高斯分布。边缘高斯分布也有类似结论。

    考虑第一种情形的条件高斯分布。假设X是一个满足高斯分布D维向量,我们把X分作两个子集XaXb。不失一般性,我们记XaX的前M个元素,Xb为剩下D-M个元素,即
    我们还定义期望向量的分块
    及协方差矩阵的分块


    注意到协方差的对称性隐含着也是对称的,以及
     
    在许多情形下,使用协方差矩阵的逆会更加方便

    它被称为精度矩阵(precision matrix,图模型中的称谓)。事实上,我们将看到高斯分布的一些性质大部分都会很自然地用协方差的形式表示,然而当精度矩阵(precision matrix,图模型中的称谓)表示时另外一些性质的形式将会变得更加简单。因此,我们也引入了精度矩阵(precision matrix,图模型中的称谓)的分块形式

    与向量X的分块(2.65)一致。因为对称矩阵的逆仍然是对称的,所以都是对称矩阵,以及

    。在此需要强调的是,不是简单的给取逆。事实上,我们将会考察分块矩阵的逆和其分块的逆之间的关系。
             首先,我们来寻求条件概率的表示。根据概率的乘法性质,得到该条件概率可以简单地通过用Xb的观测值来修正联合概率并归一化其结果表示从而得到合理的Xa上的合理概率分布。我们不是具体地实行归一化,而是采用高效地方法,即考虑(2.44)给出的高斯分布中指数的二次形然后在计算的最后恢复归一化系数。使用划分(2.65),(2.66)和(2.69)得到

     


    可见这是一个关于Xa的函数,而且是二次形式,因此,对应的条件分布将是高斯分布。因为,这种分布(高斯分布)完全由期望和方差表征,所以,我们的目标是检查(2.70)的期望和方差的等价表示。
             它是一个与高斯分布相联系的极普通的例子,有时称为“完全平方”,其中给了我们高斯分布中指数项中的二次形式,以及我们需要确定对应的期望和方差。该问题可以直接通过标记普通高斯分布的指数可以记为

    这里的“const”表示独立于X的项,而且我们利用了的对称性。因此,如果将普通的二项形式并且将它表示为(2.71)右边的形式,那么我们可以立即将X的二次项的系数等同于协方差矩阵的逆而且X的线性项系数等同于,由此我们可以获得
    现在将该步骤应用于条件高斯分布它的指数项的二次形式由(2.70)给出。我们分别用
    表示该分布的期望和方差。考虑该函数依赖于Xa,对于Xb则视为常数。如果我们将Xa所有二次项提出,则得到
    据此可以立即总结出的协方差矩阵(精度矩阵的逆)为

    现在考虑(2.70)中Xa所有的线性项

    这里我们利用了。从我们讨论普通形式(2.71)中可知,表达式中Xa的系数一定等于,因此,


    这里我们利用了(2.73)。

             2.73)和(2.75)的结果是由初始联合分布的精度矩阵中的分块项表示的。我们同样可以用协方差矩阵的对应分块项来表示这些结果。为了实现这个,我们利用了以下分块矩阵的逆的恒等式

    这里我们定义



    的大小称作(2.76)左边矩阵相对于子矩阵D的舒尔补(Schur complement)。采用定义

    并利用(2.76),可得到

    通过这些我们可以获得条件分布的期望和方差的等式如下
    比较(2.73)和(2.82),可以当采用精度矩阵的分块项来表示条件概率相对于采用协方差矩阵的分块项更加简单。注意,条件概率的期望(由(2.81给出)),是Xb的线性函数,而协方差(由(2.82给出))独立于Xa。这代表了一种线性高斯模型的例子。

     

    2.3.2边缘高斯分布

             我们已经见到如果联合分布是高斯分布,那么条件高斯分布也是高斯分布。现在我们回到如下的边缘分布的讨论,
    我们将看到,它同样是高斯分布。同样,我们的策略关注与联合分布的二次形式指数项从而确定边缘分布的期望和方差。

             在(2.70)中,联合分布的二次形式可以用精度矩阵的分块形式表示。因为我们的目标是对Xb积分,这可以很容易地通过首先考虑包含Xb的项然后配方来简化积分达到。提出哪些仅包含Xb的项,得到

     

    这里我们定义了

     

    可见依赖于Xb的项能够转化到和(2.84)中右端项的第一项对应的高斯分布的标准二次形式,加上一个并不依赖于Xb(但是依赖于Xa)的项。因此,使用二次形式的指数形式,我们可以发现(2.83)在Xb上的积分是如下形式


    该积分是在非归一化的高斯分布上的积分,所以结果将会和其系数有关。通过(2.43)给出的归一化高斯形式我们可以知道系数和均值独立,并且只依赖于协方差矩阵的行列式。因此,对Xb配方,我们可以积出Xb而分布(2.84)左边的依赖于Xa剩余项是(2.84)右边的最后一项其中m由(2.85)给出。结合该项以及(2.70)的依赖于Xa的剩余项,得到

    这里“const”表示数值独立于Xa。再次,通过同(2.71)比较,可以发现边缘分布的协方差矩阵是

    类似地,期望是

     

    这里利用了(2.88)。在(2.88)中协方差是由(2.69)给出的精度矩阵的分块项表示。就像我们之前所做的那样,可以用(2.67)给出的协方差矩阵的对应分块项来重新表示它们。这些分块矩阵的关系是

     

    利用(2.76),有

    因此我们获得了满意的直观结果,即边缘分布的期望和方差为

     

    可以看到对于边缘分布,使用协方差矩阵的分块矩阵项表示均值和方差时最简单的,然而,在条件分布中使用精度矩阵表示均值和协方差更简便。


    原文地址:http://tonyshen.blog.51cto.com/4569905/801260

    展开全文
  • 多维高斯分布模型

    万次阅读 多人点赞 2017-05-07 00:34:48
    多维高斯模型在机器学习中应用广泛,在学到 Generative Learning Algorithm的时候,碰到了高斯模型,才意识到一定要恶补一下这部分...首先学习高斯模型之前,我们一定会 随机向量函数分布 的该概念 随机向量函数分布

    多维高斯模型在机器学习中应用广泛,在学到 Generative Learning Algorithm的时候,碰到了高斯模型,才意识到一定要恶补一下这部分知识,之前上自然语言课的时候,就因为多维高斯模型不懂,全程懵逼。本来想把这部分内容同生成学习法放在一起,但是想到这玩意把我虐那么痛苦,就单独一篇博客来写。

    首先学习高斯模型之前,我们一定会 随机向量函数分布 的该概念

    随机向量函数分布
    这里写图片描述
    这里写图片描述

    这种概率密度转换方式 在本科教材是没有见过的,所以我们来推到一下,这是什么玩意?!!!

    首先解释一下什么叫一一变换,所谓一一变换就是
    这里写图片描述
    这是线性变换的解释,但是基本就是这个意思,就是x与y是一一对应的。
    感觉还是有必要,把高数课本掏出来
    这里写图片描述

    接下来,我们来解释一下是怎么推导出带雅可比的概率密度表达

    首先我们要明白一个概率学上的概念,就是多元函数概率密度是怎么来的? 废话不多说,把本科概率密度教材再陶出来!
    这里写图片描述
    也就是说,我们的概率密度 实质是从分布函数二阶偏导求得的

    有了以上理论基础,咱们就开始推导

    首先我们定义:
    这里写图片描述

    这个公式,没有在哪本教材上看到过,但我觉得这样的表示没有问题,教材上是把联系偏导数作为概率密度,那我把梯度模作为概率密度不可以吗? 我觉得问题不大!!

    这里写图片描述
    雅可比式在高等数学下册 多元函数那里有介绍。

    完成了上面的证明之后,我们来看看多维高斯分布模型的式子

    这里写图片描述

    这个是怎么来的,其实就是经过两个步骤
    1,一维高斯模型联合分布成多维
    2.经过线性变化

    首先一维高斯模型联合分布就是累乘吗。
    这里写图片描述

    经过线性变化是什么意思呢?
    这里写图片描述

    这个y就是x的线性表示,注意u是一个列向量。
    可以看出X是一个多维高斯模型,Y也是!我们要做的是把Y的多维高斯模型概率密度函数表示出来
    其实就是套前面的公式吗!
    注意下面这个式子
    这里写图片描述

    这里写图片描述

    这里写图片描述

    再看看这个最终的式子就不疑惑了吧!!
    但是大部分机器学习资料里,多维高斯模型可不是这么表示的,因为我们看看,这里的A,C都是什么鬼,是不是都是依赖于另一个变量X的矩阵啊?我们现在来看看,这两个矩阵跟Y向量有什么关系,想办法用Y自身的统计量来替换他
    首先我们要明白这些概念
    这里写图片描述

    这里写图片描述
    注意为什么V(X)为什么小曲了? 因为我们在一维高斯里是方差为1,发展出来的多维的协方差是一个单位矩阵

    有了上面的推到,我们可以用Y的协方差来替换掉原来式子里的A和C,就变成下面的式子
    这里写图片描述

    而这个就是一般机器学习里常见到的公式拉!
    我们在一维里最关心的是均值和方差,在多维里最关心的是 均值和协方差

    这里写图片描述

    以上是关于高斯模型的推导过程,现在我们来看看机器学习中比较关心的性质
    这里写图片描述

    这个图没什么太多好说的,只是在改变协方差矩阵对角线上的数改的越大,图形就越尖。好理解

    这里写图片描述

    上面这个图,我在上NLP的时候,懵逼过,其实就是高斯模型在平面上的投影,等高线上的(x,y)概率是相等的。

    以上就是高斯模型的介绍

    如果你看到这里,请扫一下我得支付宝红包二维码,哈哈哈

    展开全文
  • Author: PanDate:2020/7/15首先,我们通过随机向量的介绍来引出多元高斯分布,通过多元高斯分布,我们将介绍概率图的条件独立性假设。先快速过一遍随机向量:1.随机向量和其基本性质假设随机向量,那么假设它有个累积...
  • 书上说,如果一个零均值高斯分布实随机向量的各个分量之间是不相关的,则其自相关矩阵为对角阵。对于二维零均值高斯分布实随机向量而言,其自相关矩阵的二次型可以构成一个椭圆方程。如果向量两个分量相关,对应自...
  • 多元高斯分布

    2016-10-07 11:43:00
    直接给出多元高斯分布和单元高斯分布的概率密度函数:    μ是一个D维均值向量,Σ是一个D×D的协方差矩阵,我们只考虑正定矩阵(所有特征值都是正数),即|Σ|>0;多元高斯分布和单态量高斯分布尽管在形式...
  • 多维高斯分布

    千次阅读 2019-03-06 18:00:41
    我们常见的一维高斯分布公式为: 拓展到高维就变成: 其中,表示维度为的向量,则是这些向量的平均值,表示所有向量的协方差矩...
  • 高斯分布

    千次阅读 2012-01-06 19:54:31
    二元正态分布(高斯分布)的等概率曲线是一个椭圆,而三元正态分布的等概率曲面是一个椭球。本文的目的是在已知概率分布参数(均值向量μ和协方差阵Σ)的情况下,在MATLAB中绘出等概率椭圆或椭球。 多元正态分布...
  • 数学真的是很奇妙,在独立的课程中学习到的知识,有时候很难联系起来,但是实际上它门之间有着紧密的联系,今天就谈一点自己关于矩阵与高斯分布的关系,也是在拜读了很多大咖的文章之后才有了一些更深的理解。...
  • 高斯分布(总)

    2018-11-29 11:34:00
     二维高斯分布,这时的随机变量组成了随机向量:v=[x,y]T。   图2.1图2.2 注意:这两种图的区别。2.1图是二维高斯分布的各采样点的分布,这些点是二维分布的高斯点,通过点的疏密才能看出分布概率的大小。2.2图...
  • 当变量(特征)之间不再相互独立,具有一定的相关性时,总的概率就不...多元高斯分布大的公式: 其中,x ∈ ,μ ∈ , Σ ∈ 。 μ 是特征向量的均值,Σ 是协方差矩阵。 μ 和 Σ 的计算公式如下:  ...
  • 高斯随机向量与复高斯随机向量

    千次阅读 2019-04-22 11:20:08
    本文内容主要来自David Tse etc., Fundamentals of Wireless Communication,Cambridge University Press, 2004中的附录A。 文章目录1、实高斯随机向量2、复高斯随机向量 ...标准高斯分布随机变量,则标准...
  • 第二章、多元正态分布及参数估计这一讲主要是给出概率论中若干概念向高维的推广2.1随机向量一、随机向量的联合分布、边缘分布和条件分布1、多元数据 维随机向量: ,其中每个 都是随机变量随机矩阵: ,其中每个 都...
  • 协方差矩阵 对于一维随机变量直接用方差即可衡量随机变量x与其期望E(x)的偏离程度,对于多维随机变量X,需要...一元高斯分布概率密度函数如下: 多元高斯分布为: 具体推导过程可以参考:https://zhuanlan.zhi.
  • 上篇介绍了高斯分布一维的情况,这次来进一步看下多维高斯分布~ 一维 首先0均值和单位方差的标准一维高斯分布如下: 二维 那么二维标准高斯分布,就是两个独立的一维标准高斯分布随机变量的联合分布: 用一个随机...
  • 多元高斯分布与一元高斯分布的关系 首先一维标准正态分布: 二维标准正态分布,就是两个独立的一维标准正态分布随机变量的联合分布: 把两个随机变量组合成一个随机向量: 则有: 然后从标准正态分布...
  • 二 数学基础-概率-高斯分布 2.1 思维导图简述 数学基础-高斯分布思维导图 2.2 内容 2.2.1 高斯分布的最大似然估计 A 已知 数据条件:xix_{i}xi​是p∗1维p*1维p∗1维的列向量,代表一组数据。XXX是N*p维矩阵,表示...
  • 高斯分布模型GSM

    千次阅读 2016-06-22 16:13:24
    高斯分布模型GSM 多维变量X服从高斯分布时,它的概率密度函数PDF为: x是维度为d的列向量,u是模型期望,Σ是模型方差。在实际应用中u通常用样本均值来代替,Σ通常用样本方差来代替
  • 之前的也就是圆形的范围,但是我们现在将要说的是蓝色的范围,很明显多元高斯分布处理了原来模型不能表示的问题2 多元高斯分布改良异常检测算法多元高斯分布的参数包括向量µ和一个n×n的矩阵Σ。µ
  • 高斯分布模型GSM 多维变量X服从高斯分布时,它的概率密度函数PDF为: x是维度为d的列向量,u是模型期望,Σ是模型方差。在实际应用中u通常用样本均值来代替,Σ通常用样本方差来代替
  • 在深入了解多元高斯分布前,...对于 维的向量(连续变量),多变量(多元, multivariate Gaussian)高斯分布形式为: 式中的是 维的均值向量,是的协方差矩阵(covariance matrix),是的行列式(determinan...
  • 高维高斯分布的简述

    2017-11-01 17:25:00
    标准的一元高斯分布概率密度函数是: 如果有另外一个随机变量,它和是相互独立的,那么,它们的联合概率密度函数是: 那么,如果用和组成一个随机向量,形如: 那么,的密度函数...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 518
精华内容 207
关键字:

向量高斯分布