-
matlab中服从高斯分布的矩阵_机器学习系列(三)—— 多元高斯分布
2020-12-31 08:49:011. 多元高斯分布设 维随机向量 服从多元高斯分布, 为随机变量 的一阶矩,且 维向量 , 为随机变量 和 的二阶矩( 时为方差, 时为协方差),且 维半正定矩阵 为 。那么,如果随机向量 满足多元高斯分布,其联合概率...1. 多元高斯分布
设
维随机向量
服从多元高斯分布,
为随机变量
的一阶矩,且
维向量
,
为随机变量
和
的二阶矩(
时为方差,
时为协方差),且
维半正定矩阵
为
。
那么,如果随机向量
满足多元高斯分布,其联合概率密度函数为
。
2. 多元高斯分布的性质
如果上述
维随机向量
服从多元高斯分布,
:
性质 1:存在
维的向量
和
维矩阵
,使得
非奇异,那么
也服从多元高斯分布,即
的一阶矩为
维的
,二阶矩为
维的
,
。
性质2:设
,其中
为前
维,
为后
维,则
的一阶矩和二阶矩分别为
和
。那么,
与
是统计独立的,且
,
。其中
,
。
性质3:设存在矩阵
和矩阵
,使得矩阵
与
非奇异,则当且仅当
时,
与
是相互独立的。
3. 舒尔补(schur complement)
设
,则
性质1,可以得到,根据
,即
。
对于
,设
,则
,根据性质1可得到
的一阶矩为
,二阶矩为
,即
。
此时
性质3, 得,根据
与
性质2。是统计独立的,即
舒尔补:
就称为
的舒尔补。
设
为随机向量
和随机向量
的联合概率分布,利用schur补,可得
。
舒尔补的物理意义见图1。
图1 舒尔补 那么,根据统计独立的性质,其联合概率密度函数可以写为
,
从这个公式,我们可以看到
(行列式值),即
可被对角化,表示为
。
这个可逆矩阵
与上述
有关,且
。(可自行验证)
-
多元高斯分布及多元条件高斯分布
2016-10-29 13:06:11已知 D 维向量 x,其高斯概率分布为:N(x|μ,Σ)已知 D 维向量 x,其高斯概率分布为:
N(x|μ,Σ)==1(2π)D/21|Σ|1/2exp(−12(x−μ)TΣ−1(x−μ))1|Σ|(2π)D−−−−−−−√exp(−12(x−μ)TΣ−1(x−μ))- 显然默认 x 是一个列向量
还需注意的是,当传递进去的是样本矩阵 X(以行为样本) 而不是列向量 x,则在计算指数部分时,
-1/2*sum(X/Sigma .* X, 2);
当多元高斯分布退化为一元高斯时,Σ 对应着 σ2(方差),而不是标准差(standard deviation)
- 这里 d=(x−μ)TΣ−1(x−μ)−−−−−−−−−−−−−−−−√ 也称为马氏距离;
是对一元高斯分布对应的 d=x−μσ 得拓展; - 多元时的 d=(x−μ)TΣ−1(x−μ)−−−−−−−−−−−−−−−−√ 也可视为某种程度的 z-分数,尤其在变量之间彼此独立,并且方差相同时, d=∥x−μ∥σ(z-分数),
- d=1,68%
- d=2,95%
- d=3, 99%
3σ rule for multivariate normal distribution
1. 条件高斯分布(Conditional Gaussian distributions)
Multivariate normal distribution - Wikipedia
2. 编程时的技巧
αexp(f(x)) 的计算通常转换为,求对数,再求指数的形式:elogαexp(f(x))=elogα+f(x)
p=1|Σ|(2π)D√exp(−12(x−μ)TΣ−1(x−μ)) ⇒ logp=−D2log(2π)−12log|Σ|−12(x−μ)TΣ−1(x−μ)
3. 多元高斯概率密度函数的 matlab 实现
function p = gaussProb(X, mu, Sigma) d = size(Sigma, 2); X = bsxfun(@minus, X, mu(:)'); log1 = -d/2*log(2*pi)-1/2*logdet(Sigma); log2 = -1/2*sum(X/Sigma .* X, 2); p = exp(log1+log2); end
- 这里的 X(样本矩阵)以行为样本;
-
条件高斯分布
2016-03-16 09:31:50多元高斯分布的一个重要性质是...假设X是一个满足高斯分布的D维向量,我们把X分作两个子集Xa和Xb。不失一般性,我们记Xa为X的前M个元素,Xb为剩下D-M个元素,即 我们还定义期望向量的分块 及协方差矩阵的分块考虑第一种情形的条件高斯分布。假设X是一个满足高斯分布的D维向量,我们把X分作两个子集Xa和Xb。不失一般性,我们记Xa为X的前M个元素,Xb为剩下D-M个元素,即
。在此需要强调的是,
不是简单的给
取逆。事实上,我们将会考察分块矩阵的逆和其分块的逆之间的关系。
首先,我们来寻求条件概率的表示。根据概率的乘法性质,得到该条件概率可以简单地通过用Xb的观测值来修正联合概率
并归一化其结果表示从而得到合理的Xa上的合理概率分布。我们不是具体地实行归一化,而是采用高效地方法,即考虑(2.44)给出的高斯分布中指数的二次形然后在计算的最后恢复归一化系数。使用划分(2.65),(2.66)和(2.69)得到
可见这是一个关于Xa的函数,而且是二次形式,因此,对应的条件分布将是高斯分布。因为,这种分布(高斯分布)完全由期望和方差表征,所以,我们的目标是检查(2.70)的期望和方差的等价表示。
它是一个与高斯分布相联系的极普通的例子,有时称为“完全平方”,其中给了我们高斯分布中指数项中的二次形式,以及我们需要确定对应的期望和方差。该问题可以直接通过标记普通高斯分布的指数可以记为
这里的“const”表示独立于X的项,而且我们利用了的对称性。因此,如果将普通的二项形式并且将它表示为(2.71)右边的形式,那么我们可以立即将X的二次项的系数等同于协方差矩阵的逆
而且X的线性项系数等同于
,由此我们可以获得
。
比较(2.73)和(2.82),可以当采用精度矩阵的分块项来表示条件概率相对于采用协方差矩阵的分块项更加简单。注意,条件概率
的期望(由(2.81给出)),是Xb的线性函数,而协方差(由(2.82给出))独立于Xa。这代表了一种线性高斯模型的例子。
2.3.2边缘高斯分布
我们已经见到如果联合分布是高斯分布,那么条件高斯分布
也是高斯分布。现在我们回到如下的边缘分布的讨论,
我们将看到,它同样是高斯分布。同样,我们的策略关注与联合分布的二次形式指数项从而确定边缘分布的期望和方差。
该积分是在非归一化的高斯分布上的积分,所以结果将会和其系数有关。通过(2.43)给出的归一化高斯形式我们可以知道系数和均值独立,并且只依赖于协方差矩阵的行列式。因此,对Xb配方,我们可以积出Xb而分布(2.84)左边的依赖于Xa剩余项是(2.84)右边的最后一项其中m由(2.85)给出。结合该项以及(2.70)的依赖于Xa的剩余项,得到
这里“const”表示数值独立于Xa。再次,通过同(2.71)比较,可以发现边缘分布的协方差矩阵是
-
多维高斯分布模型
2017-05-07 00:34:48多维高斯模型在机器学习中应用广泛,在学到 Generative Learning Algorithm的时候,碰到了高斯模型,才意识到一定要恶补一下这部分...首先学习高斯模型之前,我们一定会 随机向量函数分布 的该概念 随机向量函数分布多维高斯模型在机器学习中应用广泛,在学到 Generative Learning Algorithm的时候,碰到了高斯模型,才意识到一定要恶补一下这部分知识,之前上自然语言课的时候,就因为多维高斯模型不懂,全程懵逼。本来想把这部分内容同生成学习法放在一起,但是想到这玩意把我虐那么痛苦,就单独一篇博客来写。
首先学习高斯模型之前,我们一定会 随机向量函数分布 的该概念
随机向量函数分布
这种概率密度转换方式 在本科教材是没有见过的,所以我们来推到一下,这是什么玩意?!!!
首先解释一下什么叫一一变换,所谓一一变换就是
这是线性变换的解释,但是基本就是这个意思,就是x与y是一一对应的。
感觉还是有必要,把高数课本掏出来接下来,我们来解释一下是怎么推导出带雅可比的概率密度表达
首先我们要明白一个概率学上的概念,就是多元函数概率密度是怎么来的? 废话不多说,把本科概率密度教材再陶出来!
也就是说,我们的概率密度 实质是从分布函数二阶偏导求得的有了以上理论基础,咱们就开始推导
首先我们定义:
这个公式,没有在哪本教材上看到过,但我觉得这样的表示没有问题,教材上是把联系偏导数作为概率密度,那我把梯度模作为概率密度不可以吗? 我觉得问题不大!!
雅可比式在高等数学下册 多元函数那里有介绍。完成了上面的证明之后,我们来看看多维高斯分布模型的式子
这个是怎么来的,其实就是经过两个步骤
1,一维高斯模型联合分布成多维
2.经过线性变化首先一维高斯模型联合分布就是累乘吗。
经过线性变化是什么意思呢?
这个y就是x的线性表示,注意u是一个列向量。
可以看出X是一个多维高斯模型,Y也是!我们要做的是把Y的多维高斯模型概率密度函数表示出来
其实就是套前面的公式吗!
注意下面这个式子再看看这个最终的式子就不疑惑了吧!!
但是大部分机器学习资料里,多维高斯模型可不是这么表示的,因为我们看看,这里的A,C都是什么鬼,是不是都是依赖于另一个变量X的矩阵啊?我们现在来看看,这两个矩阵跟Y向量有什么关系,想办法用Y自身的统计量来替换他
首先我们要明白这些概念
注意为什么V(X)为什么小曲了? 因为我们在一维高斯里是方差为1,发展出来的多维的协方差是一个单位矩阵有了上面的推到,我们可以用Y的协方差来替换掉原来式子里的A和C,就变成下面的式子
而这个就是一般机器学习里常见到的公式拉!
我们在一维里最关心的是均值和方差,在多维里最关心的是 均值和协方差以上是关于高斯模型的推导过程,现在我们来看看机器学习中比较关心的性质
这个图没什么太多好说的,只是在改变协方差矩阵对角线上的数改的越大,图形就越尖。好理解
上面这个图,我在上NLP的时候,懵逼过,其实就是高斯模型在平面上的投影,等高线上的(x,y)概率是相等的。
以上就是高斯模型的介绍
如果你看到这里,请扫一下我得支付宝红包二维码,哈哈哈
-
多元高斯分布是非参_(二)多元高斯分布与概率图条件独立性假设
2021-01-17 19:03:48Author: PanDate:2020/7/15首先,我们通过随机向量的介绍来引出多元高斯分布,通过多元高斯分布,我们将介绍概率图的条件独立性假设。先快速过一遍随机向量:1.随机向量和其基本性质假设随机向量,那么假设它有个累积... -
二维高斯分布实随机向量的自相关矩阵对应的椭圆轴线方向与向量分量相
2014-07-24 16:16:27书上说,如果一个零均值高斯分布实随机向量的各个分量之间是不相关的,则其自相关矩阵为对角阵。对于二维零均值高斯分布实随机向量而言,其自相关矩阵的二次型可以构成一个椭圆方程。如果向量两个分量相关,对应自... -
多元高斯分布
2016-10-07 11:43:00直接给出多元高斯分布和单元高斯分布的概率密度函数: μ是一个D维均值向量,Σ是一个D×D的协方差矩阵,我们只考虑正定矩阵(所有特征值都是正数),即|Σ|>0;多元高斯分布和单态量高斯分布尽管在形式... -
多维高斯分布
2019-03-06 18:00:41我们常见的一维高斯分布公式为: 拓展到高维就变成: 其中,表示维度为的向量,则是这些向量的平均值,表示所有向量的协方差矩... -
高斯分布
2012-01-06 19:54:31二元正态分布(高斯分布)的等概率曲线是一个椭圆,而三元正态分布的等概率曲面是一个椭球。本文的目的是在已知概率分布参数(均值向量μ和协方差阵Σ)的情况下,在MATLAB中绘出等概率椭圆或椭球。 多元正态分布... -
随机向量x的协方差阵_从线性变换的角度看高斯分布协方差阵的意义
2020-12-31 08:19:36数学真的是很奇妙,在独立的课程中学习到的知识,有时候很难联系起来,但是实际上它门之间有着紧密的联系,今天就谈一点自己关于矩阵与高斯分布的关系,也是在拜读了很多大咖的文章之后才有了一些更深的理解。... -
高斯分布(总)
2018-11-29 11:34:00二维高斯分布,这时的随机变量组成了随机向量:v=[x,y]T。 图2.1图2.2 注意:这两种图的区别。2.1图是二维高斯分布的各采样点的分布,这些点是二维分布的高斯点,通过点的疏密才能看出分布概率的大小。2.2图... -
机器学习笔记 —— 多元高斯分布及使用多元高斯分布实现异常检测
2018-08-19 14:56:50当变量(特征)之间不再相互独立,具有一定的相关性时,总的概率就不...多元高斯分布大的公式: 其中,x ∈ ,μ ∈ , Σ ∈ 。 μ 是特征向量的均值,Σ 是协方差矩阵。 μ 和 Σ 的计算公式如下: ... -
实高斯随机向量与复高斯随机向量
2019-04-22 11:20:08本文内容主要来自David Tse etc., Fundamentals of Wireless Communication,Cambridge University Press, 2004中的附录A。 文章目录1、实高斯随机向量2、复高斯随机向量 ...标准高斯分布随机变量,则标准... -
多元高斯分布是非参_多元统计分析第01讲--多元正态分布及参数估计(随机向量,多元正态分布定义,条件分布...
2021-01-17 19:03:48第二章、多元正态分布及参数估计这一讲主要是给出概率论中若干概念向高维的推广2.1随机向量一、随机向量的联合分布、边缘分布和条件分布1、多元数据 维随机向量: ,其中每个 都是随机变量随机矩阵: ,其中每个 都... -
协方差矩阵 多元高斯分布
2021-01-14 23:27:46协方差矩阵 对于一维随机变量直接用方差即可衡量随机变量x与其期望E(x)的偏离程度,对于多维随机变量X,需要...一元高斯分布概率密度函数如下: 多元高斯分布为: 具体推导过程可以参考:https://zhuanlan.zhi. -
补数学基础之高斯分布——多维情况
2021-01-26 17:41:25上篇介绍了高斯分布一维的情况,这次来进一步看下多维高斯分布~ 一维 首先0均值和单位方差的标准一维高斯分布如下: 二维 那么二维标准高斯分布,就是两个独立的一维标准高斯分布随机变量的联合分布: 用一个随机... -
高斯分布机器学习实践项目
2018-09-17 22:10:43多元高斯分布与一元高斯分布的关系 首先一维标准正态分布: 二维标准正态分布,就是两个独立的一维标准正态分布随机变量的联合分布: 把两个随机变量组合成一个随机向量: 则有: 然后从标准正态分布... -
数学-机器学习-基础-概率-高斯分布
2020-05-17 17:34:21二 数学基础-概率-高斯分布 2.1 思维导图简述 数学基础-高斯分布思维导图 2.2 内容 2.2.1 高斯分布的最大似然估计 A 已知 数据条件:xix_{i}xi是p∗1维p*1维p∗1维的列向量,代表一组数据。XXX是N*p维矩阵,表示... -
单高斯分布模型GSM
2016-06-22 16:13:24单高斯分布模型GSM 多维变量X服从高斯分布时,它的概率密度函数PDF为: x是维度为d的列向量,u是模型期望,Σ是模型方差。在实际应用中u通常用样本均值来代替,Σ通常用样本方差来代替 -
多元高斯分布(斯坦福machine learning week 9)
2017-12-09 14:18:25之前的也就是圆形的范围,但是我们现在将要说的是蓝色的范围,很明显多元高斯分布处理了原来模型不能表示的问题2 多元高斯分布改良异常检测算法多元高斯分布的参数包括向量µ和一个n×n的矩阵Σ。µ -
单高斯分布模型GSM,高斯混合模型GMM
2016-01-22 17:10:29单高斯分布模型GSM 多维变量X服从高斯分布时,它的概率密度函数PDF为: x是维度为d的列向量,u是模型期望,Σ是模型方差。在实际应用中u通常用样本均值来代替,Σ通常用样本方差来代替 -
多元高斯分布(Multivariate Gaussian Distribution)(详细说明,便于理解)
2020-01-15 11:17:06在深入了解多元高斯分布前,...对于 维的向量(连续变量),多变量(多元, multivariate Gaussian)高斯分布形式为: 式中的是 维的均值向量,是的协方差矩阵(covariance matrix),是的行列式(determinan... -
高维高斯分布的简述
2017-11-01 17:25:00标准的一元高斯分布概率密度函数是: 如果有另外一个随机变量,它和是相互独立的,那么,它们的联合概率密度函数是: 那么,如果用和组成一个随机向量,形如: 那么,的密度函数...
-
Mac chrome浏览器如何禁止突出显示焦点对象?
-
WordPress后台定制-为WooCommerce产品增加自定义字段
-
快速实现奇异频谱分析以在高光谱成像中有效提取特征
-
德育答辩论文.docx
-
python Flask+scrapy+人工智能 实现高性能搜索引擎
-
极限学习机在大规模交通拥堵预测中的应用
-
recycleView 中 checkbox 的单选功能实现
-
MySQL 触发器
-
access应用的3个开发实例
-
专访阿里陈康贤:我所理解的网站架构
-
云开发后台+微信扫码点餐小程序+cms网页管理后台 含后厨端和用户端
-
精通编译Makefile,Nina, 从底层uboot到Android
-
硬核干货!阿里架构师手写740页分布式微服务手册,吊打面试官
-
Spring框架-01-01-Spring框架概述
-
java面试济南_Java面试题(一)
-
2021年 系统分析师 系列课
-
java批量打印标签_java批量打印
-
js_for_continue.html
-
零基础一小时极简以太坊智能合约开发环境搭建并开发部署
-
java面试用背的_java面试资料大全不得不背