精华内容
下载资源
问答
  • 博主最近在看卡尔曼滤波算法,个人认为在卡尔曼滤波算法中最核心的部分莫过于高维高斯联合概率分布的性质,因此打算将这些性质整理成博客记录下来方便自己今后的学习,如果有哪里不对,欢迎各位读者指正。...

    博主最近在看卡尔曼滤波算法,个人认为在卡尔曼滤波算法中最核心的部分莫过于高维高斯联合概率分布的性质,因此打算将这些性质整理成博客记录下来方便自己今后的学习,如果有哪里不对,欢迎各位读者指正。

    一 引理

    ​ 这里我引入一个定理,这个定理不在本博客证明,因为它很直观,便于理解。
    ​ 假设随机变量 X X X服从均值为 μ \mu μ,协方差矩阵为 Σ \Sigma Σ的高斯分布(为了更具有一般性,这里的均值是一个向量,协方差是一个矩阵)。随机变量 Y = A X + B Y=AX+B Y=AX+B(这里的矩阵 A A A B B B都是常值矩阵),则结论是 Y Y Y也服从于一个高维高斯分布,它的均值是 A μ + B A\mu+B Aμ+B,协方差矩阵是 A Σ A T A\Sigma{A^{T}} AΣAT

    二 推导

    ​ 设 p p p维随机变量 X = ( x 1 , x 2 , … , x p ) T X=(x_1,x_2,\dots,x_p)^{T} X=(x1,x2,,xp)T服从均值 μ = ( μ 1 , μ 2 , … , μ p ) T \mu=(\mu_1,\mu_2,\dots,\mu_p)^{T} μ=(μ1,μ2,,μp)T,协方差矩阵为式(2-1)的高斯分布,现在我们将随机变量 X X X切分为两个随机变量,第一个随机变量取随机变量 X X X的前 m m m维记为 X a X_a Xa,对应的均值为 μ a \mu_a μa。第二个随机变量取随机变量 X X X的后 n n n维记为 X b X_b Xb,对应的均值为 μ b \mu_b μb,且满足( m + n = p m+n=p m+n=p)。则随机变量 X X X可以写成 X = ( X a , X b ) T X=(X_a,X_b)^{T} X=(Xa,Xb)T,均值可以写成 μ = ( μ a , μ b ) T \mu=(\mu_a,\mu_b)^{T} μ=(μa,μb)T,协方差矩阵可写成式(2-2)。
    Σ = { σ 11 σ 12 … σ 1 p σ 21 σ 22 … σ 2 p ⋮ ⋮ … σ 3 p σ p 1 σ p 2 … σ p p } (2-1) \Sigma= \left\{ \begin{matrix} \sigma_{11} & \sigma_{12} & \dots & \sigma_{1p} \\ \sigma_{21} & \sigma_{22} & \dots & \sigma_{2p} \\ \vdots & \vdots & \dots & \sigma_{3p} \\ \sigma_{p1} & \sigma_{p2} & \dots & \sigma_{pp} \end{matrix} \right\} \tag{2-1} Σ=σ11σ21σp1σ12σ22σp2σ1pσ2pσ3pσpp(2-1)

    Σ = { Σ a a Σ a b Σ b a Σ b b } (2-2) \Sigma= \left\{ \begin{matrix} \Sigma_{aa}&\Sigma_{ab}\\ \Sigma_{ba}&\Sigma_{bb} \end{matrix} \right\} \tag{2-2} Σ={ΣaaΣbaΣabΣbb}(2-2)

    ​ 现在的问题是随机变量 X a X_a Xa以及在给定 X a X_a Xa的条件下 X b X_b Xb服从什么样参数的分布?
    ​ 为了使用引入的定理,这里我们构造出 X a X_a Xa X X X之间的关系,即 X a = ( I m , 0 n ) X X_a=(I_m,0_n)X Xa=(Im,0n)X。由此可以看出, X a X_a Xa可以由 X X X线性表出,则 X a X_a Xa服从高斯分布,均值和协方差矩阵求解见式(2-3)。
    E [ X a ] = ( I m , 0 ) μ = μ a V a r [ X a ] = ( I m 0 ) ( Σ a a Σ a b Σ b a Σ b b ) ( I m T 0 ) = ( Σ a a Σ a b ) ( I m 0 ) = Σ a a (2-3) E[X_a]=(I_m,0)\mu=\mu_a\\ Var[X_a]= \begin{pmatrix} I_m&0 \end{pmatrix} \begin{pmatrix} \Sigma_{aa}&\Sigma_{ab}\\ \Sigma_{ba}&\Sigma_{bb} \end{pmatrix} \begin{pmatrix} I_m^{T}\\ 0\\ \end{pmatrix}= \begin{pmatrix} \Sigma_{aa}&\Sigma_{ab} \end{pmatrix} \begin{pmatrix} I_m\\ 0 \end{pmatrix} =\Sigma_{aa} \tag{2-3} E[Xa]=(Im,0)μ=μaVar[Xa]=(Im0)(ΣaaΣbaΣabΣbb)(ImT0)=(ΣaaΣab)(Im0)=Σaa(2-3)

    所以 X a X_a Xa服从于均值为 μ a \mu_a μa,协方差为 Σ a a \Sigma_{aa} Σaa的高斯分布。
    现在做一下变量替换,见式(2-4),这里的替换纯属是为了后面计算方便,读者不必纠结于此。
    X b . a = X b − Σ b a Σ a a − 1 X a μ b . a = μ b − Σ b a Σ a a − 1 μ a Σ b b . a = Σ b a − Σ a a − 1 Σ a b (2-4) X_{b.a}=X_b-\Sigma_{ba}\Sigma_{aa}^{-1}X_{a}\\ \mu_{b.a}=\mu_b-\Sigma_{ba}\Sigma_{aa}^{-1}\mu_a\\ \Sigma_{bb.a}=\Sigma_{ba}-\Sigma_{aa}^{-1}\Sigma_{ab} \tag{2-4} Xb.a=XbΣbaΣaa1Xaμb.a=μbΣbaΣaa1μaΣbb.a=ΣbaΣaa1Σab(2-4)
    于是 X b . a X_{b.a} Xb.a可以表示为 ( − Σ b a Σ a a − 1 , I n ) X (-\Sigma_{ba}\Sigma_{aa}^{-1},I_n)X (ΣbaΣaa1,In)X。并且可以验证, X b . a X_{b.a} Xb.a的期望为 μ b . a \mu_{b.a} μb.a,协方差为 Σ b b . a \Sigma_{bb.a} Σbb.a。因此 X b = X b . a + Σ b a Σ a a − 1 X a X_b=X_{b.a}+\Sigma_{ba}\Sigma_{aa}^{-1}X_a Xb=Xb.a+ΣbaΣaa1Xa。所以在给定 X a X_a Xa的前提下, E [ X b ∣ X a ] = μ b . a + Σ b a Σ a a − 1 μ a E[X_{b}|X_a]=\mu_{b.a}+\Sigma_{ba}\Sigma_{aa}^{-1}\mu_a E[XbXa]=μb.a+ΣbaΣaa1μa V a r [ X b ∣ X a ] = V a r [ X b . a ] = Σ b b . a Var[X_b|X_a]=Var[X_{b.a}]=\Sigma_{bb.a} Var[XbXa]=Var[Xb.a]=Σbb.a

    展开全文
  • 高斯分布4——联合概率分布

    千次阅读 2020-04-02 12:31:46
    x满足多维高斯分布,y是x的线性组合加上噪声

    x满足多维高斯分布,y是x的线性组合加上噪声
    在这里插入图片描述

    展开全文
  • 对于⼀对服从多元正态分布的变量 (x, y),可以写出它们的联合概率密度函数: 根据Bay's rule,,能不能得到条件概率和边缘概率高斯分布高斯推断告诉我们是可以的! 是左边被拆分成两个部分的形式,...
    对于⼀对服从多元正态分布的变量 ( x , y ) ,可以写出它们的联合概率密度函数:
    p(x,y)=N(\begin{bmatrix} \mu_{x}\\ \mu_{y} \end{bmatrix},\begin{bmatrix} \Sigma _{xx} & \Sigma _{xy}\\ \Sigma _{yx}& \Sigma _{yy} \end{bmatrix})
    根据Bay's rule, p(x,y)=p(x|y)p(y),能不能得到条件概率 p(x|y)和边缘概率 p(y)的高斯分布?
    高斯推断告诉我们是可以的!
    p(x|y)p(y)是左边被拆分成两个部分的形式,因此努力方向是怎么对左边进行差分
    根据舒尔补理论: 舒尔补理论Schur Compliment,这简单理解就是一个矩阵分解的方法

     两边求逆:

     我们只需关注高斯分布的指数部分(x-\mu)^T\Sigma ^{-1}(x-\mu),代入上式:

     这样指数部分就被拆分为两个部分的和,实际可以理解为e^{x+y}=e^x+e^y

    与单个变量的多元高斯分布公式形式进行对比

     

     可得他们的高斯形式:

     这是一个非常漂亮的结果,我们不仅可以通过联合分布和边缘分布计算条件分布,还说明了p(x)\sim N(\mu_x,\Sigma_{xx} )有了观测y之后,p(x|y)的均值做了调整,协方差也减小了,这体现了观测y对状态x的一个修正。

     

     【参考】《机器人学中的状态估计》@深蓝学院

    展开全文
  • 文章目录多元高斯分布直观理解求边缘概率,条件概率联合概率 多元高斯分布直观理解 求边缘概率,条件概率联合概率

    多元高斯分布直观理解

    在这里插入图片描述

    求边缘概率,条件概率

    在这里插入图片描述

    求联合概率

    在这里插入图片描述

    展开全文
  • 高斯分布和概率分布

    2021-03-02 19:02:20
  • matlab开发-高斯正态分布概率密度函数。高斯正态分布是应用最广泛的分布之一。
  • 多维变量联合高斯分布随机数生成方法  在概率分布中,变量之间的往往存在相关性,因而变量之间的概率分布往往是一种联合概率分布。现实生活中往往需要很多随机数,对于独立变量,其随机数生成往往比较简单,...
  • 高斯分布概率密度函数积分推导

    千次阅读 2019-10-04 20:34:42
    高斯分布: $f(x) = \frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{(x-\mu)^{2}}{2\sigma^{2}})$ ...一个高斯分布只需线性变换即可化为标准高斯分布,所以只需推导标准高斯分布概率密度的积分。由...
  • 上一讲对高维高斯概率分布N(μ,∑)\mathcal{N}(\mu,\sum)N(μ,∑)在定义域上积分为1进行了证明,这一讲来推导高斯分布的边缘概率和条件概率公式。推导过程与PRML一书类似,但对细节进行了展开介绍。随后介绍如何利用...
  • 机器学习——概率分类(三)高斯概率密度与混合高斯模型 在之前的文章机器学习——概率分类(一)朴素贝叶斯模型一文中,我们主要介绍了机器学习中的概率分类问题。我们提出了简单的朴素贝叶斯模型来进行概率密度的估计...
  • 本博客为(系列二)的笔记,对应的视频是...、【(系列二) 数学基础-概率-高斯分布4-局限性】、【(系列二) 数学基础-概率-高斯分布5-求边缘概率以及条件概率】、【(系列二) 数学基础-概率-高斯分布6-求联合概率分布】。
  • 高斯推断 最重要的结论是2.53b
  • 联合高斯分布(Joint Gaussian)的推导

    千次阅读 2020-03-13 21:20:38
    x∼N(0,σ2),y∣x∼N(x,c2) x \sim \mathcal{N}(0, \sigma^2), y|x \sim \mathcal{N}(x, c^2) x∼N(0,σ2),y∣x∼N(x,c2) f(y)=∫xf(y∣x)f(x)dx=∫x12πce−(y−x)22c212πσe−x22σ2dx=12πce−y22c2∫x12πσe−...
  • 高斯分布

    千次阅读 2019-04-26 10:41:23
    高斯分布在整个机器学习中都频繁出现,比如,在一开始学习线性回归的时候,在涉及到他的概率解释的时候,假设噪声服从高斯分布。在高斯混合模型(GMM),高斯判别分析(LDA)等等中,都涉及到了高斯分布,所以这里...
  • 0. 多元高斯分布 假定一个 n 维的随机变量 x=[x1x2]∼N(μ,Σ),其中 x1,x2 的维度分别是 p 和 q(也即 p+q=n),μ=[μ1μ2],Σ=[Σ11Σ21Σ12Σ22](Σ=ΣT,Σ21=ΣT21), ...2. 条件概率分布 给定 xj 求...
  • 高斯概率密度函数

    万次阅读 2018-12-04 22:03:31
    一维高斯PDF:   二维高斯PDF:   由此可以得到:。 如果用矩阵形式表示 对于联合高斯矢量 ,其PDF为:   其中均值...
  • 这个matlab文件是通过计算均值和协方差矩阵的多变量高斯概率密度函数
  • 1.ICA概念2.ICA不处理服从高斯分布的样本集3.概率密度函数4.复合函数的概率密度函数5.累积分布函数/分布函数6.联合分布7.行列式8.代数余子式(end)
  • 联合分布概率密度函数

    千次阅读 2020-01-13 14:55:18
    定义: 二维随机变量(X,Y)的分布函数,或称为随机变量X和Y的联合分布函数。 随机变量X和Y的联合分布函数是设(X,Y)是二维随机变量, 对于任意实数x,y,二元...对于离散变量,联合分布概率密度函数: P(AB) = P(A|B)...
  • 二 数学基础-概率-高斯分布 2.1 思维导图简述 数学基础-高斯分布思维导图 2.2 内容 2.2.1 高斯分布的最大似然估计 A 已知 数据条件:xix_{i}xi​是p∗1维p*1维p∗1维的列向量,代表一组数据。XXX是N*p维矩阵,表示...
  • 1)基础知识预备:概率分布  1.1)定义:  广义地,它指称随机变量的概率性质,即一个随机变量在概率空间的分布状况  狭义地,它是指随机变量的概率分布函数,定义如下:  对于任意实数a,有:FX(a) = P(X≤...
  • 多维高斯分布

    2019-09-24 10:07:10
      高斯分布是比较常见的概率分布,一维高斯分布如下: f(x)=12πσe−(x−μ)22σ2f(x)=\frac{1}{2\pi\sigma}e^{-{\frac{(x-\mu)^2} {2\sigma^2}}}f(x)=2πσ1​e−2σ2(x−μ)2​ 其中,σ\sigmaσ是方差,μ\mu...
  • 高斯分布&拉普拉斯分布

    万次阅读 多人点赞 2019-08-04 21:49:00
    高斯分布(一般指一元高斯分布)又称为正态分布,是常见的连续概率分布。 假设随机变量X N(μ,σ2)X~N(\mu,\sigma^2)X N(μ,σ2),则称变量X服从均值为μ\muμ,方差为σ2\sigma^2σ2的正态分布。如X代表...
  • MCMC算法--Gibbs采样2:多元高斯分布的边际分布与条件分布
  • 多元高斯分布的一个重要性质是,如果两组变量是联合高斯分布,那么以一组变量为条件,另一组变量同样是高斯分布。类似地,任何一个变量的边缘分布也是高斯分布。 首先考虑条件概率的情形。假设 x 是一个服从高斯分布 N(x...
  • 融合高斯分布

    2020-12-18 17:41:21
    (一)数据融合 假设两个传感器的测量结果分别为和,对应的标准差分别为和。...则这两个高斯分布概率密度函数的乘积为: 方便起见,令: 继续令: 那么,有: 可以看出,位于和之间,比和都
  • Python画高斯分布图 (2D, 3D)

    千次阅读 2019-10-19 13:31:42
    使用Python画高斯概率分布
  • PRML读书笔记——概率分布

    千次阅读 2017-04-21 18:09:58
    本章主要介绍各种概率分布,包括伯努利分布、Beta分布、狄利克雷分布、高斯分布(重点)、指数族分布和非参数化方法估计的概率分布
  • clear all;...%%一维高斯函数 mu=0; sigma=1; x=-6:0.1:6; y=normpdf(x,mu,sigma); plot(x,y); figure; %%二维或多维高斯函数 mu=[0 0]; sigma=[0.3 0;0 0.35]; [x y]=meshgrid(linspace(-8,8,80)

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 10,998
精华内容 4,399
关键字:

联合高斯概率分布