精华内容
下载资源
问答
  • 高斯分布3——边缘概率条件概率

    千次阅读 2020-04-01 21:05:13
    一、推导过程: 二、结果: ...x1,x2 各自依然服从 μi,写反差矩阵 Σii 的多元高斯分布条件概率分布 给定 xj 求 xi 的分布: μi|j=μi+ΣijΣ−1jj(xj−μj) Σi|j=Σjj−ΣTijΣ−1iiΣij ...

    一、推导过程:

    在这里插入图片描述

    二、结果:

    1. 边缘分布
      x1,x2 各自依然服从 μi,写反差矩阵 Σii 的多元高斯分布;

    2. 条件概率分布
      给定 xj 求 xi 的分布:
      μi|j=μi+ΣijΣ−1jj(xj−μj)
      Σi|j=Σjj−ΣTijΣ−1iiΣij

    展开全文
  • ​ 假设随机变量XXX服从均值为μ\muμ,协方差矩阵为Σ\SigmaΣ的高斯分布(为了更具有一般性,这里的均值是一个向量,协方差是一个矩阵)。随机变量Y=AX+BY=AX+BY=AX+B(这里的矩阵AAA和BBB都是常值矩阵)

    博主最近在看卡尔曼滤波算法,个人认为在卡尔曼滤波算法中最核心的部分莫过于高维高斯联合概率分布的性质,因此打算将这些性质整理成博客记录下来方便自己今后的学习,如果有哪里不对,欢迎各位读者指正。

    一 引理

    ​ 这里我引入一个定理,这个定理不在本博客证明,因为它很直观,便于理解。
    ​ 假设随机变量 X X X服从均值为 μ \mu μ,协方差矩阵为 Σ \Sigma Σ的高斯分布(为了更具有一般性,这里的均值是一个向量,协方差是一个矩阵)。随机变量 Y = A X + B Y=AX+B Y=AX+B(这里的矩阵 A A A B B B都是常值矩阵),则结论是 Y Y Y也服从于一个高维高斯分布,它的均值是 A μ + B A\mu+B Aμ+B,协方差矩阵是 A Σ A T A\Sigma{A^{T}} AΣAT

    二 推导

    ​ 设 p p p维随机变量 X = ( x 1 , x 2 , … , x p ) T X=(x_1,x_2,\dots,x_p)^{T} X=(x1,x2,,xp)T服从均值 μ = ( μ 1 , μ 2 , … , μ p ) T \mu=(\mu_1,\mu_2,\dots,\mu_p)^{T} μ=(μ1,μ2,,μp)T,协方差矩阵为式(2-1)的高斯分布,现在我们将随机变量 X X X切分为两个随机变量,第一个随机变量取随机变量 X X X的前 m m m维记为 X a X_a Xa,对应的均值为 μ a \mu_a μa。第二个随机变量取随机变量 X X X的后 n n n维记为 X b X_b Xb,对应的均值为 μ b \mu_b μb,且满足( m + n = p m+n=p m+n=p)。则随机变量 X X X可以写成 X = ( X a , X b ) T X=(X_a,X_b)^{T} X=(Xa,Xb)T,均值可以写成 μ = ( μ a , μ b ) T \mu=(\mu_a,\mu_b)^{T} μ=(μa,μb)T,协方差矩阵可写成式(2-2)。
    Σ = { σ 11 σ 12 … σ 1 p σ 21 σ 22 … σ 2 p ⋮ ⋮ … σ 3 p σ p 1 σ p 2 … σ p p } (2-1) \Sigma= \left\{ \begin{matrix} \sigma_{11} & \sigma_{12} & \dots & \sigma_{1p} \\ \sigma_{21} & \sigma_{22} & \dots & \sigma_{2p} \\ \vdots & \vdots & \dots & \sigma_{3p} \\ \sigma_{p1} & \sigma_{p2} & \dots & \sigma_{pp} \end{matrix} \right\} \tag{2-1} Σ=σ11σ21σp1σ12σ22σp2σ1pσ2pσ3pσpp(2-1)

    Σ = { Σ a a Σ a b Σ b a Σ b b } (2-2) \Sigma= \left\{ \begin{matrix} \Sigma_{aa}&\Sigma_{ab}\\ \Sigma_{ba}&\Sigma_{bb} \end{matrix} \right\} \tag{2-2} Σ={ΣaaΣbaΣabΣbb}(2-2)

    ​ 现在的问题是随机变量 X a X_a Xa以及在给定 X a X_a Xa的条件下 X b X_b Xb服从什么样参数的分布?
    ​ 为了使用引入的定理,这里我们构造出 X a X_a Xa X X X之间的关系,即 X a = ( I m , 0 n ) X X_a=(I_m,0_n)X Xa=(Im,0n)X。由此可以看出, X a X_a Xa可以由 X X X线性表出,则 X a X_a Xa服从高斯分布,均值和协方差矩阵求解见式(2-3)。
    E [ X a ] = ( I m , 0 ) μ = μ a V a r [ X a ] = ( I m 0 ) ( Σ a a Σ a b Σ b a Σ b b ) ( I m T 0 ) = ( Σ a a Σ a b ) ( I m 0 ) = Σ a a (2-3) E[X_a]=(I_m,0)\mu=\mu_a\\ Var[X_a]= \begin{pmatrix} I_m&0 \end{pmatrix} \begin{pmatrix} \Sigma_{aa}&\Sigma_{ab}\\ \Sigma_{ba}&\Sigma_{bb} \end{pmatrix} \begin{pmatrix} I_m^{T}\\ 0\\ \end{pmatrix}= \begin{pmatrix} \Sigma_{aa}&\Sigma_{ab} \end{pmatrix} \begin{pmatrix} I_m\\ 0 \end{pmatrix} =\Sigma_{aa} \tag{2-3} E[Xa]=(Im,0)μ=μaVar[Xa]=(Im0)(ΣaaΣbaΣabΣbb)(ImT0)=(ΣaaΣab)(Im0)=Σaa(2-3)

    所以 X a X_a Xa服从于均值为 μ a \mu_a μa,协方差为 Σ a a \Sigma_{aa} Σaa的高斯分布。
    现在做一下变量替换,见式(2-4),这里的替换纯属是为了后面计算方便,读者不必纠结于此。
    X b . a = X b − Σ b a Σ a a − 1 X a μ b . a = μ b − Σ b a Σ a a − 1 μ a Σ b b . a = Σ b a − Σ a a − 1 Σ a b (2-4) X_{b.a}=X_b-\Sigma_{ba}\Sigma_{aa}^{-1}X_{a}\\ \mu_{b.a}=\mu_b-\Sigma_{ba}\Sigma_{aa}^{-1}\mu_a\\ \Sigma_{bb.a}=\Sigma_{ba}-\Sigma_{aa}^{-1}\Sigma_{ab} \tag{2-4} Xb.a=XbΣbaΣaa1Xaμb.a=μbΣbaΣaa1μaΣbb.a=ΣbaΣaa1Σab(2-4)
    于是 X b . a X_{b.a} Xb.a可以表示为 ( − Σ b a Σ a a − 1 , I n ) X (-\Sigma_{ba}\Sigma_{aa}^{-1},I_n)X (ΣbaΣaa1,In)X。并且可以验证, X b . a X_{b.a} Xb.a的期望为 μ b . a \mu_{b.a} μb.a,协方差为 Σ b b . a \Sigma_{bb.a} Σbb.a。因此 X b = X b . a + Σ b a Σ a a − 1 X a X_b=X_{b.a}+\Sigma_{ba}\Sigma_{aa}^{-1}X_a Xb=Xb.a+ΣbaΣaa1Xa。所以在给定 X a X_a Xa的前提下, E [ X b ∣ X a ] = μ b . a + Σ b a Σ a a − 1 μ a E[X_{b}|X_a]=\mu_{b.a}+\Sigma_{ba}\Sigma_{aa}^{-1}\mu_a E[XbXa]=μb.a+ΣbaΣaa1μa V a r [ X b ∣ X a ] = V a r [ X b . a ] = Σ b b . a Var[X_b|X_a]=Var[X_{b.a}]=\Sigma_{bb.a} Var[XbXa]=Var[Xb.a]=Σbb.a

    展开全文
  • 多元高斯分布的边缘概率条件概率

    0. 多元高斯分布

    假定一个 n 维的随机变量 x=[x1x2]N(μ,Σ),其中 x1,x2 的维度分别是 p q(也即 p+q=n ), μ=[μ1μ2] Σ=[Σ11Σ21Σ12Σ22] Σ=ΣT,Σ21=ΣT21 ),

    1. 边缘分布

    x1,x2 各自依然服从 μi ,写反差矩阵 Σii 的多元高斯分布;

    2. 条件概率分布

    给定 xj xi 的分布:

    • μi|j=μi+ΣijΣ1jj(xjμj)
    • Σi|j=ΣjjΣTijΣ1iiΣij
    展开全文
  • 高斯分布概率密度函数 f(x)=12πσexp((x−μ)22σ2). f(x)=\frac{1}{\sqrt{2\pi }\sigma }exp(\frac{(x-\mu )^{2}}{2\sigma ^{2}}). f(x)=2π​σ1​exp(2σ2(x−μ)2​). numpy中 numpy.random.normal(loc=0.0, ...

    高斯分布的概率密度函数

    f ( x ) = 1 2 π σ e x p ( ( x − μ ) 2 2 σ 2 ) . f(x)=\frac{1}{\sqrt{2\pi }\sigma }exp(\frac{(x-\mu )^{2}}{2\sigma ^{2}}). f(x)=2π σ1exp(2σ2(xμ)2).
    numpy中

    numpy.random.normal(loc=0.0, scale=1.0, size=None)

    参数的意义为:

    loc:float

    概率分布的均值,对应着整个分布的中心center

    scale:float

    概率分布的标准差,对应于分布的宽度,scale越大越矮胖,scale越小,越瘦高

    size:int or tuple of ints

    输出的shape,默认为None,只输出一个值

    我们更经常会用到np.random.randn(size)所谓标准正太分布(μ=0, σ=1),对应于np.random.normal(loc=0, scale=1, size)

    展开全文
  • 概率部分:条件高斯分布

    千次阅读 2013-05-22 08:58:58
    需要pdf版的可以留言 参考:pattern recognition and machine learning
  • 高斯分布概述概率密度函数 概述 正态分布(Normal distribution)又名高斯分布(Gaussian ...若随机变量X服从一个数学期望为μ,标准差为σ的高斯分布,记为: X∼N(μ,σ2) X \sim N(\mu,\sigma^2) X∼N(μ,σ2) 则其...
  • 第一步:从平均分布到高斯分布 ...假设有两个独立随机变量X, Y服从高斯分布: 若在二维平面上采样横纵坐标分别为(X, Y)的点,得到的图为: 点(X, Y)在该平面上的联合概率密度函数为: 将平...
  • 多元正态分布条件概率分布(一)

    万次阅读 多人点赞 2014-06-04 12:25:20
    多元正态分布条件概率分布 假设分别有两个多维向量和 其中 那么的协方差矩阵为: 那么的协方差矩阵为: 那么的协方差矩阵为: 那么的协方差矩阵为...
  • 若随机变量X服从一个数学期望为、标准方差为的高斯分布,记为: 则其概率密度函数为: 正态分布的期望值决定了其位置,其标准差决定了分布的幅度。因其曲线呈钟形,因此人们又经常称之为钟形曲线。我们通常所...
  • 浅谈通信理论计算中的高斯分布

    千次阅读 2020-05-22 19:44:00
    后来在计算连续输入信号时总是见到到当输入服从高斯分布,可达到信道容量? why? 在射频中计算时采用的输入信号都是服从复高斯分布的,why? 以及后面在计算离散输入时,都要想方设法通过积分变换将输入输出转移...
  • 关于多元正态分布条件概率密度

    万次阅读 2017-01-10 21:16:23
    原文来自师兄的博客:...多元正态分布条件密度 多元正态分布多元正态分布的密度函数如下 : fx(x1,...xn)=1(2π)k√|Σ|1/2exp(−12(x−μ)TΣ−1(x−μ))f_{x}(x_{1},...x_{n})=\frac{1}{\sqrt{(2\pi)^{
  • 高斯分布&正态分布

    2021-07-11 16:45:29
    研究表明,在物理科学和经济学中,大量数据的分布通常是服从高斯分布,所以当我们对数据潜在分布模式不清楚时,可以优先用高斯分布近似或精确描述。 遵循高斯分布的随机变量是假设在给定范围内的任何值,比如某小学...
  • 其中,iii表示虚数单位,aaa和bbb表示方差相同零均值高斯分布随机变量,有: a∼N(0,σ2)a\sim\mathcal{N}(0,\sigma^2)a∼N(0,σ2) b∼N(0,σ2)b\sim\mathcal{N}(0,\sigma^2)b∼N(0,σ2) 此时该噪声功率为σz2=2σ2\...
  • 正态分布(Normal distribution),也称“常态分布”,又名高斯分布(Gaussian distribution) 正态曲线呈钟型,两头低,中间高,左右对称因其曲线呈钟形,因此人们又经常称之为钟形曲线。 若随机变量X服从一个数学...
  • 高斯分布和卡方分布

    千次阅读 2019-08-25 12:49:38
    高斯分布和卡方分布高斯分布和卡方分布高斯分布1 单元高斯分布1.1 一维随机变量1.2 标准正太分布1.3 numpy中使用正太分布2 多元高斯分布2.1 独立多元/维高斯分布2.2 举例-画2维独立不相关高斯图2.3 相关系数2.3 举例...
  • python 服从正态分布概率密度函数

    千次阅读 2019-10-11 00:13:40
    python 服从正态分布概率密度函数和累积密度函数 服从正太分布下,概率密度函数公式 公式解释: f(x): 是某样本(样本以数值形式表现)为某数值时发生的概率 0<f(x)<1 x: 是随机抽样的数值,取值范围从负...
  • 菜鸟学概率统计——高斯分布

    千次阅读 2016-10-10 20:54:12
    http://baike.baidu.com/view/45379.htm?fromtitle=高斯分布&fromid=10145793&type=syn正态分布(Normal distribution)又名高斯分布(Gaussian distribution),是一个在数学、物理及工程等领域都非常重要的概率...
  • I . 高斯混合模型方法 ( GMM ) II . 硬聚类 与 软聚类 III . GMM 聚类结果概率的作用 IV . 高斯混合分布 V . 概率密度函数 VI . 高斯分布 曲线 ( 仅做参考 ) VII . 高斯混合模型 参数简介
  • 高斯分布

    千次阅读 2019-04-26 10:41:23
    高斯分布在整个机器学习中都频繁出现,比如,在一开始学习线性回归的时候,在涉及到他的概率解释的时候,假设噪声服从高斯分布。在高斯混合模型(GMM),高斯判别分析(LDA)等等中,都涉及到了高斯分布,所以这里...
  • 高斯分布 ( Gaussian distribution ),是一个在 数学 、 物理 及 工程 等 领域 都非常重要的概率分布,在统计学的许多方面有着重大的影响力。 若 随机变量 X 服从一个 数学期望 为μ、 标准方差 为σ2的高斯分布...
  • 高斯分布是一个很神奇的分布,很多人在考虑问题的时候,总是很喜欢假设数据是满足高斯分布的。其原因可能就是,正态分布的各项统计学特征都可以很好地表示出来,我们只需要知道两个参数——均值和方差,即可,就可以...
  • 高斯分布是概率统计、机器学习等领域非常重要的一类分布,而多元高斯分布是单元高斯分布在高维数据下的表现形式。多元高斯分布中有一条重要的...假设D维向量x服从高斯分布N(x∣μ,Σ)N(\textbf{x}|\bm{\mu}, \bm{\Si...
  • 高斯分布

    千次阅读 2021-01-12 22:30:26
    目录前言高斯分布及其相关分布瑞利分布 前言 本文主要介绍与高斯分布相关的一些通信中用的比较多的分布以及具体含义。 高斯分布及其相关分布 一个均值为 μ\muμ,方差为 σ\sigmaσ 高斯随机变量 www 取实数值,并...
  • 2.3 高斯分布高斯分布,也叫正态分布,是广泛应用在连续性变量中的分布。它的形式是 而高维(多变量)正态分布的形式是 其中Σ表示协方差矩阵不论是单变量还是多变量的情况,正态分布均为使熵最大的分布满足一定条件...
  • 吴恩达的《机器学习(CS229)》Lecture note 9(Part X Factor analysis)中提及了多元高斯分布的边缘分布和条件分布,指出这两者本身亦是高斯分布,但没有给出详细的证明。我自己尝试着推导,但不得要领,直到上网...
  • 看极化SAR影像时看到矩阵服从高斯分布,不明白是什么于是查了查。 正态分布又叫高斯分布 X~(μ,σ2) , μ为期望(均值),σ2为方差 遥感影像常认为服从正态分布,横坐标是影像灰度级变化,纵坐标为各灰度级像元...
  • 英语:normal distribution)又名高斯分布(德语:Gauß-Verteilung;英语:Gaussian distribution, 以德国数学家卡尔·弗里德里希·高斯的姓冠名)。想必这个大名鼎鼎的分布,跟高斯这个名字一样,如雷贯耳,只要稍...
  • 摘要高斯分布被誉为"上帝的分布", 其强悍的建模能力和优美的数学性质使得高斯分布在现实中得到广泛的应用. 由中心极限定理 我们知道, 大量独立同分布的随机变量的均值在做适当标准化之后会依分布收敛于高斯分布, 这...
  • 高斯分布的一些理解

    千次阅读 2019-01-01 13:25:38
    正态分布(Normal distribution)又名高斯分布(Gaussian distribution),是一个在数学、物理及工程等领域都非常重要的概率分布,在统计学的许多方面有着重大的影响力。 若随机变量X服从一个数学期望为μ、标准...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 12,729
精华内容 5,091
关键字:

条件概率服从高斯分布