精华内容
下载资源
问答
  • 条件高斯分布

    千次阅读 2016-03-16 09:31:50
    考虑第一种情形的条件高斯分布。假设X是一个满足高斯分布的D维向量,我们把X分作两个子集Xa和Xb。不失一般性,我们记Xa为X的前M个元素,Xb为剩下D-M个元素,即 我们还定义期望向量的分块 及协方差矩阵的...

     

    多元高斯分布的一个重要性质是如果两个变量集是联合高斯分布,那么其中一个基于另一个变量集上的条件分布仍然是高斯分布。边缘高斯分布也有类似结论。

    考虑第一种情形的条件高斯分布。假设 X 是一个满足高斯分布 D 维向量,我们把 X 分作两个子集 Xa Xb 。不失一般性,我们记 Xa X 的前 M 个元素, Xb 为剩下 D-M 个元素,即
    我们还定义期望向量 的分块
    及协方差矩阵 的分块


    注意到协方差的对称性 隐含着 也是对称的,以及
     
    在许多情形下,使用协方差矩阵的逆会更加方便

    它被称为精度矩阵(precision matrix,图模型中的称谓)。事实上,我们将看到高斯分布的一些性质大部分都会很自然地用协方差的形式表示,然而当精度矩阵(precision matrix,图模型中的称谓)表示时另外一些性质的形式将会变得更加简单。因此,我们也引入了精度矩阵(precision matrix,图模型中的称谓)的分块形式

    与向量X的分块(2.65)一致。因为对称矩阵的逆仍然是对称的,所以都是对称矩阵,以及

    。在此需要强调的是, 不是简单的给 取逆。事实上,我们将会考察分块矩阵的逆和其分块的逆之间的关系。
              首先,我们来寻求条件概率 的表示。根据概率的乘法性质,得到该条件概率可以简单地通过用 Xb 的观测值来修正联合概率 并归一化其结果表示从而得到合理的 Xa 上的合理概率分布。我们不是具体地实行归一化,而是采用高效地方法,即考虑( 2.44 )给出的高斯分布中指数的二次形然后在计算的最后恢复归一化系数。使用划分( 2.65 ),( 2.66 )和( 2.69 )得到

     


    可见这是一个关于 Xa 的函数,而且是二次形式,因此,对应的条件分布 将是高斯分布。因为,这种分布(高斯分布)完全由期望和方差表征,所以,我们的目标是检查(2.70)的期望和方差的等价表示。
              它是一个与高斯分布相联系的极普通的例子,有时称为“完全平方”,其中给了我们高斯分布中指数项中的二次形式,以及我们需要确定对应的期望和方差。该问题可以直接通过标记普通高斯分布 的指数可以记为

    这里的“ const ”表示独立于 X 的项,而且我们利用了 的对称性。因此,如果将普通的二项形式并且将它表示为( 2.71 )右边的形式,那么我们可以立即将 X 的二次项的系数等同于协方差矩阵的逆 而且 X 的线性项系数等同于 ,由此我们可以获得
    现在将该步骤应用于条件高斯分布 它的指数项的二次形式由( 2.70 )给出。我们分别用
    表示该分布的期望和方差。考虑该函数依赖于 Xa ,对于 Xb 则视为常数。如果我们将 Xa 所有二次项提出,则得到
    据此可以立即总结出 的协方差矩阵(精度矩阵的逆)为

    现在考虑(2.70)中Xa所有的线性项

    这里我们利用了。从我们讨论普通形式(2.71)中可知,表达式中Xa的系数一定等于,因此,


    这里我们利用了(2.73)。

              2.73 )和( 2.75 )的结果是由初始联合分布 的精度矩阵中的分块项表示的。我们同样可以用协方差矩阵的对应分块项来表示这些结果。为了实现这个,我们利用了以下分块矩阵的逆的恒等式

    这里我们定义



    的大小称作( 2.76 )左边矩阵相对于子矩阵 D 的舒尔补( Schur complement )。采用定义

    并利用(2.76),可得到

    通过这些我们可以获得条件分布 的期望和方差的等式如下
    比较( 2.73 )和( 2.82 ),可以当采用精度矩阵的分块项来表示条件概率 相对于采用协方差矩阵的分块项更加简单。注意,条件概率 的期望(由( 2.81 给出)),是 Xb 的线性函数,而协方差(由( 2.82 给出))独立于 Xa 。这代表了一种线性高斯模型的例子。

     

    2.3.2边缘高斯分布

              我们已经见到如果联合分布 是高斯分布,那么条件高斯分布 也是高斯分布。现在我们回到如下的边缘分布的讨论,
    我们将看到,它同样是高斯分布。同样,我们的策略关注与联合分布的二次形式指数项从而确定边缘分布 的期望和方差。

             在(2.70)中,联合分布的二次形式可以用精度矩阵的分块形式表示。因为我们的目标是对Xb积分,这可以很容易地通过首先考虑包含Xb的项然后配方来简化积分达到。提出哪些仅包含Xb的项,得到

     

    这里我们定义了

     

    可见依赖于Xb的项能够转化到和(2.84)中右端项的第一项对应的高斯分布的标准二次形式,加上一个并不依赖于Xb(但是依赖于Xa)的项。因此,使用二次形式的指数形式,我们可以发现(2.83)在Xb上的积分是如下形式


    该积分是在非归一化的高斯分布上的积分,所以结果将会和其系数有关。通过( 2.43 )给出的归一化高斯形式我们可以知道系数和均值独立,并且只依赖于协方差矩阵的行列式。因此,对 Xb 配方,我们可以积出 Xb 而分布( 2.84 )左边的依赖于 Xa 剩余项是( 2.84 )右边的最后一项其中 m 由( 2.85 )给出。结合该项以及( 2.70 )的依赖于 Xa 的剩余项,得到

    这里“ const ”表示数值独立于 Xa 。再次,通过同( 2.71 )比较,可以发现边缘分布 的协方差矩阵是

    类似地,期望是

     

    这里利用了(2.88)。在(2.88)中协方差是由(2.69)给出的精度矩阵的分块项表示。就像我们之前所做的那样,可以用(2.67)给出的协方差矩阵的对应分块项来重新表示它们。这些分块矩阵的关系是

     

    利用(2.76),有

    因此我们获得了满意的直观结果,即边缘分布的期望和方差为

     

    可以看到对于边缘分布,使用协方差矩阵的分块矩阵项表示均值和方差时最简单的,然而,在条件分布中使用精度矩阵表示均值和协方差更简便。


    原文地址:http://tonyshen.blog.51cto.com/4569905/801260

    展开全文
  • 多元高斯分布及多元条件高斯分布

    千次阅读 2016-10-29 13:06:11
    已知 D 维向量 x,其高斯概率分布为:N(x|μ,Σ)

    高斯那些公式

    已知 D 维向量 x,其高斯概率分布为:

    N(x|μ,Σ)==1(2π)D/21|Σ|1/2exp(12(xμ)TΣ1(xμ))1|Σ|(2π)Dexp(12(xμ)TΣ1(xμ))

    • 显然默认 x 是一个列向量
    • 还需注意的是,当传递进去的是样本矩阵 X (以行为样本) 而不是列向量 x,则在计算指数部分时,

      -1/2*sum(X/Sigma .* X, 2);
    • 当多元高斯分布退化为一元高斯时, Σ 对应着 σ2 (方差),而不是标准差(standard deviation)

    • 这里 d=(xμ)TΣ1(xμ) 也称为马氏距离;
      是对一元高斯分布对应的 d=xμσ 得拓展;
    • 多元时的 d=(xμ)TΣ1(xμ) 也可视为某种程度的 z-分数,尤其在变量之间彼此独立,并且方差相同时, d=xμσ (z-分数),

    1. 条件高斯分布(Conditional Gaussian distributions)

    Multivariate normal distribution - Wikipedia

    2. 编程时的技巧

    • αexp(f(x)) 的计算通常转换为,求对数,再求指数的形式: elogαexp(f(x))=elogα+f(x)

    • p=1|Σ|(2π)Dexp(12(xμ)TΣ1(xμ)) logp=D2log(2π)12log|Σ|12(xμ)TΣ1(xμ)

    3. 多元高斯概率密度函数的 matlab 实现

    function p = gaussProb(X, mu, Sigma)
    d = size(Sigma, 2);
    X = bsxfun(@minus, X, mu(:)');
    log1 = -d/2*log(2*pi)-1/2*logdet(Sigma);
    log2 = -1/2*sum(X/Sigma .* X, 2);
    p = exp(log1+log2);
    end
    • 这里的 X <script type="math/tex" id="MathJax-Element-18">X</script>(样本矩阵)以行为样本;
    展开全文
  • 多元高斯分布中有一条重要的性质,如果两个变量集的联合是高斯分布,那么其中一个变量集在以另一个变量集为条件下的分布依然是高斯分布,并且可以通过公式推导求出该条件的期望和方差。下面给出具体分析。 假设D维...

    高斯分布是概率统计、机器学习等领域非常重要的一类分布,而多元高斯分布是单元高斯分布在高维数据下的表现形式。多元高斯分布中有一条重要的性质,如果两个变量集的联合是高斯分布,那么其中一个变量集在以另一个变量集为条件下的分布依然是高斯分布,并且可以通过公式推导求出该条件的期望和方差。下面给出具体分析。
    假设D维向量x服从高斯分布 N ( x ∣ μ , Σ ) N(\textbf{x}|\bm{\mu}, \bm{\Sigma}) N(xμ,Σ),将x分割为两个分量 x a x_a xa x b x_b xb,其中 x a x_a xa包含x的前M个分量, x b x_b xb中则包含剩余D-M个分量,相应的,将均值和方差也按照同样的规则分割,即
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    其中, Σ \bm{\Sigma} Σ为对称矩阵,并且 Σ a a \bm{\Sigma}_{aa} Σaa Σ b b \bm{\Sigma}_{bb} Σbb均为对称矩阵, Σ b a = Σ a b T \bm{\Sigma}_{ba}=\bm{\Sigma}_{ab}^T Σba=ΣabT.
    同时给出, Λ = Σ − 1 \bm{\Lambda}=\bm{\Sigma}^{-1} Λ=Σ1,并且将其按同等尺寸分割,即
    在这里插入图片描述
    需要确定的是条件概率 p ( x a ∣ x b ) p(x_a|x_b) p(xaxb),按照常规方法,可以通过乘法概率来求条件概率,此时需要联合分布 p ( x a , x b ) p(x_a,x_b) p(xa,xb)以及边缘分布 p ( x b ) p(x_b) p(xb),这种方法比较复杂,我们可以通过对高斯分布中指数项里的二次型进行探索,从而得到想要的结果。
    我们知道,多元高斯分布的概率密度(记为式1)为:
    在这里插入图片描述系数项是常数,现在只考虑指数项,经过变量分割之后,指数项可以转化为如下形式(记为式2):
    在这里插入图片描述可以看到,上式看作 x a x_a xa的函数时仍为二次形式,因此条件概率 p ( x a ∣ x b ) p(x_a|x_b) p(xaxb)仍为高斯分布。现在需要求出该分布的期望和方差。
    首先将指数项改写为以下形式(记为式3):
    在这里插入图片描述其中,const是与x无关的常数,并且该转换用到了 Σ \bm{\Sigma} Σ是对称矩阵这一性质。
    观察上式可以发现,如果将条件分布的指数项也写为上述形式,那么只需在转化之后的式中,找出 x a x_a xa的系数即为要求的 Σ − 1 \bm{\Sigma}^{-1} Σ1,再找出 x a x_a xa的一次项的系数即为 Σ − 1 μ \bm{\Sigma}^{-1}\mu Σ1μ,由于 Σ − 1 \bm{\Sigma}^{-1} Σ1已经求出, μ \mu μ也可随之求出。
    将式2整理为式3对应的形式后可以发现,含x的二次项的部分为
    在这里插入图片描述
    从而得到,
    在这里插入图片描述
    含x的一次项的部分为
    在这里插入图片描述
    前边提到,一次项的系数恰好是 Σ − 1 μ \bm{\Sigma}^{-1}\mu Σ1μ,从而得到,
    在这里插入图片描述
    此时我们已经得到了条件分布 p ( x a ∣ x b ) p(x_a|x_b) p(xaxb)的均值和方差,但是都是以矩阵 Λ \bm{\Lambda} Λ为基础来表示的,如果想要使用 Σ \bm{\Sigma} Σ来表示,还需要进行一些变换。
    首先引入分块矩阵的求逆法则:
    在这里插入图片描述其中,
    在这里插入图片描述
    矩阵 Λ \bm{\Lambda} Λ和矩阵 Σ \bm{\Sigma} Σ之间的关系用分割之后的形式可以表示为
    在这里插入图片描述
    对应分块矩阵的求逆法则中各部分,可以得到:
    在这里插入图片描述
    将上述结果带入到已经求出的均值和方差的表达式中,可以得到最终结果:
    在这里插入图片描述
    至此,多元条件高斯分布的均值、方差的推导过程就完成了。

    展开全文
  • 从指定数量的维度创建多个样本,并将它们集中在给定的均值和给定的协方差范围内。 你可能不会觉得它很有用,但是,嘿,我需要一些东西来做这件事,所以为什么不呢。 使用: 您需要从 3 维高斯分布生成 1000 个样本...
  • 概率部分:条件高斯分布

    千次阅读 2013-05-22 08:58:58
    需要pdf版的可以留言 参考:pattern recognition and machine learning


    需要pdf版的可以留言

    参考:pattern recognition and machine learning


    展开全文
  • Matlab实现高斯随即过程,可变换数据
  • 上一讲对高维高斯概率分布N(μ,∑)\mathcal{N}(\mu,\sum)N(μ,∑)在定义域上积分为1进行了证明,这一讲来推导高斯分布的边缘概率和条件概率公式。推导过程与PRML一书类似,但对细节进行了展开介绍。随后介绍如何利用...
  • 高斯过程之条件分布(Conditional Distribution)设X=(X1,X2)∈Rm×n∼N(μ,Σ)X=(X_1,X_2)\in \mathbb{R}^{m\times n}\sim N(\mu,\Sigma),其中X1∈Rm,X2∈Rn,μ=(μ1,μ2),μ1=E(X1),μ2=E(X2),Σ∈R(m+n)×(m+n)X_1...
  • MCMC算法--Gibbs采样2:多元高斯分布的边际分布与条件分布
  • 文章目录1.0高斯牛顿法1.1注意:1.1.1雅可比矩阵 Jacobian matrix1.1.2残差 residual,表示实际观测值与估计值(拟合值)之间的差1.2方法核心1.3 联合实际相机估计问题思考:1.4 保证算法收敛的机制1.5 效果优缺点分析...
  • 考虑第一种情形的条件高斯分布。假设X是一个满足高斯分布的D维向量,我们把X分作两个子集Xa和Xb。不失一般性,我们记Xa为X的前M个元素,Xb为剩下D-M个元素,即 我们还定义期望向量的分块 及协方差矩阵的分块 ....
  • 吴恩达的《机器学习(CS229)》Lecture note 9(Part X Factor analysis)中提及了多元高斯分布的边缘分布和条件分布,指出这两者本身亦是高斯分布,但没有给出详细的证明。我自己尝试着推导,但不得要领,直到上网...
  • 为此,我们提出了一种在条件滤波噪声下基于期望数据效用的自适应高斯机制。 首先,对高斯机制噪声进行了条件滤波。 其次,我们根据相对误差的绝对值定义了期望数据效用。 最后,我们通过将预期数据效用与条件滤波...
  • 文章目录一、高斯分布的概率密度函数二、一元高斯分布的极大似然估计2.1 μMLE,σMLE\mu_{MLE},\sigma_{MLE}μMLE​,σMLE​ 的求解2.2 验证 μMLE,σMLE\mu_{MLE},\sigma_{MLE}μMLE​,σMLE​ 的无偏性三、多元...
  • 概述了暗空间光孤子的基本理论,用数值计算的方法分析了不同边界条件高斯光束中暗空间光孤子的影响。
  • 高斯网络(GBN与GMN)

    2021-01-08 00:00:00
    1.贝叶斯网络和马尔科夫网络是随机变量为离散型的概率图模型2.随机变量是连续型的概率图模型叫做高斯图3.高斯图又可以分为高斯贝叶斯网络和高斯马尔科夫网络对于概率图模型(Probabili...
  • 1 符号说明 将变量、均值和方差...条件概率再高斯过程回归中需要用到 机器学习笔记:高斯过程_UQI-LIUWJ的博客-CSDN博客 我们首先计算的分布,根据2的定理有: 现在可以得到。根据与的关系可以得到的...
  • 机器学习-高斯模型

    千次阅读 2017-05-02 15:11:01
    高斯模型的公式推导过程 通过学习线性模型之后,我们会有这样的疑问,如果现实中实例,他的分布不是线性模型的...在使用这一模型的前提条件是,我们假设 在不同的测试数据中,误差变量是 独立同分布的,我们通常情况下
  • 注:在判别学习算法中,我们假设p(y|x)p(y|x)服从一维正态分布,这个很好类比,因为在模型中输入数据XX通常是拥有很多维度的,所以对于XX的条件概率建模时要取多维正态分布。 多元正态分布 多元正态分布也叫多元高斯...
  • 条件随机场模型是Lafferty于2001年,在最大熵模型和隐马尔科夫模型的基础上,提出的一种判别式概率无向图学习模型,是一种用于标注和切分有序数据的条件概率模型。CRF最早是针对序列数据分析提出的,现已成功应用于...
  • 多维高斯分布讲解

    千次阅读 2018-03-09 14:40:53
    多维高斯分布详解
  • 本文提出光束轨迹方程的一般解,导出解析解的存在条件,推广了文献[1]的光线传播理论,文中以一特定梯度折射率棒为例,讨论了高斯光束在棒中的传播特性。
  • 本文考虑了二次高斯多端(MT)源编码问题,并为Berger-Tung(BT)求和率定为严格提供了新的充分条件。相反的证明利用一组虚拟远程源,给定的观察到的源是独立于块的,最大块大小为2。给定的MT源编码问题与一组具有...
  • 为了研究其实际的谐波转换规律,以便于指导实际情况的晶体调试,研究了各种非理想条件下,比如1 ns高斯脉冲,不同波面半径和晶体损耗对三倍频谐波转换的影响。研究结果表明:高斯形脉冲的三倍频外效率绝对值比平顶...
  • 高斯分布3——边缘概率与条件概率

    千次阅读 2020-04-01 21:05:13
    一、推导过程: 二、结果: ...x1,x2 各自依然服从 μi,写反差矩阵 Σii 的多元高斯分布; 条件概率分布 给定 xj 求 xi 的分布: μi|j=μi+ΣijΣ−1jj(xj−μj) Σi|j=Σjj−ΣTijΣ−1iiΣij ...
  • 该代码参考论文Deep-Waveform: A Learned OFDM Receiver Based on Deep Complex Convolutional Networks中的源码进行的修改

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 54,712
精华内容 21,884
关键字:

条件高斯