精华内容
下载资源
问答
  • 高斯乘积法 2.1 卡尔曼滤波的条件假设 目标动态方程和观测方程式是线性的:

     前言


           卡尔曼滤波的推导这里给出两种推导方法:一种是利用高斯乘积定理和贝叶斯公式推导出来的,另一种借用的是最小误差的思想(IMSE)。关于卡尔曼滤波的应用场景以及通俗的解释,我相信各位读者已经在不同的平台有了了解,我这里我就不赘述了。

           首先我们需要具备高斯乘积定理贝叶斯公式的具体形式:

     高斯乘积定理

    ​​​其中

    贝叶斯公式

               在这里直接根据贝叶斯地推公式写出后验概率密度: ​

     其中,

    为归一化因子

    为似然函数

    为预测概率

    时刻的后验概率估计


    这一部分开始正式的推导了!!!


            在这里需要提一下,此方法的推导的宏观思路:以贝叶斯公式为方向,以高斯定理为工具进行推导的。

    一、卡尔曼滤波的条件假设

             1.目标动态方程和观测方程式是线性的:

     

            2.在目标动态方程和观测方程中的噪声必须服从0均值协方差分别为QR  的高斯白噪声。

            3.K-1时刻的后验概率密度是必须是均值为   和方差为  的形式。

     二、目标动态方程和传感器观测方程

    1. 目标动态方程

    式中, 代表的是 时刻的目标状态,g 代表的是二阶连续可微的函数;噪声 是系统随机输入的噪声,用于描述系统模型误差。

        2. 观测方程

    式中,   代表 时刻目标观测向量, 代表的是二阶连续可微的函数;随机变量 表示观测误差。此方程构造了目标状态 和观测值 之间的定量关系。

    三、转移和预测密度函数

    首先将状态转移密度表示为:

    也可以理解并表示为:

    其中  是服从以0为均值的、 为方差的高斯分布的噪声。其中的 是描述系统转移的方程,在大部分系统还有常数项的出现即

    以上的部分可以称为先验估计的部分。

    然后我们在设在 时刻目标的后验概率密度为:

     那么预测概率密度为:

    Tips:这个式子中可以提出两个问题:

    1.为什么   为预测概率?

            A1:预测是借助以往的数据对未来或者现在的状态的预测,在这里是将上一时刻的观测值作为依据,对此时刻的状态进行预测。理解为:在观测值为 的条件下, 发生的概率。

    2.为何等号右边进行了这样的变形?

            A2:在预测概率密度函数 缺少了在k-1 时刻的状态 ,所以怎么加入?我们使用积分的方法,在全域对其积分,这样就可以不改变原值的情况下加入 。为什么需要将 加入?因为我们需要使用状态转移密度 和后验概率密度 进行对预测概率密度 求解即

            之后我们将先前假设的状态转移密度) 、后验概率密度 代入上式可以得到:

                               

    其中,

    至此,转移和预测概率密度函数都已推导完成。卡尔曼滤波预测功能的公式推导完成,总体可概括为以下两个式子:

    四、似然函数(观测)与归一化因子

    首先我们先假设似然函数需要满足:

    同上我们也可以将它化成:

    其中 是测量噪声,服从0均值、 为协方差的高斯分布。

    在贝叶斯递推公式中的归一化可以表示为:

    其中

           这里运用积分的目的也是为了加入归一化中本身不含有的一项因子(这里是 )。同样是使用高斯乘积定理得到最后的结果。

            至此似然函数和归一化因子的推导完成。在我的理解里:似然函数的含义就是“应该是这样”的猜测,结合在这里就是借助此时刻先验估计 对测量值 的估计。归一化因子的作用:保证贝叶斯后验估计分布特性是一个概率密度函数,也可以根据其式子 的类比可以得到,这是根据前一时刻测量结果估计此时刻的一个概率估计。

    五、条件密度函数

    我们将之前推导得到的预测函数(先验)、似然函数、归一化参数代入贝叶斯递推公式中可得:

     再使用高斯乘积定理可以得到:

     然后约分可以得到:

    其中

    这里的  就是卡尔曼增益,是卡尔曼递推中及其重要的一个变量,后验估计和最终的估计都是借助卡尔曼增益运算的结果。


    总结一下 :卡尔曼滤波基本公式


     :先验估计表征的是从上一时刻到此时刻系统变化规律。

     : 先验估计协方差

    :测量函数式是测量值和先验估计的桥梁。

    :归一化参数式的协方差。

    :卡尔曼增益。

    :后验估计是系统最终采取的值。

    :后验估计协方差

    展开全文
  • 高斯分布的乘积

    万次阅读 2018-04-22 22:23:12
    假设有两个高斯分布: p1(x)=(2πσ21)−12exp{−12(x−μ1)2σ21}p1(x)=(2πσ12)−12exp{−12(x−μ1)2σ12}p_1(x) = (2\pi\sigma_1^2)^{-\frac{1}{2}}exp\{ -\frac{1}{2} \frac{(x-\mu_1)^2}{\sigma_1^2} \} p2...

    假设有两个高斯分布:
    p 1 ( x ) = ( 2 π σ 1 2 ) − 1 2 e x p { − 1 2 ( x − μ 1 ) 2 σ 1 2 } p_1(x) = (2\pi\sigma_1^2)^{-\frac{1}{2}}exp\{ -\frac{1}{2} \frac{(x-\mu_1)^2}{\sigma_1^2} \} p1(x)=(2πσ12)21exp{21σ12(xμ1)2} p 2 ( x ) = ( 2 π σ 2 2 ) − 1 2 e x p { − 1 2 ( x − μ 2 ) 2 σ 2 2 } p_2(x) = (2\pi\sigma_2^2)^{-\frac{1}{2}}exp\{ -\frac{1}{2} \frac{(x-\mu_2)^2}{\sigma_2^2}\} p2(x)=(2πσ22)21exp{21σ22(xμ2)2}

    高斯分布相乘

    计算这两个高斯分布的乘积:
    p 1 ( x ) p 2 ( x ) = 1 2 π σ 1 2 σ 2 2 e x p { − { ( x − μ 1 ) 2 2 σ 1 2 + ( x − μ 2 ) 2 2 σ 2 2 } } p_1(x)p_2(x) = \frac{1}{2\pi \sqrt{\sigma_1^2\sigma_2^2} }exp\{ -\{ \frac{(x-\mu_1)^2}{2\sigma_1^2} + \frac{(x-\mu_2)^2}{2\sigma_2^2} \} \} p1(x)p2(x)=2πσ12σ22 1exp{{2σ12(xμ1)2+2σ22(xμ2)2}}
    高斯分布的乘积还是高斯分布,且根据这篇博客直观理解高斯相乘可以计算出 p 1 ( x ) p 2 ( x ) p_1(x)p_2(x) p1(x)p2(x)的均值 μ \mu μ和方差 σ \sigma σ
    μ = μ 1 σ 2 2 + μ 2 σ 1 2 σ 1 2 + σ 2 2 \mu = \frac{\mu_1 \sigma_2^2 + \mu_2 \sigma_1^2}{ \sigma_1^2+\sigma_2^2} μ=σ12+σ22μ1σ22+μ2σ12 1 σ 2 = 1 σ 1 2 + 1 σ 2 2 \frac{1}{\sigma^2} = \frac{1}{\sigma_1^2}+\frac{1}{\sigma_2^2} σ21=σ121+σ221 σ 2 = σ 1 2 σ 2 2 σ 1 2 + σ 2 2 \sigma^2 = \frac{\sigma_1^2\sigma_2^2}{\sigma_1^2+\sigma_2^2} σ2=σ12+σ22σ12σ22
    接下来分析一下 μ \mu μ σ 2 \sigma^2 σ2
    首先是均值 μ \mu μ
    μ − μ 1 = μ 1 σ 2 2 + μ 2 σ 1 2 σ 1 2 + σ 2 2 − μ 1 σ 1 2 + μ 1 σ 2 2 σ 1 2 + σ 2 2 = ( μ 2 − μ 1 ) σ 1 2 σ 1 2 + σ 2 2 \mu - \mu_1 =\frac{\mu_1 \sigma_2^2 + \mu_2 \sigma_1^2}{ \sigma_1^2+\sigma_2^2} -\frac{\mu_1 \sigma_1^2 + \mu_1\sigma_2^2}{\sigma_1^2+\sigma_2^2} =\frac{(\mu_2-\mu_1)\sigma_1^2}{\sigma_1^2+\sigma_2^2} μμ1=σ12+σ22μ1σ22+μ2σ12σ12+σ22μ1σ12+μ1σ22=σ12+σ22(μ2μ1)σ12 μ − μ 2 = μ 1 σ 2 2 + μ 2 σ 1 2 σ 1 2 + σ 2 2 − μ 2 σ 1 2 + μ 2 σ 2 2 σ 1 2 + σ 2 2 = ( μ 1 − μ 2 ) σ 2 2 σ 1 2 + σ 2 2 \mu - \mu_2 =\frac{\mu_1 \sigma_2^2 + \mu_2 \sigma_1^2}{ \sigma_1^2+\sigma_2^2} -\frac{\mu_2 \sigma_1^2 + \mu_2\sigma_2^2}{\sigma_1^2+\sigma_2^2} =\frac{(\mu_1-\mu_2)\sigma_2^2}{\sigma_1^2+\sigma_2^2} μμ2=σ12+σ22μ1σ22+μ2σ12σ12+σ22μ2σ12+μ2σ22=σ12+σ22(μ1μ2)σ22
    μ 1 > μ 2 \mu_1>\mu_2 μ1>μ2时:
    μ − μ 1 < 0 , μ − μ 2 > 0 \mu-\mu_1<0, \mu-\mu_2>0 μμ1<0,μμ2>0 所以, μ 2 < μ < μ 1 \mu_2<\mu<\mu_1 μ2<μ<μ1
    μ 1 < μ 2 \mu_1<\mu_2 μ1<μ2时:
    μ − μ 1 > 0 , μ − μ 2 < 0 \mu-\mu_1>0, \mu-\mu_2<0 μμ1>0,μμ2<0 所以, μ 1 < μ < μ 2 \mu_1<\mu<\mu_2 μ1<μ<μ2
    μ 1 = μ 2 \mu_1=\mu_2 μ1=μ2时:
    μ − μ 1 = 0 , μ − μ 2 = 0 \mu-\mu_1=0, \mu-\mu_2=0 μμ1=0,μμ2=0 所以, μ 1 = μ = μ 2 \mu_1=\mu=\mu_2 μ1=μ=μ2
    可以看出 μ \mu μ是位于 μ 1 \mu_1 μ1 μ 2 \mu_2 μ2之间。

    接下来是方差 σ \sigma σ
    σ 2 − σ 1 2 = σ 1 2 σ 2 2 σ 1 2 + σ 2 2 − σ 1 2 = − σ 1 4 σ 1 2 + σ 2 2 < 0 \sigma^2-\sigma_1^2 = \frac{\sigma_1^2\sigma_2^2}{\sigma_1^2+\sigma_2^2}-\sigma_1^2=\frac{-\sigma_1^4}{\sigma_1^2+\sigma_2^2}<0 σ2σ12=σ12+σ22σ12σ22σ12=σ12+σ22σ14<0 σ 2 − σ 2 2 = σ 1 2 σ 2 2 σ 1 2 + σ 2 2 − σ 2 2 = − σ 2 4 σ 1 2 + σ 2 2 < 0 \sigma^2-\sigma_2^2 = \frac{\sigma_1^2\sigma_2^2}{\sigma_1^2+\sigma_2^2}-\sigma_2^2=\frac{-\sigma_2^4}{\sigma_1^2+\sigma_2^2}<0 σ2σ22=σ12+σ22σ12σ22σ22=σ12+σ22σ24<0
    所以 p 1 ( x ) p 2 ( x ) p_1(x)p_2(x) p1(x)p2(x)的方差比 p 1 ( x ) p_1(x) p1(x) p 2 ( x ) p_2(x) p2(x)的方差都要小。

    代码验证高斯分布相乘

    紧接着,通过python代码验证这个结果:
    其中,红色的曲线表示高斯分布的乘积,其详细的代码如下所示:
    这里写图片描述

    import matplotlib.pyplot as plt
    from math import *
    
    class Distribution:
        def __init__(self,mu,sigma,x,values,start,end):
            self.mu = mu
            self.sigma = sigma
            self.values = values
            self.x = x
            self.start = start
            self.end =end
    
        def normalize(self):
            s = float(sum(self.values))
            if s != 0.0:
                self.values = [i/s for i in self.values]
    
        def value(self, index):
            index -= self.start
            if index<0 or index >= len(self.values):
                return 0.0
            else:
                return self.values[index]
    
        @staticmethod
        def gaussian(mu,sigma,cut = 5.0):
            sigma2 = sigma*sigma
            extent = int(ceil(cut*sigma))
            values = []
            x_lim=[]
            for x in xrange(mu-extent,mu+extent+1):
                x_lim.append(x)
                values.append(exp((-0.5*(x-mu)*(x-mu))/sigma2))
            p1=Distribution(mu,sigma,x_lim,values,mu-extent,mu-extent+len(values))
            p1.normalize()
            return p1
    
    if __name__=='__main__':
        p1 = Distribution.gaussian(100,10)
        plt.plot(p1.x,p1.values,"b-",linewidth=3)
    
        p2 = Distribution.gaussian(150,20)
        plt.plot(p2.x,p2.values,"g-",linewidth=3)
    
        start = min(p1.start,p2.start)
        end = max(p1.end,p2.end)
        mul_dist = []
        x_lim = []
    
        for index in range(start,end):
            x_lim.append(index)
            mul_dist.append(p1.value(index)*p2.value(index))
        #normalize the distribution
        s= float(sum(mul_dist))
        if s!=0.0:
            mul_dist=[i/s for i in mul_dist]
    
        plt.plot(x_lim,mul_dist,"r-",linewidth=3)
        plt.show()
    
    展开全文
  • 高斯定理与电场的散度

    千次阅读 2020-04-20 09:00:39
    在这之前,我们先了解一下通量的概念。考虑一根自来水管,水管内的水向右...在这里,取水流速度的大小vvv与截面的面积dSdSdS的乘积vdSvdSvdS,得到速度通量,再乘上通过该截面的水的质量mmm,得到动量通量mvdSmvdSmv...

    在这之前,我们先了解一下通量的概念。考虑一根自来水管,水管内的水向右流动,如下图所示。
    在这里插入图片描述

    在水管中取一个截面 d S dS dS,那么在单位时间内,通过这个截面的水是一定的,即通过这个截面的水的量。那么这个量又是什么呢?

    通量通常是针对矢量而言的。在这里,取水流速度的大小 v v v与截面的面积 d S dS dS的乘积 v d S vdS vdS,得到速度通量,再乘上通过该截面的水的质量 m m m,得到动量通量 m v d S mvdS mvdS

    上面这种情况是水流与截面垂直的情况,当水流与截面不垂直的时候,如下图所示,还能这样计算通量吗?

    在这里插入图片描述

    我们先给这个截面增加一个方向,这个方向为截面的法向(即与截面垂直),并且只能与水流的方向平行或者成一个锐角。随后将黄色箭头所代表的矢量,例如动量 p ⃗ \vec{p} p ,分解,一部分平行于 d S ⃗ d\vec{S} dS ,另一部分垂直于 d S ⃗ d\vec{S} dS 。像这样只有平行于 d S ⃗ d\vec{S} dS 的矢量才能通过这个面,设这个矢量与 d S ⃗ d\vec{S} dS 的夹角为 θ \theta θ,则通量为
    p cos ⁡ θ d S = p ⃗ ⋅ d S ⃗ (1) p\cos\theta dS = \vec{p}\cdot d\vec{S} \tag{1} pcosθdS=p dS (1)
    即一个矢量在某个面元上的通量,只需将这个矢量与面元所构成的矢量做内积即可。

    现在考虑电场 E ⃗ \vec{E} E 的通量。假设有一个静电荷 Q Q Q,它被一个闭合曲面 S S S包围,如下图所示。

    在这里插入图片描述

    在曲面上取一个有向面元 d S ⃗ d\vec{S} dS ,以法线向外为正方向。则电荷 Q Q Q在面元 d S ⃗ d\vec{S} dS 处产生的电场的通量为
    E ⃗ ⋅ d S ⃗ = E cos ⁡ θ d S = Q 4 π ε 0 r 2 cos ⁡ θ d S (2) \vec{E}\cdot d\vec{S}=E \cos\theta dS=\frac{Q}{4\pi\varepsilon_0r^2}\cos\theta dS \tag{2} E dS =EcosθdS=4πε0r2QcosθdS(2)

    其中 θ \theta θ r ⃗ \vec{r} r d S ⃗ d\vec{S} dS 的夹角(即 d S ⃗ d\vec{S} dS 与电荷 Q Q Q在该面元处的夹角)。

    现在我们来看 cos ⁡ θ d S \cos\theta dS cosθdS的含义。以 Q Q Q为球心, r r r为半径,作一个球面。那么 θ \theta θ就是面元 d S ⃗ d\vec{S} dS 与该处球面法向的夹角,所以 cos ⁡ θ d S \cos\theta dS cosθdS就是面元 d S dS dS投影到球面上的面积。那么 cos ⁡ θ d S / r 2 \cos\theta dS/r^2 cosθdS/r2就是面元 d S ⃗ d\vec{S} dS 对电荷 Q Q Q所张开的立体角元 d Ω d\Omega dΩ

    那么什么是立体角呢?先回忆一下弧度的定义。在一个扇形中,这个扇形的弧长除以扇形的半径,就是这个扇形的圆心角所对应的弧度。立体角与弧度类似,只不过弧度是由圆来定义,而立体角是由球来定义。取一个球面,用这个球面的面积除以这个球的半径的平方,得到的就是这个球面对应的立体角。立体角与弧度一样,它与球的具体半径无关,只表示三维空间中角度的大小。在平面几何中,根据弧度的定义,一个圆周的弧度,可以用圆的周长比上圆的半径,其结果为$2\pi$。同理,一个球所对应的立体角,可以用球的面积除以球的半径的平方,其结果为$4\pi$。即封闭曲面对封闭曲面内任意一点,所张的立体角都是$4\pi$

    ∮ d Ω = 4 π \oint d\Omega = 4\pi dΩ=4π

    由于式(2)计算的是面元处的电场通量,要计算整个闭合曲面的通量,还需要对整个闭合曲面 S S S进行积分:
    ∮ S E ⃗ ⋅ d S ⃗ = Q 4 π ε 0 ∮ d Ω = Q ε 0 (3) \oint_S \vec{E}\cdot d\vec{S} = \frac{Q}{4\pi\varepsilon_0} \oint d\Omega = \frac{Q}{\varepsilon_0} \tag{3} SE dS =4πε0QdΩ=ε0Q(3)

    式(3)即为电场通量的高斯定理
    ∮ S E ⃗ ⋅ d S ⃗ = Q ε 0 (4) \oint_S \vec{E}\cdot d\vec{S}=\frac{Q}{\varepsilon_0} \tag{4} SE dS =ε0Q(4)

    即闭合曲面的电场通量只与闭合曲面内的电荷有关,与闭合曲面外的电荷无关。这是因为闭合曲面外的电荷产生的电场,从闭合曲面的一个位置进入,必定会从闭合曲面的另外一个位置出来,对闭合曲面的电场通量没有贡献。

    在方程(4)左右两边同时除以该闭合曲面所围的体积 Δ V \Delta V ΔV,随后让这个体积无限缩小,即 Δ V → 0 \Delta V \rightarrow 0 ΔV0,最后可以得到电通量强度与电荷密度之间的关系
    ∇ ⋅ E ⃗ = ρ ε 0 (5) \nabla \cdot \vec{E} = \frac{\rho}{\varepsilon_0} \tag{5} E =ε0ρ(5)

    高斯定理揭示了电荷密度分布与产生的电场之间的关系。由于数学上的相似性,高斯定理也可以应用于其它由平方反比律决定的物理量,例如引力或者辐照度。


    欢迎关注微信公众号“理工学派”(ID: sciengpi),获取更多自然科学方面的文章。
    在这里插入图片描述

    展开全文
  • 概率论之——高斯分布的乘积一、前言二、高斯分布(正态分布)标准高斯分布高斯分布的基本性质三、高斯分布的乘积python示意图四、多维高斯分布 一、前言 本来我并不想开机器学习这个专栏,因为机器学习与高数线代...

    一、前言

    本来我并不想开机器学习这个专栏,因为机器学习与高数线代矩阵论概率论密切相关,我的数学能力没达到这种高度。然而控制理论也会涉及各种数理统计知识,那就不得不开一个数理栏了。

    这个栏没有具体的知识路线,写到哪算哪,数学和机器学习相关且不好分类的东西都会往这边放。

    二、高斯分布(正态分布)

    假设随机变量 x 1 x_1 x1服从均值和方差为 μ 1 ,   σ 1 2 \mu_1, \ \sigma_1^2 μ1, σ12的高斯分布,可记作 x 1 ∼ N ( μ 1 ,   σ 1 ) x_1 \sim N(\mu_1, \ \sigma_1) x1N(μ1, σ1),其概率密度函数为:
    p ( x 1 ) = 1 2 π σ 1 exp ⁡ [ − ( x − μ 1 ) 2 2 σ 1 2 ] p(x_1)= \frac {1} {\sqrt {2\pi}\sigma_1} \exp [ - \frac {(x-\mu_1)^2}{2\sigma_1^2}] p(x1)=2π σ11exp[2σ12(xμ1)2]

    标准高斯分布

    如果随机变量 x ∼ N ( 0 , 1 ) x \sim N(0, 1) xN(0,1),则称 x x x服从标准高斯(正态)分布:
    p ( x ) = 1 2 π exp ⁡ ( − x 2 2 ) p(x)=\frac {1}{\sqrt {2\pi}} \exp ( - \frac {x^2}{2}) p(x)=2π 1exp(2x2)

    高斯分布的基本性质

    假设 x ∼ N ( μ , σ 2 ) x\sim N(\mu, \sigma^2) xN(μ,σ2),有:
    a x + b ∼ N ( a μ + b , a 2 μ 2 )   , a , b ∈ R ax+b \sim N(a\mu+b,a^2\mu^2)\ ,a,b\in R ax+bN(aμ+b,a2μ2) ,a,bR
    假设 x ∼ N ( μ x , σ x 2 ) x\sim N(\mu_x, \sigma_x^2) xN(μx,σx2) y ∼ N ( μ y , σ y 2 ) y\sim N(\mu_y, \sigma_y^2) yN(μy,σy2) x , y x,y x,y是独立随机变量,有:
    x + y ∼ N ( μ x + μ y , σ x 2 + σ y 2 ) x+y\sim N(\mu_x+\mu_y,\sigma_x^2+\sigma_y^2) x+yN(μx+μy,σx2+σy2)

    三、高斯分布的乘积

    进入正题。假设两个独立随机变量 x ∼ N ( μ x , σ x 2 ) x\sim N(\mu_x, \sigma_x^2) xN(μx,σx2) y ∼ N ( μ y , σ y 2 ) y\sim N(\mu_y, \sigma_y^2) yN(μy,σy2),则它们的乘积符合高斯概率密度函数的形式:
    ( x , y ) ∼ N ( μ y σ x 2 + μ x σ y 2 σ x 2 + σ y 2 , 1 1 / σ x 2 + 1 / σ y 2 ) (x,y)\sim N(\frac {\mu_y\sigma_x^2+\mu_x\sigma_y^2} {\sigma_x^2+\sigma_y^2},\frac{1} {1/\sigma_x^2+1/\sigma_y^2}) (x,y)N(σx2+σy2μyσx2+μxσy2,1/σx2+1/σy21)
    具体的推导方式,可以通过 p ( x ) p ( y ) p(x)p(y) p(x)p(y)乘积获得:
    p ( x ) p ( y ) = 1 2 π 2 σ x σ y exp ⁡ ( − σ y 2 ( x − μ x ) 2 + σ x 2 ( x − μ y ) 2 2 σ x 2 σ y 2 ) p(x)p(y)=\frac {1} {2\pi^2\sigma_x\sigma_y} \exp (-\frac {\sigma_y^2(x-\mu_x)^2 + \sigma_x^2(x-\mu_y)^2} {2\sigma_x^2\sigma_y^2}) p(x)p(y)=2π2σxσy1exp(2σx2σy2σy2(xμx)2+σx2(xμy)2)
    通过将 e x p exp exp中的 ( σ x 2 + σ y 2 ) x 2 (\sigma_x^2+\sigma_y^2)x^2 (σx2+σy2)x2和常数项凑平方后,能够得到一个形似   λ 1 2 π σ exp ⁡ [ − ( x − μ ) 2 2 σ 2 ] \ \lambda \frac {1} {\sqrt {2\pi}\sigma} \exp [ - \frac {(x-\mu)^2}{2\sigma^2}]  λ2π σ1exp[2σ2(xμ)2],只不过系数 λ \lambda λ的存在使得这个函数的积分不等于1。

    具体的证明可以参照这个Blog:

    两个高斯分布乘积的理论推导
    版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
    本文链接:https://blog.csdn.net/chaosir1991/article/details/106910668/

    python示意图

    在这里插入图片描述
    红色函数是蓝绿两个高斯分布的乘积结果,可以看出其形状也是对称的,但与x轴围成的面积少于另外两个高斯分布。

    四、多维高斯分布

    如果 X = [ x 1 , x 2 , … , x n ] T X=[x_1,x_2,\dots,x_n]^T X=[x1,x2,,xn]T是个服从高斯分布的多维随机变量,可以记为 X ∼ N ( μ , Σ ) X\sim N(\mu, \Sigma) XN(μ,Σ),其中 μ = [ μ 1 , μ 2 , … , μ n ] T \mu=[\mu_1,\mu_2,\dots,\mu_n]^T μ=[μ1,μ2,,μn]T Σ ∈ R n × n \Sigma \in \R^{n\times n} ΣRn×n是各分量的协方差矩阵。

    概率密度函数可表示为:
    p ( X ) = 1 ( 2 π ) n / 2 ∣ Σ ∣ 1 / 2 exp ⁡ ( − ( X − μ ) T Σ − 1 ( X − μ ) 2 ) p(X)=\frac {1}{(2\pi)^{n/2}|\Sigma|^{1/2}}\exp (-\frac {(X-\mu)^T\Sigma^{-1}(X-\mu)}{2}) p(X)=(2π)n/2Σ1/21exp(2(Xμ)TΣ1(Xμ))

    多维高斯分布有一个比较重要的性质:
    对于多维高斯分布 X ∈ R n X\in \R^n XRn,经过线性变换 A ∈ R k × n A\in \R^{k\times n} ARk×n Y = A X ∈ R k Y=AX\in \R^k Y=AXRk仍然是一个多维高斯分布,且 Y ∼ N ( A μ , A Σ A T ) Y\sim N(A\mu,A\Sigma A^T) YN(Aμ,AΣAT)

    此外,两个多维高斯分布概率密度函数的乘积,仍然具有多维高斯分布概率密度函数的形式。

    五、共轭分布

    贝叶斯定理有:
    p ( x ∣ z ) = p ( z ∣ x ) p ( x ) p ( z ) ∝ p ( z ∣ x ) p ( x ) p ( x )   i s   p r i o r p ( x ∣ z )   i s   p o s t e r i o r p ( z ∣ x )   i s   l i k e l i h o o d p(x|z)=\frac {p(z|x)p(x)}{p(z)} \propto p(z|x)p(x) \\ p(x)\ is \ prior \\ p(x|z)\ is \ posterior \\ p(z|x)\ is \ likelihood p(xz)=p(z)p(zx)p(x)p(zx)p(x)p(x) is priorp(xz) is posteriorp(zx) is likelihood

    如果后验分布和先验分布是同类型的分布,则称先验分布和后验分布是共轭分布,先验分布是似然的共轭先验

    根据高斯分布的特性,如果先验和似然都是高斯分布的形式,那么它们是共轭的。

    后记

    在这里记录一个二维正态分布的充要条件:

    ( x , y ) (x, y) (x,y)服从二维正态分布,当且仅当 x x x y y y的任意线性组合均服从一维正态分布。

    展开全文
  • 对于 gamma 函数的显式情况,恒等式是值的乘积; 故名。 各种关系都源于相同的基本原则; 也就是说,一个特殊功能的关系可以从其他功能的关系中推导出来,只是同一身份以不同形式的表现。 乘法定理是: G(a)*G(a+...
  • 作者:Abhishek Parbhakar编译:ronghuaiyang导读要问数据科学家最爱的女人是谁,这个问题很难,大家可能说出无数个答案,但是如果要问数据科学家最爱的男人是谁,那么回答就容易多了,毫无疑问就是高斯(这个答案的...
  • 高斯定理证明(HTML)

    千次阅读 2018-03-06 15:59:45
    高斯定理&lt;/title&gt; &lt;/head&gt; &lt;BODY BGColor=F0F8FF&gt; &lt;H1&gt;&lt;font color=000000 size=7&gt;Gauss定理 &lt;br&gt;n为平方和等价于n的任一4k+...
  • 平面上任一三角形的三内角之和恒等于π,对于一般曲面上由三条测地线构成的三角形,其内角和等于π加上高斯曲率K在此三角形所围曲面上的积分.1827年,高斯证明了这一定理.1944年,博内将这一定理推广到一般曲面上,由任一...
  • 题意:题目balabala一大堆,其实他的意思就是让你求n!...可以用高斯函数定理来求5的幂和2的幂,又有高斯函数定理5的幂较少,故0的个数由5决定。 ac代码: #include #include using namespace std
  • 一、高斯整数 形如。(其中a,b是整数)的复数被称为高斯整数,高斯整数全体记作Z[i]。注意到若 γ=a+bi 是高斯整数,则它是满足如下方程的代数整数: 通常我们使用希腊字母来表示高斯整数,例如α,β,γ和δ...
  • 高斯噪声与中心极限定理

    千次阅读 2016-08-15 05:28:29
    ,根据中心极限定理可知,这些噪声源的累加的结果服从高斯分布。此篇推导是笔者在考研的时候完成的,现在重新整理与大家分享。由于本人所学知识有限,诚恳地希望读者批评指正。 2. 辛钦大数定律 设随机变量 ...
  • 著名的卷积定理指出:傅立叶变换可以化复变换可以利用数字计算机快速的算出(其算法称为快速傅立叶变换算法(FFT))。 正是由于上述的良好性质,傅里叶变换在物理学、数论、组合数学、信号处理、概率、统计、密码学、声学...
  • KirchhoffKirchhoffKirchhoff 矩阵树定理(简称矩阵树定理)解决了一张图的生成树个数计数问题。 矩阵树定理有很多形式,以下内容是一些声明。 应用矩阵树定理的图允许重边,但是不允许自环。 以下内容是照抄oiwiki...
  • 题:威尔逊定理高斯推广:除了 m = 4 , p t , 或 2 p t m=4,p^t,或2p^t m = 4 , p t , 或 2 p t 之外,其中 p p p 是奇素数, t t t 是正整数,所有小于m而且和m互素的正整数的乘积同余于 1 ( m o d m ) 1 \...
  • 【转】两个高斯分布函数乘积的理论推导 ———————————————— 版权声明:本文为CSDN博主「chaosir」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。 原文链接:...
  • 一日夫妻百日恩,床头吵架床尾和。要理解如何将取样后的数据还原回原函数,一定要先再...提取频域内的一个周期再把取样定理的一张图搬出来:使用一个理想低通滤波器提取一个带限函数的变换的一个周期 为原函数, 为原...
  • 威尔逊定理 数论

    千次阅读 2020-07-12 15:15:04
    最近在整理原来的一些资料,偶然想起原来搞OI时讲过一次威尔逊定理的内容,这里分享给大家 目录 一个实验 证明 剩余类与剩余系 缩系 证明 题目推荐 数论四大定理之一 ※是以英格兰数学家爱德华·华林的...
  • 素数定理

    2021-05-25 08:41:52
    概括:这道题是蓬突压同学的课后数学练习题,主要是关于素数定理,指导老师为苏老师。题目:素数定理解:定理描述素数素数的大致分布情况.素数的出现规律一直困惑著数学家.一个个地看,素数在正整数中的出现没有什么...
  • Unity Shader-后处理:高斯模糊

    万次阅读 多人点赞 2016-10-14 01:07:05
    每移动到一个像素位置,就把f(x)与g(x)定义域相交的元素进行乘积并求和,得出新的图像中的该像素点,当全部像素点操作完成后,就得到了卷积后的图像,模板就是卷积核,上文中我们定义的高斯核就是一个卷积核。...
  • 高斯函数和正态分布

    千次阅读 2019-09-27 22:43:24
    高斯函数与正态分布 高斯函数或者说正态分布函数在很多场合都得到广泛应用,其是概率论和统计学的核心,在最大似然估计、贝叶斯估计中必不可少。其也是稀疏贝叶斯估计的重要基础。下面对高斯函数的一些基本知识点...
  • 题意: 给定n个点m条边的无向图,随机...将n阶矩阵化为上三角矩阵(右上角),行列式的值就是对角线元素乘积 --- 无向图矩阵树定理:(有向图的不挂了) 前提: 图允许重边,不允许自环 定义: 1.图G的度数矩阵D(G): D[i][i]
  • 首先,我们将第一次投掷和第二次投掷的事件重命名为 A 和 B,以消除语义影响,然后将我们看到的两次投掷的的联合概率明确地重写为两次投掷的单独概率乘积: 现在用 P(A)乘以 P(B)(没有变化,可以取消)并重新...
  • 欧拉在1742年做出如标题的结论,然后经过高斯,勒让德,以及蒂利克雷(Dirichlet)经过98年的研究最终才得到证明。 所以现在回到问题的开端,来看看欧拉给后面的数学家的启发。 (如果有读者对什么是级数,级数的收敛...
  • 高斯消元求线性方程组 基本思路: 先从上往下消成一个上三角矩阵 再从下往上代入求值 判断解的情况: 1.出现类似0=1形式:无解 2.出现0=0形式:多组解 3.其他情况:一组解 代码: typedef double db[N][N]; int n; ...
  • 高斯分布

    千次阅读 2019-04-26 10:41:23
    高斯分布在整个机器学习中都频繁出现,比如,在一开始学习线性回归的时候,在涉及到他的概率解释的时候,假设噪声服从高斯分布。在高斯混合模型(GMM),高斯判别分析(LDA)等等中,都涉及到了高斯分布,所以这里...
  • 97 函数X不能分解为系数均为有理数的因式的乘积 第341目 98 进一步讨论的目的的说明 第342目 99 Ω中的所有的根可分为若干个类(周期) 第343目 100 关于Ω中根组成的周期的几个的定理 第344~351目 101 基于以上讨论...
  • 【学习笔记】高斯整数(全部相关概念及例题详解)
  • 奈奎斯特定理和香农定理,结论很简单,但理解起来有点费劲,特别是结论背后的原因,本文在不进行数学推导的情况下,对此进行详细的拆解。
  •  陈省身发表了大量的数学论文,但在这本文集中只收录这一篇(全部学术专著和论文的目录见附录)。原因是,陈省身把这篇论文...芬切尔独立地把经典的高斯-博内公式推广到一个可嵌入欧几里得空间的闭可定向黎曼流形

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 4,146
精华内容 1,658
关键字:

高斯乘积定理

友情链接: U19484EE2V0AN00.rar