精华内容
下载资源
问答
  • 摘要高斯分布被誉为"上帝的分布", 其强悍的建模能力和优美的数学性质使得高斯分布在现实中得到广泛的应用. 由中心极限定理 我们知道, 大量独立同分布的随机变量的均值在做适当标准化之后会依分布收敛于高斯分布, 这...

    9ba14cfc6b88873f39ae89e88d01f05a.png

    摘要

    高斯分布被誉为"上帝的分布", 其强悍的建模能力和优美的数学性质使得高斯分布在现实中得到广泛的应用. 由中心极限定理

    我们知道, 大量独立同分布的随机变量的均值在做适当标准化之后会依分布收敛于高斯分布, 这使得高斯分布具有普适性的建模能力. 数学上, 当使用高斯分布对贝叶斯推断的似然和先验进行建模时, 得到的后验同样为高斯分布, 即其具有共轭先验性质. 在随机过程理论中, 多元高斯分布则是高斯过程的理论基础. 这种种场景使得高斯分布颇受重视, 并发展出一套成熟完整的理论体系. 本文主要介绍多元高斯分布的由来与其背后的几何原理, 分为如下章节:
    1. 阐述多元标准高斯分布;
    2. 由多元标准高斯分布导出多元高斯分布;
    3. 阐述多元高斯分布的几何意义;
    4. 总结.

    关键词: 多元高斯分布, 高斯过程, 概率论与数理统计, 机器学习

    校对: @叶定南, @Towser, @Syous

    编者按: 评论区中, @Towser 和 @Syous 两位大神对多元高斯分布有非常深刻的见解和讨论.


    多元标准高斯分布

    熟悉一元高斯分布的同学都知道, 若随机变量

    , 则有如下的概率密度函数

    而如果我们对随机变量

    进行标准化, 用
    对(1)进行换元, 继而有

    此时我们说随机变量

    服从一元标准高斯分布, 其均值
    , 方差
    , 其概率密度函数为

    需要注意的是, 为了保证概率密度函数在

    上的积分为1, 换元时需要求
    , 从而得到(3).

    随机变量

    标准化的过程, 实际上的消除量纲影响和分布差异的过程. 通过将随机变量的值减去其均值再除以标准差, 使得随机变量与其均值的差距可以用若干个标准差来衡量, 从而实现了不同随机变量与其对应均值的差距, 可以以一种相对的距离来进行比较.

    一元标准高斯分布与我们讨论多元标准高斯分布有什么关系呢? 事实上, 多元标准高斯分布的概率密度函数正是从(4)导出的. 假设我们有随机向量

    , 其中
    彼此独立, 即随机向量中的每个随机变量
    都服从标准高斯分布且两两彼此独立. 则由(4)与独立随机变量概率密度函数之间的关系, 我们可得随机向量
    的联合概率密度函数为

    我们称随机向量

    , 即随机向量服从均值为零向量, 协方差矩阵为单位矩阵的高斯分布. 在这里, 随机向量
    的协方差矩阵是
    组成的矩阵, 即

    由于随机向量

    , 所以其协方差矩阵的对角线元素为1, 其余元素为0. 如果我们取常数
    , 则可得函数
    的等高线为
    , 当随机向量
    为二维向量时, 我们有

    由(7)我们可知, 其等高线为以(0, 0)为圆心的同心圆.

    1ad1dcaea5173fd2ae3eedb1967b98e4.png
    二元标准高斯分布概率密度函数图

    多元高斯分布

    由上一节我们知道, 当随机向量

    时, 其每个随机变量
    彼此独立, 我们可通过(4)与独立随机变量概率密度函数之间的关系得出其联合概率密度函数(5). 那对于普通的随机向量
    , 即其每个随机变量
    彼此不独立的情况下, 我们该如何求随机向量
    的联合概率密度函数呢? 一个很自然的想法是,
    如果我们能通过线性变换, 使得随机向量
    中的每个随机变量彼此独立, 则我们也可以通过独立随机变量概率密度函数之间的关系求出其联合概率密度函数. 事实上, 我们有如下定理可完成这个工作
    定理1: 若存在随机向量
    , 其中
    为均值向量,
    半正定实对称矩阵为
    的协方差矩阵, 则存在满秩矩阵
    , 使得
    , 而
    .

    有了定理1, 我们就可以对随机向量

    做相应的线性变换, 使其随机变量在线性变换后彼此独立, 从而求出其联合概率密度函数, 具体地

    由多元函数换元变换公式, 我们还需要求出雅可比行列式

    , 由(8)可得

    由(9)(10), 我们可进一步得

    我们得到随机向量

    的联合概率密度函数为

    在(12)中, 随机向量

    的协方差矩阵还未得到体现, 我们可通过线性变换(8)做进一步处理

    我们发现, (12)中

    就是线性变换前的随机向量
    的协方差矩阵
    , 所以由(12)(13), 我们可以得到联合概率密度函数的最终形式

    原本由定理1, 我们还需要求线性变换矩阵

    , 才能确定随机向量
    的联合概率密度函数的表达式, 现在由(13)我们即可得最终形式(14), 随机向量
    的联合概率密度函数由其均值向量
    和其协方差矩阵
    唯一确定, 但我们需要明白的是, 这是通过定理1的线性变换
    得到的, 即此线性变换隐含其中.

    如果我们取常数

    , 则可得函数
    的等高线为
    , 当随机向量
    为二维向量时, 我们对协方差矩阵
    进行分解, 因为其为实对称矩阵, 可正交对角化

    由于矩阵

    是酉矩阵, 所以
    可以理解为将随机向量
    , 均值向量
    在矩阵
    的列向量所组成的单位正交基上进行投影并在该单位正交基上进行相减. 我们不妨记投影后的向量分别为
    , 同时记矩阵
    , 则(15)的二次型可表示为

    由(16)我们可知, 此时函数

    的等高线是在矩阵
    的列向量所组成的单位正交基上的一个椭圆, 椭圆的中心是
    , 长半轴为
    , 短半轴为
    .

    如果协方差矩阵

    不是对角矩阵, 则正交对角化得到的酉矩阵
    不是标准正交基, 其代表一个旋转, 此时的椭圆应该是一个倾斜的椭圆, 随机向量
    中的随机变量不是彼此独立的;

    e63ee1112c3606bc9b968f687b0a5c0a.png
    倾斜椭圆-二元高斯分布概率密度函数图

    如果协方差矩阵

    是对角矩阵, 则正交对角化得到的酉矩阵
    就是标准正交基, 则前述的投影是在标准正交基上完成的, 此时的椭圆应该是一个水平的椭圆, 随机向量
    中的随机变量就是彼此独立的.

    466686462ebca079551c6792f68e1a9a.png
    水平椭圆-二元高斯分布概率密度函数图

    多元高斯分布的几何意义

    现在我们知道, 随机向量

    的联合概率密度函数是通过线性变换
    的帮助, 将随机向量
    的各个随机变量去相关性, 然后利用独立随机变量概率密度函数之间的关系得出的, 亦既是定理1所表述的内容. 那具体地, 线性变化
    是怎么去相关性使随机向量
    的各个随机变量彼此独立的呢? 我们不妨在二维平面上, 再次由定理1和(15)出发来看看这个去相关性的过程.

    由定理1我们有

    再由(15)(17)可得

    由(18)我们已经可以非常明显地看出线性变换

    的具体操作了

    我们先对标准正交基进行拉伸, 横轴和纵轴分别拉伸

    倍, 再使用酉矩阵
    对拉伸后的正交基进行旋转, 最后将去均值的随机向量
    在新的正交基上进行投影, 从而使完成线性变换
    后的随机变量在新的正交基上彼此独立. 值得注意的是, 如果随机向量
    本来就是独立随机变量组成的, 此时其协方差矩阵是一个对角矩阵, 则酉矩阵
    是一个单位矩阵
    , 此线性变换中只有拉伸而没有旋转.

    ec74c8ed24e5aed7e1e5ec40492f9a9c.png
    多元高斯分布随机变量去相关性图

    而如果我们只保留

    这个投影后坐标轴长度较长的对应的坐标, 我们就可以达到将随机向量
    进行降维的效果, 而这, 就是所谓的PCA(principal component analysis, 主成分分析).

    总结

    本文从多元标准高斯分布出发, 阐述了如何通过线性变换, 将任意的服从多元高斯分布的随机向量去相关性, 并求出其联合概率密度函数的过程, 最后给出了线性变换的具体过程阐述. 多元高斯分布是许多其他理论工具的基础, 掌握它是进行其他相关理论研究的关键.


    引用

    [1] Wikipedia contributors. "中心极限定理."维基百科, 自由的百科全书. 维基百科, 自由的百科全书, 9 May 2018. Web. 9 May 2018.‹https://zh.wikipedia.org/w/index.php?title=%E4%B8%AD%E5%BF%83%E6%9E%81%E9%99%90%E5%AE%9A%E7%90%86&oldid=49494817›.

    [2] Do, C. (2008).The Multivariate Gaussian Distribution. [online] Cs229.stanford.edu. Available at: http://cs229.stanford.edu/section/gaussians.pdf [Accessed 13 Mar. 2019].

    [3] 张, 伟. (2019). 多元正态分布. [online] Staff.ustc.edu.cn. Available at: http://staff.ustc.edu.cn/~zwp/teach/MVA/Lec4_slides.pdf [Accessed 13 Mar. 2019].

    [4] Wikipedia contributors. "多元正态分布."维基百科, 自由的百科全书. 维基百科, 自由的百科全书, 16 Sep. 2018. Web. 16 Sep. 2018.‹https://zh.wikipedia.org/w/index.php?title=%E5%A4%9A%E5%85%83%E6%AD%A3%E6%80%81%E5%88%86%E5%B8%83&oldid=51304757›.

    [5] Wikipedia contributors. "雅可比矩阵."维基百科, 自由的百科全书. 维基百科, 自由的百科全书, 7 Dec. 2018. Web. 7 Dec. 2018.‹https://zh.wikipedia.org/w/index.php?title=%E9%9B%85%E5%8F%AF%E6%AF%94%E7%9F%A9%E9%98%B5&oldid=52294204›.

    展开全文
  • 高斯分布是一类非常重要的概率分布,在概率统计,机器学习中经常用到。 一维高斯分布 一维高斯分布的概率密度函数(pdf)形式为: 红色的曲线是标准的正态分布,即均值为0,方差为1的正态分布。 我们可以...

    转自:https://www.cnblogs.com/jiangkejie/p/12939776.html

    高斯分布是一类非常重要的概率分布,在概率统计,机器学习中经常用到。

    一维高斯分布

    一维高斯分布的概率密度函数(pdf)形式为:

     

    红色的曲线是标准的正态分布,即均值为0,方差为1的正态分布。

    我们可以采用以下方程从均值为 μ 标准差为 σ 的高斯分布中采样(再参数化技巧): 

     其中,ϵ 从一个标准高斯分布中采样。

    多维/多变量高斯分布

    正态分布的概念可以扩展到一个以上的维度——k维的一般多元正态分布的概率密度函数如下:

     其中,|Σ|为协方差矩阵的行列式。

     在2D中,均值向量μ和对称的协方差矩阵Σ定义为:

     其中ρ是两个维度x1和x2之间的相关系数。

    各向同性的高斯分布

    各向同性的高斯分布(球形高斯分布)指的是各个方向方差都一样的多维高斯分布,协方差为正实数与identity matrix相乘。

    因为高斯的circular symmetry,只需要让每个轴上的长度一样就能得到各向同性,也就是说分布密度值仅跟点到均值距离相关,而不和方向有关。

    各向同性的高斯每个维度之间也是互相独立的,因此密度方程可以写成几个1维度高斯乘积形式。要注意的是,几个高斯分布乘在一起得到各向同性,但几个Laplace分布相乘就得不到各向同性!

    此类高斯分布的参数个数随维度成线性增加,只有均值在增加,而方差是一个标量,因此对计算和存储量的要求不大,因此非常讨人喜欢~

    其中, Σ =  σI,  I为单位阵,σ为标量。

     两个多元高斯分布之间的KL散度的解析表示

     根据上述引理,可推导出两个多元高斯分布之间的KL散度的解析表示:

     具有对角协方差矩阵的多元高斯分布与多元标准高斯分布间的KL散度

    对角形式的协方差矩阵 Σ = diag(σ2), σ为标准差向量。

    具有对角协方差矩阵的高斯分布每个维度之间也是互相独立的,因此密度方程也可以写成几个1维度高斯乘积形式

     

     一种直观的解释方式:

    注意到,密度方程可以写成几个1维度高斯乘积形式,

     

     最后的结果是各个维度结果的加和。

     复数高斯分布

    随机变量是复数时,定义以下复高斯分布:

     

     当mu=0时,该分布是圆对称的(对于x的相位偏移具有不变性)。


    参考:

    https://www.zhihu.com/question/343638697/answer/808598383
     

    https://kexue.fm/archives/5253 

     

    https://blog.csdn.net/NeutronT/article/details/78086340

     

    展开全文
  • 生成一个大小为 n 的伪随机向量 X,X 是从 RANGE 中截断的高斯分布中抽取的; 并且满足 std(X)=sigma。 RANGE 的形式为 [left,right],定义 X 所属的刹车。 对于标量输入范围,刹车是 [-RANGE,RANGE]。 如果输入 ...
  • 高斯分布和卡方分布

    千次阅读 2019-08-25 12:49:38
    高斯分布和卡方分布高斯分布和卡方分布高斯分布1 单元高斯分布1.1 一维随机变量1.2 标准正太分布1.3 numpy中使用正太分布2 多元高斯分布2.1 独立多元/维高斯分布2.2 举例-画2维独立不相关高斯图2.3 相关系数2.3 举例...

    高斯分布和卡方分布

    高斯分布

    1 单元高斯分布

    1.1 一维随机变量

    定义:若连续型随机变量 X X X的概率密度为
    (1.1) f ( x ) = 1 2 π σ e − ( x − μ ) 2 2 σ 2 , − ∞ &lt; x &lt; ∞ , f(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}, -\infty&lt;x&lt;\infty,\tag{1.1} f(x)=2π σ1e2σ2(xμ)2,<x<,(1.1)
    其中 μ , σ ( σ &gt; 0 ) \mu,\sigma(\sigma&gt;0) μ,σ(σ>0)为常数,则称 X X X服从参数为 μ , σ \mu,\sigma μ,σ的正太/高斯分布,记为 X ∼ N ( μ , σ 2 ) X\sim N(\mu,\sigma^2) XN(μ,σ2).
    性质:

    • f ( x ) ≥ 0 f(x)\ge 0 f(x)0
    • ∫ − ∞ ∞ f ( x ) d x = 1 \int_{-\infty}^{\infty}f(x)dx=1 f(x)dx=1

    下图为均值为 μ , 均 方 根 为 σ \mu,均方根为\sigma μ,σ的高斯分布图,峰值最大值为 f ( x ) m a x = 1 2 π σ , x = μ . f(x)_{max}=\frac{1}{\sqrt{2\pi}\sigma}, x=\mu. f(x)max=2π σ1,x=μ.
    在这里插入图片描述
    特点:

    • 如果固定方差 σ 2 \sigma^2 σ2, 改变参数 μ \mu μ,则正太曲线沿着 x x x轴平行移动,而图形的形状不改变。
      在这里插入图片描述
      这个问题很容易想明白,因为均值 μ \mu μ是跟 ( x − μ ) (x-\mu) (xμ)一起的,因此 ( x − ( μ + δ ) ) = ( ( x − δ ) − μ ) (x-(\mu+\delta))=((x-\delta)-\mu) (x(μ+δ))=((xδ)μ), 即对 x x x做了平移处理。
    import numpy as np
    import matplotlib.pyplot as plt
    import mpl_toolkits.axisartist as axisartist
    
    #定义坐标轴函数
    def setup_axes(fig, rect):
        ax = axisartist.Subplot(fig, rect)
        fig.add_axes(ax)
    
        ax.set_ylim(-.2, 1.2)
        #自定义刻度
    #    ax.set_yticks([-10, 0,9])
        ax.set_xlim(-10,10)
        ax.axis[:].set_visible(False)
    
    	#第2条线,即y轴,经过x=0的点
        ax.axis["y"] = ax.new_floating_axis(1, 0)
        ax.axis["y"].set_axisline_style("-|>", size=1.5)
    #    第一条线,x轴,经过y=0的点
        ax.axis["x"] = ax.new_floating_axis(0, 0)
        ax.axis["x"].set_axisline_style("-|>", size=1.5)
    
        return(ax)
    
    def gaussian(x,mu,sigma):
        f_x = np.exp(-np.power(x-mu, 2.)/(2*np.power(sigma,2.)))
        return(f_x)
    
    #设置画布
    fig = plt.figure(figsize=(8, 8)) #建议可以直接plt.figure()不定义大小
    ax1 = setup_axes(fig, 111)
    ax1.axis["x"].set_axis_direction("bottom")
    ax1.axis['y'].set_axis_direction('right')
    
    #在已经定义好的画布上加入高斯函数
    
    x_values = np.linspace(-20,20,2000)
    for mu,sigma in [(2,3),(3,3),(4,3)]:
       plt.plot(x_values,gaussian(x_values,mu,sigma),label=r'$\mu=$'+str(mu)+',$\sigma^2=3$')
    
    plt.show()
    
    • 如果固定 μ \mu μ, 改变参数 σ \sigma σ,由于峰值最大值为 f ( x ) m a x = 1 2 π σ f(x)_{max}=\frac{1}{\sqrt{2\pi}\sigma} f(x)max=2π σ1,所以 σ \sigma σ变小则图形“尖瘦”,反之“矮胖”
      在这里插入图片描述
    for mu,sigma in [(2,0.5),(2,2),(2,3)]:
        plt.plot(x_values,gaussian(x_values,mu,sigma),label=r'$\mu=2$'+',$\sigma^2=$'+str(sigma**2))
    

    1.2 标准正太分布

    特别的, 当 μ = 0 , σ = 1 \mu=0,\sigma=1 μ=0,σ=1时随机变量 X X X服从标准正太分布,记为 X ∼ N ( 0 , 1 ) X\sim N(0,1) XN(0,1),分布密度和分布函数为:
    f ( x ) = 1 2 π e − x 2 2 , − ∞ &lt; x &lt; ∞ f(x)=\frac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2}}, -\infty&lt;x&lt;\infty f(x)=2π 1e2x2,<x<
    F ( x ) = 1 2 π ∫ − ∞ x e − t 2 2 d t , − ∞ &lt; x &lt; ∞ F(x)=\frac{1}{\sqrt{2\pi}}\int_{-\infty}^{x}e^{-\frac{t^2}{2}}dt,- \infty&lt;x&lt;\infty F(x)=2π 1xe2t2dt,<x<
    注意分布密度函数 F ( x ) F(x) F(x) x x x的函数而不是 t t t的函数,因为 t t t被积分掉了,而 x x x才是变化的量。
    一般的,对于 X ∼ N ( μ , σ 2 ) X\sim N(\mu,\sigma^2) XN(μ,σ2)的分布函数,可通过线性变换化成标准正太分布形式。
    F ( x ) = ∫ − ∞ x 1 σ 2 π e − ( t − μ ) 2 2 σ 2 d t F(x)=\int_{-\infty}^{x}\frac{1}{\sigma\sqrt{2\pi}}e^{-\frac{(t-\mu)^2}{2\sigma^2}}dt F(x)=xσ2π 1e2σ2(tμ)2dt
    y = t − u σ y=\frac{t-u}{\sigma} y=σtu,可得
    F ( x ) = ∫ − ∞ x − μ σ 1 2 π e − y 2 2 d y F(x)=\int_{-\infty}^{\frac{x-\mu}{\sigma}}\frac{1}{\sqrt{2\pi}}e^{-\frac{y^2}{2}}dy F(x)=σxμ2π 1e2y2dy
    (上面利用 d y = d ( t − μ σ ) = d t σ dy=d(\frac{t-\mu}{\sigma})=d\frac{t}{\sigma} dy=d(σtμ)=dσt,因为后者是常数为零;当 t = x 时 , y = x − μ σ t=x时,y=\frac{x-\mu}{\sigma} t=xy=σxμ,这是上限)
    所以由上式可以看到 y ∼ N ( 0 , 1 ) y\sim N(0,1) yN(0,1),即y服从标准正太分布
    (P276,高数三)

    1.3 numpy中使用正太分布

    可以参考这篇博客:numpy random --mr.cat博文

    2 多元高斯分布

    可以参考这篇博文多元高斯分布,用google浏览器打开,否则会有些公式不能显示

    2.1 独立多元/维高斯分布

    这一部分将以图片形式引用这篇博文多元高斯分布,感谢博主,建议大家查看原文,因为写的很好。
    在这里插入图片描述
    这里 z 2 z^2 z2之所以可以写成 U Σ U T U\Sigma U^T UΣUT的形式,即进行奇异值分解,是因为 z 2 z^2 z2是二次型。强烈建议看一下这个博文如何理解二次型,简单说,二次型就是 f ( x , y ) f(x,y) f(x,y)变量中每一项的 x 和 y x和y xy的幂次相加等于2.如下图
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    (注意:在上面的图片中,不相关的二维正太分布每个截面都是圆形,表示不相关)

    即,在一元标准正太分布中,分布密度为
    (2.1.1) f ( x ) = 1 2 π e − x 2 2 , − ∞ &lt; x &lt; ∞ , f(x)=\frac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2}}, -\infty&lt;x&lt;\infty, \tag{2.1.1} f(x)=2π 1e2x2,<x<,(2.1.1)
    而在 n n n元标准正太分布中,分布密度为
    (2.1.2) f ( z ) = 1 ( 2 π ) n σ z e − z 2 2 , σ z = σ 1 σ 2 … σ n , f(z)=\frac{1}{\left(\sqrt{2\pi}\right)^n\sigma_z}e^{-\frac{z^2}{2}}, \sigma_z=\sigma_1\sigma_2\ldots \sigma_n,\tag{2.1.2} f(z)=(2π )nσz1e2z2,σz=σ1σ2σn,(2.1.2)
    所以,需要记住的是,最一般的 n n n维高斯分布密度函数为
    (2.1.3) f ( z ) = 1 ( 2 π ) n ∣ Σ ∣ 1 / 2 e − ( x − μ x ) T ( Σ ) − 1 ( x − μ x ) 2 , f(z)=\frac{1}{\left(\sqrt{2\pi}\right)^n|\Sigma|^{1/2}}e^{-\frac{(x-\mu_x)^T(\Sigma)^{-1}(x-\mu_x)}{2}},\tag{2.1.3} f(z)=(2π )nΣ1/21e2(xμx)T(Σ)1(xμx)(2.1.3)
    ( x − μ x ) T = [ ( x 1 − μ x 1 ) ( x 2 − μ x 2 ) … ] 是 行 矩 阵 (x-\mu_x)^T=[(x_1-\mu_{x_1}) (x_2-\mu_{x_2})\ldots] 是行矩阵 (xμx)T=[(x1μx1)(x2μx2)]
    Σ 是 协 方 差 矩 阵 \Sigma是协方差矩阵 Σ以2维矩阵为例, Σ \Sigma Σ的表达式为
    在这里插入图片描述

    2.2 举例-画2维独立不相关高斯图

    即上面 ( 2.1.2 ) (2.1.2) (2.1.2) n = 2 n=2 n=2的情况
    (2.2.1) f ( x ) = 1 ( 2 π ) 2 σ 1 σ 2 e − ( x 1 − μ 1 ) 2 2 σ 1 2 − ( x 2 − μ 2 ) 2 2 σ 2 2 , f(x)=\frac{1}{\left(\sqrt{2\pi}\right)^2\sigma_1\sigma_2}e^{-\frac{(x_1-\mu_1)^2}{2\sigma_1^2}-\frac{(x_2-\mu_2)^2}{2\sigma_2^2}},\tag{2.2.1} f(x)=(2π )2σ1σ21e2σ12(x1μ1)22σ22(x2μ2)2,(2.2.1)
    在这里插入图片描述

    import numpy as np
    import matplotlib.pyplot as plt
    import mpl_toolkits.axisartist as axisartist
    from mpl_toolkits.mplot3d import Axes3D #画三维图不可少
    from matplotlib import cm  #cm 是colormap的简写
    
    #定义坐标轴函数
    def setup_axes(fig, rect):
        ax = axisartist.Subplot(fig, rect)
        fig.add_axes(ax)
    
        ax.set_ylim(-.2, 1.2)
        #自定义刻度
    #    ax.set_yticks([-10, 0,9])
        ax.set_xlim(-10,10)
        ax.axis[:].set_visible(False)
    
    	#第2条线,即y轴,经过x=0的点
        ax.axis["y"] = ax.new_floating_axis(1, 0)
        ax.axis["y"].set_axisline_style("-|>", size=1.5)
    #    第一条线,x轴,经过y=0的点
        ax.axis["x"] = ax.new_floating_axis(0, 0)
        ax.axis["x"].set_axisline_style("-|>", size=1.5)
    
        return(ax)
    # 1_dimension gaussian function
    def gaussian(x,mu,sigma):
        f_x = 1/(sigma*np.sqrt(2*np.pi))*np.exp(-np.power(x-mu, 2.)/(2*np.power(sigma,2.)))
        return(f_x)
    
    # 2_dimension gaussian function
    def gaussian_2(x,y,mu_x,mu_y,sigma_x,sigma_y):
        f_x_y = 1/(sigma_x*sigma_y*(np.sqrt(2*np.pi))**2)*np.exp(-np.power\
                  (x-mu_x, 2.)/(2*np.power(sigma_x,2.))-np.power(y-mu_y, 2.)/\
                  (2*np.power(sigma_y,2.)))
        return(f_x_y)
    
    #设置2维表格
    x_values = np.linspace(-5,5,2000)
    y_values = np.linspace(-5,5,2000)
    X,Y = np.meshgrid(x_values,y_values)
    #高斯函数
    mu_x,mu_y,sigma_x,sigma_y = 0,0,0.8,0.8
    F_x_y = gaussian_2(X,Y,mu_x,mu_y,sigma_x,sigma_y)
    #显示三维图
    fig = plt.figure()
    ax = plt.gca(projection='3d')
    ax.plot_surface(X,Y,F_x_y,cmap='jet')
    # 显示等高线图
    #ax.contour3D(X,Y,F_x_y,50,cmap='jet')
    # 显示2d等高线图,画8条线
    # plt.contour(X,Y,F_x_y,8)
    

    如果画成平面上的等高线图会更好理解,如下图,是一个个圆,也就是无相关

        ax.set_ylim(-4, 4)
        #自定义刻度
    #    ax.set_yticks([-10, 0,9])
        ax.set_xlim(-4,4)
    
    #设置画布
    fig = plt.figure(figsize=(8, 8)) #建议可以直接plt.figure()不定义大小
    ax1 = setup_axes(fig, 111)
    ax1.axis["x"].set_axis_direction("bottom")
    ax1.axis['y'].set_axis_direction('right')
    
    # 显示2d等高线图,画8条线
    plt.contour(X,Y,F_x_y,8)
    

    在这里插入图片描述

    2.3 相关系数

    这里参考高数三P342.
    定义:设二维随机向量 ( X , Y ) (X,Y) (X,Y)的方差 D X &gt; 0 , D Y &gt; 0 DX&gt;0, DY&gt;0 DX>0,DY>0,协方差 C o v ( X , Y ) Cov(X,Y) Cov(X,Y)都存在,则称
    ρ X , Y = C o v ( X , Y ) D X D Y = C o v ( X , Y ) σ X σ Y \rho_{X,Y}=\frac{Cov(X,Y)}{\sqrt{DX}\sqrt{DY}}=\frac{Cov(X,Y)}{\sigma_X\sigma_Y} ρX,Y=DX DY Cov(X,Y)=σXσYCov(X,Y)
    为随机变量 X 和 Y X和Y XY的相关系数
    性质:

    • ∣ ρ X Y ∣ ≤ 1 |\rho_{XY}|\leq1 ρXY1
    • ρ \rho ρ是可以为负数的
    • ρ 越 接 近 1 \rho越接近1 ρ1表明相关程度越大, ρ = 1 \rho=1 ρ=1表明随机点 ( X , Y ) (X,Y) (X,Y) y = a x + b y=ax+b y=ax+b线上; ρ = 0 \rho=0 ρ=0表示不相关,此时协方差=0

    2.3 举例-画2维不独立相关高斯图

    协方差矩阵 Σ \Sigma Σ的形式为 (2.3,1) \tag{2.3,1} (2.3,1)
    在这里插入图片描述

    对角线上是方差,其他是协方差,当随机变量之间不独立的时候,协方差是不为零的。上面的协方差矩阵可以写成 (2.3,2) \tag{2.3,2} (2.3,2)
    在这里插入图片描述
    公式 ( 2.1.3 ) (2.1.3) (2.1.3)考虑相关时, ρ \rho ρ不等于0,此时协方差矩阵 Σ \Sigma Σ ( 2.3.2 ) (2.3.2) (2.3.2)的形式,因此分布密度函数为
    (2.3.3) f ( x ) = 1 2 π σ 1 σ 2 1 − ρ 2 e − 1 2 ( 1 − ρ 2 ) [ ( x 1 − μ 1 ) 2 σ 1 2 − 2 ρ ( x − μ 1 ) ( x − μ 2 ) σ 1 σ 2 + ( x 2 − μ 2 ) 2 σ 2 2 ] f(x)=\frac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}}e^{-\frac{1}{2(1-\rho^2)}\left[\frac{(x_1-\mu_1)^2}{\sigma_1^2}-2\rho\frac{(x-\mu_1)(x-\mu_2)}{\sigma_1\sigma_2}+\frac{(x_2-\mu_2)^2}{\sigma_2^2}\right]}\tag{2.3.3} f(x)=2πσ1σ21ρ2 1e2(1ρ2)1[σ12(x1μ1)22ρσ1σ2(xμ1)(xμ2)+σ22(x2μ2)2](2.3.3)
    过程如下:
    在这里插入图片描述
    现在,画出2维高斯分布相关图
    现在画出几种相关图,首先看一下三维图

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    展开全文
  • 多元高斯分布及多元条件高斯分布

    千次阅读 2016-10-29 13:06:11
    已知 D 维向量 x,其高斯概率分布为:N(x|μ,Σ)

    高斯那些公式

    已知 D 维向量 x,其高斯概率分布为:

    N(x|μ,Σ)==1(2π)D/21|Σ|1/2exp(12(xμ)TΣ1(xμ))1|Σ|(2π)Dexp(12(xμ)TΣ1(xμ))

    • 显然默认 x 是一个列向量
    • 还需注意的是,当传递进去的是样本矩阵 X (以行为样本) 而不是列向量 x,则在计算指数部分时,

      -1/2*sum(X/Sigma .* X, 2);
    • 当多元高斯分布退化为一元高斯时, Σ 对应着 σ2 (方差),而不是标准差(standard deviation)

    • 这里 d=(xμ)TΣ1(xμ) 也称为马氏距离;
      是对一元高斯分布对应的 d=xμσ 得拓展;
    • 多元时的 d=(xμ)TΣ1(xμ) 也可视为某种程度的 z-分数,尤其在变量之间彼此独立,并且方差相同时, d=xμσ (z-分数),

    1. 条件高斯分布(Conditional Gaussian distributions)

    Multivariate normal distribution - Wikipedia

    2. 编程时的技巧

    • αexp(f(x)) 的计算通常转换为,求对数,再求指数的形式: elogαexp(f(x))=elogα+f(x)

    • p=1|Σ|(2π)Dexp(12(xμ)TΣ1(xμ)) logp=D2log(2π)12log|Σ|12(xμ)TΣ1(xμ)

    3. 多元高斯概率密度函数的 matlab 实现

    function p = gaussProb(X, mu, Sigma)
    d = size(Sigma, 2);
    X = bsxfun(@minus, X, mu(:)');
    log1 = -d/2*log(2*pi)-1/2*logdet(Sigma);
    log2 = -1/2*sum(X/Sigma .* X, 2);
    p = exp(log1+log2);
    end
    • 这里的 X <script type="math/tex" id="MathJax-Element-18">X</script>(样本矩阵)以行为样本;
    展开全文
  • 高斯分布

    千次阅读 2015-05-13 16:06:18
    数据挖掘中的高斯分布高斯分布,无论是单变量还是多元变量,在统计数据挖掘中是非常有用的,包括一些底层数据假设是高度非高斯的数据挖掘模型。我们需要好好了解多元高斯。为什么我们应该关注它 高斯像橘子汁和阳光...
  • 在matlab中,很容易生成具有均值和标准差的正态分布随机向量。 从帮助兰德:从均值1和标准的正态分布生成值偏差2。r = 1 + 2. * randn(100,1);现在我有一个协方差矩阵C,我想生成N(0,C)。但是我该怎么办呢?从randn...
  • 为了简化下面的高斯分布都是按照零均值写的一元高斯的标准形式: 多元高斯的标准形式: 下面推导为什么一般的多元高斯具有形式: 核心观点:所有的非奇异的多元高斯分布都是以多元标准高斯分布为基础,通过非奇异...
  • 条件高斯分布

    千次阅读 2016-03-16 09:31:50
    多元高斯分布的一个重要性质是...假设X是一个满足高斯分布的D维向量,我们把X分作两个子集Xa和Xb。不失一般性,我们记Xa为X的前M个元素,Xb为剩下D-M个元素,即 我们还定义期望向量的分块 及协方差矩阵的分块
  • 书上说,如果一个零均值高斯分布实随机向量的各个分量之间是不相关的,则其自相关矩阵为对角阵。对于二维零均值高斯分布实随机向量而言,其自相关矩阵的二次型可以构成一个椭圆方程。如果向量两个分量相关,对应自...
  • x = cggd_rand(c,s,N) 用圆形生成复杂样本的向量 1xN 具有形状参数 c 和方差 2*s 的高斯分布。 [x,xa] = cggd_rand(c,s,N) 生成一个额外的增广矩阵 2xN, xa = [x;conj(x)]。 样本是根据以下结果生成的: Mike ...
  • 从指定数量的维度创建多个样本,并将它们集中... 命令行: x=mgd(1000,3,m,sigma) 或 x=mgd(1000,3,m',sigma) 均值是作为行向量还是列向量给出并不重要 x 是其中的 (1000x3) 矩阵其中每一行是该点在 3 个空间中的坐标。
  • 多维高斯分布模型

    万次阅读 多人点赞 2017-05-07 00:34:48
    多维高斯模型在机器学习中应用广泛,在学到 Generative Learning Algorithm的时候,碰到了高斯模型,才意识到一定要恶补一下这部分...首先学习高斯模型之前,我们一定会 随机向量函数分布 的该概念 随机向量函数分布
  • 高斯分布

    千次阅读 2021-01-12 22:30:26
    目录前言高斯分布及其相关分布瑞利分布 前言 本文主要介绍与高斯分布相关的一些通信中用的比较多的分布以及具体含义。 高斯分布及其相关分布 一个均值为 μ\muμ,方差为 σ\sigmaσ 高斯随机变量 www 取实数值,并...
  • 多元高斯分布

    2016-10-07 11:43:00
    直接给出多元高斯分布和单元高斯分布的概率密度函数:    μ是一个D维均值向量,Σ是一个D×D的协方差矩阵,我们只考虑正定矩阵(所有特征值都是正数),即|Σ|>0;多元高斯分布和单态量高斯分布尽管在形式...
  • 多维高斯分布

    千次阅读 2019-03-06 18:00:41
    我们常见的一维高斯分布公式为: 拓展到高维就变成: 其中,表示维度为的向量,则是这些向量的平均值,表示所有向量的协方差矩...
  • 高斯随机向量与复高斯随机向量

    千次阅读 2019-04-22 11:20:08
    本文内容主要来自David Tse etc., Fundamentals of Wireless Communication,Cambridge University Press, 2004中的附录A。 文章目录1、实高斯随机向量2、复高斯随机向量 ...标准高斯分布随机变量,则标准...
  • 理解多维高斯分布

    千次阅读 多人点赞 2018-05-16 16:40:27
    理解多维高斯分布 前言 在数理统计和机器学习中,经常用到高斯分布,这里根据网上的资源和理解,对多维高斯分布做一个小总结。 如有谬误,请联系指正。转载请注明出处。 联系方式: e-mail: FesianXu@163....
  • 1 高斯分布

    2020-07-12 14:34:42
    1 高斯分布 高斯分布也称为正态分布,大家都很熟悉,但有些性质这里有必要提下。一元高斯分布的密度函数为: p(x)=12πσexp(−(x−μ)22σ2) p(x) = \frac{1}{\sqrt{2\pi}\sigma} exp(-\frac{(x-\mu)^2}{2\sigma^2}...
  • 高斯分布抽样

    万次阅读 2014-06-03 09:15:59
    高斯分布抽样    标准正态分布     给定均值,方差的正态分布     如何从标准正态分布生成给定均值方差的抽样      上面是对应的一维的情况,在...
  • 当变量(特征)之间不再相互独立,具有一定的相关性时,总的概率就不...多元高斯分布大的公式: 其中,x ∈ ,μ ∈ , Σ ∈ 。 μ 是特征向量的均值,Σ 是协方差矩阵。 μ 和 Σ 的计算公式如下:  ...
  • 高斯分布整理

    2021-03-18 08:52:33
    在复高斯分布中,若复随机变量服从如下: 那么该随机变量的实部和虚部分别服从如下分布: 同时,实部和虚部的期望有如下结论: 循环对称复高斯随机变量,参考如下(没懂): 高斯分布及归一化、标准化、零均值化 ....
  • 协方差矩阵 多元高斯分布

    千次阅读 2021-01-14 23:27:46
    协方差矩阵 对于一维随机变量直接用方差即可衡量随机变量x与其期望E(x)的偏离程度,对于多维随机变量X,需要...一元高斯分布概率密度函数如下: 多元高斯分布为: 具体推导过程可以参考:https://zhuanlan.zhi.
  • 高斯分布 正态分布

    千次阅读 2010-11-30 21:21:00
    <br />正态分布(normal distribution)又名高斯分布(Gaussian distribution),是一个在数学、物理及工程等领域都非常重要的概率分布,在统计学的许多方面有着重大的影响力。若随机变量X服从一个数学期望为...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 37,512
精华内容 15,004
关键字:

向量高斯分布