精华内容
下载资源
问答
  • 多维高斯分布模型

    万次阅读 多人点赞 2017-05-07 00:34:48
    多维高斯模型在机器学习中应用广泛,在学到 Generative Learning Algorithm的时候,碰到了高斯模型,才意识到一定要恶补一下这部分知识,之前上自然语言课的时候,就因为多维高斯模型不懂,全程懵逼。本来想把这部分...

    多维高斯模型在机器学习中应用广泛,在学到 Generative Learning Algorithm的时候,碰到了高斯模型,才意识到一定要恶补一下这部分知识,之前上自然语言课的时候,就因为多维高斯模型不懂,全程懵逼。本来想把这部分内容同生成学习法放在一起,但是想到这玩意把我虐那么痛苦,就单独一篇博客来写。

    首先学习高斯模型之前,我们一定会 随机向量函数分布 的该概念

    随机向量函数分布
    这里写图片描述
    这里写图片描述

    这种概率密度转换方式 在本科教材是没有见过的,所以我们来推到一下,这是什么玩意?!!!

    首先解释一下什么叫一一变换,所谓一一变换就是
    这里写图片描述
    这是线性变换的解释,但是基本就是这个意思,就是x与y是一一对应的。
    感觉还是有必要,把高数课本掏出来
    这里写图片描述

    接下来,我们来解释一下是怎么推导出带雅可比的概率密度表达

    首先我们要明白一个概率学上的概念,就是多元函数概率密度是怎么来的? 废话不多说,把本科概率密度教材再陶出来!
    这里写图片描述
    也就是说,我们的概率密度 实质是从分布函数二阶偏导求得的

    有了以上理论基础,咱们就开始推导

    首先我们定义:
    这里写图片描述

    这个公式,没有在哪本教材上看到过,但我觉得这样的表示没有问题,教材上是把联系偏导数作为概率密度,那我把梯度模作为概率密度不可以吗? 我觉得问题不大!!

    这里写图片描述
    雅可比式在高等数学下册 多元函数那里有介绍。

    完成了上面的证明之后,我们来看看多维高斯分布模型的式子

    这里写图片描述

    这个是怎么来的,其实就是经过两个步骤
    1,一维高斯模型联合分布成多维
    2.经过线性变化

    首先一维高斯模型联合分布就是累乘吗。
    这里写图片描述

    经过线性变化是什么意思呢?
    这里写图片描述

    这个y就是x的线性表示,注意u是一个列向量。
    可以看出X是一个多维高斯模型,Y也是!我们要做的是把Y的多维高斯模型概率密度函数表示出来
    其实就是套前面的公式吗!
    注意下面这个式子
    这里写图片描述

    这里写图片描述

    这里写图片描述

    再看看这个最终的式子就不疑惑了吧!!
    但是大部分机器学习资料里,多维高斯模型可不是这么表示的,因为我们看看,这里的A,C都是什么鬼,是不是都是依赖于另一个变量X的矩阵啊?我们现在来看看,这两个矩阵跟Y向量有什么关系,想办法用Y自身的统计量来替换他
    首先我们要明白这些概念
    这里写图片描述

    这里写图片描述
    注意为什么V(X)为什么小曲了? 因为我们在一维高斯里是方差为1,发展出来的多维的协方差是一个单位矩阵

    有了上面的推到,我们可以用Y的协方差来替换掉原来式子里的A和C,就变成下面的式子
    这里写图片描述

    而这个就是一般机器学习里常见到的公式拉!
    我们在一维里最关心的是均值和方差,在多维里最关心的是 均值和协方差

    这里写图片描述

    以上是关于高斯模型的推导过程,现在我们来看看机器学习中比较关心的性质
    这里写图片描述

    这个图没什么太多好说的,只是在改变协方差矩阵对角线上的数改的越大,图形就越尖。好理解

    这里写图片描述

    上面这个图,我在上NLP的时候,懵逼过,其实就是高斯模型在平面上的投影,等高线上的(x,y)概率是相等的。

    以上就是高斯模型的介绍

    如果你看到这里,请扫一下我得支付宝红包二维码,哈哈哈

    展开全文
  • 多维高斯混合模型 matlab版 已生成移植C的动态链接库.DLL 调试成功
  • [1]http://www.cnblogs.com/luxiaoxun/archive/2013/05/10/3071672.html 转载于:https://www.cnblogs.com/deepblueme/p/5027420.html

     

     

    [1] http://www.cnblogs.com/luxiaoxun/archive/2013/05/10/3071672.html

    转载于:https://www.cnblogs.com/deepblueme/p/5027420.html

    展开全文
  • python 多维高斯分布数据生成

    万次阅读 多人点赞 2018-10-26 17:16:05
    多维高斯分布
    
    import numpy as np
    import matplotlib.pyplot as plt
    
    
    def gen_clusters():
        mean1 = [0,0]
        cov1 = [[1,0],[0,10]]
        data = np.random.multivariate_normal(mean1,cov1,100)
        
        mean2 = [10,10]
        cov2 = [[10,0],[0,1]]
        data = np.append(data,
                         np.random.multivariate_normal(mean2,cov2,100),
                         0)
        
        mean3 = [10,0]
        cov3 = [[3,0],[0,4]]
        data = np.append(data,
                         np.random.multivariate_normal(mean3,cov3,100),
                         0)
        
        return np.round(data,4)
    
    def save_data(data,filename):
        with open(filename,'w') as file:
            for i in range(data.shape[0]):
                file.write(str(data[i,0])+','+str(data[i,1])+'\n')
                
    def load_data(filename):
        data = []
        with open(filename,'r') as file:
            for line in file.readlines():
                data.append([ float(i) for i in line.split(',')])
        return np.array(data)
    
    def show_scatter(data):
        x,y = data.T
        plt.scatter(x,y)
        plt.axis()
        plt.title("scatter")
        plt.xlabel("x")
        plt.ylabel("y")
        
    data = gen_clusters()
    save_data(data,'3clusters.txt')
    d = load_data('3clusters.txt')
    show_scatter(d)
    

    在这里插入图片描述

    展开全文
  • 一维高斯模型(One-dimensional Gaussian Model) 若随机变量X服从一个数学期望为,标准方差为的高斯分布,记为: x~N(,)。 则概率密度函数为: 高斯分布的期望值决定了其位置,标准方差决定了其幅度。 ...

    一维高斯模型(One-dimensional Gaussian Model)

    若随机变量X服从一个数学期望为\mu,标准方差为\delta的高斯分布\sigma ^{2},记为:

    x~N(\mu\sigma ^{2})。

    则概率密度函数为:


    高斯分布的期望值\mu决定了其位置,标准方差\sigma ^{2}决定了其幅度。 

             

    高斯分布的概率分布函数

    高斯分布标准差在概率分布的数据意义

    高斯分布重要量的性质

    • 密度函数关于平均值对称
    • 平均值是它的众数(statistical mode)以及中位数(median)
    • 函数曲线下68.268949%的面积在平均值左右的一个标准差范围内
    • 95.449974%的面积在平均值左右两个标准差2σ的范围内
    • 99.730020%的面积在平均值左右三个标准差3σ的范围

    标准正态分布是μ=0,\sigma ^{2}=1。如下图所示:

    \mu =\frac{1}{m}\sum_{i=1}^{m}x^{(i)}\sigma ^{2}=\frac{1}{m}\sum_{i=1}^{m}(x^{(i)}-\mu )^{2}x

    注:机器学习中对于方差我们通常只除以m而非统计学中的m−1(因为均值进去一个点)。这里顺便提一下,在实际使用中,到底是选择使用1/m还是1/(m−1)其实区别很小,只要你有一个还算大的训练集,在机器学习领域大部分人更习惯使用这个版本的公式。这两个版本的公式在理论特性和数学特性上稍有不同,但是在实际使用中,他们的区别甚小,几乎可以忽略不计。

    中心极限定理

    正态分布有一个非常重要的性质:在特定条件下,大量统计独立的随机变量的平均值的分布趋于正态分布,这就是中心极限定理。中心极限定理的重要意义在于,根据这一定理的结论,其他概率分布可以用正态分布作为近似。中心极限定理阐明了随着有限方差的随机变量数量增长,它们的和的分布趋向正态分布。

    1、参数为n和p的二项分布,在n相当大而且p接近0.5时近似于正态分布。 
    (有的参考书建议仅在np与n(1−p)至少为5时才能使用这一近似)。近似正态分布平均数为μ=np且方差为σ^2=np(1−p)(见下图)正态分布的概率密度函数,参数为μ = 12,σ = 3,趋近于n = 48、p = 1/4的二项分布的概率质量函数。 

    2、一泊松分布带有参数λ当取样样本数很大时将近似正态分布λ. 
    近似正态分布平均数为μ=λ且方差为σ^2=λ.,这些近似值是否完全充分正确取决于使用者的使用需求。

    其他一些相关分布介绍

    多维高斯模型(Multil-dimensional Gaussian Model)

    多维单高斯是如何由一维单高斯发展而来的呢? 

    同理,高维情形相同!


    举个栗子:

    再比如:

    以下是几种高斯模型:

    上面几个图很好理解,只是在改变协方差矩阵对角线上的数改的越大,图形就越尖!

    这上面几个图其实就是高斯模型在平面上的投影,等高线上的(x,y)概率是相等的。

    1. 针对二维高斯分布,若随机变量中的两个维度不相关,协方差矩阵对对角阵,则如下图所示 

    构成一个圆形。

    2.若两个维度数据相关,协方差矩阵为对称矩阵,则如下图所示 

    构成一个椭圆形

    3.针对二维高斯分布,协方差矩阵的对角线元素为X_{1}X_{2}轴的方差,反斜对角线上的两个值为协方差,表明X_{1}与X2X2的线性相关程度,(正值时:X_{1}增大,X_{2}也随之增大;负值时:X_{1}增大,X_{2}随之减小)。 

    能够看出,图形的形状跟方向跟协方差矩阵XX^{T}相关,所在轴的方差越大则该方向越长,协方差矩阵最大特征值对应的特征向量的方向为椭圆的朝向。

    高斯混合模型GMM(Gaussian Mixture Model)

    统计学习的模型有两种,一种是概率模型,一种是非概率模型。 
    所谓概率模型,是指训练模型的形式是P(Y|X)。输入是X,输出是Y,训练后模型得到的输出不是一个具体的值,而是一系列的概率值(对应于分类问题来说,就是输入X对应于各个不同Y(类)的概率),然后我们选取概率最大的那个类作为判决对象(软分类–soft assignment)。所谓非概率模型,是指训练模型是一个决策函数Y=f(X),输入数据X是多少就可以投影得到唯一的Y,即判决结果(硬分类–hard assignment)。 
    所谓混合高斯模型(GMM)就是指对样本的概率密度分布进行估计,而估计采用的模型(训练模型)是几个高斯模型的加权和(具体是几个要在模型训练前建立好)。每个高斯模型就代表了一个类(一个Cluster)。对样本中的数据分别在几个高斯模型上投影,就会分别得到在各个类上的概率。然后我们可以选取概率最大的类所为判决结果。 
    从中心极限定理的角度上看,把混合模型假设为高斯的是比较合理的,当然,也可以根据实际数据定义成任何分布的Mixture Model,不过定义为高斯的在计算上有一些方便之处,另外,理论上可以通过增加Model的个数,用GMM近似任何概率分布。 
    混合高斯模型的定义为:
    p(x)=\sum_{k=1}^{K}\pi _{k}p(x|k)

    其中K为模型的个数;\pi _{k}为第k个高斯的权重;p(x|k)则为第k个高斯概率密度,其均值为\mu _{k},方差为\sigma _{k}^{2}。对此概率密度的估计就是要求出\pi _{k}\mu _{k}\sigma _{k}^{2}各个变量。当求出p(x)的表达式后,求和式的各项的结果就分别代表样本x属于各个类的概率。 

    如下是李航老师《统计学习方法》中给出的GMM定义:

    附上一个大佬写的GSM,深入浅出值得一看漫谈 Clustering (3): Gaussian Mixture Model

    展开全文
  • 多维高斯分布 泊松分布 生成学习模型
  • 多维高斯分布(一)

    千次阅读 2019-05-15 16:11:34
    多维高斯分布是机器学习里面很重要的数学知识,应用于线性高斯模型。本文主要讲已知联合概率分布,求边缘概率分布和条件概率分布。(由于不会在CSDN里面编辑数学公式,所以证明过程都是在word上写的,最后粘贴上面来...
  • 多维高斯函数

    2014-09-11 17:07:04
    2维高斯滤波器,三维波形图,matlab源码
  • 多维高斯分布---【2】

    2019-12-12 16:23:08
    多维高斯分布1.一维高斯分布2.二维高斯分布3.多维高斯分布4.心声 1.一维高斯分布 \qquad在介绍二维高斯分布之前我们先介绍一下一维高斯分布的函数图像,如下所示: f(x)=12π⋅δ⋅e−(x−μ)22δ2 f(x)= \frac{1}{\...
  • 多维高斯分布

    千次阅读 2019-03-06 18:00:41
    我们常见的一维高斯分布公式为: 拓展到高维就变成: 其中,表示维度为的向量,则是这些向量的平均值,表示所有向量的协方差矩...
  • 详解EM算法与混合高斯模型(Gaussian mixture model, GMM)

    万次阅读 多人点赞 2018-07-14 23:00:34
    最近在看晓川老(shi)师(shu)的博士论文,接触了混合高斯模型(Gaussian mixture model, GMM)和EM(Expectation Maximization)算法,不禁被论文中庞大的数学公式所吓退。本文通过查阅相关资料,在复杂巧妙的推理...
  • 多维高斯统计特性 随机模拟 (Stochastic Simulation) A well-known market phenomenon in the futures market is that the futures prices may deviate from the spot price of the underlying asset. As shown in ...
  • 混合高斯模型

    万次阅读 2017-03-23 09:11:46
    1. 单高斯模型(SGM)多维高斯分布的概率密度函数如下式所示: N(x|μ,Σ)=12π|Σ|√e−12(x−μ)⊤Σ−1(x−μ)N(x|\mu,\Sigma )=\frac{1}{\sqrt{2\pi |\Sigma |}}e^{-\frac{1}{2}(x-\mu)^{\top }\Sigma^{-1} (x-\...
  • 一维高斯分布与多维高斯分布 一维高斯分布 高斯分布(Gaussian distribution),又称正态分布(Normal distribution)。若随机变量X服从一个数学期望为μ、方差为σ^2 的正态分布,记为N(μ,σ^2)。其概率密度函数...
  • 我就废话不多说了,直接上代码吧! import numpy as np import matplotlib.pyplot as plt def gen_clusters(): mean1 = [0,0] cov1 = [[1,0],[0,10]] data = np.random.multivariate_normal(mean1,cov1,100) ...
  • matlab生成多组多维高斯分布数据

    千次阅读 2020-01-21 16:35:22
    matlab生成多组多维高斯分布数据 之所以写这么一个函数,是因为在练习用matlab实现聚类分析,用matlab生成的高斯分布数据可以作为很好的数据。当然,直接load进鸢尾花数据集也可以拿来练手,到后边再对鸢尾花数据集...
  • 在深度学习中,我们通常对模型进行抽样并计算与真实样本... 下面对已知均值与协方差矩阵的两个多维高斯分布之间的KL散度进行推导。当然,因为便于分布之间的逼近,Wasserstein distance可能是衡量两个分布之间差异...
  • 多维高斯分布与协方差矩阵的关系以及高斯椭圆

    万次阅读 多人点赞 2018-05-17 16:34:32
    一维高斯分布概率密度函数 f(x;μ,σ)=1σ2π−−√exp(−(x−μ)22σ2)f(x;μ,σ)=1σ2πexp⁡(−(x−μ)22σ2) f(x;\mu,\sigma) = \frac{1}{\sigma \sqrt{2\pi}} \exp(-\frac{(x-\mu)^2}{2\sigma^2}) 若随机...
  • 协方差矩阵是实对称矩阵,也是半正定矩阵。所以协方差矩阵满足实对称矩阵和半正定矩阵的性质。 记Σ\SigmaΣ为协方差矩阵。 Σ\SigmaΣ是满秩的,也就是∣Σ∣|...多维高斯分布的概率密度函数: f(x)=1(2π)D/21∣Σ∣
  • 简单理解:一维单高斯 多维高斯 混合多高斯GMM

    万次阅读 热门讨论 2017-09-01 23:59:05
    简单理解:一维单高斯 多维高斯 混合多高斯GMM
  • % Plot the first dataset (case #1) m=[0 0]'; S=[1 0;0 1]; N=500; X = mvnrnd(m,S,N)'; subplot(2,4,1) plot(X(1,:),X(2,:),'.'),title('1 0;0 1'),axis equal,axis([-7 7 -7 7]);...% Generate
  • 假设 nnn 维高斯随机变量 X∼N(μ,Σ) X \sim N(\mu, \Sigma) X∼N(μ,Σ)其概率密度函数为: fX=αe−12[(X−μ)TΣ−1(X−μ)](1) \tag 1 f_X =\alpha e^{-\frac 1 2 [ ( X - \mu) ^ T \Sigma^{-1} (X - \mu)]}...
  • 混合高斯模型解释

    2019-07-04 20:19:53
    转自 博客园 作者Orisun EM及高斯混合模型添加链接描述 本文就高斯混合模型(GMM,...多维变量X服从高斯分布时,它的概率密度函数PDF为: x是维度为d的列向量,u是模型期望,Σ是模型方差。在实际应用中u通常用...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 7,389
精华内容 2,955
关键字:

多维高斯模型