精华内容
下载资源
问答
  • 机器学习笔记——概率生成模型

    千次阅读 2017-08-18 16:44:03
    概率生成模型认为每一类数据都服从某一种分布,如高斯分布;从两类训练数据中得到两个高斯分布的密度函数,具体的是获得均值和方差两个参数;测试样本输入到其中一个高斯分布函数,得到的概率值若大于0.5,则说明该...

        假设有两类数据,每一类都有若干个样本;概率生成模型认为每一类数据都服从某一种分布,如高斯分布;从两类训练数据中得到两个高斯分布的密度函数,具体的是获得均值和方差两个参数;测试样本输入到其中一个高斯分布函数,得到的概率值若大于0.5,则说明该样本属于该类,否则属于另一类。

        算法的核心在于获取分布函数的两个参数。具体的做法是:利用训练数据,构造似然函数,使得该似然函数最大的参数即为所求。事实上,一类数据的所有训练样本的均值和协方差即为所求。


    得到其中一类的分布函数后,就可以对测试样本进行测试分类:



    下图反映的是取样本的两个特征进行可视化的分类结果,可以看到只有47%的准确率。一个原因是选择的特征没有足够的区分性,另外一个原因是模型自身有问题



    改进模型,使两类数据共用同一个协方差,均值不变。这里的协方差由两个类的协方差加权求和构成。

    从下图可以看到,分类准确率提高到73%,决策边界也变成了直线

    总结:

    1、概率生成模型的三个步骤:

    2、分布函数不唯一,可以是高斯分布,也可能是伯努利分布,根据数据特点人工决定

    3、概率生成模型的决策函数可以转换成sigmoid函数:



    4、判别模型和生成模型:前者直接计算求解w和b,后者通过求解分布函数的参数间接获得w和b,区别在哪里?

    一般认为判别模型的分类效果比生成模型略胜一筹,但当训练数据较少时生成模型表现更好,而且生成模型对噪声点更鲁棒。从计算机复杂度来看,你认为呢?

    展开全文
  • P(C1|x)即x属于C1类别的概率,这里是二分类,所以我们可以用0.5作为界限,P>0.5则属于C1,否则属于C2。 P(C1)=N1/(N1+N2),P(C2)=N2/(N1+N2),所以现在得知道P(x|C1)和P(x|C2),即在C中取出一个样本,是X的概率...

    问题引入:假设有2个不同的class C1与C2,C1与C2里面分别有N1和N2个样本,现在要对某件物品x进行分类,X一定属于C1与C2中的某一类。

    先引进贝叶斯公式:
    在这里插入图片描述

    P(C1|x)即x属于C1类别的概率,这里是二分类,所以我们可以用0.5作为界限,P>0.5则属于C1,否则属于C2。

    P(C1)=N1/(N1+N2),P(C2)=N2/(N1+N2),所以现在得知道P(x|C1)和P(x|C2),即在C中取出一个样本,是X的概率。这里就需要知道C1和C2的总体服从什么分布,在你不确定总体服从什么分布的情况下,高斯分布往往就是最好的选择。
    所以这里假设C1和C2的总体均服从多维正态分布,接下来就是利用极大似然估计法来估计出协方差矩阵∑和U,这个过程较为复杂,具体见下面纸质推导过程:
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    求出两个参数之后,我们用概率密度近似代表概率,即:
    在这里插入图片描述
    由此,就可以算出P(C1|x),再与0.5比较即可。

    为了降低模型复杂度,让C1与C2的总体共用一个协方差矩阵,而均值还是按照上述极大似然估计得到,推算过程比较复杂,就直接得到结论:
    在这里插入图片描述
    做实验也可以发现,共用一个协方差矩阵有效地提高了分类准确率

    对决策函数P(C1|x)继续化简:
    在这里插入图片描述

    所以说,我们先根据C1和C2得到N1,N2,并估算出u1,u2,∑,进而算出w和b,最后代入:
    在这里插入图片描述
    再将最后结果与0.5比较,就可得出答案。

    而所谓朴素贝叶斯(Naive Bayes),就是说所有特征都是相互独立的,也就是说P(C|x)=P(C|x1)*P(C|x2)…P(C|xn),这个时候的协方差矩阵除了对角线其余位置都是0。

    展开全文
  • 分类问题:概率生成模型 课程例子:通过宝可梦的一些属性能不能预测出这个宝可梦属于哪个类型。 用于分类的训练集数据(一直宝可梦的属性和他所属于的种类) 如果考虑用线性回归的方式来做这件事情,如果输入数据,...

    分类问题:概率生成模型

    课程例子:通过宝可梦的一些属性能不能预测出这个宝可梦属于哪个类型。
    1. 用于分类的训练集数据(一直宝可梦的属性和他所属于的种类)在这里插入图片描述
    2. 如果考虑用线性回归的方式来做这件事情,如果输入数据,通过函数得到的值接近1,我们就说这只宝可梦是种类1,如果接近-1,我们说是种类2,但是这样可能出现对于太偏离的点当我们做线性回归预测的时候使得函数像这边偏移。在这里插入图片描述
    3. 所以考虑概率生成模型:步骤:在这里插入图片描述
      1. 首先定义一个概率模型:在这里插入图片描述
      2. 找到最好的概率函数(产生这些点的可能性最大)在这里插入图片描述
      3. 找到最好的模型,用测试数据去测试。
    4. 如果找出来的高斯模型error很大,我们可以考虑增加模型参数,例如可以考虑宝可梦的更多属性,但是这样的话可能会过拟合,导致error还是很大,多以采取的方式就是两个不同的属性共用一个协方差(协方差与属性的平方成正比,如果属性过多,协方差就会很大,也就会导致过拟合,当两种属性选择同一个协方差的时候可以减少error)在这里插入图片描述
    5. 如果我们把概率模型重写一下会得到一个很有用的函数(Sigmoid function)在这里插入图片描述
    展开全文
  • 概率生成模型 概率生成模型,简称生成模型(Generative Model),是概率统计和机器学习中的一类重要模型,指一系列用于随机生成可观测数据的模型。生成模型的应用十分广泛,可以用来不同的数据进行建模,比如图像、...

    概率生成模型

    概率生成模型,简称生成模型(Generative Model),是概率统计和机器学习中的一类重要模型,指一系列用于随机生成可观测数据的模型 。生成模型的应用十分广泛,可以用来不同的数据进行建模,比如图像、文本、声音等。比如图像生成,我们将图像表示为一个随机向量X,其中每一维都表示一个像素值。假设自然场景的图像都服从一个未知的分布pr(x)希望通过一些观测样本来估计其分布。也就是说,生成模型考虑的是:生成样本数据的模型是什么样的(也就是样本数据具体满足什么分布/样本会以多大的概率被生成)。

    生成模型可以和贝叶斯概率公式进行结合,用于分类问题。原始贝叶斯概率公式为:

    P(A|B) = \frac{P(B|A)P(A)}{P(B)},应用到分类问题当中,可以写为如下的形式:

     在分类问题中,训练数据中有两个类别;每个类别下有5个样本,我们想要知道新的测试样本x属于C1类别的可能性,根据贝叶斯概率公式可以得到上述图片所示的概率公式。其中,P(C1)P(C2)表示在训练数据中,随机采样得到C1或者C2的概率,即两个类别在训练数据中所占的比重,可以计算得到。

     

    分母项P(x)表示生成数据x的概率,此处可以由生成模型计算得到;P(x) = P(x|C1)P(C1) + P(x|C2)P(C2),因为有两个类别,每个类别下的数据具有不同的规律,服从不同的分布,都有可能生成数据x,所以相加得到生成x的概率(这里计算生成样本数据x的概率就是生成模型在做的事情)。P(C1)P(C2)由训练数据中的统计结果可以计算得到,难点在于如何计算P(x|C1)P(x|C2)。这里使用的方法是:极大似然估计。

     

    极大似然估计

    极大似然估计的原理,可以借由下面的图片进行直观的理解:

    总结起来,最大似然估计的目的就是:利用已知的样本结果,反推最有可能(最大概率)导致这样结果的参数值。

            极大似然估计是建立在极大似然原理的基础上的一个统计方法。极大似然估计提供了一种给定观察数据来评估(求解)模型参数的方法,即:“模型已定,参数未知”。通过若干次试验,观察其结果,利用试验结果得到某个参数值能够使样本出现的概率为最大,则称为极大似然估计。

    总结一下:极大似然估计就是先假设生成数据(数据分布)的模型已知(比如高斯分布),但是模型的具体参数不知(不知道高斯分布中的均值和标准差),通过已有的数据,进行参数的推断求解,使得该模型(高斯分布)生成已有观测数据的可能性最大。

    经过极大似然估计之后,我们可以得到每个类别下的数据满足的规律(即每个类别下的数据满足什么样的分布),那么我们就可以知道在每个类别的分布下,分别生成新的测试数据x的概率,也就是P(x|C1)P(x|C2)。因此,我们就可以计算得到新的测试数据x属于每个类别的概率P(C1|x)P(C2|x)。

    分类问题实例

    下面通过一个具体的问题情境,展示生成模型用于分类问题的过程:

    预测宝可梦的类别,其中可用的特征信息如下:

    1、使用两个类别的宝可梦构成训练数据,分别是水系(Water)和正常系(Normal),数据构成如下:

    2、根据贝叶斯概率公式,接下来需要计算P(x|C1)P(x|C2),也就是分析每个类别下的数据分布规律,计算新的测试数据x分别由每个类别的数据模型生成的概率。每个宝可梦,使用其两个特征属性Defence SP Defence,假设数据的分布符合高斯分布。 

    3、由极大似然估计法,计算得到高斯分布的参数(均值和标准差)。

    4、经过前面的几步,接下来就可以使用贝叶斯概率公式进行分类。

    5、实验结果。

    (1)测试数据上的准确率为47%,效果很差。使用更多特征(7个特征)之后,准确率为54%,提升有限。

    (2)调整模型,也就是计算数据分布处的高斯分布的均值和标准差,效果有一定提升。

    所以,总结一下,使用生成模型 + 贝叶斯概率分布 进行分类问题的三个步骤如下:

    生成模型 + 贝叶斯概率公式的数学推导

                                   (1)                                                                                        (2)

                                 (3)                                                                                                   (4)

       

                                                                              (5)

    经过最终的化简计算可以知道,生成模型 + 贝叶斯概率公式 本质上是寻找参数w和b的过程,如果我们直接进行参数w和b的求解,是不是就可以简化前面那么复杂的计算过程?这也是接下来要介绍的逻辑回归算法(其实判别模型都是这样做的,直接进行最终参数w和b的求解,不去考虑数据的生成)。

    判别模型 VS 生成模型

    两个模型最主要的区别就是:

    判别模型:直接在训练数据的特征空间进行学习,对于一个输入,直接输出预测的标签。

    生成模型:会考虑数据的生成情况,即每个类别下的数据分布规律,满足什么样的分布。

    详细的介绍可以参加这篇博客,写得十分清楚。

     

    参考资料

    1、李宏毅机器学习-概率生成模型:https://study.163.com/course/courseLearn.htm?courseId=1208946807#/learn/text?lessonId=1278430134&courseId=1208946807

    2、极大似然估计详解:https://blog.csdn.net/qq_39355550/article/details/81809467

    3、判别模型和生成模型:https://blog.csdn.net/Fishmemory/article/details/51711114

    展开全文
  • 1.概率生成模型首先介绍生成模型的概念,然后逐步介绍采用生成模型的步骤。1.1概念 即对每一种类别CkC_k分别建立一种模型p(Ck|x)p(C_k|x),把待分类数据x分别带入每种模型中,计算后验概率p(Ck|x)p(C_k|x),选择...
  • 分类问题用回归来解决?当有右图所示的点时,这些点会大幅改变分类线的位置。这时候就会导致整体的回归结果...概率生产模型对比学习见 李宏毅机器学习课程12~~~半监督学习 概率生成模型概率生成模型示例假设所有采样点
  • 最近,知名人工智能创业公司 Vicarious 在 Science 上发表的研究提出了一种全新概率生成模型。新的模型具有识别、分割和推理能力,在场景文字识别等任务上超过了深度神经网络。研究人员称,这种方法或许会将我们带向...
  • [机器学习] 李宏毅机器学习笔记-5(Classification...分类:概率生成模型)ClassificationHow to do ClassificationIdeal Alternatives Gaussian Distribution Probability from Class 那么怎样找到这个Gaussion f
  • 分类模型;先验概率;高斯分布的应用;最大似然估计的方法;推导后验概率
  • 找到一个合适的模型,输入对象 xxx ,输出它属于的类别 应用:信用评估、医疗诊断、手写识别、面部识别 如何进行分类 分类问题中的线性回归 我们考虑一个二元分类问题,一类标记为 Class1Class 1Class1,一类标记...
  • 上一期为大家说明了什么是无监督生成模型。在无监督生成模型中,极大似然法一直扮演着非常核心的位置,我们必须对它有深刻的理解,本期小米粥将为大家讲一下极大似然法的那些事情。 ...
  • 生成模型

    千次阅读 2019-03-20 18:34:17
    生成模型和判别模型 discriminative learning algorithms,也就是根据特征值来求结果的概率。 可以表示为P(y∣x;θ)P(y|x;\theta)P(y∣x;θ),在参数确定的条件下,直接求得在当前样本feature下的y的概率 实际上是...
  • 生成模型:根据训练数据构建联合概率分布:p(x,y),其中 y 是标签集,x 是输入数据。根据联合概率分布 p(x,y),当给定样本分布时,根据公式得到的值。 遗留问题 不论是训练得到 p(y|x),还是p(x,y...
  • 其中,几个通用的视角具体是指:判别模型 VS 生成模型、 非概率模型 VS 概率模型、参数模型 VS 非参数模型,而本文涉及到的经典的监督学习模型包括感知机、逻辑斯特回归、高斯判别分析、朴素贝叶斯、支持向量机、...
  • 概率模型

    千次阅读 2017-05-03 10:10:52
    首先,介绍一下概率图的...根据图模型的边是否有向,概率模型通常被划分成有向概率模型和无向概率模型。  有向图模型分为静态贝叶斯网络、动态贝叶斯网络(隐马尔可夫模型、卡尔曼滤波器等);无向图模型主要
  • 概率检索模型

    千次阅读 2018-08-13 21:30:26
    概率检索模型是当前信息检索领域效果最好的模型之一,它基于对已有反馈结果的分析,根据贝叶斯原理为当前查询排序。 我在之前的博客 SVM解释:二、SVM的数学基础 中介绍了如何用朴素贝叶斯算法对数据进行分类,其实...
  • 这不仅是由于在监督学习框架下面有各种各样的学习模型,如逻辑斯特回归、朴素贝叶斯、支持向量机等,更是因为这个框架有着坚实的理论支撑,机器学习中的计算学习理论就是主要为监督学习服务的:这套理论以概率的方式...
  • 模型的偏差,指的是模型预测的期望值与真实值之间的差; 模型的方差,指的是模型预测的期望值与预测值之间的差平方和; 在监督学习中,模型的泛化误差可分解为偏差、方差与噪声之和。 偏差用于描述模型的拟合...
  • 生成模型和判别模型的区别

    千次阅读 2017-04-29 16:17:06
    1.监督学习分为生成模型和判别模型有监督机器学习...2.生成模型生成模型主要是求解联合概率密度,比如我们有数据集:(C,X),其中(c,x)表示其中一个样本,c为类别,x为特征。那么对于生成模型来说我们需要求解p(x,c
  • 生成模型与判别模型

    2017-09-10 16:57:21
    概念理解监督学习方法可分为两大类,即生成方法与判别方法,它们所学到的模型称为生成模型与判别模型。 判别模型:判别模型是学得一个分类面(即学得一个模型),该分类面可用来区分不同的数据分别属于哪一类; 生成...
  • NLP之概率模型

    2018-09-18 16:54:51
    概率模型 概率模型(probabilistic graphical models)在概率模型的基础上,使用了基于图的方法来表示概率分布(或者概率密度、密度函数),是一种通用化的不确定性知识表示和处理方法。在概率模型的表达中,...
  • 无向图有向图无向图判别式(discriminative)模型 and 生成式(generative)模型判别式模型生成模型 详解概率模型——概述 概率图 概览 有向图 vs. 无向图 有向图 对于有向图模型,这么求联合概率: 举个例子,...
  • 对抗生成模型

    千次阅读 2017-04-12 21:30:07
    生成模型和判别模型 理解对抗网络,首先要了解生成模型和判别模型。判别模型比较好理解,就像分类一样,有一个判别界限,通过这个判别界限去区分样本。从概率角度分析就是获得样本x属于类别y的概率,是一个条件...
  • GAN生成对抗网络之生成模型

    千次阅读 2020-05-25 22:09:16
    朋友们,我是床长!...在机器学习中,生成模型可以用来直接对数据建模,如根据某个变量的概率密度函数进行数据采样,也可以用来建立变量间的条件概率分布,条件概率分布可以由生成模型根据贝叶斯定理形成。 ...
  • 生成模型和判别模型的理解

    千次阅读 2015-07-24 16:15:14
     - 生成模型:无穷样本==》概率密度模型 = 产生模型==》预测  - 判别模型:有限样本==》判别函数 = 预测模型==》预测 【简介】 简单的说,假设o是观察值,q是模型。 如果对P(o|q)建模,就是Generative模型。...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 128,631
精华内容 51,452
关键字:

概率生成模型