精华内容
下载资源
问答
  • 判别式模型和生成式模型分别是什么?判别式模型和生成式模型的优缺点?
    2021-06-15 21:29:25

    判别式模型和生成式模型分别是什么?判别式模型和生成式模型的优缺点?

    目录

    判别式模型和生成式模型分别是什么?判别式模型和生成式模型的优缺点?

    判别式模型和生成式模型分别是什么?

    更多相关内容
  • 对于判别式模型来说求得P(Y|X),对未见示例X,根据P(Y|X)可以求得标记Y,即可以直接判别出来,如上图的左边所示,实际是就是直接得到了判别边界,所以传统的、耳熟能详的机器学习算法如线性回归模型、支持向量机SVM...
  • 混合生成式和判别式模型的图像自动标注
  • 判别式模型是 假设Model 规定lose function 然后使用algorithm 使得lose function 最小化就会得到Model的参数。 也就是直接从数据集中得到决策边界。 生成式模型是 使用已有的数据集得到特征的分布。一个...

    判别式模型是

    假设Model(实务上是hypothesis)

    规定lose function

    然后使用algorithm 使得lose function 最小化就会得到Model的参数。

    也就是直接从数据集中得到决策边界。

    生成式模型是

    使用已有的数据集得到特征的分布。一个Label下的分布,比如已知鳕鱼的条件下它的长与宽的分布。(这一步也就有了探究是怎样的特征分布造就了鳕鱼。探究物质生成的原因。)

    当新的物体进来之后使用Bayes公式将特征参数带入分布中(已知特征的情况下是XX鱼的概率),得到哪一个Label(鱼)的概率最高就选取哪一个Label作为预测值。

    图片源于《马同学图解数学》 

    举个栗子


    ​​​​​​​

     

    生成式模型会得到自变量(特征)的分布,这一点更像是让模型学到了事物的本质。比如说学习好的同学在勤劳,方法论,金钱开销的方面服从怎样的分布。真正的理解数据是如何产生的并且可以以此来创造数据出来实现真正意义上的人工智能。

    这也就早就了生成式模型的一个应用在小量数据的情况下真真学到了分布会有很友好的预测效果。

    展开全文
  • 文章目录一、监督学习中的判别式模型和生成式模型1.1 判别式模型(线性回归、SVM、NN)1.2 生成式模型(朴素贝叶斯、HMM)二、无监督学习中的生成式模型参考资料 一、监督学习中的判别式模型和生成式模型 有监督学习...

    一、监督学习中的判别式模型和生成式模型

    有监督学习可以分为两类:判别模型和生成模型,我们所熟悉的神经网络,支持向量机和logistic regression,决策树等都是判别模型。而朴素贝叶斯和隐马尔可夫模型则属于生成式模型

    1.1 判别式模型(线性回归、SVM、NN)

    判别式模型由数据直接学习 P ( y ∣ x ) P(y|x) P(yx)来预测 y y y

    1.2 生成式模型(朴素贝叶斯、HMM)

    生成式模型先对联合概率 P ( x , y ) P(x,y) P(x,y)建模(由数据学习联合概率分布 P ( x , y ) P(x,y) P(x,y)),由此求得 P ( y ∣ x ) P(y|x) P(yx)

    生成式模型: P ( Y ∣ X ) = P ( X , Y ) P ( X ) P(Y|X)=\frac{P(X,Y)}{P(X)} P(YX)=P(X)P(X,Y)

    典型的生成式模型有,朴素贝叶斯模型、隐马尔可夫模型(HMM)

    为什么朴素贝叶斯是生成式模型?

    因为朴素贝叶斯是这样计算的, P ( Y ∣ X ) = P ( X , Y ) P ( X ) P(Y|X)=\frac{P(X,Y)}{P(X)} P(YX)=P(X)P(X,Y),它仍然是想办法算 P ( x , y ) P(x,y) P(x,y),只不过这个联合分布没法直接算,因为 x i x_i xi y y y不独立,所以 P ( x 1 , x 2 , . . x n , y ) ≠ P ( x 1 ) P ( x 2 ) ⋯ P ( y ) P(x_1,x_2,..x_n,y)\neq P(x_1)P(x_2)\cdots P(y) P(x1,x2,..xn,y)=P(x1)P(x2)P(y)

    为了解决联合分布没法算的问题,朴素贝叶斯先是利用贝叶斯定理对公式进行了转换 P ( Y ∣ X ) = P ( X , Y ) P ( X ) = P ( X ∣ Y ) P ( Y ) P ( X ) P(Y|X)=\frac{P(X,Y)}{P(X)}=\frac{P(X|Y)P(Y)}{P(X)} P(YX)=P(X)P(X,Y)=P(X)P(XY)P(Y),然后假设不同 x i x_i xi关于 y y y条件独立,因此
    P ( Y ∣ X ) = P ( X , Y ) P ( X ) = P ( X ∣ Y ) P ( Y ) P ( X ) = P ( x 1 ∣ Y ) P ( x 2 ∣ Y ) ⋯ P ( x n ∣ Y ) P ( Y ) P ( X ) P(Y|X)=\frac{P(X,Y)}{P(X)}=\frac{P(X|Y)P(Y)}{P(X)}=\frac{P(x1|Y)P(x2|Y)\cdots P(x_n|Y)P(Y)}{P(X)} P(YX)=P(X)P(X,Y)=P(X)P(XY)P(Y)=P(X)P(x1Y)P(x2Y)P(xnY)P(Y)

    此时所有的概率都是可以算的(用对应的频率替代)

    二、无监督学习中的生成式模型(生成样本)

    无监督学习中的生成式模型跟前面提到的监督学习中的生成式模型是不一样的。

    无监督学习的生成式模型的目标:希望构建一个从隐向量z生成目标数据x的模型(Generator),这样我们只要不断从隐向量z的分布中采样z,就能生成很多与真实图像极为相似的图片

    通常假设隐向量z服从某个常见的分布(比如正态分布或均匀分布),然后希望x=g(z)模型(generator)能够把z的分布映射到接近于训练集数据的分布。

    Generator可以看作是进行了数据分布之间的变换

    在这里插入图片描述

    GAN和VAE都是无监督学习中常见的生成模型。

    这种特殊的模型,其参数估计的目的不是通过提取特征来建立输入输出之间的映射,而是学习训练数据的分布,从而模型在应用阶段能够生成与训练数据相似的图像,通常这些图像与真实图像极为相似,我愿称之为“以假乱真”的哲学,这类模型就是无监督学习中的生成式模型。

    GAN模型以及VAE模型在应用阶段生成与训练数据相似的图像?

    假设我们已经训练好了Generator(GAN和VAE具体训练Generator的方式是不同的)

    在这里插入图片描述
    在这里插入图片描述
    例如,我们用CelebA数据集训练好Vanilla VAE模型(训练阶段 z ∼ N ( u ( x ) , σ ( x ) ) ) z\sim N(u(x),\sigma(x))) zN(u(x),σ(x))

    在应用阶段我们从 z ∼ N ( 0 , 1 ) z\sim N(0,1) zN(0,1)中采样出36个隐向量z,然后利用Generator生成的36张图片如下:

    在这里插入图片描述

    三、参考资料

    展开全文
  • 产生式模型和判别式模型区分

    千次阅读 2019-03-20 20:32:49
    近来看到贝叶斯分类器,其中有一个知识点提及产生式模型和判别式模型,查阅了一番资料终于理解透彻了,特此记录。 产生式模型和判别式模型区分 二者是分类器中常遇到的概念,产生式模型估计它们的联合概率分布P(x,y)...

    近来看到贝叶斯分类器,其中有一个知识点提及产生式模型和判别式模型,查阅了一番资料终于理解透彻了,特此记录。

    产生式模型和判别式模型区分

    二者是分类器中常遇到的概念,产生式模型估计它们的联合概率分布P(x,y),判别式模型估计条件概率分布P(y|x)。

    判别式模型常见的主要有:
    Logistic Regression

    SVM

    Traditional Neural Networks

    Nearest Neighbor

    CRF

    Linear Discriminant Analysis

    Boosting

    Linear Regression

    产生式模型常见的主要有:

    Gaussians

    Naive Bayes

    Mixtures of Multinomials

    Mixtures of Gaussians

    Mixtures of Experts

    HMMs

    Sigmoidal Belief Networks, Bayesian Networks

    Markov Random Fields

    Latent Dirichlet Allocation
    在这里插入图片描述

    以上就是从理念上对二者进行划分,但对于不少读者而言应该还是像我一样摸不着头脑,因此我们用一个通俗的例子来进一步讲解二者。

    二者的区别主要就是由于一个是联合概率分布P(x,y),另一个估计条件概率分布P(y|x),而产生式模型能够根据贝叶斯公式得到判别式模型也是根据公式而来。

    联合概率分布,则是特征值对应某标签的概率,现在要判断一个特征值对应的标签,根据联合概率,只能算出其对应各标签的概率值,而只有通过比较全部的值才能知道属于哪个标签;而条件概率分布则是输入特征直接出来对应的标签值。

    判别式模型,就是只有一个模型,你把测试用例往里面一丢,label就出来了,如SVM。生成式模型,有多个模型(一般有多少类就有多少个),你得把测试用例分别丢到各个模型里面,最后比较其结果,选择最优的作为label。

    接下来再看实例
    判别式模型举例:要确定一个羊是山羊还是绵羊,用判别模型的方法是从历史数据中学习到模型(!!学习到一个羊分类模型,输入羊特征能够划分各种羊),然后通过提取这只羊的特征来预测出这只羊是山羊的概率,是绵羊的概率。

    理解不了为什么会直接输出一个对应的类别值,可以看决策树实例,输入特征值就会返回一个唯一的分类结果。

    生成式模型举例:利用生成模型是根据山羊的特征首先学习出一个山羊的模型,然后根据绵羊的特征学习出一个绵羊的模型(与判别式不同的是会生成多个羊类分类器),然后从这只羊中提取特征,放到山羊模型中看概率是多少,在放到绵羊模型中看概率是多少,哪个大就是哪个。

    细细品味上面的例子,判别式模型是根据一只羊的特征可以直接给出这只羊的概率(比如logistic regression,这概率大于0.5时则为正例,否则为反例),而生成式模型是要都试一试,最大的概率的那个就是最后结果~

    二者的优缺点对比

    在这里插入图片描述

    1. 一般来说, 生成式模型都会对数据的分布做一定的假设, 比如朴素贝叶斯会假设在给定的情况下各个特征之间是条件独立的:, GDA会假设

    . 当数据满足这些假设时, 生成式模型通常需要较少的数据就能取得不错的效果, 但是当这些假设不成立时, 判别式模型会得到更好的效果.

    1. 生成式模型最终得到的错误率会比判别式模型高, 但是其需要更少的训练样本就可以使错误率收敛[限于Genarative-Discriminative Pair, 详见[2]].

    2. 生成式模型更容易拟合, 比如在朴素贝叶斯中只需要计下数就可以, 而判别式模型通常都需要解决凸优化问题.

    3. 当添加新的类别时, 生成式模型不需要全部重新训练, 只需要计算新的类别和的联合分布即可, 而判别式模型则需要全部重新训练.

    4. 生成式模型可以更好地利用无标签数据(比如DBN), 而判别式模型不可以.

    5. 生成式模型可以生成, 因为判别式模型是对进行建模, 这点在DBN的CD算法中中也有体现, 而判别式模型不可以生成.

    6. 判别式模型可以对输入数据进行预处理, 使用来代替, 如下图所示, 而生成式模型不是很方便进行替换.

    展开全文
  • 生成式模型和判别式模型区别

    千次阅读 2022-02-09 23:28:32
    两者都是进行分类(classification)的模型。生成模型(generative model)通过学习先验分布来推导后验分布而进行分类,而判定模型(discriminative model)直接学习后验分布来进行分类。 对于分类模型,一般有三种建模...
  • 1. 简介 生成式模型(generative model)会对x和y的联合分布p(x...判别式模型(discriminative model)则会直接对p(y|x)进行建模. 关于二者之间的优劣有大量的讨论. SVM的发明者Vapnik声称"one should solve the (classi...
  • 判别式模型计算的是P(y|x)的最大概率作为分类–判别式模型是对条件概率建模,学习不同类别之间的最优边界,无法反映训练数据本身的特性,能力有限,其只能告诉我们分类的类别。 生成式模型计算的是P(x,y)作为联合...
  • 生成式模型能得到判别式模型判别式模型不能得到生成式模型。 生成式模型:朴素贝叶斯、贝叶斯网络、隐马尔可夫模型 判别式模型:K近邻、决策树、logistic、最大熵模型、支持向量机、条件随机场 ...
  • 2、以下几种模型方法属于判别式模型的有==( C )== 1)混合高斯模型 2)条件随机场模型 3)区分度训练 4)隐马尔科夫模型 A、1,4 B、3,4 C、2,3 D、1,2 公式上看 生成模型: 学习时先得到 P(x,y),继而得到 P(y|x)。...
  • 监督学习的任务就是学习一个模型,应用这一模型,对给定的输入预测相应的输出。这个模型的一般形式为决策...监督学习方法又分为生成方法和判别方法,对应生成式模型(Generative Model)与判别式模型(Discriminative...
  • 以下几种模型方法属于判别式模型(Discriminative Model)的有() 1)混合高斯模型 2)条件随机场模型 3)区分度训练 4)隐马尔科夫模型 基本概念 监督学习的任务是学习一个模型,应用这个模型对给定的输入预测相应...
  • 上一节我们介绍了概率图模型,这将在隐马尔可夫和条件随机场使用到,还会使用到的另外一个概念就是产生式模型和判别式模型,那么什么是产生式模型,什么是判别式模型呢?下面我们详细介绍这两种模型的区别。 他们的...
  • 生成式模型与判别式模型 生成式模型(Generative Model):由数据学习联合概率密度分布P(x,y),然后生成条件概率分布P(y|x),或者直接学得一个决策函数 Y=f(x),用作模型预测。 判别式模型(Discriminative Model)...
  • 判别方法:由数据直接学习决策函数,或者由条件分布概率作为预测模型的为判别模型。常见的判别模型有:线性回归、boosting、SVM、决策树、感知机、线性判别分析(LDA)、逻辑斯特回归等算法。 生成方法:由数据学习...
  • 判别式模型与生成式模型的区别

    千次阅读 2019-06-08 16:34:45
    产生式模型(Generative Model)与判别式模型(Discrimitive Model)是分类器常遇到的概念,它们的区别在于: 对于输入x,类别标签y: 产生式模型估计它们的联合概率分布P(x,y) 判别式模型估计条件概率分布P(y|x) 公式...
  • 一、判别式模型与生成式模型简介 1、判别模型(Discriminative Model) 是直接对条件概率P(Y∣X;θ)\displaystyle P( Y|X;\theta )P(Y∣X;θ)建模。判别式方法关心的是给定输入XXX,应该预测什么样的输出YYY。 2、...
  • 生成式模型与判别式模型       假设可观测到的变量集合为 XXX,需要预测的变量集合为 YYY,其他的变量集合为 ZZZ。生成式模型是对联合概率分布 P(X,Y,Z)P(X,Y,Z)P(X,Y,Z) 进行建模,...
  • 这是去年面某家公司时,被问到的问题。...判别模型之所以称为“判别模型,是因为其根据X“判别”Y; 而生成模型之所以称为“生成”模型,是因为其预测的根据是联合概率P(X,Y),而联合概率可以理解为“生成”
  • 生成式模型、判别式模型的区别?

    千次阅读 2019-05-16 13:12:57
    生成式模型、判别式模型的区别? ​ 对于机器学习模型,我们可以根据模型对数据的建模方式将模型分为两大类,生成式模型和判别式模型。如果我们要训练一个关于猫狗分类的模型, 对于判别式模型,只需要学习二者...
  • 机器学习:生成式模型和判别式模型

    千次阅读 多人点赞 2018-12-23 11:41:27
    决策函数Y=f(X)与条件概率分布P(Y|X) 决策函数Y=f(x):输入一个x,它就输出一个y值,这个y与一个阈值比较,根据比较结果...举个例子,对于一个二分类问题:对于Y=f(x)形式的分类模型,如果输出Y大于某个阈值V就属于...
  • 判别式模型:寻找不同类别之间的最优分类面,反映的是异类数据之间的差异。 区别: 产生式模型(Generative Model)与判别式模型(Discrimitive Model)它们的区别在于: 假设有样本输入值(或者观察值)x,类别标签...
  • 判别式模型 判别式模型的根据训练数据构建条件概率分布:p(y | x),其中 y 是标签集,x 是输入数据。根据条件概率分布,当给定样本分布,即可得出的值。 生成式模型 生成式模型:根据训练数据构建联合概率分布...
  • 什么是判别式模型和生成式模型

    万次阅读 多人点赞 2018-06-30 09:39:56
    判别式模型(Discriminative Model):直接对条件概率p(y|x)进行建模,常见判别模型有:线性回归、决策树、支持向量机SVM、k近邻、神经网络等;生成式模型(Generative Model):对联合分布概率p(x,y)进行建模,常见生成...
  • 监督学习又分为生成方法和判别方法,所学到的模型称为生成模型判别模型。 生成模型:估计的是联合概率分布,然后求出条件概率分布作为生成的模型。生成方法关系的是给定输入x产生输出y的生成关系。 判...
  • # 判别式模型与生成式模型 生成式模型(Generative Model)与判别式模型(Discrimitive Model)是分类器常遇到的概念,它们的区别在于:(对于输入x,类别标签y) 1. 生成式模型估计它们的联合概率分布P(x,y) 2. 判别...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 29,492
精华内容 11,796
关键字:

判别式模型