精华内容
下载资源
问答
  • 机器学习的一些概念:监督性学习/无监督性学习/判别式模型/产生式模型
    千次阅读
    2018-06-13 00:20:09

    有监督学习和无监督学习的区别

    http://blog.sina.com.cn/s/blog_56c221b00100gjl6.html

    判别式模型和产生式模型 (discriminative model and generative model)

    http://blog.163.com/huai_jing@126/blog/static/1718619832011227757554/


    一、有监督学习和无监督学习的区别

    有监督学习:对具有概念标记(分类)的训练样本进行学习,以尽可能对训练样本集外的数据进行标记(分类)预测。这里,所有的标记(分类)是已知的。因此,训练样本的岐义性低。

    无监督学习:对没有概念标记(分类)的训练样本进行学习,以发现训练样本集中的结构性知识。这里,所有的标记(分类)是未知的。因此,训练样本的岐义性高。聚类就是典型的无监督学习。

    二、判别式模型和产生式模型 (discriminative model and generative model)

    判别式模型(discriminative model

    产生式模型(generative model

    特点

    寻找不同类别之间的最优分类面,反映的是异类数据之间的差异

    对后验概率建模,从统计的角度表示数据的分布情况,能够反映同类数据本身的相似度

    区别(假定输入x,类别标签y)

    估计的是条件概率分布(conditional distribution) : P(y|x)

    估计的是联合概率分布(joint probability distribution: P(x, y),

    联系

    由产生式模型可以得到判别式模型,但由判别式模型得不到产生式模型。

    常见模型

    – logistic regression
    – SVMs
    – traditional neural networks
    – Nearest neighbor

    –Gaussians, Naive Bayes
    –Mixtures of Gaussians, Mixtures of experts, HMMs
    –Sigmoidal belief networks, Bayesian networks
    – Markov random fields

    优点

    1)分类边界更灵活,比使用纯概率方法或产生式模型更高级;

    2)能清晰的分辨出多类或某一类与其他类之间的差异特征;

    3)在聚类、viewpoint changes, partial occlusion and scale variations中的效果较好;

    4)适用于较多类别的识别;

    5)判别模型的性能比产生式模型要简单,比较容易学习。

    1)实际上带的信息要比判别模型丰富;

    2)研究单类问题比判别模型灵活性强;

    3)模型可以通过增量学习得到;

    4)能用于数据不完整(missing data)情况。

    缺点

    1)不能反映训练数据本身的特性。能力有限,可以告诉你的是1还是2,但没有办法把整个场景描述出来;
    2Lack elegance of generative: Priors,结构, 不确定性;
    3Alternative notions of penalty functions, regularization,核函数;
    4)黑盒操作:变量间的关系不清楚,不可视。

    1) Tend to produce a significant number of false positives. This is particularly true for object classes which share a high visual similarity such as horses and cows
    2) 学习和计算过程比较复杂。

    性能

    较好(性能比生成模型稍好些,因为利用了训练数据的类别标识信息,缺点是不能反映训练数据本身的特性)

    较差

    主要应用

    Image and document classification
    Biosequence analysis
    Time series prediction

    NLP(natural language processing)
    Medical Diagnosis


    更多相关内容
  • 产生式模型和判别式模型区分

    千次阅读 2019-03-20 20:32:49
    近来看到贝叶斯分类器,其中有一个知识点提及产生式模型和判别式模型,查阅了一番资料终于理解透彻了,特此记录。 产生式模型和判别式模型区分 二者是分类器中常遇到的概念,产生式模型估计它们的联合概率分布P(x,y)...

    近来看到贝叶斯分类器,其中有一个知识点提及产生式模型和判别式模型,查阅了一番资料终于理解透彻了,特此记录。

    产生式模型和判别式模型区分

    二者是分类器中常遇到的概念,产生式模型估计它们的联合概率分布P(x,y),判别式模型估计条件概率分布P(y|x)。

    判别式模型常见的主要有:
    Logistic Regression

    SVM

    Traditional Neural Networks

    Nearest Neighbor

    CRF

    Linear Discriminant Analysis

    Boosting

    Linear Regression

    产生式模型常见的主要有:

    Gaussians

    Naive Bayes

    Mixtures of Multinomials

    Mixtures of Gaussians

    Mixtures of Experts

    HMMs

    Sigmoidal Belief Networks, Bayesian Networks

    Markov Random Fields

    Latent Dirichlet Allocation
    在这里插入图片描述

    以上就是从理念上对二者进行划分,但对于不少读者而言应该还是像我一样摸不着头脑,因此我们用一个通俗的例子来进一步讲解二者。

    二者的区别主要就是由于一个是联合概率分布P(x,y),另一个估计条件概率分布P(y|x),而产生式模型能够根据贝叶斯公式得到判别式模型也是根据公式而来。

    联合概率分布,则是特征值对应某标签的概率,现在要判断一个特征值对应的标签,根据联合概率,只能算出其对应各标签的概率值,而只有通过比较全部的值才能知道属于哪个标签;而条件概率分布则是输入特征直接出来对应的标签值。

    判别式模型,就是只有一个模型,你把测试用例往里面一丢,label就出来了,如SVM。生成式模型,有多个模型(一般有多少类就有多少个),你得把测试用例分别丢到各个模型里面,最后比较其结果,选择最优的作为label。

    接下来再看实例
    判别式模型举例:要确定一个羊是山羊还是绵羊,用判别模型的方法是从历史数据中学习到模型(!!学习到一个羊分类模型,输入羊特征能够划分各种羊),然后通过提取这只羊的特征来预测出这只羊是山羊的概率,是绵羊的概率。

    理解不了为什么会直接输出一个对应的类别值,可以看决策树实例,输入特征值就会返回一个唯一的分类结果。

    生成式模型举例:利用生成模型是根据山羊的特征首先学习出一个山羊的模型,然后根据绵羊的特征学习出一个绵羊的模型(与判别式不同的是会生成多个羊类分类器),然后从这只羊中提取特征,放到山羊模型中看概率是多少,在放到绵羊模型中看概率是多少,哪个大就是哪个。

    细细品味上面的例子,判别式模型是根据一只羊的特征可以直接给出这只羊的概率(比如logistic regression,这概率大于0.5时则为正例,否则为反例),而生成式模型是要都试一试,最大的概率的那个就是最后结果~

    二者的优缺点对比

    在这里插入图片描述

    1. 一般来说, 生成式模型都会对数据的分布做一定的假设, 比如朴素贝叶斯会假设在给定的情况下各个特征之间是条件独立的:, GDA会假设

    . 当数据满足这些假设时, 生成式模型通常需要较少的数据就能取得不错的效果, 但是当这些假设不成立时, 判别式模型会得到更好的效果.

    1. 生成式模型最终得到的错误率会比判别式模型高, 但是其需要更少的训练样本就可以使错误率收敛[限于Genarative-Discriminative Pair, 详见[2]].

    2. 生成式模型更容易拟合, 比如在朴素贝叶斯中只需要计下数就可以, 而判别式模型通常都需要解决凸优化问题.

    3. 当添加新的类别时, 生成式模型不需要全部重新训练, 只需要计算新的类别和的联合分布即可, 而判别式模型则需要全部重新训练.

    4. 生成式模型可以更好地利用无标签数据(比如DBN), 而判别式模型不可以.

    5. 生成式模型可以生成, 因为判别式模型是对进行建模, 这点在DBN的CD算法中中也有体现, 而判别式模型不可以生成.

    6. 判别式模型可以对输入数据进行预处理, 使用来代替, 如下图所示, 而生成式模型不是很方便进行替换.

    展开全文
  • 5 产生式模型 5.1 产生式模型与判别式模型区别 5.2 朴素贝叶斯 5.2.1 原理与模型 5.2.2 算法 5.2.3 策略 5.2.4 高斯判别分析 5.3 隐马尔科夫模型 5.3.1 模型 5.3.2 推理:概率计算 5 产生式模型 5.1 产生...

    5 产生式模型

    5.1 产生式模型与判别式模型区别

    5.2 朴素贝叶斯

    5.2.1 原理与模型

    5.2.2 算法

    5.2.3 策略

    5.2.4 高斯判别分析

    5.3 隐马尔科夫模型

    5.3.1 模型

    5.3.2 推理:概率计算


    5 产生式模型

    5.1 产生式模型与判别式模型区别

     

    结束了上节课具有和厦大精神(自强不息、止于至善)一样的boosting,这节课主要介绍了判别式模型(Discriminative Modeling,DM)和产生式模型(Generative Modeling,GM)的区别,朴素贝叶斯以及隐马尔科夫模型。

     

    首先,我们来了解一下什么是产生式模型以及判别式模型。

     

     

    ✓ 判别式模型:在一个基本的机器学习问题中,通常有输入,输出两部分,例如对于分类来说,判别模型寻求不同类别之间的最优分类面,估计的是条件概率分布:

    常见的有:

    • Logistic Regression

    • SVM

    • Traditional Neural Networks

    • Nearest Neighbor

     

    ✓ 产生式模型:产生式模型则是对后验概率建模,试图描述x与y的联合分布,估计的是联合概率分布:

    常见的有:

    • Naive Bayes

    • Mixtures of Gaussians,HMMs

    • Markov Random Fields

     

    产生vs判别:

    产生是模型有其对应的判别式模型,这样的组合叫做“产生式-判别式”对;

    判别式模型不一定有其对应的产生式模型;

    训练样本多的情况下,采用判别式;

    训练样本少的情况下,选择产生式;

    产生式模型可以根据贝叶斯公式得到判别式模型,但反过来不行。

     

    Andrew Ng在NIPS2001年有一篇专门比较判别模型和产生式模型的文章:On Discrimitive vs. Generative classifiers: A comparision of logistic regression and naive Bayes ,感兴趣的同学也可以看一下~

    5.2 朴素贝叶斯

    5.2. 1原理与模型

     

    前面几讲都是关于判别式模型的内容,从本讲开始将会为大家介绍一些产生式模型,接下来的朴素贝叶斯和隐马尔科夫模型都属于产生式模型。

     

    朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集,首先基于特征条件独立假设学习输入/输出的联合概率分布;然后基于此模型,对于给定的输入x,利用贝叶斯定理求出后验概率最大的输出y。朴素贝叶斯法实现简单,学习与预测的效率都很高,是一种常用的方法。

    5.2.2 算法

     

    假设现在我们有了一些数据D,标签为0或者1。

    对于新来的数据x,若想预测它的标签值,我们可以采用判别模型,例如logistic回归去找到一条决策边界,来区分是0还是1,当然我们也可以用产生式模型,例如朴素贝叶斯,根据训练集中label为1的样本,我们可以建立label=1的模型,然后对于新来的样本,我们可以让它与label=1的模型进行匹配看看概率有多少,与label=0的模型进行匹配看概率多大,哪一个概率大即为预测标签。这种做法的形式化写法:

     

    根据贝叶斯公式:

     

    其中:

     

     

    假设我们要解决的是二分类问题,各维度都是离散的值, 种可能。那我们要求解的参数有多少个呢?

     

    以下推导基于这样两个假设:

     

     

    假设 1,各个维度相互独立,这是一个较强的假设,这是“Naive”的由来,由于一般特征维度较大,这么多特征的联合概率分布建模非常吃力,于是就有了一个非常Naive的假设,即所有特征之间是相互独立的,根据独立性的定义,联合概率可以写成每个特征各自的条件概率的乘积:

    假设 2,为推导简便。

    那么具体的我们需要求解哪些参数呢?

    模型参数被大大缩减。如何求解这些参数呢?

     

    因为我们假设的是做二分类,可用伯努利分布来刻画:

     

    则 

    同理对于其余参数,有:

    即:

    似然函数:

    取对数:

    应用极大似然估计求参数:

    令 ln L 分别对各参数求偏导,并令偏导数为零,即:

    得:

     

    进一步的:

    可以看到,各个参数的计算其实非常简单,就是数数。下面我们通过一两个简单的实例来看看它到底是怎么计算的。

     

    例一:

     

    由图可知,一共有15个样本,其中,

    现在要问x1=2,x2=S的标签是什么?

    求解: 

    其余参数计算方式同上,有:

    因此,x1=2,x2=S的样本标签为-1。

     

    例二:

     

    由图可知,一共有六个样本,P为垃圾邮件的概率为4/6 ,P为正常邮件的概率为2/6 。

     

    右边的表格还列出了样本中几个单词为垃圾邮件的概率以及正常邮件的概率。

     

    有了上面的信息,现在我们来判断新邮件,“review us now”是正常邮件还是垃圾邮件?

     

    review us是垃圾邮件的概率,

     

    解释如下:password没有在这句出现,所以是(1-2/4),review出现在这个邮件中,所以是1/4,send也没有出现在这句中,所以是(1-3/4),后面的也是如此。

     

    相比之下,是正常邮件的概率高一点。

     

    从计算来看,是正常邮件的情况大一点,但是仔细思考一下,review us就多了一个文本中未出现的now,就从垃圾邮件变成了正常邮件。而且由于样本数量较少,我们明显能看到如果邮件中提到“account”,为正常邮件的概率是0,任何包含“account”都是垃圾邮件了。

     

    上面的情况就涉及到一个零概率问题。零概率问题就是在计算新实例的概率时,如果某个分量在训练集中从没有出现过,会导致整个实例的概率计算结果为0,这显然是不合理的。为了解决这个问题,引出了拉普拉斯平滑:

    朴素贝叶斯中针对属性缺失问题,测试数据中某个可能维度的值丢失,可以不用管,不会受到影响。

    5.2.3策略

     

    朴素贝叶斯法将实例分到后验概率最大的类中,这等价于期望风险最小化。假设选择0-1损失函数:

     

    式中f(X)是分类决策函数。这时,期望风险函数为

     

     为了使期望风险最小化,只需对X=x逐个极小化

     

    由此得到:

    这样一来,根据期望风险最小化准则就得到了后验概率最大化准则:

    5.2.4 高斯判别分析

     

    在朴素贝叶斯中,我们假设x是离散的,服从多项分布(包括伯努利分布),在高斯判别分析(Gaussian discriminant analysis,GDA)中,我们假设x是连续的,服从高斯分布。该模型基于两点假设,y服从伯努利分布,特征x是多元高斯分布[2] 。写出分布概率密度为:

    同样,我们来比较的大小:

    可以看到GDA实际上是一个线性模型,这是一个判别式模型。

    5.3 隐马尔科夫模型

    5.3.1模型

     

    隐马尔科夫模型(hidden Markov model,HMM)是可用于标注问题的统计学习模型,描述由隐藏的马尔可夫链随机生成观测序列的过程,属于生成模型。隐马尔科夫模型在语音识别、自然语言处理、生物信息、模式识别等领域有着广泛的应用。

    (摘自李航统计学习方法)

     

    定义:隐马尔科夫模型是关于时序的概率模型,描述由一个隐藏的马尔可夫链随机生成不可观测的状态随机序列,再由各个状态生成一个观测而产生观测随机序列的过程。隐藏的马尔可夫链随机生成的状态的序列,称为状态序列;每个状态生成一个观测,而由此产生的观测的随机序列,称为观测序列。序列的每一个位置又可以看作是一个时刻。

     

    上述定义可能有些抽象,强烈建议大家阅读《数学之美》第五章之后,在来看本节内容,在书中,作者通过生动丰富的例子,非常自然的从马尔科夫过程过渡到隐马尔可夫过程,对于理解上有很大的帮助。

     

    隐马尔科夫模型由初始概率分布状态转移概率分布以及观测概率分布确定。隐马尔科夫模型的形式定义如下:

     

    设Q是所有可能的状态的集合,V是所有可能的观测的集合,

    其中,N是可能的状态数,M是可能的观测数。

     

    隐马尔可夫模型可用三元符号表示,即λ=(A, B, Π)。其中:

     

    隐马尔科夫模型由初始状态概率向量π、状态转移概率矩阵A和观测概率矩阵B决定。A,B,π称为隐马尔科夫模型的三要素。

    状态转移概率矩阵A与初始状态概率向量π确定了隐藏的隐马尔可夫链,生成不可观测的状态序列,观测概率矩阵B确定了如何从状态生成观测,与状态序列综合确定了如何产生观测序列。

    隐马尔科夫模型有三个基本问题:

     

    (1)概率计算问题:给定模型λ=(A, B, Π)和观测序列O =(o1,o2,…,oT),计算在模型λ下观测序列O出现的概率P(O|λ)。

     

    (2)学习问题:已知观测序列O =(o1,o2,…,oT),估计模型λ=(A, B, Π)参数,使得在该模型下观测序列概率P(O|λ)最大。即用极大似然估计的方法估计参数。

     

    (3)预测问题,也称为解码问题。已知模型λ=(A, B, Π)和观测序列O =(o1,o2,…,oT),求对给定观测序列条件概率P(I|O)最大的状态序列I=(i1,i2,...,iT)。即给定观测序列,求最有可能的对应的状态序列。

     

    第一个问题对应的算法是前向-后向算法(Forward-Backward algorithm),第二个则是模型训练问题,第三个问题可用维特比算法解决,接下来,我们将逐一介绍。

    5.3.2推理(概率计算)

    概率计算问题

     

    已知:模型λ=(A, B, Π)和观测序列O =(o1,o2,…,oT)

    求:P(O|λ)

    方法一:直接计算法

    通过列举所有可能的长度为T的状态序列I = (i1,i2, ..., iT),求各个状态序列I与观测序列O = (o1, o2, ..., oT)的联合概率P(O,I|λ),然后对所有可能的状态序列求和,得到P(O|λ)。

    但这个公式计算量很大,算法的复杂度是,类似TNT炸药一样,直接就爆了。那么有什么解决的有效办法吗?

     

    下面介绍计算观测序列概率P(O|λ)的有效算法:前向-后向算法。(后向算法下节课会讲到)

     

    上面的问题看似非常复杂,其实如果学会一步一步来做,问题也许就会迎刃而解。假设现在我们只有一个观测:

     

    ■  一个观测

     

    表示在第一个时刻(t=1),状态取值为的概率,有N种可能;

     

    ■  两个观测

    表示在第二个时刻(t=2),状态取值为的概率,有N种可能。

     

    ■  三个观测

     

    相信大家已经发现一些规律,那么我们来总结一下:

     

    有了上面的计算公式,我们能够从相应的概率解释直接计算,例如对t=1时刻:

     


    算法(观测序列概率的前向算法)

    输入:隐马尔科夫模型λ,观测序列O;

    输出:观测序列概率P(O|λ)


     

    隐马尔可夫模型的其余部分将会在下一讲中继续为大家讲解,感谢阅读~

     

    ps:文中所有推导均可在课件中找到,回复「课件」即可领取。

    参考文献

    [1]https://zhuanlan.zhihu.com/p/23103686

    [2]https://blog.csdn.net/Irving_zhang/article/details/60583862

    [3] 李航.统计学习方法.清华大学出版社,北京(2012)

    [4] 周志华.机器学习.清华大学出版社,北京(2016)

    [5]https://blog.csdn.net/xueyingxue001/article/details/51435752

    [6] Ng, Andrew Y., and Michael I. Jordan. "On discriminative vs. generative classifiers: A comparison of logistic regression and naive bayes." Advances in neural information processing systems. 2002.

    展开全文
  • 对比分析了分类器模型产生式与判别式的区别与联系。
  • 用于人脸识别的产生式模型和判别式模型中若干问题的研究.nh用于人脸识别的产生式模型和判别式模型中若干问题的研究.nh用于人脸识别的产生式模型和判别式模型中若干问题的研究.nh用于人脸识别的产生式模型和判别式...
  • 学习Machine Learning的朋友们一定会接触到两个概念,判别式模型(DiscriminativeModel)和产生式模型(Generative Model)。很多技术贴都尝试对二者进行详细的解释,但是往往由于初学者的积累不够,不能迅速理解...

        

           学习Machine Learning的朋友们一定会接触到两个概念,判别式模型(DiscriminativeModel)和产生式模型(Generative Model)。很多技术贴都尝试对二者进行详细的解释,但是往往由于初学者的积累不够,不能迅速理解其中的内涵,于是本文不吝笔墨对其再进行梳理一翻,希望对初学Machine Learning的学者提供一些理论性的支持。


               首先,讲述机器学习到底是在做什么事情?对于数据分析师来说,大多数时间所做的事情,就是预测数据。比如,假定有数据然后预测数据。预测数据不是拍脑袋,需要有一个规则,这个规则可以理解为高等数学里面所说的函数。所以,有了函数,就有了变量的对应关系,就能预测了。这样,给定预测数据x和预测规则,就能获得预测结果y。于是,我们要做的事情就是把这个规则找出来。找出规则一般有两种方法:第一种方法就是人为地规定一套方法,第二种方法就是用机器学习的方法。机器学习的方法是怎样的呢?


          假定我们已经有了一些关于x和y的对应关系,获得了一个数据集这个数据集称为训练集(training set),通过分析训练集,获得判别式模型产生式模型就是两种通过训练集来获得最终的决策规则的基本思路。

          

           判别式模型认为:获得y基于x的条件分布是关键的。给定某个特定的x,对应的最大的y为决策的结果。因此,关键是找到的表达形式。中包括若干未知参数,因此也可以表示为。因此,需要通过训练集分析获得然后进一步获得

    机器学习采用极大似然估计的方法来确定未知参数,定义在训练集上的似然函数为:。机器学习的目标是选择特定的未知参数让这个似然函数最大化。在这个条件下,我们需要分析的分布函数是我们直接对这个分布函数的表现形式作假设。

     

             产生式模型认为:我们需要预测的决策结果y是事物的本质,而我们在做预测时拥有的可观测数据x为事物的表现。比如:y可以是“大象”或者“猴子”,是本质。而x是我们看到的某个动物的特征,比如“吃草”、“生活在森林”、“群居”等等…我们需要通过这些特征,来判断它究竟是什么动物。写到这里,就明白了,这实际上是一个贝叶斯判别的思路。本质上,是决定了!怎么理解呢?从解决问题的思路上来看,我们还是需要找到,然后找使得最大的那个y。但是,因为是y决定了x而不是x决定了y,所以我们不能直接对的分布形式进行假设。此时就要用到贝叶斯公式

             

    因此决策目标:

            

    因为,我们可以对的概率分布作假设。我们另是待估计参数。这样就依然可以用极大似然估计的方法对进行估计,极大似然函数表示为:



           综上所述,获得预测变量的根本目的是找到。判别式模型直接对的表现形式做假设,因为它认为是x决定了y。产生式模型认为是y决定了x因此不能直接对的表现形式做假设,所以需要借助于贝叶斯公式进行分析。最终对未知参数进行估计时都转化为对极大似然函数的优化问题进行求解。如下图所示:



                                   

                                                      






    展开全文
  • GAN介绍 - 为什么学习生成式模型?

    千次阅读 2018-11-03 07:25:32
    GAN介绍 - 介绍 ...GAN介绍 - 为什么学习生成式模型? https://blog.csdn.net/sean2100/article/details/83681043 GAN介绍 - 生成式模型是如何工作的? GAN与其他模型有什么区别?https://blog.csdn.net/...
  • 判别式模型与生成式模型

    万次阅读 多人点赞 2012-09-16 20:34:48
    产生式模型(Generative Model)与判别式模型(Discrimitive Model)是分类器常遇到的概念,它们的区别在于: 对于输入x,类别标签y: 产生式模型估计它们的联合概率分布P(x,y) 判别式模型估计条件概率分布P(y|x) ...
  • 判别式模型与生成式模型的区别

    千次阅读 2019-06-08 16:34:45
    产生式模型(Generative Model)与判别式模型(Discrimitive Model)是分类器常遇到的概念,它们的区别在于: 对于输入x,类别标签y: 产生式模型估计它们的联合概率分布P(x,y) 判别式模型估计条件概率分布P(y|x) 公式...
  • 以下几种模型方法属于判别式模型(Discriminative Model)的有() 1)混合高斯模型 2)条件随机场模型 3)区分度训练 4)隐马尔科夫模型 基本概念 监督学习的任务是学习一个模型,应用这个模型对给定的输入预测相应...
  • 生成式模型和判别式模型的区别

    千次阅读 2018-07-23 22:09:53
    产生式模型:从统计的角度表示数据的分布情况,能够反映同类数据本身的相似度,不关心判别边界。 判别式模型:寻找不同类别之间的最优分类面,反映的是异类数据之间的差异。 区别: 产生式模型(Generative Model)...
  • 生成式模型、判别式模型的区别?

    千次阅读 2019-05-16 13:12:57
    生成式模型、判别式模型的区别? ​ 对于机器学习模型,我们可以根据模型对数据的建模方式将模型分为两大类,生成式模型和判别式模型。如果我们要训练一个关于猫狗分类的模型, 对于判别式模型,只需要学习二者...
  • 什么是判别式模型和生成式模型

    万次阅读 多人点赞 2018-06-30 09:39:56
    判别式模型(Discriminative Model):直接对条件概率p(y|x)进行建模,常见判别模型有:线性回归、决策树、支持向量机SVM、k近邻、神经网络等;生成式模型(Generative Model):对联合分布概率p(x,y)进行建模,常见生成...
  • 深度学习与生成式模型

    万次阅读 2016-09-12 12:49:07
    Main points 阐述生成式模型的求解目标(联合分布),应用方式(判别、生成... 相较于传统生成式模型,深度生成式模型的特点、优势; Outline: 1. 生成式模型的定义[wiki](joint probability distribut
  • 生成式模型和判别式模型

    千次阅读 2016-06-16 10:23:35
    对于输入x,类别标签y: 生成式模型:估计它们的联合概率分布P(x,y),生成数据的分布。 特点:寻找不同类别之间的最优分类面,反映的是...二者联系:由产生式模型可以得到判别式模型,但由判别式模型得不到产生式模
  • 判别式与生成式模型的区别

    千次阅读 2016-11-23 11:39:04
    判别式模型与生成式模型的区别产生式模型(Generative Model)与判别式模型(Discrimitive Model)是分类器常遇到的概念,它们的区别在于: 对于输入x,类别标签y: 产生式模型估计它们的联合概率分布P(x,y) 判别式模型...
  • 生成式模型(Generative Model)与判别式模型(Discrimitive Model)是机器学习中基础概念,在NLP和机器学习中经常会遇到这两种显著不同的模型,在学习阶段(训练阶段)和评估阶段(测试阶段)都有不同的表现,它们的...
  • GAN介绍 - 介绍 ...GAN介绍 - 为什么学习生成式模型? https://blog.csdn.net/sean2100/article/details/83681043 GAN介绍 - 生成式模型是如何工作的? GAN与其他模型有什么区别?https://blog.csdn.net/...
  • 生成对抗网络模型综述 摘要 生成对抗网络模型(GAN)是基于深度学习的一种强大的生成模型,可以应用于计算机视觉、自然语言处理、半监督学习等重要领域。生成对抗网络最最直接的应用是数据的生成,而数据质量...
  • 点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入!现有的生成式模型方法通常基于用最大似然训练的显式概率模型,或者用对抗训练学习的隐式采样模型。前者需要变分推理,或者模型具有特殊设...
  • Generative classifiers: A comparison of logistic regression and naive Bayes无论是生成式模型还是判别式模型,都可作为分类器使用,分类器的数学表达即为:给定输入 X 以及分类变量 Y ,求 P(Y|X) 。...
  • 判别式和产生式的区别

    千次阅读 2012-11-29 13:37:30
    这个题目遇到两次 自然语言处理中,经常要处理序列标注问题...1 生成模型和判别模型的定义 对o和s进行统计建模,通常有两种方式: (1)生成模型 构建o和s的联合分布p(s,o) = p(s) *p(o|s) (2
  • 机器学习与深度学习里生成模型和判别模型的理解

    万次阅读 多人点赞 2018-05-10 15:20:51
    这篇博客是自己在学习生成模型与判别模型过程中的一些记录,整理了相关的文章后写成,感谢前辈们的辛苦总结转载自:...
  • 文章目录0. 软件的生命周期1. 瀑布模型2. 螺旋模型3. 迭代模型4. 增量模型5....  瀑布模型是最早出现的软件开发模型,是所有其他软件开发模型的基础框架。与软件的生命周期不同的是,它缺少了软...
  • **瀑布模型是20世纪80年代之前最受推崇的软件开发模型,它是一种线性的开发模型,具有不可回溯性。**开发人员必须等前一阶段的任务完成后,才能开始后一阶段的工作,并且前一阶段的输出往往就是后一阶段的输入。**...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 321,062
精华内容 128,424
关键字:

产生式模型