精华内容
下载资源
问答
  • 生成模型和判别模型有哪些,统计,具体
    千次阅读
    2019-09-10 17:08:25

     

    • 生成模型,就是生成(数据的分布)的模型;
    • 判别模型,就是判别(数据输出量)的模型。

    生成式模型:

    1. 朴素贝叶斯!
    2. 混合高斯模型!
    3. 隐马尔科夫模型(HMM)!
    4. 贝叶斯网络
    5. Sigmoid Belief Networks
    6. 马尔科夫随机场(Markov Random Fields)
    7. 深度信念网络(DBN)

    判别式模型:

    1. K近邻(KNN)
    2. 线性回归(Linear Regression)
    3. 逻辑斯蒂回归(Logistic Regression)
    4. 神经网络(NN)
    5. 支持向量机(SVM)
    6. 高斯过程(Gaussian Process)
    7. 条件随机场(CRF)
    8. CART(Classification and Regression Tree)
    更多相关内容
  • Unity3D动态生成模型

    热门讨论 2014-07-08 09:11:39
    本文要实现的功能是动态生成模型。为这个系列的第一章。其目标在于根据用户的输入生成出指定的模型。本文实现的是简单的隧道模型,如果对于复杂的模型,需要精细的数学知识扩充,但对于unity3d的使用则无两样,均...
  • 生成模型和判别模型的区别

    千次阅读 多人点赞 2018-08-16 17:26:01
    生成模型: 学习时先得到 P(x,y)P(x,y)P(x,y),继而得到 P(y|x)P(y|x)P(y|x)。预测时应用最大后验概率法(MAP)得到预测类别 yyy。 判别模型: 直接学习得到P(y|x)P(y|x)P(y|x),利用MAP得到 yyy。或者直接学得一个...

    先上结论

    公式上看

    生成模型: 学习时先得到 P ( x , y ) P(x,y) P(x,y),继而得到 P ( y ∣ x ) P(y|x) P(yx)。预测时应用最大后验概率法(MAP)得到预测类别 y y y
    判别模型: 直接学习得到 P ( y ∣ x ) P(y|x) P(yx),利用MAP得到 y y y。或者直接学得一个映射函数 y = f ( x ) y = f(x) y=f(x)

    直观上看

    生成模型: 关注数据是如何生成
    判别模型: 关注类别之间的差别


    先直观理解

    我们先从直观上来理解一下:

    • 生成模型: 源头导向。尝试去找到底这个数据是怎么产生的,然后再对一个信号进行分类。基于你学习到的生成假设,判断哪个类别最有可能产生这个信号,这个样本就属于那个类别。
    • 判别模型: 结果导向。并不关心样本数据是怎么生成的,它只关心样本之间的差别,然后用差别来简单对给定的一个样本进行分类。

    举个例子

    借用一下这位老兄的例子:

    假如你的任务是识别一个语音属于哪种语言。例如对面一个人走过来,和你说了一句话,你需要识别出她说的到底是汉语、英语还是法语等。那么你可以有两种方法达到这个目的:

    1. 学习每一种语言,你花了大量精力把汉语、英语和法语等都学会了,我指的学会是你知道什么样的语音对应什么样的语言。然后再有人过来对你说,你就可以知道他说的是什么语音.
    2. 不去学习每一种语言,你只学习这些语言之间的差别,然后再判断(分类)。意思是指我学会了汉语和英语等语言的发音是有差别的,我学会这种差别就好了。

    那么第一种方法就是生成方法,第二种方法是判别方法



    再深入理解

    监督学习的任务:学习一个模型,应用这一模型,对给定的输入预测相应的输出。
    这一模型的一般形式为一个决策函数或者条件概率分布:

    1. 决策函数 y = f ( x ) y=f(x) y=f(x)直接得到 输入 x x x 到 输出 y y y(某个类别)的映射函数。(例如神经网络和SVM等属于这种)
    2. 条件概率分布 P ( y ∣ x ) P(y|x) P(yx)预测时用 最大后验概率**(MAP) y = a r g m a x y i P ( y i ∣ x ) y = argmax _{y_i} P(y_i|x) y=argmaxyiP(yix)的方法决定输出类别 y y y。(例如贝叶斯分类器就属于这种)


      监督学习方法又可以分为
      生成方法(generative approach)判别方法(discriminative approach)。所学到的模型分别为生成模型(generative model)判别模型(discriminative model)**。

    生成模型

    先由数据学习联合概率分布 P ( x , y ) P(x,y) P(x,y)和先验概率分布 P ( x ) P(x) P(x),然后求出条件概率分布 P ( y ∣ x ) = P ( x , y ) / P ( x ) P(y|x)=P(x,y)/P(x) P(yx)=P(x,y)/P(x)作为预测的模型,即得到生成模型: P ( y ∣ x ) = P ( x , y ) P ( x ) P(y|x)= \frac{P(x,y)}{P(x)} P(yx)=P(x)P(x,y) 生成方法强调的是:通过得到 P ( x , y ) P(x,y) P(x,y),继而得到 P ( y ∣ x ) P(y|x) P(yx)

    这样的方法之所以称为生成方法,是因为模型表示了给定输入 x x x 产生输出 y y y 的生成关系。这种方法一般建立在统计学和Bayes理论的基础之上。

    特点
    • 从统计的角度表示数据的分布情况,能够反映同类数据本身的相似度,但它不关心到底划分各类的那个分类边界在哪。
    • 生成方法能还原出联合概率分布,而判别方法不能
    • 生成方法的学习收敛速度更快、即当样本容量增加的时候,学到的模型可以更快地收敛于真实模型
    • 当存在隐变量时,仍可以用生成方法学习,此时判别方法不能用
    典型的生成模型
    • 朴素贝叶斯分类器
    • 马尔科夫模型
    • 高斯混合模型


    判别模型

    判别方法由数据直接学习决策函数 f ( x ) f(x) f(x)或者条件概率分布 P ( y ∣ x ) P(y|x) P(yx)作为预测的。判别模型利用正负例和分类标签,关注在判别模型的边缘分布。
    判别方法强调的是:对给定的输入 x x x,应该预测什么样的输出 y y y

    特点

    • 判别方法寻找不同类别之间的最优分类面,反映的是异类数据之间的差异
    • 判别方法利用了训练数据的类别标识信息,直接学习的是条件概率P(Y|X)或者决策函数f(X),直接面对预测,往往学习的准确率更高
    • 由于直接学习条件概率P(Y|X)或者决策函数f(X),可以对数据进行各种程度上的抽象、定义特征并使用特征,因此可以简化学习问题
    • 缺点是不能反映训练数据本身的特性

    典型的判别模型

    • k近邻法
    • 感知机
    • 决策树
    • logistic回归
    • 最大熵模型
    • SVM
    • boosting方法
    • 条件随机场

    这里推荐一篇Andrew Ng讨论判别模型和生成模型的paper:
    On Dicriminative vs. Generative classfier: A comparison of logistic regression and naive Bayes


    References:
    《统计学习方法》 李航
    生成模型与判别模型

    展开全文
  • 以下几种模型方法属于判别式模型(Discriminative Model)的有() 1)混合高斯模型 2)条件随机场模型 3)区分度训练 4)隐马尔科夫模型 基本概念 监督学习的任务是学习一个模型,应用这个模型对给定的输入预测相应...

    目录

    问题引出

    基本概念

    举个例子

    优缺点

    模型实例

    参考文献


     

    问题引出

    来源:牛客网

    以下几种模型方法属于判别式模型(Discriminative Model)的有()

    1)混合高斯模型

    2)条件随机场模型

    3)区分度训练

    4)隐马尔科夫模型

     

    基本概念

    监督学习的任务是学习一个模型,应用这个模型对给定的输入预测相应的输出。

    监督学习又分为生成方法(generative approach)和判别方法(discriminative approach),所学到的模型成为生成模型(generative model)和判别模型(discriminative model)。

     

    生成模型估计的是联合概率分布,然后求出条件概率分布P(Y|X)作为预测的模型,即生成模型:P(Y|X)= P(X,Y)/ P(X)。

    生成方法关心的是给定输入x产生输出y的生成关系。

    判别模型估计的是条件概率分布,有数据直接学得决策函数P(X)或者条件概率分布P(Y|X)作为预测的模型。

    判别式方法关心的是给定输入X,应该预测什么样的输出Y

     

    举个例子

    (来自参考文献3)

    比如说要确定一只羊是山羊还是绵羊,

    生成模型的方法是我们可以根据山羊的特征首先学习出一个山羊模型,然后根据绵羊的特征学习出一个绵羊模型。然后从这只羊中提取特征,放到山羊模型P(w1|X)中看概率是多少,再放到绵羊模型P(w2|X)中看概率是多少,若P(w1|X)>P(w2|X),那么我们就认为X是属于w1类,即该羊属于山羊。

    判别模型的方法是先从历史数据中学习到模型,然后通过提取这只羊的特征x来预测出这只羊f(X)是山羊的概率,是绵羊的概率。

    优缺点

    生成方法

    优点:

    1、可以还原联合分布率(判别式模型不可以)

    2、学习的收敛速度,即:当样本容量增加的时候,学到的模型可以更快地收敛于真实模型

    3、可以应付存在隐变量的情况,比如混合高斯模型就是含有隐变量的生成方法。

     

    缺点:

    1、浪费计算资源。联合分布是能提供更多的信息,但也需要更多的样本和更多计算,尤其是为了更准确估计类别条件分布,需要增加样本的数目,而且类别条件概率的许多信息是我们做分类用不到,因而如果我们只需要做分类任务,就浪费了计算资源。

    2、实践中多数情况下判别模型效果更好

     

    判别方法

    优点:

    1、节约了计算资源,相比较于生成模型而言

    2、直接学习条件概率或者决策函数,直接面对预测往往学习效率更高

    3、直接学习可以对数据进行各种程度上的的抽象、定义特征并使用特征,因此可以简化学习问题

    缺点:

    对应生成模型的优点

     

    两者的联系和区别

    1、由生成模型可以得到判别模型,但由判别模型得不到生成模型。

    2、当存在隐变量(当我们找不到引起某一现象的原因的时候,我们就把这个在起作用,但是,无法确定的因素,叫“隐变量”) 时,仍可以利用生成方法学习,此时判别方法不能用。
     

     

    模型实例

    生成式模型有:
    1. 判别式分析
    2. 朴素贝叶斯Native Bayes
    3. 混合高斯型Gaussians
    4. 隐马尔科夫模型HMM
    5. 贝叶斯网络
    6. sigmoid belief networks
    7. 马尔科夫随机场Markov random fields
    8. 深度信念网络DBN
    9. 隐含狄利克雷分布简称LDA(Latent Dirichlet allocation)
    10. 多专家模型(the mixture of experts model)


    判别式模型有:
    1. 感知机
    2. 决策树
    3. 逻辑回归logic regression
    4. K近邻 KNN
    5. 最大熵模型
    6. 支持向量机SVM
    7. 提升方法Boosting
    8. 神经网络NN
    9. 高斯过程Gaussian process
    10. 条件随机场CRF
    11. CART(Classification and regression tree)

     

    参考文献

    1.统计学习方法(李航)

    2.牛客‘chen尾巴’的答案

    3.机器学习---生成模型与判别模型

     

     

     

    展开全文
  • 1. 生成模型与判别模型1.1 两种模型的区别我们首先假设x为特征,y为类别结果。那么分以下几种方式来理解生成模型与判别模型。(1)官方定义:判别模型是根据特征值来求结果的概率。形式化表示为,在参数确定的情况下...

    本文结合网易云吴恩达机器学习公开课中文课件内容以及个人理解,对这一章节进行介绍。红色部分为关键部分或个人的一些理解。

    1. 生成模型与判别模型

    1.1 两种模型的区别

    我们首先假设x为特征,y为类别结果。那么分以下几种方式来理解生成模型与判别模型。

    (1)官方定义:判别模型是根据特征值来求结果的概率。形式化表示为,在参数确定的情况下,求解条件概率,通俗的解释为在给定特征后预测结果出现的概率。

    而生成模型是知道结果的情况下,对样本特征建立概率模型,是在给定样本所属类的情况下。形式化表示为。当然这里最大的记忆难点就是x和y在形式化表示中的位置,因此建议下一种方式进行记忆。

    (2)顾名思义:判别模型,即要判断这个东西到底是哪一类,也就是要求y,那给定的就是x,所以是p(y|x)。生成模型同样,是要生成一个模型,那就是谁根据什么生成了模型,谁就是类别y,根据的内容就是x,所以是

    (3)深度记忆:这里举例说明。比如我们的任务是判断一只羊是山羊还是绵羊,判别模型就是先从历史数据中提取这些羊的特征来判断它是哪种羊。生成模型则是我先给你山羊,你研究山羊的特征,然后生成一个山羊的模型,绵羊同理。那么判断新来的一只羊时,把他的特征丢到两个模型中去,哪个模型得到的概率大,那这只羊就属于哪个种类。

    1.2 两种模型的联系

    利用贝叶斯公式发现两个模型的统一性:

    由于两种模型生成后,都是来预测一个新的y因此我们关注的是y的离散值结果中哪个类别的概率,而不是关心具体的概率,因此上面的公式可以改写为:

     

    2. 生成模型—高斯判别分析(GDA)

    2.1 多值正态分布

    多变量正态分布描述的是n维随机变量的分布情况,这里的变成了向量,也变成了矩阵。写作。假设有n个随机变量X1,X2,…,Xn。的第i个分量是E(Xi),而

    概率密度函数如下:

    其中的行列式,是协方差矩阵,而且是对称半正定的。

    是二维的时候可以如下图表示:

    其中决定中心位置,决定投影椭圆的朝向和大小。

    如下图:

    对应的不同。

    2.2 高斯判别分析模型

    如果输入特征x是连续型随机变量,那么可以使用高斯判别分析模型来确定p(x|y)。这里有一个假设,那就是假设p(x|y)服从多元高斯分布,这个假设的含义就是指在给定某一类别下,所属类别的所有样本的分布为高斯分布。

    模型如下:

    输出结果服从伯努利分布,在给定模型下特征符合多值高斯分布。通俗地讲,在山羊模型下,它的胡须长度,角大小,毛长度等连续型变量符合高斯分布,他们组成的特征向量符合多值高斯分布。

    这样,可以给出概率密度函数:

    最大似然估计如下:

    注意这里的参数有两个,表示在不同的结果模型下,特征均值不同,但我们假设协方差相同。反映在图上就是不同模型中心位置不同,但形状相同。这样就可以用直线来进行分隔判别。求导后,得到参数估计公式:

    是训练样本中结果y=1占有的比例。

    是y=0的样本中特征均值。

    是y=1的样本中特征均值。

    是样本特征方差均值。

    如前面所述,在图上表示为:

    直线两边的y值不同,但协方差矩阵相同,因此形状相同。不同,因此位置不同。

    2.3 高斯判别分析(GDA)与logistic回归的关系

    这是https://www.cnblogs.com/yinheyi/p/6131875.html的一张图

    例如现在我想获得在高斯判别分析中P(y=1|x)概率值的走向,从X轴左边开始,由于这里下方的叉叉×表示y=0的情况,圈圈表示y=1的情况,从左往右的过程中y=1的情况可能性越来越大,其形状就和sigmoid函数一样,上图中的losgtic回归网线就是p(y=1|x) = p(x |y=1)p(y=1) / p(x)的曲线。两个高斯分布交界的地方就是logistic曲线等于0.5的地方,因为在这一点p(y = 0)p(y =1)的概率相同。其计算可由贝叶斯公式可以得到

    P(x|y)可以直接由高斯判别函数的y值得到,p(y=1)可以由伯努利模型得到,p(x)如图中红色的部分得到。

    如果p(x|y)符合多元高斯分布,那么p(y|x)符合logistic回归模型。反之,不成立。为什么反过来不成立呢?因为GDA有着更强的假设条件和约束。

    如果事先知道训练数据满足多元高斯分布,那么GDA能够在训练集上是最好的模型。然而,我们往往事先不知道训练数据满足什么样的分布,不能做很强的假设。Logistic回归的条件假设要弱于GDA,因此更多的时候采用logistic回归的方法,也就是说即使不知道训练数据满足何种分布方式,logistic回归也能保持其稳定性。

    例如,训练数据满足泊松分布,

    ,或者其他类型的指数分布簇,那么p(y|x)也是logistic回归的。这个时候如果采用GDA,那么效果会比较差,因为训练数据特征的分布不是多元高斯分布,而是泊松分布,所以通常不知道训练数据满足何种分布。这也是logistic回归用的更多的原因。

    3. 生成模型—朴素贝叶斯模型

    在GDA中,我们要求特征向量x是连续实数向量。如果x是离散值的话,可以考虑采用朴素贝叶斯的分类方法。

    假如要分类垃圾邮件和正常邮件。分类邮件是文本分类的一种应用。

    假设采用最简单的特征描述方法,首先找一部英语词典,将里面的单词全部列出来。然后将每封邮件表示成一个向量,向量中每一维都是字典中的一个词的0/1值,1表示该词在邮件中出现,0表示未出现。

    比如一封邮件中出现了“a”和“buy”,没有出现“aardvark”、“aardwolf”和“zygmurgy”,那么可以形式化表示为:

    假设字典中总共有5000个词,那么x是5000维的。

    对应到上面的问题上来,把每封邮件当做一次随机试验,那么结果的可能性有。意味着pi有个,参数太多,不可能用来建模。

    换种思路,我们要求的是p(y|x),根据生成模型定义我们可以求p(x|y)和p(y)。假设x中的特征是条件独立的。这个称作朴素贝叶斯假设。如果一封邮件是垃圾邮件(y=1),且这封邮件出现词“buy”与这封邮件是否出现“price”无关,那么“buy”和“price”之间是条件独立的。

    回到问题中

    这里p(x2|y,x1)=p(x2|y)就可以理解成x2buy,x1price,也就是我知不知道price出现和buy有没有出现并没有关系。

    这里我们发现朴素贝叶斯假设是约束性很强的假设,“buy”从通常上讲与“price”是有关系,我们这里假设的是条件独立。(注意条件独立和独立是不一样的)

    建立形式化的模型表示:



    那么我们想要的是模型在训练数据上概率积能够最大,即最大似然估计如下:

    注意这里是联合概率分布积最大,说明朴素贝叶斯是生成模型。

    求解得:

    最后一个式子是表示y=1的样本数占全部样本数的比例,前两个表示在y=1或0的样本中,特征Xj=1的比例。

    然而我们要求的是(没错,不管什么模型,最后都是给一个新样本判断它的类型)

    实际是求出分子即可,分母对y=1和y=0都一样。

    当然,朴素贝叶斯方法可以扩展到x和y都有多个离散值的情况。对于特征是连续值的情况,我们也可以采用分段的方法来将连续值转化为离散值。具体怎么转化能够最优,我们可以采用信息增益的度量方法来确定(参见Mitchell的《机器学习》决策树那一章)。

    比如房子大小可以如下划分成离散值:

    4 拉普拉斯平滑

    朴素贝叶斯方法有个致命的缺点就是对数据稀疏问题过于敏感。

    比如前面提到的邮件分类,现在新来了一封邮件,邮件标题是“NIPS call for papers”。我们使用更大的网络词典(词的数目由5000变为35000)来分类,假设NIPS这个词在字典中的位置是35000。然而NIPS这个词没有在之前的训练数据中出现过,这封邮件第一次出现了NIPS那我们算概率的时候如下:

    由于NIPS在以前的不管是垃圾邮件还是正常邮件都没出现过,那么结果只能是0了。

    显然最终的条件概率也是0。

    原因就是我们的特征概率条件独立,使用的是相乘的方式来得到结果。为了解决这个问题,我们打算给未出现特征值,赋予一个“小”的值而不是0。

    具体平滑方法如下:

    假设离散型随机变量z有{1,2,…,k}个值,我们用表示每个值的概率。假设有m个训练样本中,z的观察值是其中每一个观察值对应k个值中的一个。那么根据原来的估计方法可以得到

    说白了就是z=j出现的比例。

    拉普拉斯平滑法将每个k值出现次数事先都加1,通俗讲就是假设他们都出现过一次。

    那么修改后的表达式为:

    每个z=j的分子都加1,分母加k。可见

    这个有点像NLP里面的加一平滑法,当然还有n多平滑法了,这里不再详述。

    回到邮件分类的问题,修改后的公式为:

    5. 文本分类的事件模型——多项式事件模型

    回想一下我们刚刚使用的用于文本分类的朴素贝叶斯模型,这个模型称作多值伯努利事件模型(multi-variate Bernoulli event model)。在这个模型中,我们首先随机选定了邮件的类型(垃圾或者普通邮件,也就是p(y)),然后一个人翻阅词典,从第一个词到最后一个词,随机决定一个词是否要在邮件中出现,出现标示为1,否则标示为0。然后将出现的词组成一封邮件。决定一个词是否出现依照概率p(xi|y)。那么这封邮件的概率可以表示为,其中xi01n50000

    让我们换一个思路,这次我们不先从词典入手,而是选择从邮件入手。让i表示邮件中的第i个词,xi表示这个词在字典中的位置,那么xi取值范围为{1,2,…|V|},|V|是字典中词的数目。这样一封邮件可以表示成,n可以变化,因为每封邮件的词的个数不同。然后我们对于每个xi随机从|V|个值中取一个,这样就形成了一封邮件。这相当于重复投掷|V|面的骰子,将观察值记录下来就形成了一封邮件。当然每个面的概率服从p(xi|y),而且每次试验条件独立。这样我们得到的邮件概率是。居然跟上面的一样,那么不同点在哪呢?注意第一个的n是字典中的全部的词,下面这个n是邮件中的词个数。上面xi表示一个词是否出现,只有0和1两个值,两者概率和为1。下面的xi表示|V|中的一个值,|V|个p(xi|y)相加和为1。上面的x向量都是0/1值,下面的x的向量都是字典中的位置。

    这里要注意词典的功能,我们可以这样对比理解两种方法:第一种方法是固定词典,每次将邮件的内容对照着词典里的50000个词比较,看哪些词出现(注意,这是出现,没有去计算出现多少次,因为X只有01两种选择),那么第二种方法就是将邮件的所有词都对应到词典的位置中,例如邮件中第一个词是buy,但是对应的词典的位置可能是{20},第二个词是price,对应的位置可能是{1},但是这都没关系,因为这个模型并不关心词在字典中的位置,也就是说邮件里的所有词可以任意排序。词典在这里的功能就像一个中介,因为每个邮件的单词数是不固定的,但是词典的位置是固定,这个位置就是这个词,所以我们统计词典中这个位置出现的次数,就是统计得到对应的单词出现的次数。我们最后是根据一个新邮件中给定的词典位置这个特征,来计算出这个邮件总偏向出现哪些词,从而判断它是否为一个垃圾邮件。

    形式化表示为:

    m个训练样本表示为:

    表示第i个样本中,共有ni个词,每个词在字典中的编号为

    那么我们仍然按照朴素贝叶斯的方法求得最大似然估计概率为

    解得,

    个人对这个表达式在两种模型表达式的区别理解:

    第一个模型为多值伯努利事件模型,理解为有m个样本邮件,其中我确定的s个为垃圾邮件,这s个垃圾邮件中都出现了buy这个词,那么buy的比例就是n/m

    第二个模型为多项式事件模型,理解为有m个样本邮件,其中有s个垃圾邮件,这s个垃圾邮件每个邮件的单词数为ni个,那么这s个垃圾邮件总共有s*Σni个单词。而每个垃圾邮件中出现buy这个词的个数为si,那么这s个垃圾邮件一共出现了s*Σsi个buy单词,那么buy的比例就是Σsi/Σni,也就是考虑了每个邮件中词出现的个数

    与以前的式子相比,分母多了个ni,分子由0/1变成了k。

    举个例子:

    X1

    X2

    X3

    Y

    1

    2

    -

    1

    2

    1

    -

    0

    1

    3

    2

    0

    3

    3

    3

    1

    假如邮件中只有a,b,c这三词,他们在词典的位置分别是1,2,3,前两封邮件都只有2个词,后两封有3个词。

    Y=1是垃圾邮件。

    那么,




    假如新来一封邮件为b,c那么特征表示为{2,3}。

    那么

    那么该邮件是垃圾邮件概率是0.6。

    注意这个公式与朴素贝叶斯的不同在于这里针对整体样本求的,而朴素贝叶斯里面针对每个特征求的,而且这里的特征值维度是参差不齐的。

    这里如果假如拉普拉斯平滑,得到公式为:

    表示每个k值至少发生过一次,这里V50000,表示有50000中可能的位置值

    另外朴素贝叶斯虽然有时候不是最好的分类方法,但它简单有效,而且速度快,其次朴素贝叶斯实际也是指数分布簇,使用它最后得到的结果同样是logistic回归线性分类器

    6. 总结

    本文大部分还是对照着吴恩达老师的中文笔记注释,其中大部分标红的部分为个人的在看视频时的一些理解,希望对大家有帮助,如果文中出现了一些错误的话,也希望大家包含,批评指正。

    展开全文
  • 生成模型:学习得到联合概率分布P(x,y),即特征x和标记y共同出现的概率,然后求条件概率分布。能够学习到数据生成的机制。判别模型:学习得到条件概率分布P(y|x),即在特征x出现的情况下标记y出现的概率。数据要求:...
  • 生成模型和判别模型的解释与举例

    千次阅读 2021-01-05 01:12:32
    文章目录前言一、生成模型和判别模型的概念?二、个人理解三,生成模型和判别模型举例 前言 在有监督学习中,不管是机器学习算法还是深度学习算法都可以分为生成学习和判别学习两种。 一、生成模型和判别模型的概念...
  • 判别模型、生成模型与贝叶斯方法

    千次阅读 2018-03-25 17:53:41
    一、判别模型与生成模型 判别模型:用特征值来求结果的概率,形式化表示为,在参数确定的情况下,求解条件概率。通俗的解释为在给定的特征后预测结果出现的概率。 生成模型: 或p(y) - 生成模型:无穷样本==》...
  • 生成模型与判别模型的区别与理解

    千次阅读 2020-10-16 10:14:07
    一、判别方法与生成方法 监督学习方法可分为判别方法和生成方法。 判别方法(Discriminative approach) 由数据直接学习决策函数Y=f(X)或者条件概率分布P(Y|X)作为预测的模型,即判别模型。判别方法关心的是对于...
  • 关于判别模型和生成模型

    千次阅读 2013-07-12 18:54:19
    简单的说,假设o是观察值,q是模型。如果对P(o|q)建模,就是Generative模型。其基本思想是首先建立样本的概率密度模型,再利用模型进行推理预测。要求已知样本无穷或尽可能的大限制。这种方法一般建立在统计力学和...
  • GAN生成对抗网络之生成模型

    千次阅读 2020-05-25 22:09:16
    朋友们,我是床长!...在机器学习中,生成模型可以用来直接对数据建模,如根据某个变量的概率密度函数进行数据采样,也可以用来建立变量间的条件概率分布,条件概率分布可以由生成模型根据贝叶斯定理形成。 ...
  • 生成语言模型

    千次阅读 2018-05-11 10:17:09
    这里主要介绍我使用过的两种根据文本生成语言模型的两种方法1. 通过网站: Sphinx 上传文件,生成对应的语言模型,需要注意的是文件最好不要太大,网站容易报504错误,贴下图吧,傻瓜式的操作方式:2. 使用SRILM ...
  • 来自:贝壳智搜 本文章对文本生成领域一些常见的模型进行了梳理和介绍。Seq2Seq 是一个经典的文本生成框架,其中的Encoder-Decoder思想贯彻文本生成领域的整个...
  • 对话机器人-检索与生成模型

    万次阅读 多人点赞 2019-12-17 22:47:54
    检索式对话模型(1) 主要介绍bm25,LCLR,DSSM模型,deepMatch模型以及cnn-cnt模型。 2. 检索式对话模型(2) 主要介绍ARC-I,ARC-II,CDNN模型,BLSTM模型以及CNTN模型。 3. 检索式对话模型(3) 主要介绍QA-LSTM...
  • 将powerDesigner的概念模型转换成物理模型,生成sql文件导入数据库.
  • 在前面已经说了生成模型中的GAN系列,这部分简单总结一下常见的生成模型,这里并不需要多少数学,掌握概念就行了,在之后的文章中会详细介绍这些生成模型。 ...
  • 机器学习:生成模型和判别式模型

    千次阅读 多人点赞 2018-12-23 11:41:27
    决策函数Y=f(x):输入一个x,它就输出一个y值,这个y与一个阈值比较,根据比较结果判定x属于哪个类别。 条件概率分布P(y|x):输入一个x,它通过比较它属于所有类的概率,然后预测时应用最大后验概率法(MAP)即比较...
  • 理解生成模型与判别模型

    千次阅读 2018-10-10 17:51:03
    我们都知道,对于有监督的机器学习中的分类问题,求解问题的算法可以分为生成模型与判别模型两种类型。但是,究竟什么是生成模型,什么是判别模型?不少书籍和技术文章对这对概念的解释是含糊的。在今天这篇文章中,...
  • 判别模型和生成模型数学表述监督学习方法分 判别方法(Discriminative Approach) 和 生成方法(Generative Approach),所学到的模型分别称为 判别模型(Discriminative Model) 和 生成模型(Generative Model)。...
  • Unity3D如何用代码生成模型

    千次阅读 2022-03-10 16:23:54
    然后将要生成模型与这个GameObject挂载。即可 上代码: using UnityEngine; using System.Collections; public class CreatePrimitive : MonoBehaviour { // 传入批量生成的对象 public GameObject drone_reds;...
  • 生成模型属于无监督学习的一种 生成模型 生成模型的目标是给定训练数据,希望能获得与训练数据相同的新数据样本。我们的目标是找到训练数据的分布函数 生成模型在很多场景有非常好的应用 ...
  • 机器学习笔记——概率生成模型

    千次阅读 2017-08-18 16:44:03
    概率生成模型认为每一类数据都服从某一种分布,如高斯分布;从两类训练数据中得到两个高斯分布的密度函数,具体的是获得均值和方差两个参数;测试样本输入到其中一个高斯分布函数,得到的概率值若大于0.5,则说明该...
  • PyTorch生成3D模型

    千次阅读 2022-04-02 10:34:22
    本文将介绍如何利用深度学习技术生成3D模型,使用了PyTorch和PolyGen。 1、概述 有一个新兴的深度学习研究领域专注于将 DL 技术应用于 3D 几何和计算机图形应用程序,这一长期研究的集合证明了这一点。对于希望自己...
  • 本位将介绍鲜为人知的自回归模型(Autoregressive ...尽管自回归在图像生成中并不常见,但自回归仍然是研究的活跃领域,DeepMind的WaveNet使用自回归来生成逼真的音频。在本文中,将介绍自回归模型并构建PixelCNN模型
  • 生成模型--Glow,基于流的生成模型

    千次阅读 2018-10-29 10:49:38
    Glow,基于流的生成模型   生成模型只能受限于 GAN 和 VAE 吗?答案是否的。基于流的生成模型在 2014 年已经被提出,但是一直被忽视。由 OpenAI 带来的 Glow 展示了流生成模型强大的图像生成能力。   在 Glow ...
  • Survey | 基于生成模型的分子设计

    千次阅读 2020-05-27 09:24:36
    文章对分子生成模型进行了分类,并介绍了各类模型的发展和性能。最后,作者总结了生成模型作为分子设计前沿工具的前景和挑战。 1 背景 材料创新是许多技术进步的关键驱动力。从清洁能源、航天工业到药物发现,...
  • 我对GAN“生成对抗网络”(Generative Adversarial Networks)的看法: 前几天在公开课听了新加坡国立大学【机器学习与视觉实验室】负责人冯佳时博士在【硬创公开课】的GAN分享。GAN现在对于无监督图像标注来说是...
  • 生成模型(Generative)和判别模型(Discriminative)

    千次阅读 多人点赞 2019-04-23 23:54:32
    3.1 生成模型 3.2 判别模型 3.3 总结 4对于跟踪算法 1 决策函数Y=f(X)或者条件概率分布P(Y|X) 监督学习的任务就是从数据中学习一个模型(也叫分类器),应用这一模型,对给定的输入X预测相应的输出Y。...
  • 什么是判别式模型生成模型

    万次阅读 多人点赞 2018-06-30 09:39:56
    生成模型(Generative Model):对联合分布概率p(x,y)进行建模,常见生成模型有:隐马尔可夫模型HMM、朴素贝叶斯模型、高斯混合模型GMM、LDA等;生成模型更普适;判别式模型更直接,目标性更强生成模型关注...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 1,053,044
精华内容 421,217
关键字:

哪个模型属于生成模型