精华内容
参与话题
问答
  • 深度信念网络

    千次阅读 2017-11-29 11:25:14
    一般传统神经网络(BP,FNN网络等)缺点: a.其隐含层一般不超过2层,一旦神经元数目增多,因为使用的是全连接且权值不共享,这样就导致了模型参数急剧增加,采用随机梯度下降法可能不容易找到最优解;随着层数增多...
    一般传统神经网络(BP,FNN网络等)缺点:
    a.其隐含层一般不超过2层,一旦神经元数目增多,因为使用的是全连接且权值不共享,这样就导致了模型参数急剧增加,采用随机梯度下降法可能不容易找到最优解;随着层数增多或者初始化权值很小,可能陷入局部最优。
    b.这里说下生成模型和判别模型。Generative Modeling(**生成模型**)和Discriminative Modeling(判别模型)两种,后面简称GM和DM。GM是由训练数据学习联合概率分布P(X,Y),然后求出条件概率分布P(Y|X)作为预测的模型,即生成模型:
    ![这里写图片描述](https://img-blog.csdn.net/20171129110359866?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvdTAxMjc0NjYwNw==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)
    之所以叫生成模型,是因为模型表示了给定输入X产生输出Y的生成关系[1]。典型的生成模型有:朴素贝叶斯和隐马尔科夫模型。判别模型是由训练数据直接学习决策函数f(X)或者条件概率分布P(X,Y)作为预测的模型,模型关心的是对给定的输入X,应该预测什么样的输出Y,与GM的不同在于不需要先学习出联合分布P(X,Y)。典型的判别模型有:k近邻法、感知机、决策树、逻辑回归、最大熵、SVM、AdaBoost和条件随机场等。
    传统判别模型中,需要大量的训练样本。但是现实应用中,(除了图片声音等)获取样本数据并不是意见容易的事情。
    深度学习的出现使得上面两个问题得到了有效的解决。
    

    1.玻尔兹曼机RBM
    简单来说RBM分为2层:可视层V和隐藏层H。层内节点间无连接,层间节点全连接。
    这里写图片描述
    RBM的用途主要是两种,一是对数据进行编码,然后交给监督学习方法去进行分类或回归,二是得到了权重矩阵和偏移量,供BP神经网络初始化训练。

    2.深度信念网络DBN

        深度信念网络是一个概率生成模型,与传统的判别模型的神经网络相对,生成模型是建立一个观察数据和标签之间的联合分布,对P(Observation|Label)和 P(Label|Observation)都做了评估,而判别模型仅仅而已评估了后者,也就是P(Label|Observation),是个条件分布。
        DBNs由多个限制玻尔兹曼机层组成,一个典型的网络结构如图1所示。这些网络被“限制”为一个可视层和一个隐层,层间存在连接,但层内的单元间不存在连接。隐层单元被训练去捕捉在可视层表现出来的高阶数据的相关性。
        ![这里写图片描述](https://img-blog.csdn.net/20171129110859119?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvdTAxMjc0NjYwNw==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)
        经典的DBN网络结构是由若干层 RBM 和一层 BP 组成的一种深层神经网络:
        ![这里写图片描述](https://img-blog.csdn.net/20171129111501320?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvdTAxMjc0NjYwNw==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)
        DBN 在训练模型的过程中主要分为两步:
    

      第 1 步:分别单独无监督地训练每一层 RBM 网络,确保特征向量映射到不同特征空间时,都尽可能多地保留特征信息;

      第 2 步:在 DBN 的最后一层设置 BP 网络,接收 RBM 的输出特征向量作为它的输入特征向量,有监督地训练实体关系分类器.而且每一层 RBM 网络只能确保自身层内的 权值对该层特征向量映射达到最优,并不是对整个 DBN 的特征向量映射达到最优,所以反向传播网络还将错误信息自顶向下传播至每一层 RBM,微调整个 DBN 网络.RBM 网络训练模型的过程可以看作对一个深层 BP 网络权值参数的初始化,使DBN 克服了 BP 网络因随机初始化权值参数而容易陷入局部最优和训练时间长的缺点.

      上述训练模型中第一步叫做预训练,第二步叫做微调。最上面有监督学习的那一层,根据具体的应用领域可以换成任何分类器模型,而不必是BP网络。
      
      在举个例子:
      这里写图片描述
      上图是一个三隐藏层的DBN,先用堆叠RBM的方式进行无监督学习,最上层的2000个神经元学习到数字的特征,这就是一个生成模型。然后我们根据这2000个学习到的特征在DBN顶层加上一层Softmax分类器,采用BP算法来微调使损失函数最小。简单来说深度网络就是特征提取,只不过以前这一步都是人工设计,有些潜在特征可能通过人工设计发现不了,个人觉得,深度学习的目的也在于此。

    展开全文
  • 深度信念网络matlab代码

    千次下载 热门讨论 2014-09-03 10:31:12
    深度信念网络,有代码,有实例,有数据。 用于深度网络预训练。
  • 深度信念网络.pptx

    2020-06-26 15:44:36
    深度学习是学习样本数据的内在规律和表示层次,这些学习过程中获得的信息对诸如文字,图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力,能够...本资源是对深度信念网络的介绍。
  • 结合深度学习相关理论,提出了海杂波背景下小目标检测的深度信念网络方法。该方法以无标签数据逐层进行非监督贪婪训练,使每层得到一个合适的初始值;构建深度信念网络初步模型,并以带标签的数据对该种模型以误差...
  • 深度信念网络DBN

    2016-03-29 20:45:33
    深度信念网络实现手写识别,注意与DBM区别开来
  • 针对在线视频热度预测研究中分类及预测效果欠佳,规则化较多和较缺乏实践检验等问题,通过对实际在线视频服务系统所采集的海量数据研究,提出一种基于深度信念网络(Deep Belief Networks,DBNs)的视频热度预测方法...
  • 深度信念网络模型(DBN)可以从文本预处理后的特征表示中学习到更具有本质含义的特征表示,便于分类器分类,且避免以上模型的不足。在人工服务语音文本化后,通过深度信念网络模型转换特征表示再进行分类,最终的...
  • 深度信念网络实例

    2017-12-31 15:28:42
    DBN的实例,有数据,根据原工具箱实例修改
  • 针对语音情感识别中的特征提取问题,通过多层深度信念网络(DBN)自动提取语音信号中的情感特征,把连续多帧的语音拼接在一起,形成一个高维抽象特征,将深度信念网络训练好的特征作为极限学习机(ELM)分类器的输入端,最终...
  • 我们通过使用深度置信网络(DBN)训练特征向量集来获得单词的深层语义特征,然后分析这些特征以便通过反向传播神经网络识别触发词。大量测试表明,CEERM获得了出色的识别性能,最大F测量值为85.17%。此外,我们提出...
  • 针对深度信念网络(Deep Believe Network,DBN)模型泛化能力较弱,导致语音增强效果不佳的问题,提出了一种特征联合优化的回归DBN语音增强算法。该算法对语音和噪声不做任何假设。该算法分别提取语音信号的LMPS...
  • 深度学习中的深度信念网络,用于数据的分类和预测 (Deep belief network in deep learning, used for the classification and prediction of data )
  • 对说话人语音个性特征信息的表征和提取进行了深入研究,提出了一种基于深度信念网络(Deep Belief Nets,DBN)的语音转换方法。分别用提取出的源说话人和目标说话人语音频谱参数来训练DBN,分别得到其在高阶空间的...
  • 常用的稀疏深度信念网络限制所有的隐藏单元具有相同的稀疏水平,这不是诱导稀疏表示最自然的方式。针对这个问题,根据压缩感知理论改进原来的稀疏项,添加了一个tan-sigmoid正则项逼近稀疏表示的最优解L0范数。这种...
  • 深度信念网络 (Deep Belief Network, DBN) 由 Geoffrey Hinton 在 2006 年提出。它是一种生成模型,通过训练其神经元间的权重,我们可以让整个神经网络按照最大概率来生成训练数据。我们不仅可以使用 DBN 识别特征、...
  • 深度信念(置信)网络(DBN),使用python开发环境,代码思路清晰,易调试。有问题可以留言相互交流
  • 自己编写的深度信念网络模型程序,可以直接调用。本人用DBN进行了光伏发电预测,效果很好。
  • 深度学习是一类新兴的多层神经网络学习算法,因其缓解了传统训练算法的局部最小性,故引起机器学习领域的广泛关注。但是,如何使一个网络模型在选取任意数值的隐藏层节点数时都能够得到一个比较合适的网络结构是目前...
  • 深度信念网络分类算法,内含受限玻尔兹曼机训练、BP分类微调拟合,最终完成深度信念网络分类算法的训练。算法以Python语言完成,包含多个子文件,全部写入该word文档。文档注释详细,适合学习。
  • 基于深度信念网络的人脸识别基于深度信念网络的人脸识别

空空如也

1 2 3 4 5 ... 19
收藏数 378
精华内容 151
关键字:

深度信念网络