2014-06-04 11:24:51 lanhaics 阅读数 1570
  • 深度学习基础与TensorFlow实践教程

    本课程主要介绍了深度学习的基础原理和TensorFlow系统基本使用方法。TensorFlow是目前机器学习、深度学习领域优秀的计算系统之一,本课程将结合实例介绍使用TensorFlow开发机器学习应用的详细方法和步骤,着重讲解了用于图像识别的卷积神经网络和用于自然语言处理的循环神经网络的理论知识及其TensorFlow实现方法,并结合实际场景和例子描述了深度学习技术的应用范围与效果。 所有案例均来自讲师团队工作中的亲身实践,所选案例均是深度学习的经典应用,非常具有代表性。

    21447 人正在学习 去看看 AI100讲师

推荐深度学习的教程。Andrew Ng老师的,已有部分章节翻译为中文。


http://deeplearning.stanford.edu/wiki/index.php/

说明:本教程将阐述无监督特征学习和深度学习的主要观点。通过学习,你也将实现多个功能学习/深度学习算法,能看到它们为你工作,并学习如何应用/适应这些想法到新问题上。

本教程假定机器学习的基本知识(特别是熟悉的监督学习,逻辑回归,梯度下降的想法),如果你不熟悉这些想法,我们建议你去这里

机器学习课程,并先完成第II,III,IV章(到逻辑回归)。


稀疏自编码器


矢量化编程实现


预处理:主成分分析与白化


Softmax回归


自我学习与无监督特征学习


建立分类用深度网络


自编码线性解码器


处理大型图像



注意: 这条线以上的章节是稳定的。下面的章节仍在建设中,如有变更,恕不另行通知。请随意浏览周围并欢迎提交反馈/建议。


混杂的

混杂的主题


进阶主题:

稀疏编码

独立成分分析样式建模

其它

2019-09-14 09:15:55 mrjkzhangma 阅读数 96
  • 深度学习基础与TensorFlow实践教程

    本课程主要介绍了深度学习的基础原理和TensorFlow系统基本使用方法。TensorFlow是目前机器学习、深度学习领域优秀的计算系统之一,本课程将结合实例介绍使用TensorFlow开发机器学习应用的详细方法和步骤,着重讲解了用于图像识别的卷积神经网络和用于自然语言处理的循环神经网络的理论知识及其TensorFlow实现方法,并结合实际场景和例子描述了深度学习技术的应用范围与效果。 所有案例均来自讲师团队工作中的亲身实践,所选案例均是深度学习的经典应用,非常具有代表性。

    21447 人正在学习 去看看 AI100讲师

今天给大家推荐一门加州大学伯克利分校的新开课程CS294深度无监督学习。本课程将涵盖深度学习中不需要标注数据的两个领域:深度生成模型和自监督学习。生成模型的最新进展使得对自然图像、音频波形和文本语料库等高维原始数据进行真实建模成为可能。自监督学习的进步已经开始缩小监督表示学习和非监督表示学习之间的差距,本课程将涵盖这些主题的理论基础以及它们的新应用。
在这里插入图片描述
教师介绍:
Pieter Abbeel,加州大学伯克利分校教授、机器人学习实验室主任,伯克利人工智能研究(BAIR)实验室联合主任。

Pieter Abbeel是机器人和强化学习领域的大牛。Pieter Abbeel 2008年从斯坦福大学获得博士学位,师从百度前首席科学家 Andrew Ng(吴恩达),毕业后在UC Berkeley任教。

官网
课程PPT:
https://drive.google.com/file/d/10j_XbM-NUq0RiQz1wZckA0d23ppOS2EH/view
课程视频连接:
https://youtu.be/zNmvH6OXDpk

主要内容

下面是这门课的主要目录:
Week 1
第1a讲: 课程安排
第1b讲: 课程动机
第1c讲: 基于似然的模型 Part I: 自回归模型

Week 2
第2a讲: 基于似然的模型 Part I: 自回归模型 (ctd)
第2b讲: 无损压缩(Lossless Compression)
第2c讲: 基于似然的模型 Part II: 流模型

Week 3
第3a讲:基于似然的模型 Part II:流模型(ctd)
第3b讲:隐变量模型

Week 4
第4a讲:隐变量模型(ctd)(与第3周ppt相同)
第4b讲:比特编码/位反编码

Week 5
第5讲:隐式模型/生成对抗网络

Week 6
第六讲:非生成性表征学习

Week 7
第7a讲:非生成表征学习(ctd)
第7b讲:半监督学习

Week 8
第8讲:表征学习+其他问题

Week 9
第9a讲:无监督分布对齐
第9b讲:客座讲座:Ilya Sutskever

Week 10
第10a讲:无监督分配对齐(ctd)
第10b讲:客座讲座:Durk Kingma

Week 11
第11讲:语言模型(Alec Radford)

Week 12
第12a讲:无监督的表征学习
第12b讲:客座讲座Alyosha Efros

Week 13
第13a讲:待定(TBD)
第13b讲:客座讲座Aaron van den Oord

Week 14
没有课

Week 15
期末项目报告

资源分享

同时为了方便大家,我们把最新资料打包好了,可以进群:1012542425 直接免费下载哦~

2019-09-23 17:05:03 u012420553 阅读数 105
  • 深度学习基础与TensorFlow实践教程

    本课程主要介绍了深度学习的基础原理和TensorFlow系统基本使用方法。TensorFlow是目前机器学习、深度学习领域优秀的计算系统之一,本课程将结合实例介绍使用TensorFlow开发机器学习应用的详细方法和步骤,着重讲解了用于图像识别的卷积神经网络和用于自然语言处理的循环神经网络的理论知识及其TensorFlow实现方法,并结合实际场景和例子描述了深度学习技术的应用范围与效果。 所有案例均来自讲师团队工作中的亲身实践,所选案例均是深度学习的经典应用,非常具有代表性。

    21447 人正在学习 去看看 AI100讲师

Mean teacher: 半监督深度学习

Consistency 一致性

weight-averaged consistency

2019-04-10 11:06:45 qq_24833271 阅读数 3172
  • 深度学习基础与TensorFlow实践教程

    本课程主要介绍了深度学习的基础原理和TensorFlow系统基本使用方法。TensorFlow是目前机器学习、深度学习领域优秀的计算系统之一,本课程将结合实例介绍使用TensorFlow开发机器学习应用的详细方法和步骤,着重讲解了用于图像识别的卷积神经网络和用于自然语言处理的循环神经网络的理论知识及其TensorFlow实现方法,并结合实际场景和例子描述了深度学习技术的应用范围与效果。 所有案例均来自讲师团队工作中的亲身实践,所选案例均是深度学习的经典应用,非常具有代表性。

    21447 人正在学习 去看看 AI100讲师
  • 监督学习
    监督学习是目前最常见的机器学习类型。给定一组样本(通常由人工标注),他可以学会将输入数据映射到已知目标。一般来说,近年来过度关注的深度学习应用几乎都属于监督学习,比如光学字符识别、语音识别、图像分类和语言翻译。
    监督学习主要包括分类和回归,但还有更多的奇特变体,主要包括如下几种:
    1、序列生成(sequence generation)。给定一张图像,预测描述图像的文字。序列生成有时可以被重新表示为一系列分类问题,比如反复预测序列中的单词或标记。
    2、语法树预测(syntax tree prediction)。给定一个句子,预测其分解生成的语法树。
    3、目标检测(object detection)。给定一张图,在图中特定目标的周围画一个边界框。这个问题也可以表示为分类问题(给定多个候选边界框,对每个框内的目标进行分类)或分类与回归联合问题(用向量回归来预测边界框的坐标)。
    4、图像分割(image segmentation)。给定一张图像,在特定物体上画一个像素级的掩模(mask)。

  • 无监督学习
    无监督学习是指在没有目标的情况下寻找输入数据的有趣变化,其目的在于数据可视化、数据压缩、数据去噪或更好地理解数据中的相关性。无监督学习是数据分析的必备技能,在解决监督学习之前,它通常是一个必要步骤。降维(dimensionality reduction)和聚类(clustering)都是众所周知的无监督学习方法。

  • 自监督学习
    自监督学习是监督学习的一个特例,它与众不同,值得单独分为一类。自监督学习是没有人工标注标签的监督学习,可以将它看作没有人类参与的监督学习。标签仍然存在(因为总要有什么东西来监督学习过程),但它们是从输入数据中生成的,通常使用启发式算法生成的。

  • 强化学习
    强化学习一直以来被人们所忽视,但随着google的DeepMind公司将其成功应用于学习玩Atari游戏(以及后来学习下围棋并达到最高水平),机器学习的这一分支开始受到大量关注。在强化学习中,智能体(agent)接收有关环境的信息,并学会选择使某种奖励最大化的行动。例如,神经网络会“观察”视频游戏的屏幕,并输出游戏操作,目的是尽可能得高分,这种神经网络可以通过强化学习来训练。
    目前,强化学习主要集中在研究领域,除游戏外还没有取得实践上的重大成功。但是,我们期待强化学习未来能够实现越来越多的实际应该:自动驾驶汽车、机器人、资源管理、教育等。

2018-09-06 17:10:16 qq_43019117 阅读数 1715
  • 深度学习基础与TensorFlow实践教程

    本课程主要介绍了深度学习的基础原理和TensorFlow系统基本使用方法。TensorFlow是目前机器学习、深度学习领域优秀的计算系统之一,本课程将结合实例介绍使用TensorFlow开发机器学习应用的详细方法和步骤,着重讲解了用于图像识别的卷积神经网络和用于自然语言处理的循环神经网络的理论知识及其TensorFlow实现方法,并结合实际场景和例子描述了深度学习技术的应用范围与效果。 所有案例均来自讲师团队工作中的亲身实践,所选案例均是深度学习的经典应用,非常具有代表性。

    21447 人正在学习 去看看 AI100讲师

大家好,我是蜂口的龙鹏,在“陌陌”公司担任深度学习算法工程师,曾任职于360AI研究院,长期从事于图像算法处理和深度学习相关的工作。

撰写本手册,主要和大家来探讨GANs这样一种最具前景的无监督学习方法。 虽然生成对抗网络GANs(Generative adversarial networks)已经被提出来好几年了,但我依然对它非常怀疑。尽管生成对抗网络已经在 64x64 分辨率的图像上取得了巨大的进步,却依然无法打消我的疑虑,于是,我开始阅读了相关的数学书籍,我更加怀疑生成对抗网络事实上并没有学习到数据分布。但是这一点在今年有所改观,首先是新颖有趣的架构(如 CycleGAN)的提出和理论性的提升(Wasserstein GAN)促使我在实践中尝试了生成对抗网络,然后它们的效果还算可以,另外在两次应用过生成对抗网络之后,我开始被它深深折服,并且开始坚信我们必须使用生成对抗网络进行对象生成。

GANs的设计思想其实很简单,它就是用两个模型,一个生成模型,一个判别模型。判别模型用于判断一个给定的图片是不是真实的图片(判断该图片是从数据集里获取的真实图片还是生成器生成的图片),生成模型的任务是去创造一个看起来像真的图片一样的图片。而在开始的时候这两个模型都是没有经过训练的,这两个模型一起对抗训练,生成模型产生一张图片去欺骗判别模型,然后判别模型去判断这张图片是真是假,最终在这两个模型训练的过程中,两个模型的能力越来越强,最终达到稳定状态。GANs还可以学习模拟各种数据的分布,例如文本、语音和图像,因此在生成测试数据集时,它是非常有价值的。

如何构建GANs的生成与判别式模型?它的重要原理又是怎样的?它在数据生成、风格迁移和超分辨率重建方面的表现到底如何呢?

**一、**判别式模型和生成式模型
1.1 判别式模型

判别式模型,即Discriminative Model,又被称为条件概率模型,它估计的是条件概率分布(conditional distribution), p(class|context) 。
举个例子,我们给定(x,y)对,4个样本。(1,0), (1,0), (2,0), (2, 1),p(y|x)是事件x发生时y的条件概率,它的计算如下:
GAN
1.2 生成式模型

即Generative Model ,生成式模型 ,它估计的是联合概率分布(joint probability distribution),p(class, context)=p(class|context)*p(context) 。p(x,y),即事件x与事件y同时发生的概率。同样以上面的样本为例,它的计算如下:
GAN
1.3 常见模型

常见的判别式模型有Logistic Regression,Linear Regression,SVM,Traditional Neural Networks
Nearest Neighbor,CRF等。
常见的生成式模型有Naive Bayes,Mixtures of Gaussians, HMMs,Markov Random Fields等。
1.4 比较

判别式模型 ,优点是分类边界灵活 ,学习简单,性能较好 ;缺点是不能得到概率分布 。
生成式模型 ,优点是收敛速度快,可学习分布,可应对隐变量 ;缺点是学习复杂 ,分类性能较差。
GAN

上面是一个分类例子,可知判别式模型,有清晰的分界面,而生成式模型,有清晰的概率密度分布。生成式模型,可以转换为判别式模型,反之则不能。

**二、**GAN,即Generative Adversarial Net
它同时包含判别式模型和生成式模型,一个经典的网络结构如下。
GAN
2.1 基本原理

GAN
GAN的原理很简单,它包括两个网络,一个生成网络,不断生成数据分布。一个判别网络,判断生成的数据是否为真实数据。上图是原理展示,黑色虚线是真实分布,绿色实线是生成模型的学习过程,蓝色虚线是判别模型的学习过程,两者相互对抗,共同学习到最优状态。
2.2 优化目标与求解

下面是它的优化目标。
GAN
D是判别器,它的学习目标,是最大化上面的式子,而G是生成器,它的学习目标,是最小化上面的式子。上面问题的求解,通过迭代求解D和G来完成。

要求解上面的式子,等价于求解下面的式子。

GAN
其中D(x)属于(0,1),上式是alog(y) + blog(1−y)的形式,取得最大值的条件是D(x)=a/(a+b),此时等价于下面式子。

GAN
如果用KL散度来描述,上面的式子等于下面的式子。

GAN
当且仅当pdata(x)=pg(x)时,取得极小值-log4,此时d=0.5,无法分辨真实样本和假样本。

GAN从理论上,被证实存在全局最优解。至于KL散度,大家可以再去补充相关知识,篇幅有限不做赘述。
2.3 如何训练

直接从原始论文中截取伪代码了,可见,就是采用判别式模型和生成式模型分别循环依次迭代的方法,与CNN一样,使用梯度下降来优化。
GAN
2.4 GAN的主要问题

GAN从本质上来说,有与CNN不同的特点,因为GAN的训练是依次迭代D和G,如果判别器D学的不好,生成器G得不到正确反馈,就无法稳定学习。如果判别器D学的太好,整个loss迅速下降,G就无法继续学习。

GAN的优化需要生成器和判别器达到纳什均衡,但是因为判别器D和生成器G是分别训练的,纳什平衡并不一定能达到,这是早期GAN难以训练的主要原因。另外,最初的损失函数也不是最优的,这些就留待我们的下篇再细讲吧,下面欣赏一下GAN的一些精彩的应用。

更多精彩分享内容,请翻阅下篇

没有更多推荐了,返回首页