2018-11-16 22:35:59 Harpoon_fly 阅读数 332

从今天开始每天会固定进行推送吴恩达老师的深度学习的学习笔记,这个是由团队整理的,感谢热心AI和深度学习的这群人,文中真真实实都是学者的笔记,希望对热爱AI的你,有所帮助!

在这里插入图片描述
第一个视频主要讲了什么是深度学习,深度学习能做些什么事情。

以下是吴恩达老师的原话:

深度学习改变了传统互联网业务,例如如网络搜索和广告。但是深度学习同时也使得许多新产品和企业以很多方式帮助人们,从获得更好的健康关注。

深度学习做的非常好的一个方面就是读取X光图像,到生活中的个性化教育,到精准化农业,甚至到驾驶汽车以及其它一些方面。如果你想要学习深度学习的这些工具,并应用它们来做这些令人窒息的操作,本课程将帮助你做到这一点。当你完成cousera上面的这一系列专项课程,你将能更加自信的继续深度学习之路。在接下来的十年中,我认为我们所有人都有机会创造一个惊人的世界和社会,这就是AI(人工智能)的力量。我希望你们能在创建AI(人工智能)社会的过程中发挥重要作用。

我认为AI是最新的电力,大约在一百年前,我们社会的电气化改变了每个主要行业,从交通运输行业到制造业、医疗保健、通讯等方面,我认为如今我们见到了AI明显的令人惊讶的能量,带来了同样巨大的转变。显然,AI的各个分支中,发展的最为迅速的就是深度学习。因此现在,深度学习是在科技世界中广受欢迎的一种技巧。

通过这个课程,以及这门课程后面的几门课程,你将获取并且掌握那些技能。
在这里插入图片描述

下面是你将学习到的内容:

在cousera的这一系列也叫做专项课程中,在第一门课中(神经网络和深度学习),你将学习神经网络的基础,你将学习神经网络和深度学习,这门课将持续四周,专项课程中的每门课将持续2至4周。

第一门课程
你将学习如何建立神经网络(包含一个深度神经网络),以及如何在数据上面训练他们。在这门课程的结尾,你将用一个深度神经网络进行辨认猫。

由于某种原因,第一门课会以猫作为对象识别。

第二门课
将使用三周时间。你将进行深度学习方面的实践,学习严密地构建神经网络,如何真正让它表现良好,因此你将要学习超参数调整、正则化、诊断偏差和方差以及一些高级优化算法,比如Momentum和Adam算法,犹如黑魔法一样根据你建立网络的方式。第二门课只有三周学习时间。

第三门课
将使用两周时间来学习如何结构化你的机器学习工程。事实证明,构建机器学习系统的策略改变了深度学习的错误。

举个例子:你分割数据的方式,分割成训练集、比较集或改变的验证集,以及测试集合,改变了深度学习的错误。

所以最好的实践方式是什么呢?

你的训练集和测试集来自不同的贡献度在深度学习中的影响很大,那么你应该怎么处理呢?

如果你听说过端对端深度学习,你也会在第三门课中了解到更多,进而了解到你是否需要使用它,第三课的资料是相对比较独特的,我将和你分享。我们了解到的所有的热门领域的建立并且改良许多的深度学习问题。这些当今热门的资料,绝大部分大学在他们的深度学习课堂上面里面不会教的,我认为它会提供你帮助,让深度学习系统工作的更好。

第四门课
将会提到卷积神经网络(CNN(s)),它经常被用于图像领域,你将会在第四门课程中学到如何搭建这样的模型。

第五门课
你将会学习到序列模型,以及如何将它们应用于自然语言处理,以及其它问题。

序列模型包括的模型有循环神经网络(RNN)、全称是长短期记忆网络(LSTM)。你将在课程五中了解其中的时期是什么含义,并且有能力应用到自然语言处理(NLP)问题。

总之你将在课程五中学习这些模型,以及能够将它们应用于序列数据。比如说,自然语言就是一个单词序列。你也将能够理解这些模型如何应用到语音识别或者是编曲以及其它问题。

因此,通过这些课程,你将学习深度学习的这些工具,你将能够去使用它们去做一些神奇的事情,并借此来提升你的职业生涯。
在这里插入图片描述

2019-09-18 10:38:50 weixin_37543731 阅读数 100

引言

深度学习(Deep Learning)本质就是多层神经网络。本文试图从神经网络诞生到当今炙手可热的深度学习最新进展,提供一个简单的发展历史概览。本文持续更新,为了力保事件准确性和可考证性,将提供相关参考来源。如有错误之处,欢迎读者朋友在评论区加以指正。

简史

1957年

美国康奈尔大学计算机教授罗森布拉特提出了感知器(Perceptron)的概念。

1986年

辛顿和美国心理学家鲁梅哈特在两层神经网络中提出了反向传播算法,大大减少了计算量。推动了神经网络在学术界的复苏。

2006年

辛顿在《科学》杂志上发表了一篇文章,提出了深度网络的概念。辛顿还改革了传统的训练方式,增加了预训练(pre-training)的过程,通过预训练,他能为网络各个节点的权重快速找到一个接近于最优值的解,之后再使用微调(fine-tuning)技术对整个网络的所有参数进行优化。这两种技术的运用,大幅度减少了计算量和时间。为了形象描述这种多层神经网络的方法,辛顿给这种方法起了一个新名字:深度学习。

2009年

斯坦福大学教授李飞飞,普林斯顿大学教授李凯等华裔学者发起建立了一个超大型的图像数据库。这个数据库建立之初,包含了320万张图像。它的目的是以英文里的8万个名词为基础,根据每个词收集500~1000张高清图片,最终形成一个5000万张图片的数据库,这个数据库就是 ImageNet。

2010年

举行第一届 ImageNet 图像识别竞赛。冠军团队使用主流技术为支持向量机技术,识别错误率为28%。

2011年

ImageNet 图像识别竞赛冠军团队依然采用支持向量机技术,识别错误率为25.7%。

2012年

辛顿带领团队使用深度学习参加了 ImageNet 图像识别大赛,将错误率大幅下降到15.3%,而排名第二的日本模型,错误率则高达26.2%,这个进步令人震惊,整个人工智能领域都为之沸腾。此后,深度学习不断创造奇迹。2013年的ImageNet竞赛中,错误率被降到了11.5%,2014年被降到了7.4%,2015年为3.57%,2016年2.99%, 2017年为2.25%。

2016年

Google 旗下 DeepMind 团队使用深度学习开发的 AlphaGo 首次击败人类围棋世界冠军李世石。

2017年

在中国乌镇围棋峰会上,AlphaGo 以 3:0 完胜排名第一的世界围棋冠军柯洁,围棋界公认阿尔法围棋的棋力已经超过人类职业围棋顶尖水平。

参考资料

  • [1]《数文明》,涂子沛,2018年7月6日
  • [2] 阿尔法围棋,百度百科


微信扫描二维码 获取最新技术原创

2018-05-07 18:27:39 zhangxiangyi1996 阅读数 188
深度学习

第一章 引言

深度学习

计算机从经验中学习,并根据层次化的概念体系来理解世界,而每个概念则通过与某些相对简单的概念之间的关系来定义。 
层次化的概念让计算机构建较简单的概念来学习复杂概念。 

如果绘制出这些概念如何建立在彼此之上的图,我们将得到一张 "深"(层次很多)的图。 

深度学习的难点

一个人的日常生活需要关于世界的巨量知识。很多这方面的知识是主观的、直观的,因此很难通过形式化的方 
式表达清楚。 
人工智能的一个关键挑 战就是如何将这些非形式化的知识传达给计算机。

世界普遍存在联系

表示

表示的选择会对机器学习的算法性能产生重大的影响

特征的选取

判断男女——对声道大小的估计 
判断车子——车轮是否存在(很难选取 错误

表示学习(representation learning)

发现很好的特征集

例子

自编码器(autoencoder)

目标

分离出能解释观察数据的变差因素(factors of variation)

变差因素

通常是不能直接被观测到的量 
当分析语音记录时,变差因素:说话者的年龄、性别、他们 的口音和他们正在说的词语; 
当分析汽车的图像时,变差因素:汽车的位置、它 的颜色、太阳的角度和亮度。

难点

多个变差因素同时影响着每一个能观测到的数据

深度学习(deep learning)通过其他较简单的表示来表达复杂表示,解决了表 示学习中的核心问题。 
深度学习让计算机通过较简单概念构建复杂的概念。

深度学习

深度学习将所需的复杂映射分解为一系列嵌套的简单映射 

  • 第一层可以轻易地通过比较相邻像素的亮度来识别边缘
  • 第二隐藏层可以搜索可识别为角和扩展轮廓的边集合。
  • 第三隐藏层可以找到轮廓和角的特定集合来检测特定对象的整个部分
  • 最后,根据图像描述中包含的对象部分,可以识别图像中存在的对象。

深度学习模型的典型例子是前馈深度网络多层感知机(multilayer perceptron, MLP) 
多层感知机:是一个将一组输入值映射到输出值的数学函数。该函数由许多较简单的函数复合而成。 
不同数学函数的每一次应用都 为输入提供了新的表示

内在

促使计算机学习一个多步骤的计算机程序 

储备知识

梯度:函数在某一点最大的斜率,是一个向量(有大小有方向)——局部下降最快的方向是梯度的反方向

 如

一阶泰勒线性展开:

$$f(\theta ) \approx f({\theta _0}) + \eta v*\nabla f(\theta )$$

$$f(\theta ) - f({\theta _0}) \approx \eta v*\nabla f(\theta ) < 0$$

由于为标量,所以:

$$v*\nabla f(\theta ) < 0$$ 当单位向量的方向与梯度方向相反,就是梯度下降最快的方向。

可以直接得到$$v = \frac{{\nabla f(\theta )}}{{||\nabla f(\theta )||}}$$

因此 $$\theta  = {\theta _0} - \eta \frac{{\nabla f(\theta )}}{{||\nabla f(\theta )||}}$$


算法

  • 随机梯度下降(stochastic gradient descent)*

除非有能力迅速扩展的新技术,否则至少要到 21 世纪 50 年代,人工神经网络将才能具备与人脑相同数量级的神经元。

应用

  • 计算机视觉
  • 语音识别
  • 行人检测和图像分割
  • 神经图灵机 (Graves et al., 2014) :它能学习读取存储单元和向存储单元写入任意内容。这样的神经网络可以从期望行为的样本中学习简单的程序。例如,从杂乱和排好序的样本中学习对一系列数进行排序。这种自我编程技术正处于起步阶段,但原则上未来可以适用于几乎所有的任务。
  • 强化学习(reinforcement learning):在强化学习中,一个自主的智能体必须在没有人类操作者指导的情况下,通过试错来学习执行任务。DeepMind 表明,基于深度学习的强化学习系统能够学会玩Atari 视频游戏,并在多种任务中可与人类匹敌 (Mnih et al., 2015)


总结:深度学习是一种特定类型的机器学习,具有强大的能力和灵活性,它将大千世界表示为嵌套的层次概念体系(由较简单概念间的联系定义复杂概念、从一般抽象概括到高级抽象表示) 


2020-02-27 15:20:03 weixin_42555985 阅读数 40

第一章 引言

官网

深度学习是机器学习的一种方法,它大量借鉴了关于人脑、统计学和应用数学的知识。

  • 使用机器学习来发掘表示本身,而不仅仅把表示映射到输出,这种方法称之表示学习(representation learning)。学习到的表示往往比手动设计的表示表现得更好。

  • 当设计特征货设计用于学习特征的算法时,我们的目标通常是分离出能解释观察数据的变差因素(factors of variation)。例如:当分析语音记录时,变差因素包括说话者的年龄、性别、他们的口音和他们正在说的词语。

  • 在许多显示的AI应用中,困难主要源于多个变差因素同时影响着我们能够观察到的每一个数据。例如:在一张包含红色汽车的图片中,其单个像素在夜间可能会非常接近黑色

  • 深度学习(deep learning)让计算机通过简单的概念构建复杂的概念。解决了表示学习中的核心问题。

  • 深度学习模型的电信例子是前馈深度网络或者多层感知机(multilayer perceptron,MLP)。MLP仅仅是一个将一组输入值映射到输出值的数学函数,它由许多较简单的函数复合而成。我们可以认为不同数学函数的每次应用都为输入提供了新的表示。

  • 2种主要度量模型深度的方式

    • 基于评估架构所需执行的顺序指令的数目(流程图的最长路径)。
    • 深度概率模型中使用的方法,描述概念彼此如何关联的图的深度。例如:一个AI系统观察脸部图像(其中一个眼睛在阴影中)。它最初可能只看到一致眼睛。但当检测到脸部的存在后,AI系统可以推断第二只眼睛也可能存在。此时,概念的图仅包括2层(关于眼睛的层和关于脸的层)
  • 相比传统ML,DL学习研究的模型设计更多学到功能学到概念 的组合

  • DL是一种能够使计算机系统从经验和数据中得到提高的技术。它将大千世界表示为嵌套额层次概念体系(由较简单概念间的联系定义复杂概念、从一般抽象概括到高级抽象表示)
    在这里插入图片描述
    上图说明了不同AI学科之间的关系。DL既是一种表示学习,也是一种ML。

在这里插入图片描述上图说明了每个学科如何工作的高此次原理。流程图展示了AI系统的不同部分如何在不同的AI学科中彼此相关。阴影框表示能从数据中学习的组件。

  • 深度学习经历了3次发展浪潮
    • 20世纪40-60年代,控制论(cybernetics)。

    • 20世纪80-90年代,联结主义(connectionism)。

      • 联结主义或并行分布处理(parallel distributed processin)是在认知科学背景下出现的。认知科学是理解思维的跨学科途径,它融合了多个不同的分析层次。
      • 联结主义的中心思想是:当网络将大量简单的计算单元连接在一起时可以实现智能行为。
      • 联结主义的主要见解之一:当动物的许多神经元一起工作时会变得聪明。而单独神经元或小集合的神经元不是特别有用。
    • 2006年,深度学习出现。

“深度信念网络”的神经网络可以使用一种称为“贪婪逐层训练”的策略来有效地训练。同样的策略可以被用来训练许多其他类型的深度网络,并能系统地提高在测试样例上的泛化能力。

  • 一个粗略的经验,监督深度学习算法在每类给定约5000个标注样本(有分类标签)情况下一般将达到可以接受的性能,当至少有1000万个标注样本的数据集用于训练时,它将达到或超过人类表现。
  • 自从隐藏但与引入依赖,人工神经元的规模大约每2.4年扩大一倍。
    在这里插入图片描述 - 深度学习在图像对象识别,语音识别,行人检测和图像分割中都取得了成功。并且在交通标志分类上取得了超越人类的表现。
  • 循环神经网络用于对序列和其他序列之间的关系进行j建模,它不是仅仅固定输入之间的关系。应用领域:机器翻译。
  • 神经图灵机的引入,能学习读取存储单元和向存储单元写入任意内容。它可以从期望行为的样本中学习建档的程序,例如:排序。应用领域:自我编程。
  • 强换学习(reinforcement learning)领域的扩展,一个自主的智能体必须在没有人类操作者指导的情况下,通过试错来学习执行任务。它显著改善了机器人强化学习的性能。了例如:学会玩游戏,并可与人类匹敌。
  • DL相关软件基础架构
    • Theano
    • PyLearn2
    • Torch
    • Caffe
    • MXNet
    • TensorFlow
没有更多推荐了,返回首页