2018-11-16 22:35:59 Harpoon_fly 阅读数 236

从今天开始每天会固定进行推送吴恩达老师的深度学习的学习笔记,这个是由团队整理的,感谢热心AI和深度学习的这群人,文中真真实实都是学者的笔记,希望对热爱AI的你,有所帮助!

在这里插入图片描述
第一个视频主要讲了什么是深度学习,深度学习能做些什么事情。

以下是吴恩达老师的原话:

深度学习改变了传统互联网业务,例如如网络搜索和广告。但是深度学习同时也使得许多新产品和企业以很多方式帮助人们,从获得更好的健康关注。

深度学习做的非常好的一个方面就是读取X光图像,到生活中的个性化教育,到精准化农业,甚至到驾驶汽车以及其它一些方面。如果你想要学习深度学习的这些工具,并应用它们来做这些令人窒息的操作,本课程将帮助你做到这一点。当你完成cousera上面的这一系列专项课程,你将能更加自信的继续深度学习之路。在接下来的十年中,我认为我们所有人都有机会创造一个惊人的世界和社会,这就是AI(人工智能)的力量。我希望你们能在创建AI(人工智能)社会的过程中发挥重要作用。

我认为AI是最新的电力,大约在一百年前,我们社会的电气化改变了每个主要行业,从交通运输行业到制造业、医疗保健、通讯等方面,我认为如今我们见到了AI明显的令人惊讶的能量,带来了同样巨大的转变。显然,AI的各个分支中,发展的最为迅速的就是深度学习。因此现在,深度学习是在科技世界中广受欢迎的一种技巧。

通过这个课程,以及这门课程后面的几门课程,你将获取并且掌握那些技能。
在这里插入图片描述

下面是你将学习到的内容:

在cousera的这一系列也叫做专项课程中,在第一门课中(神经网络和深度学习),你将学习神经网络的基础,你将学习神经网络和深度学习,这门课将持续四周,专项课程中的每门课将持续2至4周。

第一门课程
你将学习如何建立神经网络(包含一个深度神经网络),以及如何在数据上面训练他们。在这门课程的结尾,你将用一个深度神经网络进行辨认猫。

由于某种原因,第一门课会以猫作为对象识别。

第二门课
将使用三周时间。你将进行深度学习方面的实践,学习严密地构建神经网络,如何真正让它表现良好,因此你将要学习超参数调整、正则化、诊断偏差和方差以及一些高级优化算法,比如Momentum和Adam算法,犹如黑魔法一样根据你建立网络的方式。第二门课只有三周学习时间。

第三门课
将使用两周时间来学习如何结构化你的机器学习工程。事实证明,构建机器学习系统的策略改变了深度学习的错误。

举个例子:你分割数据的方式,分割成训练集、比较集或改变的验证集,以及测试集合,改变了深度学习的错误。

所以最好的实践方式是什么呢?

你的训练集和测试集来自不同的贡献度在深度学习中的影响很大,那么你应该怎么处理呢?

如果你听说过端对端深度学习,你也会在第三门课中了解到更多,进而了解到你是否需要使用它,第三课的资料是相对比较独特的,我将和你分享。我们了解到的所有的热门领域的建立并且改良许多的深度学习问题。这些当今热门的资料,绝大部分大学在他们的深度学习课堂上面里面不会教的,我认为它会提供你帮助,让深度学习系统工作的更好。

第四门课
将会提到卷积神经网络(CNN(s)),它经常被用于图像领域,你将会在第四门课程中学到如何搭建这样的模型。

第五门课
你将会学习到序列模型,以及如何将它们应用于自然语言处理,以及其它问题。

序列模型包括的模型有循环神经网络(RNN)、全称是长短期记忆网络(LSTM)。你将在课程五中了解其中的时期是什么含义,并且有能力应用到自然语言处理(NLP)问题。

总之你将在课程五中学习这些模型,以及能够将它们应用于序列数据。比如说,自然语言就是一个单词序列。你也将能够理解这些模型如何应用到语音识别或者是编曲以及其它问题。

因此,通过这些课程,你将学习深度学习的这些工具,你将能够去使用它们去做一些神奇的事情,并借此来提升你的职业生涯。
在这里插入图片描述

2017-10-22 11:27:01 xiaoniaoyou123 阅读数 166

最近买了一本《深度学习》,京东上热卖的,由三位大咖Ian Goodfellow, Yoshua Bengio, Aaron Courville联合著作,2017年8月出版的新书。最近看到了引言部分,于是想将这部分的内容写出来分享一下,关于深度学习的情况。


人工智能有望发展的领域:专家们期望通过智能软件自动地处理常规劳动、理解语音图像、帮助医学诊断和支持基础科学研究。

人工智能的其中一个关键挑战:如何将非形式化的知识传达给计算机。我的理解:所谓的形式化是指有固定的规则,如国际象棋规定每个棋子的走子规则,所以可以用穷举或列表解决。非形式化是指知识是主观和直观的,很难通过形式化(规则化)表达清楚。


AI系统需要具备自己获取知识的能力,能够从原始数据提取模式的能力,这就是机器学习,机器学习能够做出看似主观的策略。尽管机器学习的算法很多,如逻辑回归,朴素贝叶斯等等,但机器学习算法的性能很大程度上依赖于给定数据的表示。如果数据集合被巧妙的结构化并被智能的索引,那么搜索这类操作的处理速度就可以成指数级加快。


许多人工智能任务可以通过以下方式解决:提取合适的特征集,然后将特征集提供给机器学习算法。

但是对于很多任务来说,很难提取特征,要解决这个问题,就需要使用机器学习来挖掘表示本身,而不仅仅表示映射到输出,这种方法称为表示学习。表示学习的典型例子是自编码器,自编码器由一个编码器和一个解码器构成。编码器能够将输入数据转换为一种不同的表示,而解码器能够将这个新的表示转换为原来的形式。人们希望经过自编码器能够保持较多的良好特性,这就是自编码器的训练目标。但是,当设计特征或设计学习算法时,同时由很多变差因素,这些因素通常不能被直接观察,多个变差因素会同时影响观察到的每个数据,这个问题时是表示学习很难解决,不过不用担心,深度学习就可以解决。


《深度学习》英文版配套网站:www.deeplearningbook.org






2019-03-05 09:51:12 qq_36165148 阅读数 93

本文为阅读总结个人认为书里概念性的、对本人有帮助的内容,仅供参考。

我们期望通过智能软件自动地处理常规劳动、理解语音或图像、帮助医学诊断、支持基础科学研究。

人工智能的真正挑战在于解决那些对人来说很容易执行、但很难形式化描述的任务。对于这些问题,我们人类往往可以凭借直觉轻易地解决。

层次化的概念让计算机构建较简单的概念来学习复杂概念。

人工智能的一个关键挑战就是如何让将这些非形式化的知识传达给计算机。

一些人工智能项目力求将关于世界的只是用形式化的语言进行硬编码。

依靠硬编码的知识体系面临的困难表明,AI系统需要具备自己获取知识的能力,即从原始数据中提取模式的能力。这种能力成为机器学习。引入机器学习使计算机能够解决涉及现实世界只是的问题,并能做出看似主观的决策。

这些简单的机器学习算法的性能在很大程度上依赖于给定数据的表示。

在整个计算机科学乃至日常生活中,对表示的依赖都是一个普遍现象。

表示的选择会对机器学习算法的性能产生巨大的影响。

许多人工智能任务都可以通过以下方式解决:先提取一个合适的特征集,然后将这些特征提供给简单的机器学习算法。

解决这个问题的途径之一是使用机器学习来发掘表示本身,而不仅仅把表示映射到输出。这种方法我们称之为表示学习。表示学习算法只需要几分钟就可以为简单的任务发现一个很好的特征集,对于复杂任务则需要几个小时到几个月。

表示学习算法的典型例子是自编码器。自编码器由一个编码器函数和一个解码器函数组合而成。

当设计特征或设计用于学习特征的算法时,我们的目标通常是分离出能解释观察数据的变差因素。

在许多现实的人工智能应用中,困难主要源于多个变差因素同时影响着我们能够观察到的每一个数据。

显然,从原始数据中提取如此高层、抽象的特征是非常困难的。

深度学习通过其他较简单的表示来表达复杂表示,解决了表示学习中的核心问题。

深度学习让计算机通过较简单的概念构建复杂的概念。

深度学习模型的典型例子是前馈深度网络或多层感知器。

学习数据的正确表示的想法是解释深度学习的一个视角。另一个视角是深度促使计算机学习一个多步骤的计算机程序。每一层表示都可以被认为是并行执行另一组指令之后计算机存储器状态。更深的网络可以按顺序执行更多的指令。顺序指令提供了极大的能力,因为后面的指令可以参考早期指令的结果。

目前主要有两种度量模型深度的方式。一种方式是基于评估架构所需执行的顺序指令的数目。另一种是在深度概率模型中使用的方法,它不是将计算图的深度是为模型的深度,而是将描述概念彼此如何关联的图的深度是为模型深度。

由于并不总是清楚计算图的深度和概率模型图的深度哪一个是最有意义的,并且由于不同的人选择不同的最小元素集来构建相应的图,所以就想计算机程序的长度不存在单一的正确值一样,架构的深度也不存在单一的正确值。

总之本书的主题——深度学习是通向人工智能的途径之一。

深度学习是一种特定类型的机器学习,具有强大的能力和灵活性,它将大千世界表示为嵌套的层次概念体系。


深度学习的历史趋势

深度学习的历史可以追溯到20世纪40年代。

这个领域已经更换了很多名称,它反映了不同的研究人员和不同观点的影响。

一般认为,迄今为止深度学习已经经历了3次发展浪潮:20世纪40-60年代。深度学习的雏形出现在控制论中;20世纪80-90年代深度学习表现为联结主义;直到2006年,才真正以深度学习之名复兴。

深度学习的神经观点受两个主要思想启发:一个想法是,大脑作为例子证明智能行为是可能的,因此,概念上,建立智能的直接途径是逆向大脑背后的计算原理,并复制其功能;另一种看法是,理解大脑和人类智能背后的原理也非常有趣,因此机器学习模型除了解决工程应用的能力,如果让人类对这些基本的科学问题有进一步的认识,也将会很有用。

现代术语“深度学习”超越了目前机器学习模型的神经科学观点。

现在,神经科学被视为深度学习研究的一个重要灵感来源,但它已不再是该领域的主要指导。

如今神经科学在深度学习研究中的作用被削弱,主要原因是我们根本没有足够的关于大脑的信息来作为指导去使用它。

我们能够从神经科学得到一些粗略的指南。仅通过计算单元之间的相互作用而变得智能的基本思想是受大脑启发的。

虽然神经科学是灵感的重要来源,但它不需要被视为刚性指导。

深度学习领域主要关注如何构建计算机系统,从而成功解决需要智能才能解决的任务,而计算神经科学领域主要关注构建大脑如何真实工作的、比较精确的模型。

20世纪80年代,神经网络研究的第二次浪潮在很大程度上是伴随一个被称为联结主义或并行分布处理潮流而出现的。

联结主义的中心思想是,当网络将大量简单的计算单元连接在一起时可以实现智能行为。

在20世纪80年代的联结主义期间形成的几个关键概念在今天的深度学习中仍然是非常重要的。其中一个概念是分布式表示;另一个重要成就是反向传播在训练具有内部表示的深度神经网络中的成功使用以及反向传播算法的普及。

神经网络研究的第三次狼长始于2006年的突破。神经网络研究的这一次浪潮普及了“深度学习”这一术语,强调研究者现在有能力训练以前不可能训练的比较深的神经网络,并着力于深度的理论重要性上。

截至2016年,一个粗略的经验法则是,监督深度学习算法在每类给定5000个标注样本情况下一般将达到可以接受的性能,当至少有1000万个标注样本的数据集用于训练时,它将达到或超过人类表现。

联结主义的主要见解之一是,当动物的许多神经元一起工作时会变得聪明。

由于更快的CPU、通用GPU的出现、更快的网络连接和更好的分布式计算的软件基础设施,模型规模随着时间的推移不断增加是深度学习历史中最重要的趋势之一。人们普遍预计这种趋势将很好地持续到未来。

20世纪80年代以来,深度学习提供精确识别和预测的能力一直在提高。而且,深度学习持续成功地应用于越来越广泛的实际问题中。

深度学习的另一个最大的成就是其在强化学习领域的扩展。

总之,深度学习是机器学习的一种方法。在过去几十年的发展中,它大量借鉴了我们关于大脑、统计学和应用数学的知识。近年来,得益于更强大的计算机、更大的数据集合能够训练更深网络的技术,深度学习的普及性和实用性都有了极大的发展。未来几年,深度学习更是充满了进一步提高并应用到新领域的挑战和机遇。

深度学习

 

 

 

 

 

 

 

 

 

 

 

2019-09-18 10:38:50 weixin_37543731 阅读数 39

引言

深度学习(Deep Learning)本质就是多层神经网络。本文试图从神经网络诞生到当今炙手可热的深度学习最新进展,提供一个简单的发展历史概览。本文持续更新,为了力保事件准确性和可考证性,将提供相关参考来源。如有错误之处,欢迎读者朋友在评论区加以指正。

简史

1957年

美国康奈尔大学计算机教授罗森布拉特提出了感知器(Perceptron)的概念。

1986年

辛顿和美国心理学家鲁梅哈特在两层神经网络中提出了反向传播算法,大大减少了计算量。推动了神经网络在学术界的复苏。

2006年

辛顿在《科学》杂志上发表了一篇文章,提出了深度网络的概念。辛顿还改革了传统的训练方式,增加了预训练(pre-training)的过程,通过预训练,他能为网络各个节点的权重快速找到一个接近于最优值的解,之后再使用微调(fine-tuning)技术对整个网络的所有参数进行优化。这两种技术的运用,大幅度减少了计算量和时间。为了形象描述这种多层神经网络的方法,辛顿给这种方法起了一个新名字:深度学习。

2009年

斯坦福大学教授李飞飞,普林斯顿大学教授李凯等华裔学者发起建立了一个超大型的图像数据库。这个数据库建立之初,包含了320万张图像。它的目的是以英文里的8万个名词为基础,根据每个词收集500~1000张高清图片,最终形成一个5000万张图片的数据库,这个数据库就是 ImageNet。

2010年

举行第一届 ImageNet 图像识别竞赛。冠军团队使用主流技术为支持向量机技术,识别错误率为28%。

2011年

ImageNet 图像识别竞赛冠军团队依然采用支持向量机技术,识别错误率为25.7%。

2012年

辛顿带领团队使用深度学习参加了 ImageNet 图像识别大赛,将错误率大幅下降到15.3%,而排名第二的日本模型,错误率则高达26.2%,这个进步令人震惊,整个人工智能领域都为之沸腾。此后,深度学习不断创造奇迹。2013年的ImageNet竞赛中,错误率被降到了11.5%,2014年被降到了7.4%,2015年为3.57%,2016年2.99%, 2017年为2.25%。

2016年

Google 旗下 DeepMind 团队使用深度学习开发的 AlphaGo 首次击败人类围棋世界冠军李世石。

2017年

在中国乌镇围棋峰会上,AlphaGo 以 3:0 完胜排名第一的世界围棋冠军柯洁,围棋界公认阿尔法围棋的棋力已经超过人类职业围棋顶尖水平。

参考资料

  • [1]《数文明》,涂子沛,2018年7月6日
  • [2] 阿尔法围棋,百度百科


微信扫描二维码 获取最新技术原创

深度学习读书笔记

阅读数 154

没有更多推荐了,返回首页