精华内容
下载资源
问答
  • 吴恩达新书 Machine Learning Yearning 的完整版 1 - 13章 压缩包中包含每一章PDF和13章合并的完整版PDF, 所有资源均为官方版, 无个人修改, 原汁原味 吴恩达写这本书的目的: AI,机器学习和深度学习正在逐渐改变...
  • 1、为什么选择序列模型?...序列模型也就是处理与时间关系的数据的模型,这些数据前后是相互依存的关系的。比如音频片段(歌曲、语言),是一个按照时间播放的序列。 序列模型在机器翻译、文本生...

    参考博文:http://www.ai-start.com/dl2017/html/lesson5-week1.html#header-n114


    1、为什么选择序列模型?(Why Sequence Models?)

    什么是序列模型:

    序列模型也就是处理与时间有关系的数据的模型,这些数据前后是有相互依存的关系的。比如音频片段歌曲、语言),是一个按照时间播放的序列。

    序列模型在机器翻译、文本生成、DNA碱基序列分析、音频识别、文本分类中都有用。

    卷积神经网络处理图像时,图像的像素点之间没有时间的关联关系,所以只是将文本交给CNN简单处理,会将词向量当做是独立的个体,从而训练效果不好。


    2、数学符号(Notation)

    假如你想要建立一个能够自动识别句中人名位置的序列模型,那么这就是一个命名实体识别问题,这常用于搜索引擎,比如说索引过去24小时内所有新闻报道提及的人名,用这种方式就能够恰当地进行索引。命名实体识别系统可以用来查找不同类型的文本中的人名、公司名、时间、地点、国家名和货币名等等。

     

    在文本处理的自然语言问题中,输入是单词的序列。如x(0)是Harry。那么怎样表示一个序列里单独的单词,你会怎样表示像Harry这样的单词

    这里需要一个词典,收罗尽可能多的词。a是第一个单词,Aaron是第二个单词,在这个词典里,and出现在367这个位置上,Harry是在4075这个位置,Potter在6830,词典里的最后一个单词Zulu可能是第10,000个单词。

     


    3、循环神经网络模型(Recurrent Neural Network Model)

    一个像这样单纯的神经网络结构,它并不共享从文本的不同位置上学到的特征。具体来说,如果神经网络已经学习到了在位置1出现的Harry可能是人名的一部分,那么如果Harry出现在其他位置,比如时,它也能够自动识别其为人名的一部分的话,这就很棒了。这可能类似于你在卷积神经网络中看到的,你希望将部分图片里学到的内容快速推广到图片的其他部分,而我们希望对序列数据也有相似的效果。和你在卷积网络中学到的类似,用一个更好的表达方式也能够让你减少模型中参数的数量。

    循环神经网络用的激活函数经常是tanh,不过有时候也会用ReLU,但是tanh是更通常的选择,我们有其他方法来避免梯度消失问题,我们将在之后进行讲述。

    选用哪个激活函数是取决于你的输出,如果它是一个二分问题,那么我猜你会用sigmoid函数作为激活函数,如果是类别分类问题的话,那么可以选用softmax作为激活函数。不过这里激活函数的类型取决于你有什么样类型的输出,对于命名实体识别来说只可能是0或者1,那我猜这里第二个激活函数可以是sigmoid激活函数。


    4、通过时间的反向传播(Backpropagation through time)

    当你在编程框架中实现循环神经网络时,编程框架通常会自动处理反向传播。但我认为,在循环神经网络中,对反向传播的运行有一个粗略的认识还是非常有用的


    5 、不同类型的循环神经网络(Different types of RNNs)

    我们已经讨论了“多对多”、“多对一”、“一对一”和“一对多”的结构,对于“多对多”的结构还有一个有趣的例子值得详细说一下,就是输入和输出长度不同的情况。你刚才看过的多对多的例子,它的输入长度和输出长度是完全一样的。而对于像机器翻译这样的应用,输入句子的单词的数量,比如说一个法语的句子,和输出句子的单词数量,比如翻译成英语,这两个句子的长度可能不同,所以还需要一个新的网络结构,一个不同的神经网络(上图编号2所示)。首先读入这个句子,读入这个输入,比如你要将法语翻译成英语,读完之后,这个网络就会输出翻译结果。有了这种结构和就可以是不同的长度了。同样,你也可以画上这个。这个网络的结构有两个不同的部分,这(上图编号5所示)是一个编码器,获取输入,比如法语句子,这(上图编号6所示)是解码器,它会读取整个句子,然后输出翻译成其他语言的结果。


    6 、语言模型和序列生成(Language model and sequence generation)

     

    比如你在做一个语音识别系统,你听到一个句子,“the apple and pear(pair) salad was delicious.”,所以我究竟说了什么?我说的是 “the apple and pair salad”,还是“the apple and pear salad”?

    一个语音识别模型可以算出第一句话的概率第二句话的概率比较这两个概率值显然我说的话更像是第二种,因为第二句话的概率比第一句高出1000倍以上,这就是为什么语音识别系统能够在这两句话中作出选择。

    所以语言模型所做的就是,它会告诉你某个特定的句子它出现的概率是多少,还有机器翻译系统,它要能正确输出最接近的句子

    那么如何建立一个语言模型呢?

    为了使用RNN建立出这样的模型,你首先需要一个训练集,包含一个很大的英文文本语料库(corpus)或者其它的语言,你想用于构建模型的语言的语料库建立一个字典,然后将每个单词都转换成对应的one-hot向量,

    下一步我们要构建一个RNN来构建这些序列的概率模型。


    7 对新序列采样(Sampling novel sequences)

    在你训练一个序列模型之后,要想了解到这个模型学到了什么,一种非正式的方法就是进行一次新序列采样,来看看到底应该怎么做。记住一个序列模型模拟了任意特定单词序列的概率,我们要做的就是对这些概率分布进行采样来生成一个新的单词序列。

    采样的意思就是:你随机输入一其实字符或者单词给 a(0) 和x(0),让他们在刚刚已经训练完的RNN语言模型中,根据概率值的大小,自动生成一段随机的文本。

    第一步要做的就是对你想要模型生成的第一个词进行采样,于是你输入,,现在你的第一个时间步得到的是所有可能的输出是经过softmax层后得到的概率,然后根据这个softmax的分布进行随机采样。Softmax分布给你的信息就是第一个词a的概率是多少,第一个词是aaron的概率是多少,第一个词是zulu的概率是多少,还有第一个词是UNK(未知标识)的概率是多少,这个标识可能代表句子的结尾,然后对这个向量使用例如numpy命令,np.random.choice(上图编号3所示),来根据向量中这些概率的分布进行采样,这样就能对第一个词进行采样了。

    然后继续下一个时间步,记住第二个时间步需要作为输入,而现在要做的是把刚刚采样得到的放到(上图编号4所示),作为下一个时间步的输入,所以不管你在第一个时间步得到的是什么词,都要把它传递到下一个位置作为输入,然后softmax层就会预测是什么。举个例子,假如说对第一个词进行抽样后,得到的是TheThe作为第一个词的情况很常见,然后把The当成,现在就是,现在你要计算出在第一词是The的情况下,第二个词应该是什么(上图编号5所示),然后得到的结果就是,然后再次用这个采样函数来对进行采样。

    然后再到下一个时间步,无论你得到什么样的用one-hot码表示的选择结果,都把它传递到下一个时间步,然后对第三个词进行采样。不管得到什么都把它传递下去,一直这样直到最后一个时间步。

    也可以是字符级的采样,过程和性能,有所区别。

    下面是根据不同的训练语料库,随机采样生成的文本:


    8 循环神经网络的梯度消失(Vanishing gradients with RNNs)

    基本的RNN算法还有一个很大的问题,就是梯度消失的问题

    例子中的句子有长期的依赖,最前面的单词对句子后面的单词有影响。但是我们目前见到的基本的RNN模型(上图编号3所示的网络模型),不擅长捕获这种长期依赖效应。

    讲很深的神经网络时,我们也提到了梯度爆炸,我们在反向传播的时候,随着层数的增多,梯度不仅可能指数型的下降,也可能指数型的上升。

    事实上梯度消失在训练RNN时是首要的问题,尽管梯度爆炸也是会出现,但是梯度爆炸很明显,因为指数级大的梯度会让你的参数变得极其大,以至于你的网络参数崩溃。所以梯度爆炸很容易发现,因为参数会大到崩溃,你会看到很多NaN,或者不是数字的情况,这意味着你的网络计算出现了数值溢出。

    如果你发现了梯度爆炸的问题,一个解决方法就是用梯度修剪。梯度修剪的意思就是观察你的梯度向量,如果它大于某个阈值,缩放梯度向量,保证它不会太大,这就是通过一些最大值来修剪的方法。所以如果你遇到了梯度爆炸,如果导数值很大,或者出现了NaN,就用梯度修剪,这是相对比较鲁棒的,这是梯度爆炸的解决方法。

    梯度爆炸基本上用梯度修剪就可以应对,但梯度消失比较棘手。我们下节会介绍GRU门控循环单元网络,这个网络可以有效地解决梯度消失的问题,并且能够使你的神经网络捕获更长的长期依赖。


    GRU单元(Gated Recurrent Unit(GRU))

     

     

     

     

     

    展开全文
  • 今天,雷锋网(公众号:雷锋网)雷锋字幕组一不小心又双叒叕被前百度首席科学家吴恩达刷屏了,万万没想到万众期待的DeepLearning. ai竟然是一套深度学习课程。 认真地说一句,如果你的硬盘里藏几百个G的学习资料,...

    今天,雷锋网(公众号:雷锋网)雷锋字幕组一不小心又双叒叕被前百度首席科学家吴恩达刷屏了,万万没想到万众期待的DeepLearning. ai竟然是一套深度学习课程。

    别人在刷屏而我在读书!吴恩达这本书是你踏入deeplearning.ai的必修课

    认真地说一句,如果你的硬盘里藏有几百个G的学习资料,你绝对知道什么叫做从入门到放弃。

    如今书籍、资料满天飞的时代,拥有江湖失传已久的资料全集,早已不是闯入学霸界的入场门票。

    这个时候还在 All in ,你就输了。港真,如果有心,经典书籍一本从头看到尾,即使不能秒变大牛,也能妥妥变个大白。

    别人在刷屏而我在读书!吴恩达这本书是你踏入deeplearning.ai的必修课

    不过,话说回来,对于选书这个话题,我们CVPR讨论群中社员们意见真的出奇一致:

    @ ? :真正入门的东西,都是贵精不贵多


    @ 郑华滨 :一本就够啦,不要迷信各种资料


    @ 陈坤 :同意,书买多了,根本不会看


    @ Li DiYa :真的觉得不需要资料,基本经典的就可以

    鉴于大家都推崇少而精的阅读方式,这回雷锋网雷锋字幕组就为大家一本短小精悍但干货十足的Machine Learning Yearning。本书是吴恩达在机器学习工程实践中的经验总结,非常适合从事数据领域的团队与个人。

    Machine Learning Yearning

    作者/ 吴恩达 Andrew Ng

    别人在刷屏而我在读书!吴恩达这本书是你踏入deeplearning.ai的必修课

    Machine Learning Yearning 目前已经更新到14章,它详细介绍了建立开发和测试集的方法,包括如何使用拜厄斯和方差来决定该做什么,为读者介绍学习曲线、调试推理算法等基本原理,以及提供不同情境下是否使用端到端的深度学习的建议等。

    别人在刷屏而我在读书!吴恩达这本书是你踏入deeplearning.ai的必修课

    吴恩达说,Machine Learning Yearning可以“帮助你快速获得这一(做出策略性决定)技能,使你可以更好地建立人工智能系统”,对众多读者来说,这本书不仅具有学术价值,更具有实战意义!

    最让人心花怒放的是这本书完全开源

    下面是雷锋网雷锋字幕组帮你找到的原文地址

    原书地址:http://www.mlyearning.org/

    汉化地址:http://blog.csdn.net/column/details/13835.html

    别人在刷屏而我在读书!吴恩达这本书是你踏入deeplearning.ai的必修课




    本文作者:雷锋字幕组
    本文转自雷锋网禁止二次转载,原文链接
    展开全文
  • 吴恩达写这本书的目的: AI,机器学习和深度学习正在逐渐改变越来越多的行业。我写这本书《Machine Learning Yearning》的目的就是教会大家如何构建自己的机器学习项目。 这本书的目的不是教你机器学习算法理论,...
  • 1机器学习为什么需要策略 2.如何使用此书来帮助你的团队 3.先修知识与符号说明 4.规模驱动机器学习发展 二.基础误差分析,13-19讲 开发集和测试集的定义 6.开发集和测试集应该服从同一分布 7.开发集和测试集...

    在线绘制思维导图:http://app.siweidaotu.com/


    本书架构

    一.基础准备,1-4讲

    • 1机器学习为什么需要策略
    • 2.如何使用此书来帮助你的团队
    • 3.先修知识与符号说明
    • 4.规模驱动机器学习发展

    二.基础误差分析,13-19讲

    • 开发集和测试集的定义
    • 6.开发集和测试集应该服从同一分布
    • 7.开发集和测试集应该有多大
    • 8.使用单值评估指标进行优化
    • 9.优化指标和满意度指标
    • 10.通过开发集和度量指标加速迭代
    • 11.何时修改开发集,测试集和指标
    • 12.小结:建立开发集和测试集

    三.基础误差分析,13-19讲

    • 13.快速构建并迭代你的第一个系统
    • 14.误差分析:根据开发集样本评估想法
    • 15.在误差分析时并行评估多个想法
    • 16.清洗误标注的开发集和测试集样本
    • 17.将大型开发集拆分为两个子集,专注其一
    • 18.Eyeball和Blackball开发集该设置多大
    • 19.小结:基础误差分析

    四.偏差和方差,20-27讲

    • 20.偏差和方差:误差的两大来源
    • 21.偏差和方差举例
    • 22.与最优错误率比较
    • 23.处理偏差和方差
    • 24.偏差与方差间的权衡
    • 25.减少可避免偏差的技术
    • 26.训练集误差分析
    • 27.减少方差的技术

    五.学习曲线,28-32讲

    • 28.诊断偏差与方差:学习曲线
    • 29.绘制训练误差曲线
    • 30.解读学习曲线:高偏差
    • 31.解读学习曲线:其他情况
    • 32绘制学习曲线

    六.与人类水平相比,33-35讲

    • 33.为何与人类表现水平进行对比
    • 34.如何定义人类表现水平
    • 35.超越人类表现水平

    七.在不同分布上训练与测试:36-43讲

    • 36.何时在不同的分布上训练与测试
    • 37.如何决定是否使用你所有的数据
    • 38.如何决定是否添加不一致的数据
    • 39.给数据添加权重
    • 40.从训练集泛化到开发集
    • 41.辨别偏差、方差与数据不匹配误差
    • 42.解决数据不匹配问题
    • 43.人工合成数据

    八.调试推理算法,44-46讲

    • 44优化验证测试
    • 45.优化验证测试的一般形式
    • 46.强化学习举例

    九.端到端深度学习,47-52讲

    • 47.端到端学习的兴起
    • 48.端到端学习的更多例子
    • 49.端到端学习的优缺点
    • 50.流水线组件的选择:数据可用性
    • 51.流水线组件的选择:任务简单性
    • 52.直接学习更为丰富的输出

    十.根据组件进行误差分析,53-57讲

    • 53.根据组件进行误差分析
    • 54.误差归因至某个组件
    • 55.误差归因的一般情况
    • 56.组件误差分析与人类水平对比
    • 57.发现有缺陷的机器学习流水线

    注解笔记

    24讲偏差和方差间的权衡

    加大模型的规模(在神经网络中增加神经元/层,或增加输入特征),可以减少偏差,但是由于增加了模型复杂度容易产生过拟合,所以可能会增加方差。

    加入正则化本质上是减小深度学习模型的复杂度,减小过拟合风险,所以能够减小方差,但是他会增加偏差。

    复杂度越高偏差越低,但是过拟合的风险越大。

    数据量很大时,如果增加神经网络的规模的同时加入正则化方法,既可以减少偏差又可以不增加方差。

    增加训练数据,可以解决过拟合问题,即减少方差,而且不影响偏差,偏差只与模型复杂度有关。

    25 减少可避免偏差的技

    这个需要牢记于心,总则就是增加模型复杂度,可以通过四种方式来增加模型复杂度:1.增加模型规模,增加更多层;2.增加输入特征数;3.修改模型架构;4.减少正则化项。

     

    展开全文
  • 2、如何使用这本书来帮助你的团队读完这本书,你将对如何制定机器学习项目技术方向一个深刻的理解。但是你的队友可能不明白你为什么要推荐一个特定的方向。也许您希望您的团队定义一个单值的评估指标,但是他们并...

    2、如何使用这本书来帮助你的团队

    读完这本书,你将对如何制定机器学习项目技术方向有一个深刻的理解。

    但是你的队友可能不明白你为什么要推荐一个特定的方向。也许您希望您的团队定义一个单值的评估指标,但是他们并不信服。你如何说服他们?

    这就是为什么我把章节写得很短:这样你就可以打印出来,让你的队友阅读你需要他们知道的1-2页。

    面对几个不同的选择,在优先排序上的一些改变可能会对你团队生产力产生巨大的影响。通过帮助您的团队做出这样一些改变,我希望你能够变成你们团队的超级英雄!

    展开全文
  • 很多机器学习(神经网络)的想法都提出几十年了,为什么这些想法会突然的火了呢? 促进这一现象的最大两个驱动因素是: 数据规模 现在人们大量使用诸如手机,电脑等电子设备。使用的过程中,产生了大量数据,这些...
  • 1.为什么选择机器学习策略 案例:建立猫咪图像识别app 系统的优化可以很多的方向: (1)获取更多的数据集,即更多的图片; (2)收集更多多样数据,如处于不常见的位置的猫的图,颜色奇异的猫的照片等; (3...
  • 【免费】机器/深度学习视频 - 吴恩达 机器学习 深度学习 吴恩达机器学习 神经网络和深度学习 2.深度学习 支持版本 Version Supported 3.6.x ✅ 2.7.x ❌ 入门基础 反向传递: ...
  • 整理 | 阿司匹林出品 | 人工智能头条(公众号ID:AI_Thinker)炎炎夏日,有什么比学习更能振奋人心!KDnuggets 网站编辑 Matthew Mayo 特意为广大读者挑选了 20 本机器学习和数据科学相关的书籍。这份书单除了 Ian ...
  • 一个漫画,关于描述学习时候的状态特别戳中我:(图片来源自网络)市面上很多大牛老师,斯坦福大学人工智能教授吴恩达,Python技术专家廖雪峰,他们的课广受赞誉,常被称作“教科”级别的入门课程。但是仍...
  • 在经过了一个月的时间完成了吴恩达的《机器学习》公开课后,对于机器学习这个概念,其涉及的一些方法都了一些模糊的认识,但是由于是公开课的性质,Ng只是简单介绍了关于机器学习的典型模型和方法,以及一些**工程...
  • 第1章 实时机器学习综述 1.1 什么是机器学习 相信本书的读者都已经接触过一点机器学习了,或者听说过各种新奇的机器学习方法,或者通过相关新闻了解过机器...比如,吴恩达(Andrew Ng)是深度学习的先驱者之一,他...
  • 这个专栏主要是想和大家分享一下深度学习的基础知识,主要是以吴恩达老师深度学习课程内容作为基础,并补充了很多其他内容希望让整体内容更加容易理解和系统化。如果想要了解具体专栏里面有什么内容的话,可以看一看...
  • 【1】机器学习概述

    2020-02-28 23:37:40
    机器学习概述 机器学习的应用场景,发展历史什么的都不再赘述了,这些东西在随便一本和机器学习有关的的...吴恩达: Machine Learning is the science of getting computers to act without being explicitly ...
  • 讲前小碎话 Logistic回归是一种线性...无论是在李航老师的《统计学习方法》中,还是在吴恩达老师的机器学习课程中,都是先假设随机变量x服从Logistic分布,即如下的分布函数和概率密度函数: 可是为什么定义这...
  • 深入理解激活函数

    2020-02-14 16:43:54
    什么需要非线性激活函数? 说起神经网络肯定会降到神经函数,看了很多资料,也许你对激活函数...国内学习深度学习,我看多最好的课程,能看的明白的还是吴恩达的课程,单同学对于一些英语水平比较低的同学, 学起...
  • svm的几个疑问

    2018-07-14 21:24:56
    支持向量所在的超平面为何是theta^t * x= -1 和theta^t * x = -1 ...但是里提到,合页损失函数和那套推理是等价的,所以可以用吴恩达在《机器学习》课程里的图来理解。至于为什么等价,请看书。 逻辑回归的...
  • 机器学习课程表

    2018-07-04 14:25:56
    1. 第一阶段:基础入门(3-6个月)入门的第一步是学习一些...1.1. 吴恩达Cousera机器学习课程Andrew Ng的机器学习课程(Machine Learning | Coursera)是很多人的启蒙课程,难度适中且完全免费。Coursera上总共49...
  • 这个专栏主要是想和大家分享一下深度学习的基础知识,主要是以吴恩达老师深度学习课程内容作为基础,并补充了很多其他内容希望让整体内容更加容易理解和系统化。如果想要了解具体专栏里面有什么内容的话,可以看一看...
  • PaddlePaddle-百度架构师手把手带你零基础实践深度学习----第一周 最近参加了百度AI Studio课程《百度架构师...喜欢的话可以来听听:ai studio 先吹一波,这是我见过为数不多的良心课程,个人感觉比吴恩达的课程
  • 吴恩达、林轩田公开课交流群正式成立啦 周志华《机器学习》西瓜书精炼版笔记来了!16 章完整版 手把手教你在 Ubuntu16.04 安装 GPU 驱动 + CUDA9.0 + cuDNN7 ApacheCN 活动汇总 2019.8.30 竞赛专题 | 数据预处理-...
  • 【免费】机器/深度学习视频 - 吴恩达 机器学习 深度学习 吴恩达机器学习 神经网络和深度学习 2.深度学习 支持版本 Version Supported 3.6.x ✅ 2.7.x ❌ 入门基础 反向传递: ...
  • 【免费】机器/深度学习视频 - 吴恩达 机器学习 深度学习 吴恩达机器学习 神经网络和深度学习 2.深度学习 支持版本 Version Supported 3.6.x ✅ 2.7.x ❌ 入门基础 反向传递: ...
  • 市面上很多大牛老师,斯坦福大学人工智能教授吴恩达,Python技术专家廖雪峰,他们的课广受赞誉,常被称作“教科”级别的入门课程。 但是仍很多人说,“大牛一行字就够我琢磨1小时了。” 很多人在学习新知识...

空空如也

空空如也

1 2
收藏数 28
精华内容 11
关键字:

吴恩达有什么书