参考博文：http://www.ai-start.com/dl2017/html/lesson5-week1.html#header-n114

1、为什么选择序列模型？（Why Sequence Models?）

什么是序列模型:

序列模型也就是处理与时间有关系的数据的模型，这些数据前后是有相互依存的关系的。比如音频片段（歌曲、语言），是一个按照时间播放的序列。

序列模型在机器翻译、文本生成、DNA碱基序列分析、音频识别、文本分类中都有用。

卷积神经网络处理图像时，图像的像素点之间没有时间的关联关系，所以只是将文本交给CNN简单处理，会将词向量当做是独立的个体，从而训练效果不好。

2、数学符号（Notation）

假如你想要建立一个能够自动识别句中人名位置的序列模型，那么这就是一个命名实体识别问题，这常用于搜索引擎，比如说索引过去24小时内所有新闻报道提及的人名，用这种方式就能够恰当地进行索引。命名实体识别系统可以用来查找不同类型的文本中的人名、公司名、时间、地点、国家名和货币名等等。



 

在文本处理的自然语言问题中，输入是单词的序列。如x（0）是Harry。那么怎样表示一个序列里单独的单词，你会怎样表示像Harry这样的单词。

这里需要一个词典，收罗尽可能多的词。a是第一个单词，Aaron是第二个单词，在这个词典里，and出现在367这个位置上，Harry是在4075这个位置，Potter在6830，词典里的最后一个单词Zulu可能是第10,000个单词。





 

3、循环神经网络模型（Recurrent Neural Network Model）



一个像这样单纯的神经网络结构，它并不共享从文本的不同位置上学到的特征。具体来说，如果神经网络已经学习到了在位置1出现的Harry可能是人名的一部分，那么如果Harry出现在其他位置，比如时，它也能够自动识别其为人名的一部分的话，这就很棒了。这可能类似于你在卷积神经网络中看到的，你希望将部分图片里学到的内容快速推广到图片的其他部分，而我们希望对序列数据也有相似的效果。和你在卷积网络中学到的类似，用一个更好的表达方式也能够让你减少模型中参数的数量。







循环神经网络用的激活函数经常是tanh，不过有时候也会用ReLU，但是tanh是更通常的选择，我们有其他方法来避免梯度消失问题，我们将在之后进行讲述。

选用哪个激活函数是取决于你的输出，如果它是一个二分问题，那么我猜你会用sigmoid函数作为激活函数，如果是类别分类问题的话，那么可以选用softmax作为激活函数。不过这里激活函数的类型取决于你有什么样类型的输出，对于命名实体识别来说只可能是0或者1，那我猜这里第二个激活函数可以是sigmoid激活函数。



4、通过时间的反向传播（Backpropagation through time）

当你在编程框架中实现循环神经网络时，编程框架通常会自动处理反向传播。但我认为，在循环神经网络中，对反向传播的运行有一个粗略的认识还是非常有用的。





5 、不同类型的循环神经网络（Different types of RNNs）



我们已经讨论了“多对多”、“多对一”、“一对一”和“一对多”的结构，对于“多对多”的结构还有一个有趣的例子值得详细说一下，就是输入和输出长度不同的情况。你刚才看过的多对多的例子，它的输入长度和输出长度是完全一样的。而对于像机器翻译这样的应用，输入句子的单词的数量，比如说一个法语的句子，和输出句子的单词数量，比如翻译成英语，这两个句子的长度可能不同，所以还需要一个新的网络结构，一个不同的神经网络（上图编号2所示）。首先读入这个句子，读入这个输入，比如你要将法语翻译成英语，读完之后，这个网络就会输出翻译结果。有了这种结构和就可以是不同的长度了。同样，你也可以画上这个。这个网络的结构有两个不同的部分，这（上图编号5所示）是一个编码器，获取输入，比如法语句子，这（上图编号6所示）是解码器，它会读取整个句子，然后输出翻译成其他语言的结果。



6 、语言模型和序列生成（Language model and sequence generation）



 

比如你在做一个语音识别系统，你听到一个句子，“the apple and pear（pair） salad was delicious.”，所以我究竟说了什么？我说的是 “the apple and pair salad”，还是“the apple and pear salad”？

一个语音识别模型可以算出第一句话的概率和第二句话的概率，比较这两个概率值。显然我说的话更像是第二种，因为第二句话的概率比第一句高出1000倍以上，这就是为什么语音识别系统能够在这两句话中作出选择。

所以语言模型所做的就是，它会告诉你某个特定的句子它出现的概率是多少，还有机器翻译系统，它要能正确输出最接近的句子。

那么如何建立一个语言模型呢？

为了使用RNN建立出这样的模型，你首先需要一个训练集，包含一个很大的英文文本语料库（corpus）或者其它的语言，你想用于构建模型的语言的语料库。建立一个字典，然后将每个单词都转换成对应的one-hot向量，

下一步我们要构建一个RNN来构建这些序列的概率模型。









7 对新序列采样（Sampling novel sequences）

在你训练一个序列模型之后，要想了解到这个模型学到了什么，一种非正式的方法就是进行一次新序列采样，来看看到底应该怎么做。记住一个序列模型模拟了任意特定单词序列的概率，我们要做的就是对这些概率分布进行采样来生成一个新的单词序列。

采样的意思就是：你随机输入一其实字符或者单词给 a(0) 和x（0），让他们在刚刚已经训练完的RNN语言模型中，根据概率值的大小，自动生成一段随机的文本。



第一步要做的就是对你想要模型生成的第一个词进行采样，于是你输入，，现在你的第一个时间步得到的是所有可能的输出是经过softmax层后得到的概率，然后根据这个softmax的分布进行随机采样。Softmax分布给你的信息就是第一个词a的概率是多少，第一个词是aaron的概率是多少，第一个词是zulu的概率是多少，还有第一个词是UNK（未知标识）的概率是多少，这个标识可能代表句子的结尾，然后对这个向量使用例如numpy命令，np.random.choice（上图编号3所示），来根据向量中这些概率的分布进行采样，这样就能对第一个词进行采样了。

然后继续下一个时间步，记住第二个时间步需要作为输入，而现在要做的是把刚刚采样得到的放到（上图编号4所示），作为下一个时间步的输入，所以不管你在第一个时间步得到的是什么词，都要把它传递到下一个位置作为输入，然后softmax层就会预测是什么。举个例子，假如说对第一个词进行抽样后，得到的是The，The作为第一个词的情况很常见，然后把The当成，现在就是，现在你要计算出在第一词是The的情况下，第二个词应该是什么（上图编号5所示），然后得到的结果就是，然后再次用这个采样函数来对进行采样。

然后再到下一个时间步，无论你得到什么样的用one-hot码表示的选择结果，都把它传递到下一个时间步，然后对第三个词进行采样。不管得到什么都把它传递下去，一直这样直到最后一个时间步。

也可以是字符级的采样，过程和性能，有所区别。



下面是根据不同的训练语料库，随机采样生成的文本：



8 循环神经网络的梯度消失（Vanishing gradients with RNNs）

基本的RNN算法还有一个很大的问题，就是梯度消失的问题



例子中的句子有长期的依赖，最前面的单词对句子后面的单词有影响。但是我们目前见到的基本的RNN模型（上图编号3所示的网络模型），不擅长捕获这种长期依赖效应。





讲很深的神经网络时，我们也提到了梯度爆炸，我们在反向传播的时候，随着层数的增多，梯度不仅可能指数型的下降，也可能指数型的上升。

事实上梯度消失在训练RNN时是首要的问题，尽管梯度爆炸也是会出现，但是梯度爆炸很明显，因为指数级大的梯度会让你的参数变得极其大，以至于你的网络参数崩溃。所以梯度爆炸很容易发现，因为参数会大到崩溃，你会看到很多NaN，或者不是数字的情况，这意味着你的网络计算出现了数值溢出。

如果你发现了梯度爆炸的问题，一个解决方法就是用梯度修剪。梯度修剪的意思就是观察你的梯度向量，如果它大于某个阈值，缩放梯度向量，保证它不会太大，这就是通过一些最大值来修剪的方法。所以如果你遇到了梯度爆炸，如果导数值很大，或者出现了NaN，就用梯度修剪，这是相对比较鲁棒的，这是梯度爆炸的解决方法。

梯度爆炸基本上用梯度修剪就可以应对，但梯度消失比较棘手。我们下节会介绍GRU，门控循环单元网络，这个网络可以有效地解决梯度消失的问题，并且能够使你的神经网络捕获更长的长期依赖。

9 GRU单元（Gated Recurrent Unit（GRU））

 

 

 

 

 

                    

今天，雷锋网(公众号：雷锋网)雷锋字幕组一不小心又双叒叕被前百度首席科学家吴恩达刷屏了，万万没想到万众期待的DeepLearning. ai竟然是一套深度学习课程。

认真地说一句，如果你的硬盘里藏有几百个G的学习资料，你绝对知道什么叫做从入门到放弃。
如今书籍、资料满天飞的时代，拥有江湖失传已久的资料全集，早已不是闯入学霸界的入场门票。
这个时候还在 All in ，你就输了。港真，如果有心，经典书籍一本从头看到尾，即使不能秒变大牛，也能妥妥变个大白。

不过，话说回来，对于选书这个话题，我们CVPR讨论群中社员们意见真的出奇一致:

@ ? ：真正入门的东西，都是贵精不贵多


@ 郑华滨 ：一本就够啦，不要迷信各种资料


@ 陈坤 ：同意，书买多了，根本不会看


@ Li DiYa ：真的觉得不需要资料，基本经典的就可以

鉴于大家都推崇少而精的阅读方式，这回雷锋网雷锋字幕组就为大家一本短小精悍但干货十足的Machine Learning Yearning。本书是吴恩达在机器学习工程实践中的经验总结，非常适合从事数据领域的团队与个人。
Machine Learning Yearning
作者/ 吴恩达 Andrew Ng

Machine Learning Yearning 目前已经更新到14章，它详细介绍了建立开发和测试集的方法，包括如何使用拜厄斯和方差来决定该做什么，为读者介绍学习曲线、调试推理算法等基本原理，以及提供不同情境下是否使用端到端的深度学习的建议等。

吴恩达说，Machine Learning Yearning可以“帮助你快速获得这一（做出策略性决定）技能，使你可以更好地建立人工智能系统”，对众多读者来说，这本书不仅具有学术价值，更具有实战意义！
最让人心花怒放的是这本书完全开源
下面是雷锋网雷锋字幕组帮你找到的原文地址
原书地址：http://www.mlyearning.org/
汉化地址：http://blog.csdn.net/column/details/13835.html








本文作者：雷锋字幕组
本文转自雷锋网禁止二次转载，原文链接


        
        
                
    

在线绘制思维导图：http://app.siweidaotu.com/





本书架构

一.基础准备，1-4讲

1机器学习为什么需要策略
	
2.如何使用此书来帮助你的团队
	
3.先修知识与符号说明
	
4.规模驱动机器学习发展
二.基础误差分析，13-19讲

开发集和测试集的定义
	
6.开发集和测试集应该服从同一分布
	
7.开发集和测试集应该有多大
	
8.使用单值评估指标进行优化
	
9.优化指标和满意度指标
	
10.通过开发集和度量指标加速迭代
	
11.何时修改开发集，测试集和指标
	
12.小结：建立开发集和测试集
三.基础误差分析，13-19讲

13.快速构建并迭代你的第一个系统
	
14.误差分析：根据开发集样本评估想法
	
15.在误差分析时并行评估多个想法
	
16.清洗误标注的开发集和测试集样本
	
17.将大型开发集拆分为两个子集，专注其一
	
18.Eyeball和Blackball开发集该设置多大
	
19.小结：基础误差分析
四.偏差和方差，20-27讲

20.偏差和方差：误差的两大来源
	
21.偏差和方差举例
	
22.与最优错误率比较
	
23.处理偏差和方差
	
24.偏差与方差间的权衡
	
25.减少可避免偏差的技术
	
26.训练集误差分析
	
27.减少方差的技术
五.学习曲线，28-32讲

28.诊断偏差与方差：学习曲线
	
29.绘制训练误差曲线
	
30.解读学习曲线：高偏差
	
31.解读学习曲线：其他情况
	
32绘制学习曲线
六.与人类水平相比，33-35讲

33.为何与人类表现水平进行对比
	
34.如何定义人类表现水平
	
35.超越人类表现水平
七.在不同分布上训练与测试：36-43讲

36.何时在不同的分布上训练与测试
	
37.如何决定是否使用你所有的数据
	
38.如何决定是否添加不一致的数据
	
39.给数据添加权重
	
40.从训练集泛化到开发集
	
41.辨别偏差、方差与数据不匹配误差
	
42.解决数据不匹配问题
	
43.人工合成数据
八.调试推理算法，44-46讲

44优化验证测试
	
45.优化验证测试的一般形式
	
46.强化学习举例
九.端到端深度学习，47-52讲

47.端到端学习的兴起
	
48.端到端学习的更多例子
	
49.端到端学习的优缺点
	
50.流水线组件的选择：数据可用性
	
51.流水线组件的选择：任务简单性
	
52.直接学习更为丰富的输出
十.根据组件进行误差分析，53-57讲

53.根据组件进行误差分析
	
54.误差归因至某个组件
	
55.误差归因的一般情况
	
56.组件误差分析与人类水平对比
	
57.发现有缺陷的机器学习流水线
注解笔记

24讲偏差和方差间的权衡

加大模型的规模（在神经网络中增加神经元/层，或增加输入特征），可以减少偏差，但是由于增加了模型复杂度容易产生过拟合，所以可能会增加方差。

加入正则化本质上是减小深度学习模型的复杂度，减小过拟合风险，所以能够减小方差，但是他会增加偏差。

复杂度越高偏差越低，但是过拟合的风险越大。

数据量很大时，如果增加神经网络的规模的同时加入正则化方法，既可以减少偏差又可以不增加方差。

增加训练数据，可以解决过拟合问题，即减少方差，而且不影响偏差，偏差只与模型复杂度有关。

25 减少可避免偏差的技术

这个需要牢记于心,总则就是增加模型复杂度，可以通过四种方式来增加模型复杂度：1.增加模型规模，增加更多层；2.增加输入特征数；3.修改模型架构；4.减少正则化项。

 

2、如何使用这本书来帮助你的团队
读完这本书，你将对如何制定机器学习项目技术方向有一个深刻的理解。
但是你的队友可能不明白你为什么要推荐一个特定的方向。也许您希望您的团队定义一个单值的评估指标，但是他们并不信服。你如何说服他们?
这就是为什么我把章节写得很短:这样你就可以打印出来，让你的队友阅读你需要他们知道的1-2页。
面对几个不同的选择，在优先排序上的一些改变可能会对你团队生产力产生巨大的影响。通过帮助您的团队做出这样一些改变，我希望你能够变成你们团队的超级英雄！