前言

深度神经网络是一种目前被广泛使用的工具，可以用于图像识别、分类，物体检测，机器翻译等等。深度学习（DeepLearning）是一种学习神经网络各种参数的方法。因此，我们将要介绍的深度学习，指的是构建神经网络结构，并且运用各种深度学习算法训练网络参数，进而解决各种任务。本文从PyTorch环境配置开始。PyTorch是一种Python接口的深度学习框架，使用灵活，学习方便。还有其他主流的深度学习框架，例如Caffe，TensorFlow，CNTK等等，各有千秋。笔者认为，初期学习还是选择一种入门，不要期望全都学会。须知，发力集中才能深入挖掘。乱花渐欲迷人眼，选择适合自己的，从一而终，相信会对科研大有裨益!

***************************************************

说明：本文乃至本系列全部文章都是在PyTorch0.2版本下做的。现在版本更新了很多，会有一些API的更改，请大家注意Follow最新的变化，以免由于版本问题受到困扰。

***************************************************

1. 环境说明

PyTorch目前支持OSX和Linux两种系统，并且支持多种安装方式。在官网上介绍了基于conda，pip和源代码编译几种不同的安装方式。支持的Python版本有2.7，3.5和3.6。鉴于深度学习需要的计算量一般比较大，强烈建议找到一个有独立显卡的电脑来展开学习，当然没有显卡也能用，就是计算慢很多了。

如果你的电脑是Windows，那么可以安装一个虚拟机来运行Linux，但是性能可能会折扣。我的电脑操作系统是Ubuntu16.04，所以我会以此为例子来介绍后面的内容。



 

2. Anaconda 和Python

PackageManager我们选择conda，于是我们需要安装Anaconda这个功能强大的包，下载地质：https://www.anaconda.com/download/#linux 。里面包含了conda工具，也有Python，以及很多Python需要的扩展工具包。选择2.7版本，下载并安装即可。接下来，如果有显卡，进入第3步；没有显卡直接到第4步。



 

3. 显卡驱动和CUDA

要使用显卡进行运算，你需要使用支持CUDA的NVIDIA显卡，目前比较好的显卡有NVIDIATITANX、GTX1080Ti 等。好的显卡将会是深度学习研究的有力武器。当然，普通的显卡例如GTX970、GTX1060等也是可以用的。实在没有显卡，那只能做简单的小数据量的实验，效果不会太好。

在Ubuntu16.04上可以采用以下方法安装显卡驱动，这种方式比较稳定。打开“SystemSettings”——“Software&Updates” —— “AdditionalDrivers”，联网状态会自动搜索可用的显卡驱动，选择可用的版本，点击“ApplyChanges”即可。可能重启动后显卡驱动才能生效。

接下来安装CUDAToolkit。因为最新的CUDA是9.0版本，但是PyTorch只能支持到8.0。所以转到该网址“https://developer.nvidia.com/cuda-80-ga2-download-archive”，选择对应的参数，下方会有对应的CUDA文件。例如，下图是我选择的版本。选择deb文件，发现有1.9G大小，下载下来，按照baseinstaller的指示来完成安装。附加的cuBLAS也可以下载下来安装上。

CUDA安装完成后，在主目录下打开“.bachrc”文件，在末尾添加如下代码：

export PATH=/usr/local/cuda-8.0/bin${PATH:+:${PATH}}

export LD_LIBRARY_PATH=/usr/local/cuda-8.0/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}

export LD_LIBRARY_PATH=/usr/local/cuda-8.0/lib${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}

 

 

 

4. 运行PyTorch的安装命令

如果你和我一样，采用8.0CUDA，2.7版本Python，可以运行以下命令：

conda install pytorch torchvision cuda80 -c soumith

如果没有显卡，2.7版本Python，可以这样：

conda install pytorch torchvision -c soumith

 

5. 验证安装是否成功

要显示显卡信息，在终端输入：

sudo lshw -c video

 

要显示CUDA信息，在终端输入：

nvcc -V

 

查看Phthon版本，在终端输入：

python --version

 

验证pytorch是否安装成功，在终端输入：

python

此时进入python环境。然后，继续输入

import torch

import torchvision

不报错就表明安装成功。

 

 

 

Deep Learning（深度学习）学习笔记整理系列
zouxy09@qq.com
http://blog.csdn.net/zouxy09
作者：Zouxy
version 1.0  2013-04-08
 
声明：
1）该Deep Learning的学习系列是整理自网上很大牛和机器学习专家所无私奉献的资料的。具体引用的资料请看参考文献。具体的版本声明也参考原文献。
2）本文仅供学术交流，非商用。所以每一部分具体的参考资料并没有详细对应。如果某部分不小心侵犯了大家的利益，还望海涵，并联系博主删除。
3）本人才疏学浅，整理总结的时候难免出错，还望各位前辈不吝指正，谢谢。
4）阅读本文需要机器学习、计算机视觉、神经网络等等基础（如果没有也没关系了，没有就看看，能不能看懂，呵呵）。
5）此属于第一版本，若有错误，还需继续修正与增删。还望大家多多指点。大家都共享一点点，一起为祖国科研的推进添砖加瓦（呵呵，好高尚的目标啊）。请联系：zouxy09@qq.com
 

目录：
一、概述
二、背景
三、人脑视觉机理
四、关于特征
       4.1、特征表示的粒度
       4.2、初级（浅层）特征表示
       4.3、结构性特征表示
       4.4、需要有多少个特征？
五、Deep Learning的基本思想
六、浅层学习（Shallow Learning）和深度学习（Deep Learning）
七、Deep learning与Neural Network
八、Deep learning训练过程
       8.1、传统神经网络的训练方法
       8.2、deep learning训练过程
九、Deep Learning的常用模型或者方法
       9.1、AutoEncoder自动编码器
       9.2、Sparse Coding稀疏编码
       9.3、Restricted Boltzmann Machine(RBM)限制波尔兹曼机
       9.4、Deep BeliefNetworks深信度网络
       9.5、Convolutional Neural Networks卷积神经网络
十、总结与展望
十一、参考文献和Deep Learning学习资源
 
一、概述
       Artificial Intelligence，也就是人工智能，就像长生不老和星际漫游一样，是人类最美好的梦想之一。虽然计算机技术已经取得了长足的进步，但是到目前为止，还没有一台电脑能产生“自我”的意识。是的，在人类和大量现成数据的帮助下，电脑可以表现的十分强大，但是离开了这两者，它甚至都不能分辨一个喵星人和一个汪星人。
       图灵（图灵，大家都知道吧。计算机和人工智能的鼻祖，分别对应于其著名的“图灵机”和“图灵测试”）在 1950 年的论文里，提出图灵试验的设想，即，隔墙对话，你将不知道与你谈话的，是人还是电脑。这无疑给计算机，尤其是人工智能，预设了一个很高的期望值。但是半个世纪过去了，人工智能的进展，远远没有达到图灵试验的标准。这不仅让多年翘首以待的人们，心灰意冷，认为人工智能是忽悠，相关领域是“伪科学”。
        但是自 2006 年以来，机器学习领域，取得了突破性的进展。图灵试验，至少不是那么可望而不可及了。至于技术手段，不仅仅依赖于云计算对大数据的并行处理能力，而且依赖于算法。这个算法就是，Deep Learning。借助于 Deep Learning 算法，人类终于找到了如何处理“抽象概念”这个亘古难题的方法。



       2012年6月，《纽约时报》披露了Google Brain项目，吸引了公众的广泛关注。这个项目是由著名的斯坦福大学的机器学习教授Andrew Ng和在大规模计算机系统方面的世界顶尖专家JeffDean共同主导，用16000个CPU Core的并行计算平台训练一种称为“深度神经网络”（DNN，Deep Neural Networks）的机器学习模型（内部共有10亿个节点。这一网络自然是不能跟人类的神经网络相提并论的。要知道，人脑中可是有150多亿个神经元，互相连接的节点也就是突触数更是如银河沙数。曾经有人估算过，如果将一个人的大脑中所有神经细胞的轴突和树突依次连接起来，并拉成一根直线，可从地球连到月亮，再从月亮返回地球），在语音识别和图像识别等领域获得了巨大的成功。
       项目负责人之一Andrew称：“我们没有像通常做的那样自己框定边界，而是直接把海量数据投放到算法中，让数据自己说话，系统会自动从数据中学习。”另外一名负责人Jeff则说：“我们在训练的时候从来不会告诉机器说：‘这是一只猫。’系统其实是自己发明或者领悟了“猫”的概念。”
  
       2012年11月，微软在中国天津的一次活动上公开演示了一个全自动的同声传译系统，讲演者用英文演讲，后台的计算机一气呵成自动完成语音识别、英中机器翻译和中文语音合成，效果非常流畅。据报道，后面支撑的关键技术也是DNN，或者深度学习（DL，DeepLearning）。
       2013年1月，在百度年会上，创始人兼CEO李彦宏高调宣布要成立百度研究院，其中第一个成立的就是“深度学习研究所”（IDL，Institue of Deep Learning）。
 
       为什么拥有大数据的互联网公司争相投入大量资源研发深度学习技术。听起来感觉deeplearning很牛那样。那什么是deep learning？为什么有deep learning？它是怎么来的？又能干什么呢？目前存在哪些困难呢？这些问题的简答都需要慢慢来。咱们先来了解下机器学习（人工智能的核心）的背景。
 
二、背景
      机器学习（Machine Learning）是一门专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能的学科。机器能否像人类一样能具有学习能力呢？1959年美国的塞缪尔(Samuel)设计了一个下棋程序，这个程序具有学习能力，它可以在不断的对弈中改善自己的棋艺。4年后，这个程序战胜了设计者本人。又过了3年，这个程序战胜了美国一个保持8年之久的常胜不败的冠军。这个程序向人们展示了机器学习的能力，提出了许多令人深思的社会问题与哲学问题（呵呵，人工智能正常的轨道没有很大的发展，这些什么哲学伦理啊倒发展的挺快。什么未来机器越来越像人，人越来越像机器啊。什么机器会反人类啊，ATM是开第一枪的啊等等。人类的思维无穷啊）。
        机器学习虽然发展了几十年，但还是存在很多没有良好解决的问题：



        例如图像识别、语音识别、自然语言理解、天气预测、基因表达、内容推荐等等。目前我们通过机器学习去解决这些问题的思路都是这样的（以视觉感知为例子）：



        从开始的通过传感器（例如CMOS）来获得数据。然后经过预处理、特征提取、特征选择，再到推理、预测或者识别。最后一个部分，也就是机器学习的部分，绝大部分的工作是在这方面做的，也存在很多的paper和研究。
        而中间的三部分，概括起来就是特征表达。良好的特征表达，对最终算法的准确性起了非常关键的作用，而且系统主要的计算和测试工作都耗在这一大部分。但，这块实际中一般都是人工完成的。靠人工提取特征。



       截止现在，也出现了不少NB的特征（好的特征应具有不变性（大小、尺度和旋转等）和可区分性）：例如Sift的出现，是局部图像特征描述子研究领域一项里程碑式的工作。由于SIFT对尺度、旋转以及一定视角和光照变化等图像变化都具有不变性，并且SIFT具有很强的可区分性，的确让很多问题的解决变为可能。但它也不是万能的。



       然而，手工地选取特征是一件非常费力、启发式（需要专业知识）的方法，能不能选取好很大程度上靠经验和运气，而且它的调节需要大量的时间。既然手工选取特征不太好，那么能不能自动地学习一些特征呢？答案是能！Deep Learning就是用来干这个事情的，看它的一个别名UnsupervisedFeature Learning，就可以顾名思义了，Unsupervised的意思就是不要人参与特征的选取过程。
       那它是怎么学习的呢？怎么知道哪些特征好哪些不好呢？我们说机器学习是一门专门研究计算机怎样模拟或实现人类的学习行为的学科。好，那我们人的视觉系统是怎么工作的呢？为什么在茫茫人海，芸芸众生，滚滚红尘中我们都可以找到另一个她（因为，你存在我深深的脑海里，我的梦里 我的心里 我的歌声里……）。人脑那么NB，我们能不能参考人脑，模拟人脑呢？（好像和人脑扯上点关系的特征啊，算法啊，都不错，但不知道是不是人为强加的，为了使自己的作品变得神圣和高雅。）
        近几十年以来，认知神经科学、生物学等等学科的发展，让我们对自己这个神秘的而又神奇的大脑不再那么的陌生。也给人工智能的发展推波助澜。
 
三、人脑视觉机理
       1981 年的诺贝尔医学奖，颁发给了 David Hubel（出生于加拿大的美国神经生物学家） 和TorstenWiesel，以及 Roger Sperry。前两位的主要贡献，是“发现了视觉系统的信息处理”：可视皮层是分级的：



        我们看看他们做了什么。1958 年，DavidHubel 和Torsten Wiesel 在 JohnHopkins University，研究瞳孔区域与大脑皮层神经元的对应关系。他们在猫的后脑头骨上，开了一个3 毫米的小洞，向洞里插入电极，测量神经元的活跃程度。
      然后，他们在小猫的眼前，展现各种形状、各种亮度的物体。并且，在展现每一件物体时，还改变物体放置的位置和角度。他们期望通过这个办法，让小猫瞳孔感受不同类型、不同强弱的刺激。
       之所以做这个试验，目的是去证明一个猜测。位于后脑皮层的不同视觉神经元，与瞳孔所受刺激之间，存在某种对应关系。一旦瞳孔受到某一种刺激，后脑皮层的某一部分神经元就会活跃。经历了很多天反复的枯燥的试验，同时牺牲了若干只可怜的小猫，David Hubel 和Torsten Wiesel 发现了一种被称为“方向选择性细胞（Orientation Selective Cell）”的神经元细胞。当瞳孔发现了眼前的物体的边缘，而且这个边缘指向某个方向时，这种神经元细胞就会活跃。
       这个发现激发了人们对于神经系统的进一步思考。神经-中枢-大脑的工作过程，或许是一个不断迭代、不断抽象的过程。
       这里的关键词有两个，一个是抽象，一个是迭代。从原始信号，做低级抽象，逐渐向高级抽象迭代。人类的逻辑思维，经常使用高度抽象的概念。
        例如，从原始信号摄入开始（瞳孔摄入像素 Pixels），接着做初步处理（大脑皮层某些细胞发现边缘和方向），然后抽象（大脑判定，眼前的物体的形状，是圆形的），然后进一步抽象（大脑进一步判定该物体是只气球）。



      这个生理学的发现，促成了计算机人工智能，在四十年后的突破性发展。
      总的来说，人的视觉系统的信息处理是分级的。从低级的V1区提取边缘特征，再到V2区的形状或者目标的部分等，再到更高层，整个目标、目标的行为等。也就是说高层的特征是低层特征的组合，从低层到高层的特征表示越来越抽象，越来越能表现语义或者意图。而抽象层面越高，存在的可能猜测就越少，就越利于分类。例如，单词集合和句子的对应是多对一的，句子和语义的对应又是多对一的，语义和意图的对应还是多对一的，这是个层级体系。
      敏感的人注意到关键词了：分层。而Deep learning的deep是不是就表示我存在多少层，也就是多深呢？没错。那Deep learning是如何借鉴这个过程的呢？毕竟是归于计算机来处理，面对的一个问题就是怎么对这个过程建模？
       因为我们要学习的是特征的表达，那么关于特征，或者说关于这个层级特征，我们需要了解地更深入点。所以在说Deep Learning之前，我们有必要再啰嗦下特征（呵呵，实际上是看到那么好的对特征的解释，不放在这里有点可惜，所以就塞到这了）。


下续

”《1天搞懂深度学习》，300多页的ppt，台湾李宏毅教授写的，非常棒。不夸张地说，是我看过最系统，也最通俗易懂的，关于深度学习的文章。“
PPT下载地址

废话少说，先上干货，整个PPT的思维导图如下：



 

深度学习概论

介绍深度学习

作者非常浅显的指出机器（深度）学习过程非常简单，分为定义方法、判断方法的优劣、挑选出最佳的方法。



对于深度学习，首先第一步定义方法 - 神经网络。深度学习顾名思义是指多层的神经网络。

神经网络的思想来源于对于人脑的生理上的研究，人脑由数亿个神经元组成，神经元通过轴突互相连接通信。神经网络和人脑类似，存在多个层级（layer），每个层级都有多个节点（神经元），层级和层级之间相互连接（轴突），最终输出结果。

对于神经网络的计算能力可以理解为通过一层层Layer的计算归纳，逐步的将抽象的原始数据变的具体。以图片识别为例，输入是一个个像素点，经过每层神经网络，逐步变化成为线、面、对象的概念，然后机器有能力能够识别出来。



 

 第二步，评估方法的优劣。

Loss function是用于评估方法优劣，通常我们用学习出来的参数对测试数据进行计算，得出对应的预测（y）然后和真实的测试数据的目标值（t）进行比对，y和t之间的差距往往就是Loss。那么评估一个算法的好坏，就是要尽可能的降低Loss。

 

第三步，如何获得最佳的学习方法

获得最佳的学习是采用梯度下降算法，作者也提到梯度下降算法存在局部最优解的问题。人们往往认为机器无所不能，实际上更像是在一个地图上面拓荒，对周边一无所知。神经网络计算梯度的算法是反向传播算法，简称BP。



 

Why Deep？

作者首先指出越多的参数往往带来越好的预测能力，所以神经网络往往参数越多越好。那么如果是同样的参数情况下，为什么层级较多的表现会更好呢？



 

作者认为深度网络可以带来模块化的好处，随着网络的层级，神经网络会将像素元素逐渐归纳出一些基本的特征，进而变成纹理，进而变成对象。



 

训练方法



 

作者总结下来训练过程中会发现了两种情况：

1. 没有办法得到很好的训练结果 ---》 重新选择训练方式

2. 没有办法得到很好的测试结果 ---》 往往由于过度拟合导致，需要重新定义方法

 

 

优化训练方法的手段：

1. 选择合适的Loss function：使用Cross Entropy效果要优于Mean Square Error

2. Mini-batch: 每次训练使用少量数据而不是全量数据效率更高

3. Activation Function：使用ReLU替代Sigmoid可以解决梯度消失的问题，可以训练更深的神经网络

4. Adaptive Learning Rate：可以随着迭代不断自我调整，提高学习效率

5. Momentum: 可以一定程度上避免陷入局部最低点的问题

 



避免过度拟合（overfitting）的方法：

1. Early Stopping：使用cross validation的方式，不断对validation data进行检验，一旦发现预测精度下降则停止。

2. Weight Decay：参数正则化的一种方式？

3. Dropout：通过随机去掉一些节点的连接达到改变网络形式，所以会产生出多种网络形态，然后汇集得到一个最佳结果

4. Network Structure: 例如CNN等其他形态的网络

 

神经网络变体

Convolutional Neural Network (CNN)



通常情况下，一个CNN包含多次的卷积、池化，然后Flatten，最终再通过一个深度神经网络进行学习预测。CNN在图像、语音识别取得非常好的成绩，核心的想法在于一些物体的特征往往可以提取出来，并且可能出现在图片的任何位置，而且通过卷积、池化可以大大减少输入数据，加快训练效率。

 

Recurrent Neural Network (RNN)



RNN的想法是可以将hidden layer的数据存储下来，然后作为输入给下一个网络学习。这种网络的想法可以解决自然语言中前后词语是存在关联性的，所以RNN可以把这些关联性放到网络中进行学习。

 

其他前沿技术

Ultra Deep Network：2015年出现了152层的Residual Net实现了图片3.57%错误率



 

Reinforcement Learning: 通过奖励机制强化学习，并且做出相应的动作



Unsupervised Learning:

1. Deep Style



2. 生成图片



 

3. 无需人工介入理解文字的含义

 

作者： 大树先生
博客： http://blog.csdn.net/koala_tree
知乎：https://www.zhihu.com/people/dashuxiansheng
GitHub：https://github.com/MrLeeTree
2018 年 4 月 5 日

本文发布在知乎的专栏中，为了方便习惯使用CSDN的用户，更改了下面文章的直链到CSDN中的笔记。

同时，也欢迎大家关注我的知乎：大树先生，会不定期有新的干货更新。一起学习一起进步呀！_
DeepLearning.ai简介
deepLearning.ai 是由吴恩达在Coursera上推出的一个教授深度学习的专题系列课程。整个专题共包括五门课程：01.神经网络和深度学习；02.改善深层神经网络-超参数调试、正则化以及优化；03.结构化机器学习项目；04.卷积神经网络；05.序列模型。
课程描述：
请允许我引用官网的介绍：
如果你想进入人工智能，这个课程专题将会给你带来帮助。深度学习是科技领域最受追捧的技能之一，我们将帮助你进行学习这些知识。

在五门课程中，你将学习深度学习的基础知识，了解如何构建神经网络，并学习如何实践机器学习项目，学习卷积网络，RNN，LSTM，Adam，Dropout，BatchNorm，Xavier/He初始化等等。你将从事医疗，自动驾驶，手语阅读，音乐创作和自然语言处理的案例研究。届时，你不但会掌握深度学习的基础理论，还会看到它在工业中的应用。上面的这些想法都将在Python和TensorFlow的练习中所实现。另外，你还将听到许多深度学习的高层领导，他们将与你分享他们的个人故事，并为你提供职业建议。

AI正在对各行各业产生着巨大的影响，在完成此专题的课程后，你可能会找到创造性的方法将其应用到你的工作中。我们将帮助你掌握深度学习，了解如何使用它，帮助你建立AI的职业生涯。
课程内容：
Coursera：官方课程安排（英文字幕）。付费用户在课程作业中可以获得作业评分，每门课程修完可获得结课证书；不付费可以免费上课、做课后作业，但没有作业评分，结课无法获得课程证书。
网易云课堂：网易引进的正版授权（中英文字幕）。课程完全免费，但没有课后作业，没有课程证书。
推荐指数：
4.5 星（个人意见）

目前已有的深度学习课程中难得的好课程。
个人提炼笔记及编程作业总集
下面是个人在上课的过程中，从中提炼的要点笔记，以及自己完成的课后编程作业。课程为主，练习为辅，笔记做巩固。所以建议大家以这样的核心思想来进行这门课程的学习。废话不多说，上笔记！
01. 神经网络和深度学习
神经网络概论
主要介绍：神经网络的概念、深度学习兴起的原因、课程内容等；
笔记：介绍性课程，没有做相应的笔记。
编程作业：无
神经网络基础
主要介绍：logistic回归、损失函数、梯度下降、计算向量化、代价函数等；
笔记：DeepLearning.ai 课程提炼笔记（1-2）神经网络和深度学习 — 神经网络基础
编程作业：使用Numpy的基础Python、logistic回归
浅层神经网络
主要介绍：神经网络、激活函数、梯度下降法、反向传播、随机初始化等；
笔记：DeepLearning.ai 课程提炼笔记（1-3）神经网络和深度学习 — 浅层神经网络
编程作业：使用浅层神经网络实现平面数据分类
深层神经网络
主要介绍：深度神经网络、DNN的前向和反向传播、参数和超参数等；
笔记：DeepLearning.ai 课程提炼笔记（1-4）神经网络和深度学习 — 深层神经网络
编程作业：构建DNN、DNN用于图片分类
02. 改善深层神经网络：超参数调试、正则化以及优化
深度学习的实践方面
主要介绍：训练测试集划分、偏差和方差、正则化、Dropout、输入归一化、梯度消失与梯度爆炸、权重初始化、梯度检验等；
笔记：DeepLearning.ai 课程提炼笔记（2-1）改善深层神经网络 — 深度学习的实践方面
编程作业：初始化、正则化、梯度检验
优化算法
主要介绍：Mini-batch梯度下降、指数加权平均、Momentum梯度下降、RMSprop、Adam优化算法、衰减学习率、局部最优等；
笔记：DeepLearning.ai 课程提炼笔记（2-2）改善深层神经网络 — 优化算法
编程作业：多种优化算法
超参数调试和Batch Norm及框架
主要介绍：超参数的调试、Batch Normalization、Softmax、TensorFlow程序框架等；
笔记：DeepLearning.ai 课程提炼笔记（2-3）改善深层神经网络 — 超参数调试和Batch Norm
编程作业：TensorFlow简单教程
03. 结构化机器学习项目
机器学习策略（1）
主要介绍：正交化、单一数字评估指标、训练/开发/测试集、偏差和方差、改善模型的表现等；
笔记：DeepLearning.ai 课程提炼笔记（3-1）结构化机器学习项目 — 机器学习策略(1)
编程作业：无
机器学习策略（2）
主要介绍：误差分析、错误样本清除、数据分布不匹配问题、迁移学习、多任务学习、端到端的深度学习等；
笔记：DeepLearning.ai 课程提炼笔记（3-2）结构化机器学习项目 — 机器学习策略(2)
编程作业：无
04. 卷积神经网络
卷积神经网络基础
主要介绍：计算机视觉、边缘检测、卷积神经网络、Padding、卷积、池化等；
笔记：DeepLearning.ai 课程提炼笔记（4-1）卷积神经网络 — 卷积神经网络基础
编程作业：构建卷积神经网络、手势识别应用
卷积神经网络实例模型
主要介绍：AlexNet、LeNet、VGG、ResNet、Inception Network、1乘1卷积、迁移学习、数据扩充等；
笔记：DeepLearning.ai 课程提炼笔记（4-2）卷积神经网络 — 深度卷积模型
编程作业：Keras教程-the Happy House、Residual Networks
目标检测
主要介绍：目标定位、目标检测、Bounding Box预测、交并比、非最大值抑制NMS、Anchor box、YOLO算法、候选区域region proposals等；
笔记：DeepLearning.ai 课程提炼笔记（4-3）卷积神经网络 — 目标检测
编程作业：自动驾驶-汽车检测
特殊应用：人脸识别和神经风格迁移
主要介绍：人脸识别、one-shot学习、Siamese网络、Triplet损失、风格迁移、内容损失、风格损失、1D-3D卷积等；
笔记：DeepLearning.ai 课程提炼笔记（4-4）卷积神经网络 — 人脸识别和神经风格迁移
编程作业：人脸识别-Happy House、神经风格迁移-深度学习和艺术
05. 序列模型
循环神经网络
主要介绍：循环神经网络、不同类型的RNN、语言模型、新序列采样、RNN梯度消失、GRU、LSTM、双向RNN、深层RNNs等；
笔记：DeepLearning.ai 课程提炼笔记（5-1）序列模型 — 循环神经网络
编程作业：构建RNN、字母级的语言模型-Dinosaurus land、用LSTM即兴创作Jazz
自然语言处理和词嵌入
主要介绍：词汇表征、Word Embedding、嵌入矩阵、Word2Vec、负采样、GloVe词向量、情感分类、词嵌入消除偏见等；
笔记：DeepLearning.ai 课程提炼笔记（5-2）序列模型 — NLP和词嵌入
编程作业：词向量运算、Emojify
序列模型和注意力机制
主要介绍：序列到序列模型、集束搜索（Beam search）、集束搜索误差分析、Bleu得分、注意力模型、注意力权重、语音识别、触发字检测等；
笔记：DeepLearning.ai 课程提炼笔记（5-3）序列模型 — 序列模型和注意力机制
编程作业：机器翻译、触发字检测
总结
整个专题课程的学习跨度比较长，在上课的过程中不断地思考做笔记的过程也确实缓慢而辛苦，但一路下来确实有了很大的收获。期初只是为了做一个自己后期进行复习的笔记，但后来感觉记录的笔记还算整洁，所以就放到知乎上和大家一起分享，希望我的这些能够给更多有同样需求的同学和朋友们带来小小的帮助。
最后
笔记属于课程的提炼，虽然总体来说已经较为全面了，但限于个人的能力和精力，笔记中难免会出现遗漏或者错误的地方。如果大家在阅读笔记的时候，发现了错误的地方以及觉得比较重要但我没有记录的内容，那么欢迎大家在下方评论留言或者私信给我，我将会及时做更正和补充，感谢支持。
最后，感谢每位点赞的知友。同时，也欢迎其他平台的转载和分享，一起进步呀_!