Python微信订餐小程序课程视频

https://edu.csdn.net/course/detail/36074

Python实战量化交易理财系统

https://edu.csdn.net/course/detail/35475

• 终于考上人工智能的研究僧啦，不知道机器学习和深度学习有啥区别，感觉一切都是深度学习
• 挖槽，听说学长已经调了10个月的参数准备发有2000亿参数的T9开天霹雳模型，我要调参发T10准备拿个Best Paper

现在搞传统机器学习相关的研究论文确实占比不太高，有的人吐槽深度学习就是个系统工程而已，没有数学含金量。

但是无可否认的是深度学习是在太好用啦，极大地简化了传统机器学习的整体算法分析和学习流程，更重要的是在一些通用的领域任务刷新了传统机器学习算法达不到的精度和准确率。

深度学习这几年特别火，就像5年前的大数据一样，不过深度学习其主要还是属于机器学习的范畴领域内，所以这篇文章里面我们来唠一唠机器学习和深度学习的算法流程区别。

1、机器学习的算法流程

实际上机器学习研究的就是数据科学（听上去有点无聊），下面是机器学习算法的主要流程：主要从1）数据集准备、2）探索性的对数据进行分析、3）数据预处理、4）数据分割、5）机器学习算法建模、6）选择机器学习任务，当然到最后就是评价机器学习算法对实际数据的应用情况如何。

1.1 数据集

首先我们要研究的是数据的问题，数据集是构建机器学习模型流程的起点。简单来说，数据集本质上是一个M×N矩阵，其中M代表列（特征），N代表行（样本）。

列可以分解为X和Y，X是可以指特征、独立变量或者是输入变量。Y也是可以指类别标签、因变量和输出变量。

1.2 数据分析

进行探索性数据分析（Exploratory data analysis, EDA）是为了获得对数据的初步了解。EDA主要的工作是：对数据进行清洗，对数据进行描述（描述统计量，图表），查看数据的分布，比较数据之间的关系，培养对数据的直觉，对数据进行总结等。

探索性数据分析方法简单来说就是去了解数据，分析数据，搞清楚数据的分布。主要注重数据的真实分布，强调数据的可视化，使分析者能一目了然看出数据中隐含的规律，从而得到启发，以此帮助分析者找到适合数据的模型。

在一个典型的机器学习算法流程和数据科学项目里面，我做的第一件事就是通过 “盯住数据”，以便更好地了解数据。个人通常使用的三大EDA方法包括：

• 描述性统计：平均数、中位数、模式、标准差。

• 数据可视化：热力图（辨别特征内部相关性）、箱形图（可视化群体差异）、散点图（可视化特征之间的相关性）、主成分分析（可视化数据集中呈现的聚类分布）等。

• 数据整形：对数据进行透视、分组、过滤等。

1.3 数据预处理

数据预处理，其实就是对数据进行清理、数据整理或普通数据处理。指对数据进行各种检查和校正过程，以纠正缺失值、拼写错误、使数值正常化/标准化以使其具有可比性、转换数据(如对数转换)等问题。

例如对图像进行resize成统一的大小或者分辨率。

数据的质量将对机器学习算法模型的质量好坏产生很大的影响。因此，为了达到最好的机器学习模型质量，传统的机器学习算法流程中，其实很大一部分工作就是在对数据进行分析和处理。

一般来说，数据预处理可以轻松地占到机器学习项目流程中80%的时间，而实际的模型建立阶段和后续的模型分析大概仅占到剩余的20%。

1.4 数据分割

训练集 & 测试集

在机器学习模型的开发流程中，希望训练好的模型能在新的、未见过的数据上表现良好。为了模拟新的、未见过的数据，对可用数据进行数据分割，从而将已经处理好的数据集分割成2部分：训练集合测试集。

第一部分是较大的数据子集，用作训练集（如占原始数据的80%）；第二部分通常是较小的子集，用作测试集（其余20%的数据）。

接下来，利用训练集建立预测模型，然后将这种训练好的模型应用于测试集（即作为新的、未见过的数据）上进行预测。根据模型在测试集上的表现来选择最佳模型，为了获得最佳模型，还可以进行超参数优化。

训练集 & 验证集 & 测试集

另一种常见的数据分割方法是将数据分割成3部分：1）训练集，2）验证集和3）测试集。

训练集用于建立预测模型，同时对验证集进行评估，据此进行预测，可以进行模型调优（如超参数优化），并根据验证集的结果选择性能最好的模型。

验证集的操作方式跟训练集类似。不过值得注意的是，测试集不参与机器学习模型的建立和准备，是机器学习模型训练过程中单独留出的样本集，用于调整模型的超参数和对模型的能力进行初步评估。通常边训练边验证，这里的验证就是用验证集来检验模型的初步效果。

交叉验证

实际上数据是机器学习流程中最宝贵的，为了更加经济地利用现有数据，通常使用N倍交叉验证，将数据集分割成N个。在这样的N倍数据集中，其中一个被留作测试数据，而其余的则被用作建立模型的训练数据。通过反复交叉迭代的方式来对机器学习流程进行验证。

这种交叉验证的方法在机器学习流程中被广泛的使用，但是深度学习中使用得比较少哈。

1.5 机器学习算法建模

下面是最有趣的部分啦，数据筛选和处理过程其实都是很枯燥乏味的，现在可以使用精心准备的数据来建模。根据taget变量（通常称为Y变量）的数据类型，可以建立一个分类或回归模型。

机器学习算法

机器学习算法可以大致分为以下三种类型之一：

• 监督学习：是一种机器学习任务，建立输入X和输出Y变量之间的数学（映射）关系。这样的(X、Y)对构成了用于建立模型的标签数据，以便学习如何从输入中预测输出。
• 无监督学习：是一种只利用输入X变量的机器学习任务。X变量是未标记的数据，学习算法在建模时使用的是数据的固有结构。
• 强化学习：是一种决定下一步行动方案的机器学习任务，它通过试错学习（trial and error learning）来实现这一目标，努力使reward回报最大化。

参数调优

传说中的调参侠主要干的就是这个工作啦。超参数本质上是机器学习算法的参数，直接影响学习过程和预测性能。由于没有万能的超参数设置，可以普遍适用于所有数据集，因此需要进行超参数优化。

以随机森林为例。在使用randomForest时，通常会对两个常见的超参数进行优化，其中包括mtry和ntree参数。mtry（maxfeatures）代表在每次分裂时作为候选变量随机采样的变量数量，而ntree（nestimators）代表要生长的树的数量。

另一种在10年前仍然非常主流的机器学习算法是支持向量机SVM。需要优化的超参数是径向基函数(RBF)内核的C参数和gamma参数。C参数是一个限制过拟合的惩罚项，而gamma参数则控制RBF核的宽度。

调优通常是为了得出超参数的较佳值集，很多时候不要去追求找到超参一个最优值，其实调参侠只是调侃调侃，真正需要理解掌握算法原理，找到适合数据和模型的参数就可以啦。

特征选择

特征选择从字面上看就是从最初的大量特征中选择一个特征子集的过程。除了实现高精度的模型外，机器学习模型构建最重要的一个方面是获得可操作的见解，为了实现这一目标，能够从大量的特征中选择出重要的特征子集非常重要。

特征选择的任务本身就可以构成一个全新的研究领域，在这个领域中，大量的努力都是为了设计新颖的算法和方法。从众多可用的特征选择算法中，一些经典的方法是基于模拟退火和遗传算法。
 
除此之外，还有大量基于进化算法（如粒子群优化、蚁群优化等）和随机方法（如蒙特卡洛）的方法。

1.6 机器学习任务

在监督学习中，两个常见的机器学习任务包括分类和回归。

分类

一个训练好的分类模型将一组变量作为输入，并预测输出的类标签。下图是由不同颜色和标签表示的三个类。每一个小的彩色球体代表一个数据样本。三类数据样本在二维中的显示，这种可视化图可以通过执行PCA分析并显示前两个主成分（PC）来创建；或者也可以选择两个变量的简单散点图可视化。

性能指标

如何知道训练出来的机器学习模型表现好或坏？就是使用性能评价指标（metrics），一些常见的评估分类性能的指标包括准确率（AC）、灵敏度（SN）、特异性（SP）和马太相关系数（MCC）。

回归

最简单的回归模式，可以通过以下简单等式很好地总结：Y = f(X)。其中，Y对应量化输出变量，X指输入变量，f指计算输出值作为输入特征的映射函数（从机器学习模型中得到）。上面的回归例子公式的实质是，如果X已知，就可以推导出Y。一旦Y被计算（预测）出来，一个流行的可视化方式是将实际值与预测值做一个简单的散点图，如下图所示。

对回归模型的性能进行评估，以评估拟合模型可以准确预测输入数据值的程度。评估回归模型性能的常用指标是确定系数（R²）。此外，均方误差（MSE）以及均方根误差（RMSE）也是衡量残差或预测误差的常用指标。

2、深度学习算法流程

深度学习实际上是机器学习中的一种范式，所以他们的主要流程是差不多的。深度学习则是优化了数据分析，建模过程的流程也是缩短了，由神经网络统一了原来机器学习中百花齐放的算法。

在深度学习正式大规模使用之前呢，机器学习算法流程中药花费很多时间去收集数据，然后对数据进行筛选，尝试各种不同的特征提取机器学习算法，或者结合多种不同的特征对数据进行分类和回归。

下面是机器学习算法的主要流程：主要从1）数据集准备、2）数据预处理、3）数据分割、4）定义神经网络模型，5）训练网络。

深度学习不需要我们自己去提取特征，而是通过神经网络自动对数据进行高维抽象学习，减少了特征工程的构成，在这方面节约了很多时间。

但是同时因为引入了更加深、更复杂的网络模型结构，所以调参工作变得更加繁重啦。例如：定义神经网络模型结构、确认损失函数、确定优化器，最后就是反复调整模型参数的过程。

参考文献

• [1] https://github.com/dataprofessor/infographic
• [2] 陈仲铭. 《深度学习：原理与实践》.[M]

此视频资源收集于网络，如有侵权请联系删除！！！
此视频资源仅用作个人学习，请勿用于商业获利，造成后果自负！！！

经历长达近一个月的资源筛选过程终于结束，总共1.5T百度网盘的资源经过：去重、筛选、整理、归档之后一份粗略的Python学习曲线资源已经成型，虽然中间经历了很多坎坷，不过最终还是完成，猪哥也是第一时间与大家分享出来。

资料主要分为两部分：一、各个学习网站论坛等，二、百度云资料。网站论坛资源更新快，可以与大家互动；而百度云资源主要为视频，方便大家下载和在线观看，两种资源结合使用，学习和查找知识更方便！

一、网站论坛学习资源

名称	链接	说明
实验楼	https://www.shiyanlou.com	提供免费的Linux实验环境
Py资源中文大全	http://t.cn/Rq0C0ET	各种python包和管理工具
PEP8 Py编码规范中文版	https://dwz.cn/30uIzs9W	代码规范与基础同样重要
Py Code Examples	https://dwz.cn/dawtruYk	精细到方法级别的代码案例
Py Module of the Week	https://pymotw.com	每篇介绍一个 Py标准库的使用
菜鸟教程	http://t.cn/RLGeMuW	最经典的一个语言教程网站
廖雪峰Py教程	https://dwz.cn/drygpxjk	大牛带你简单快速入门
Py自动化测试博客	https://dwz.cn/raopItkV	一个自动化测试大佬的博客
Py中文学习大本营	http://www.pythondoc.com	一个不错的Flask学习网站
刘江的Django	https://dwz.cn/udQayyZY	最适合入门的Django教程
莫烦Py	https://morvanzhou.github.io	机器学习方面有着不错的造诣
吴恩达机器学习	https://dwz.cn/F8Aad3DY	网易云课堂（中/英字幕）
几个Py练习题	https://dwz.cn/ExJnmwOJ	有几个不错的实用练习题
CheckiO	https://py.checkio.org/	一个学习Py的有趣网站

二、学习曲线

这个学习曲线是我在某马论坛上看到的，觉得不错就推荐给大家，同时也感谢某马的开源免费精神，猪哥也是受益颇多！

三、优质资源

我把这些资源分为了七个不同的阶段，难度是依次递增，其实就是对应上面学习曲线图；

本资源一共800G，永久保存，并且会持续更新，建议大家转发收藏，方便以后查找学习；

这是猪哥推荐的Python学习曲线，基本上是某马的视频教程，这个学习曲线适合零基础的同学：

四、获取方式

1. 链接：https://pan.baidu.com/s/1SzSW7sexDUNZgsvxi7eF-Q 密码：pig6
2. 如果链接失效，大家可以在下方留言告诉猪哥！

五、猪哥有话说

昨天看到一则新闻“19岁少年培训被坑而自杀”，当时真的很愤怒！！！这也使得猪哥更加坚定的坚持免费分享的原则，如果你觉得此文章好请分享给你的每一位朋友：也许你一个不经意的善意之举，却是他人人生的一个转折点。

人工智能的学习算法大家庭

  人工智能 (Artificial Intelligence, AI) 浪潮正在席卷全球，在上一讲中，我们给出了人工智能的定义、话题、四大技术分支、主要应用领域和三种形态：弱人工智能、强人工智能和超级人工智能，让大家了解了人工智能这个耳熟能详的概念。其中，我们区别了弱人工智能和强人工智能的概念：前者让机器具备观察和感知的能力，可以做到一定程度的理解和推理；而强人工智能让机器获得自适应能力，解决一些之前没有遇到过的问题。电影里的人工智能多半都是在描绘强人工智能，而这部分在目前的现实世界里难以真正实现；目前的科研工作主要集中在弱人工智能这部分，并且已经取得了一系列的重大突破。

  在这一讲中，我们打算理一下人工智能的发展历史，以及各个历史阶段当中侧重的不同算法。
  1956年，几个计算机科学家相聚在达特茅斯会议，提出了“人工智能”的概念，梦想着用当时刚刚出现的计算机来构造复杂的、拥有与人类智慧同样本质特性的机器。其后，人工智能就一直萦绕于人们的脑海之中，并在科研实验室中慢慢孵化。之后的几十年，人工智能一直在两极反转，或被称作人类文明耀眼未来的预言，或被当成技术疯子的狂想扔到垃圾堆里。直到2012年之前，这两种声音还在同时存在。
  2012年以后，得益于数据量的上涨、运算力的提升和机器学习新算法——深度学习的出现，人工智能开始大爆发，研究领域也在不断扩大，下图展示了人工智能研究的各个分支，包括计划调度、专家系统、多智能体系统、进化计算、模糊逻辑、机器学习、知识表示、计算机视觉、自然语言处理、推荐系统、机器感知等等。

  诸多媒体流行词汇萦绕在我们耳边，比如人工智能 (Artificial Intelligence)、机器学习 (Machine Learning)、深度学习 (Deep Learning)、强化学习 (Reinforcement Learning)。不少人对这些高频词汇的含义及其背后的关系感到困惑，这一讲中，我们会从它们的发展历程、概念、算法种类进行介绍，并且理清它们之间的关系和区别；具体的算法原理留到之后的推送当中详解。

1. 机器学习

  弱人工智能是如何实现的，“智能”又从何而来呢？这主要归功于一种实现人工智能的方法——机器学习。

1. 机器学习的定义一：机器学习定义的第一类答案是IBM提出的认知计算 (Cognitive Computing)。其目标是构建不需要显式编程的机器（计算机、软件、机器人、网站、移动应用、设备等）。这种机器学习观点可追溯到Arthur Samuel在1959年的定义，“机器学习：让计算机无需显式编程也能学习的研究领域”。Arthur Samuel 是机器学习的创始人之一，在IBM的时候，他开发了一个程序来学习如何在西洋棋棋艺上超过他。
2. 机器学习的定义二：Samuel的定义很好，但可能有点太模糊。1998年，另一位著名的机器学习研究者Tom Mitchell提出了一个更精确的定义，“正确提出的学习问题：如果计算机程序对于任务T的性能度量P通过经验E得到了提高，则认为此程序对经验E进行了学习”。为了阐述清楚，我们举一个例子：在下棋程序中，经验E指的就是程序的上万次的自我联系的经验，任务T就是下棋，性能度量P指的就是在比赛过程中取胜的概率，有了性能指标后，我们就能告诉系统是否学习该经验。
   
3. 机器学习的算法分类：上述定义为机器学习设定了清晰的目标，但是，它们没有告诉我们如何实现该目标，我们应该让定义更明确一些。这就需要第二类定义，这类定义描述了机器学习算法，以下是一些流行的定义。在每种情况下，都会为算法提供一组示例供其学习。
    (1) 监督式学习：为算法提供训练数据，数据中包含每个示例的“正确答案”；例如，一个检测信用卡欺诈的监督学习算法接受一组记录的交易作为输入，对于每笔交易，训练数据都将包含一个表明它是否存在欺诈的标记。
    (2) 无监督学习：该算法在训练数据中寻找结构，比如寻找哪些示例彼此类似，并将它们分组到各个集群中。
4. 机器学习的问题分类：我们希望在机器学习算法分类的基础上更具体一些，一种方法是通过分析机器学习任务能解决的问题类型，对任务进行细化：
    (1) 分类，一种监督学习问题，其中要学习的答案是有限多个可能值之一；例如，在信用卡示例中，该算法必须学习如何在“欺诈”与“诚信”之间找到正确的答案，在仅有两个可能的值时，我们称之为二元分类问题；用于实现分类的常用算法包括：支持向量机 (SVM)、提升 (boosted) 决策树和袋装 (bagged) 决策树、k-最近邻、朴素贝叶斯 (Naïve Bayes)、判别分析、逻辑回归和神经网络。
    (2) 回归，一种监督学习问题，其中要学习的答案是一个连续值。例如，可为算法提供一条房屋销售及其价格的记录，让它学习如何设定房屋价格；常用回归算法包括：线性模型、非线性模型、规则化、逐步回归、提升 (boosted) 和袋装 (bagged) 决策树、神经网络和自适应神经模糊学习。
    (3) 细分（聚类），一种无监督学习问题，其中要学习的结构是一些类似示例的集群。例如，市场细分旨在将客户分组到有类似购买行为的人群中；用于执行聚类的常用算法包括：k-均值和 k-中心点（k-medoids）、层次聚类、高斯混合模型、隐马尔可夫模型、自组织映射、模糊c-均值聚类法和减法聚类。
    (4) 网络分析，一种无监督学习问题，其中要学习的结构是有关网络中的节点的重要性和作用的信息；例如，网页排名算法会分析网页及其超链接构成的网络，并寻找最重要的网页。谷歌等 Web 搜索引擎使用的就是这种算法，其他网络分析问题包括社交网络分析。
   
5. 机器学习工作流及定义三：上述两个定义的问题在于，开发一个机器学习算法并不足以获得一个能学习的系统。诚然，机器学习算法与学习系统之间存在着差距。我给出一个机器学习工作流，如下图所示；机器学习算法被用在工作流的“训练”步骤中，然后它的输出（一个经过训练的模型）被用在工作流的“预测”部分中。好的与差的机器算法之间的区别在于，我们在“预测”步骤中获得的预测质量。这就引出了机器学习的另一个定义：“机器学习的目的是从训练数据中学习，以便对新的、未见过的数据做出尽可能好的预测”。
   

2. 深度学习

  我们将从深度学习的发展历程、深度学习的概念、深度神经网络的分类几个方面来阐述。

1. 深度学习发展历史：
    (1) 1943年，由神经科学家麦卡洛克 (W.S.McCilloch) 和数学家皮兹 (W.Pitts) 在《数学生物物理学公告》上发表论文《神经活动中内在思想的逻辑演算》(A Logical Calculus of the Ideas Immanent in Nervous Activity)。建立了神经网络和数学模型，称为MCP模型。所谓MCP模型，其实是按照生物神经元的结构和工作原理构造出来的一个抽象和简化了的模型，也就诞生了所谓的“模拟大脑”，人工神经网络的大门由此开启。MCP当时是希望能够用计算机来模拟人的神经元反应的过程，该模型将神经元简化为了三个过程：输入信号线性加权，求和，非线性激活（阈值法），如下图所示：
    (2) 1958年，计算机科学家罗森布拉特 (Rosenblatt) 提出了两层神经元组成的神经网络，称之为“感知器” (Perceptrons)，第一次将MCP用于机器学习分类：“感知器”算法算法使用MCP模型对输入的多维数据进行二分类，且能够使用梯度下降法从训练样本中自动学习更新权值。1962年,该方法被证明为能够收敛，理论与实践效果引起第一次神经网络的浪潮。
    (3) 1969年，纵观科学发展史，无疑都是充满曲折的，深度学习也毫不例外。1969年，美国数学家及人工智能先驱Marvin Minsky在其著作中证明了感知器本质上是一种线性模型 (Linear Model)，只能处理线性分类问题，就连最简单的亦或 (XOR) 问题都无法正确分类。这等于直接宣判了感知器的死刑，神经网络的研究也陷入了将近20年的停滞。
    (4) 1986年，由神经网络之父Geoffrey Hinton在1986年发明了适用于多层感知器 (MLP) 的反向传播BP (Backpropagation) 算法，并采用Sigmoid进行非线性映射，有效解决了非线性分类和学习的问题。该方法引起了神经网络的第二次热潮。
   
    Sigmoid 函数是一个在生物学中常见的S型的函数（S型生长曲线）。在信息科学中，由于其单增以及反函数单增等性质，常被用作神经网络的阈值函数，将变量映射到[0, 1]：$Sigmoid(x)=\frac{1}{1+e^{-x}}$
    (5) 90年代时期，1991年BP算法被指出存在梯度消失问题，也就是说在误差梯度后项传递的过程中，后层梯度以乘性方式叠加到前层，由于Sigmoid函数的饱和特性，后层梯度本来就小，误差梯度传到前层时几乎为0，因此无法对前层进行有效的学习，该问题直接阻碍了深度学习的进一步发展；此外90年代中期，支持向量机 (SVM) 算法诞生等各种浅层机器学习模型被提出，SVM也是一种有监督的学习模型，应用于模式识别，分类以及回归分析等。支持向量机以统计学为基础，和神经网络有明显的差异，支持向量机等算法的提出再次阻碍了深度学习的发展。
    (6) 2006年——2012年（发展期），2006年，加拿大多伦多大学教授、机器学习领域泰斗、神经网络之父——Geoffrey Hinton和他的学生Ruslan Salakhutdinov在顶尖学术刊物《科学》上发表了一篇文章，该文章提出了深层网络训练中梯度消失问题的解决方案：无监督预训练对权值进行初始化+有监督训练微调。斯坦福大学、纽约大学、加拿大蒙特利尔大学等成为研究深度学习的重镇，至此开启了深度学习在学术界和工业界的浪潮。2011年，修正线性单元 (Rectified Linear Unit, ReLU) 激活函数被提出，该激活函数能够有效的抑制梯度消失问题：$ReLU(x)=max(0,x)$
    2011年以来，微软首次将深度学习应用在语音识别上，取得了重大突破。微软研究院和Google的语音识别研究人员先后采用深度神经网络 (DNN) 技术降低语音识别错误率20％~30％，是语音识别领域十多年来最大的突破性进展。2012年，DNN技术在图像识别领域取得惊人的效果，在ImageNet评测上将错误率从26％降低到15％。在这一年，DNN还被应用于制药公司的DrugeActivity预测问题，并获得世界最好成绩。
   
    (7) 2012年——2017年（爆发期），2012年，Hinton课题组为了证明深度学习的潜力，首次参加ImageNet图像识别比赛，其通过构建的卷积神经网络 (CNN) AlexNet一举夺得冠军，且碾压第二名（SVM方法）的分类性能。也正是由于该比赛，CNN吸引到了众多研究者的注意。
    2016年，随着谷歌 (Google) 旗下的DeepMind公司基于深度学习开发的AlphaGo以4 : 1的比分战胜了国际顶尖围棋高手李世石，深度学习的热度一时无两。后来，AlphaGo又接连和众多世界级围棋高手过招，均取得了完胜。这也证明了在围棋界，基于深度学习技术的机器人已经超越了人。
   
    2016年末2017年初，该程序在中国棋类网站上以“大师” (Master) 为注册帐号与中日韩数十位围棋高手进行快棋对决，连续60局无一败绩；2017年5月，在中国乌镇围棋峰会上，它与排名世界第一的世界围棋冠军柯洁对战，以3比0的总比分获胜。围棋界公认阿尔法围棋的棋力已经超过人类职业围棋顶尖水平；同年，基于强化学习算法的AlphaGo升级版AlphaGo Zero横空出世，其采用“从零开始”、“无师自通”的学习模式，以100:0的比分轻而易举打败了之前的AlphaGo。除了围棋，它还精通国际象棋等其它棋类游戏，可以说是真正的棋类“天才”。
    此外在这一年，深度学习的相关算法在医疗、金融、艺术、无人驾驶等多个领域均取得了显著的成果。所以，也有专家把2017年看作是深度学习甚至是人工智能发展最为突飞猛进的一年。
2. 深度学习的定义：深度学习是机器学习中一种基于对数据进行表征学习的算法。观测值（例如一幅图像）可以使用多种方式来表示，如每个像素强度值的向量，或者更抽象地表示一系列边、特定形状的区域等。而使用某些特定的表示方法更容易从实例中学习任务（例如人脸识别、面部表情识别）。深度学习的好处是用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征。
3. 深度神经网络：深度学习的模型有很多，目前开发者最常用的深度学习模型与架构包括卷积神经网络 (CNN)、深度置信网络 (DBN)、受限玻尔兹曼机 (RBM)、递归神经网络 (RNN & LSTM & GRU)、递归张量神经网络 (RNTN)、自动编码器 (AutoEncoder)、生成对抗网络 (GAN)等等，更多的模型可以参考下图：
   

3. 强化学习

  强化学习在各个领域当中应用十分广泛，在这里主要给出它的定义、适用范围、组成成分和交互过程。

1. 强化学习的定义：强化学习 (Reinforcement learning, RL) 是机器学习中的一个领域，强调如何基于环境而行动，以取得最大化的预期利益；其灵感来源于心理学中的行为主义理论，即有机体如何在环境给予的奖励或惩罚的刺激下，逐步形成对刺激的预期，产生能获得最大利益的习惯性行为。
2. 强化学习适用范围：尽管我们在机器学习社区中广泛使用强化学习，但强化学习不仅仅是一个人工智能术语，它是许多领域中的一个中心思想，如下图（强化学习的多个方面，Many Faces of Reinforcement Learning）所示。事实上，许多这些领域面临着与机器学习相同的问题：如何优化决策以实现最佳结果，这就是决策科学 (Science of Decision-Making)；在神经科学中，人类研究人脑并发现了一种遵循著名的强化算法的奖励系统；在心理学中，人们研究的经典条件反射和操作性条件反射，也可以被认为是一个强化问题；类似的，在经济学中我们研究理性博弈论；在数学中我们研究运筹学；在工程学中我们研究优化控制；所有的这些问题都可以被认为一种强化学习问题——它们研究同一个主题，即为了实现最佳结果而优化决策。
   
3. 强化学习基本组成成分：强化学习主要由智能体 (Agent)、环境 (Environment)、状态 (State)、动作 (Action)、奖励 (Reward)、策略 (Policy)、目标 (Objective) 组成。
    (1) 智能体：强化学习的本体，作为学习者或者决策者；
    (2) 环境：强化学习智能体以外的一切，主要由状态集合组成；
    (3) 状态：一个表示环境的数据，状态集则是环境中所有可能的状态；
    (4) 动作：智能体可以做出的动作，动作集则是智能体可以做出的所有动作；
    (5) 奖励：智能体在执行一个动作后，获得的正/负反馈信号，奖励集则是智能体可以获得的所有反馈信息；
    (6) 策略：强化学习是从环境状态到动作的映射学习，称该映射关系为策略。通俗的理解，即智能体如何选择动作的思考过程称为策略；
    (7) 目标：智能体自动寻找在连续时间序列里的最优策略，而最优策略通常指最大化长期累积奖励。在此基础上，智能体和环境通过状态、动作、奖励进行交互的方式为：智能体执行了某个动作后，环境将会转换到一个新的状态，对于该新的状态环境会给出奖励信号（正奖励或者负奖励）。随后，智能体根据新的状态和环境反馈的奖励，按照一定的策略执行新的动作。
   
    智能体通过强化学习，可以知道自己在什么状态下，应该采取什么样的动作使得自身获得最大奖励；因此，强化学习实际上是智能体在与环境进行交互的过程中，学会最佳决策序列。由于智能体与环境的交互方式与人类与环境的交互方式类似，可以认为强化学习是一套通用的学习框架，可用来解决通用人工智能的问题。因此强化学习也被称为通用人工智能的机器学习方法。

4. 迁移学习

  迁移学习 (Transfer Learning) 顾名思义就是就是把已学训练好的模型参数迁移到新的模型来帮助新模型训练。考虑到大部分数据或任务是存在相关性的，所以通过迁移学习我们可以将已经学到的模型参数（也可理解为模型学到的知识）通过某种方式来分享给新模型从而加快并优化模型的学习效率不用像大多数网络那样从零学习 (Starting From Scratch)。

1. 迁移学习的定义：迁移学习是机器学习技术的一种，其中在一个任务上训练的模型被重新利用在另一个相关的任务上，定义一：“迁移学习和领域自适应指的是将一个任务环境中学到的东西用来提升在另一个任务环境中模型的泛化能力” ——2016年“Deep Learning”，526页；迁移学习也是一种优化方法，可以在对另一个任务建模时提高进展速度或者是模型性能，定义二：“迁移学习就是通过从已学习的相关任务中迁移其知识来对需要学习的新任务进行提高。”——第11章：转移学习，机器学习应用研究手册，2009年；同在2009年，Sinno Jialin Pan和Qiang Yang发表了一篇迁移学习的《A Survey on Transfer Learning》，他们给出了迁移学习的数学定义三：Given a source domain D S = { X S , f S ( X ) } D_S=\{X_S, f_S(X)\} DS​={XS​,fS​(X)} and learning task $T_S$, a target domain D T = { X T , f T ( X ) } D_T=\{X_T, f_T(X)\} DT​={XT​,fT​(X)} and learning task $T_T$, transfer learning aims to help improve the learning of the target predictive function $f_T(\cdot )$ in $D_T$ using the knowledge in $D_S$ and $T_S$, where $D_S̸=D_T$, or $T_S̸=T_T$.
2. 迁移学习在深度学习中的应用：迁移学习还与多任务学习和概念漂移等问题有关，它并不完全是深度学习的一个研究领域。尽管如此，由于训练深度学习模型所需耗费巨大资源，包括大量的数据集，迁移学习便成了深度学习是一种很受欢迎的方法。但是，只有当从第一个任务中学到的模型特征是容易泛化的时候，迁移学习才能在深度学习中起到作用。 “在迁移学习中，我们首先在基础数据集和任务上训练一个基础网络，然后将学习到的特征重新调整或者迁移到另一个目标网络上，用来训练目标任务的数据集。如果这些特征是容易泛化的，且同时适用于基本任务和目标任务，而不只是特定于基本任务，那迁移学习就能有效进行。”——深度神经网络中的特征如何迁移的？这种用于深度学习的迁移学习形式被称为推导迁移 (Inductive Transfer)。就是通过使用合适但不完全相同的相关任务的模型，将模型的范围（模型偏差）以有利的方式缩小。
   
   举个例子，使用图像数据作为输入的预测模型问题中进行迁移学习是很常见的，它可能是一个以照片或视频数据作为输入的预测任务。 对于这些类型的问题，通常会使用预先训练好的深度学习模型来处理大型的和具有挑战性的图像分类任务，例如ImageNet 1000级照片分类竞赛，我们可以下载以下模型，并合并到以自己图像数据作为输入的新模型中：牛津的VGG模型、谷歌的Inception模型、微软的ResNet模型。
3. 迁移学习使用方法：我们可以在自己的预测模型问题上使用迁移学习，通常有两种方法：开发模型方法和预训练模型方法。
   对于开发模型方法，分为四步：
    (1) 选择源任务：必须选择一个与大量数据相关的预测模型问题，这个大量的数据需要与输入数据，输出数据和/或从输入到输出数据映射过程中学习的概念之间存在某种关系。
    (2) 开发源模型：接下来，必须为这个第一项任务开发一个熟练的模型；该模型必须比原始模型更好，以确保一些特征学习已经发挥了其作用。
    (3) 重用模型：然后可以将适合元任务的模型用作感兴趣的另一个任务模型的起点；这取决于所使用的建模技术，可能涉及到了全部或部分模型。
    (4) 调整模型：可选项，对感兴趣任务的调整输入—输出配对数据或改进模型。
   对于预训练模型方法，分为三步：
    (1) 选择源任务：从可用的模型中选择预训练的元模型，许多研究机构会发布已经在大量的且具有挑战性的数据集上训练好的模型，在可用模型的模型池里面也能找到这些模型。
    (2) 重用模型：然后可以将预训练的模型用作感兴趣的另一个任务模型的起点，这取决于所使用的建模技术，可能涉及使用全部或部分模型。
    (3) 调整模型：可选项，对感兴趣任务的调整输入—输出配对数据或改进模型。
   其中，第二类迁移学习方法在深度学习领域是很常见的。

5. 机器学习 VS 深度学习 VS 强化学习 VS 迁移学习 VS 人工智能？

  以上我们分别介绍了机器学习、深度学习、强化学习、迁移学习算法，那么它们之前存在怎样的关系呢？它们和人工智能又存在怎样的关联呢？

1. 机器学习 VS 深度学习：机器学习是一种实现人工智能的方法，深度学习是一种实现机器学习的技术，目前，学术界的各个人工智能研究方向（计算机视觉、自然语言处理等等），深度学习的效果都远超过传统的机器学习方法，再加上媒体对深度学习进行了大肆夸大的报道，有人甚至认为，“深度学习最终可能会淘汰掉其它所有机器学习算法”。这种看法是正确的吗？
   深度学习，作为目前最热的机器学习方法，但并不意味着是机器学习的终点，目前存在以下问题：
    (1) 深度学习模型需要大量的训练数据，才能展现出神奇的效果，但现实生活中往往会遇到小样本问题，此时深度学习方法无法入手，传统的机器学习方法就可以处理。
    (2) 有些领域，采用传统简单的机器学习方法，可以很好地解决，没必要采用复杂的深度学习方法。
    (3) 深度学习的思想，来源于人脑的启发，但绝不是人脑的模拟，举个例子：给一个三四岁的小孩看一辆自行车之后，再见到哪怕外观完全不同的自行车，小孩也十有八九能做出那是一辆自行车的判断，也就是说，人类的学习过程往往不需要大规模的训练数据，目前深度学习方法显然很难做到。
    (4) 目前在工业界，基于深度学习的人工智能项目落地非常困难。
   
2. 深度学习 VS 强化学习：深度学习和强化学习的主要区别在于：
    (1) 深度学习的训练样本是有标签的，强化学习的训练是没有标签的，它是通过环境给出的奖惩来学习。
    (2) 深度学习的学习过程是静态的，强化学习的学习过程是动态的；这里静态与动态的区别在于是否会与环境进行交互，深度学习是给什么样本就学什么，而强化学习是要和环境进行交互，再通过环境给出的奖惩来学习。
    (3) 深度学习解决的更多是感知问题，强化学习解决的主要是决策问题；有监督学习更像是”五官”，而强化学习更像“大脑”。
3. 机器学习 VS 深度学习 VS 强化学习：机器学习、深度学习、强化学习之间的关系如下：
    (1) 机器学习：一切通过优化方法挖掘数据中规律的学科，多用于数据挖掘、数据分析和预测等领域。
    (2) 深度学习：一切运用了神经网络作为参数结构进行优化的机器学习算法，广泛地应用于是计算机视觉和自然语言处理领域。
    (3) 强化学习：不仅能利用现有数据，还可以通过对环境的探索获得新数据，并利用新数据循环往复地更新迭代现有模型的机器学习算法；学习是为了更好地对环境进行探索，而探索是为了获取数据进行更好的学习；目前实际应用场景还比较窄，主要包括AI游戏 (Atari)，推荐系统（阿里巴巴），机器人控制（如吴恩达的无人机）。
    (4) 深度强化学习：一切运用了神经网络作为参数结构进行优化的强化学习算法 (Google AlphaGo, Master)。
4. 机器学习 VS 深度学习 VS 迁移学习：当前的机器学习、深度学习存在一些局限性，我们采用迁移学习的方法可以解决这些痛点。
    (1) 我们可以在这个数据集上训练一个模型 A，并期望它在同一个任务和域A中的未知数据上表现良好；但是，当我们没有足够的来自于我们关心的任务或域的标签数据时（新的标签数据很难获取、费时、昂贵），传统的监督学习方法会失灵——它往往无法得出一个可靠的模型。
    (2) 表达能力的限制：因为一个模型毕竟是一种现实的反映，等于是现实的镜像，它能够描述现实的能力越强就越准确，而机器学习和深度学习都是用变量来描述世界的，它们的变量数是有限的。
    (3) 模型复杂度高：随着模型复杂度的提高，其参数个数和所需的数据量也是惊人的。
     在NIPS 2016，吴恩达表示，“在继深度学习之后，迁移学习将引领下一波机器学习技术”。
5. 总体关系：以上讨论的算法和人工智能的关系如下图所示，可以看出，提及的算法都是属于人工智能的范畴，他们相互交叉却不完全重合：机器学习是人工智能的算法基石，而其它算法都是机器学习的一个分支。
   
    深度学习大佬Yoshua Bengio在 Quora 上有一段话讲得特别好，这里引用一下：Science is NOT a battle, it is a collaboration. We all build on each other’s ideas. Science is an act of love, not war. Love for the beauty in the world that surrounds us and love to share and build something together. That makes science a highly satisfying activity, emotionally speaking! 这段话的大致意思是：科学不是战争而是合作，任何学科的发展从来都不是一条路走到黑，而是同行之间互相学习、互相借鉴、博采众长、相得益彰，站在巨人的肩膀上不断前行。机器学习的研究也是一样，开放包容才是正道！
   

微信公众号同步

  关注微信公众号“机器学习和人工智能”，干货多多~
  我们会定期推送Python编程，人工智能基础算法，学术界、工业界最新动态，让更多的人了解人工智能~
  欢迎扫描下方二维码关注哈~