Table of Content
 
Alpha GO
神经网络
从工业的角度对比传统机器学习和深度神经网络

 
Alpha GO
 
虽然大家会说AlexNet是深度学习的开始，但真正引爆整个AI行业的可以说是Alpha GO（人称阿尔法狗）。Alphabet子公司Deepmind开发的围棋算法在01博弈游戏上成功击败人类，除了传统的把神经网络往深里走，然后通过过去对局的学习意外，还加入了一些探索性的策略使得人们认为它将是未来的AI发展方向。如果你英语够好也可以直接阅读它的原文，这里并不是我想说的重点。我们要沉下心来反思这个浮躁的技术。
 
神经网络
 
一种传统的机器学习方法，它就好像是一颗横着放的树加上一些策略，看起来像人类的思考方式。它有人脑神经元的特质，像生物感受器一样。有多个输入端和多个输出端。同一个细胞可能要受到多个来源的输入才可能传播到下个神经细胞。
 
 神经网络完美地复制了这一结构，它早在上个世纪初就已经有人用电阻地方式去模拟这样地算法，可是最终以失败告终，最直接地原因就是能力不是几十个神经元可以体现出来的。像万金油ResNet152的层数到达了152层神经网络，训练的过程对显卡要求是非常的高，如果使用Pytorch那么请自己查2019年Nvidia 2080Ti 8G现存以上显卡价格。不得不佩服人脑的伟大，可以提供几亿个这样的网络同时互相作用。
 
 
但实际上它完全无法突破的就是对于一个问题的定义范围。比如，你让Alpha GO去试试英雄联盟？因此神经网络只是一种像显微镜一样的工具，在某些场合能够超越人类，但最后还是一个解决问题的工具而已（离通过图灵测试还远着呢）。它在复杂的现实世界里，应用的范围也是有限的，受到数据集和网络设计的限制。更重要的是对于深层次的网络平民级显卡是无法承受。除非有无限的时间和无限石子。
 
 
然而传统的机器学习算法并没有以上的问题。他们深知自己是一门工具，有效地为工业界提供稳定可靠解决方法。所以现在比较突出的深度神经网络应用有Computer Vision, Natural Language Processing和Recommendation System里。除了NLP以外，其余两个方向算是找到了自己的金主，但Recommendation System算是一个比较不正宗的神经网络，后面文章会对比。由于个人还没有时间深入到NLP的领域太深，我就从CV和RS两个方向，对深度网络做个简单评判。
 
从工业的角度对比传统机器学习和深度神经网络
 
在学深度神经网络的时候有个词汇就定好传统机器学习和深度神经网络的应用范围，那就是可解释性。当深度神经网络只有几层的时候我们可以用卷积核的感受野来解释它的合理性。可随着网络深层化，一些Dropout、BN层使得它就像变了一个人似的无法解释为什么会这么做的黑盒子。
 
 
有这么一种观点，工业界不允许大量运用这么摸棱两可的技术，因为它无法证明它自己的正确性，就好比我们不可以用深度神经网络去测算桥梁的稳定程度，也不可以在食品生产的某个环节相信那91%的准确性，因为那8%的错误会导致工业血本无归，无法证明它的正确意味着跟一部分的工业完全脱钩。但过分的追求可解释就等于没有隐私！这也是不符合工业界的思路，也是深度神经网络的机会。设计网络地时候可以结合传统机器学习，也许也能提高不少可解读。所以深度神经网络在各种行业探索中前行。

由于学艺不精（其实就是瞎鸡儿学），让这几个概念把我弄蒙了。
 
神经网络、深度学习区别：
 
   这两个概念实际上是互相交叉的，例如，卷积神经网络（Convolutional neural networks，简称CNNs）就是一种深度的监督学习下的机器学习模型，而深度置信网（Deep Belief Nets，简称DBNs）就是一种无监督学习下的机器学习模型。
      深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。         
 
从广义上说深度学习的网络结构也是多层神经网络的一种。 传统意义上的多层神经网络是只有输入层、隐藏层、输出层。其中隐藏层的层数根据需要而定，没有明确的理论推导来说明到底多少层合适。
 　　而深度学习中最著名的卷积神经网络CNN，在原来多层神经网络的基础上，加入了特征学习部分，这部分是模仿人脑对信号处理上的分级的。具体操作就是在原来的全连接的层前面加入了部分连接的卷积层与降维层，而且加入的是一个层级。
 　　输入层 - 卷积层 -降维层 -卷积层 - 降维层 -- .... -- 隐藏层 -输出层
 　　简单来说，原来多层神经网络做的步骤是：特征映射到值。特征是人工挑选。
 　　深度学习做的步骤是 信号->特征->值。 特征是由网络自己选择。
 
 
 
机器学习、深度学习区别：
 
下面来自：https://baijiahao.baidu.com/s?id=1595509949786067084&wfr=spider&for=pc
 
一、机器学习
 
首先看看机器学习的定义：
 
“A computer program is said to learn from experience E with respect to some class of tasksT and performance measureP if its performance at tasks inT, as measured by P, improves with experience E ”（这段话我真的是看了100遍才知道怎么断句啊！！(Д)）
 
翻译过来就是：“一个电脑程序要完成任务（T），如果电脑获取的关于T的经验（E）越多就表现（P）得越好，那么我们就可以说这个程序‘学习’了关于T的经验。”
 
简单来说，就是解释什么叫“机器的学习”，如果输入的经验越多表现的越好，这就叫“学习”嘛；如果输入的经验越多，表现的效果越不好，这个就叫做没学好，学的不对（如，过拟合问题）。
 
这里有几个例子：
 
1.根据身高预测体重：
 
根据身高预测体重
 
 
 
这个so easy，我也不想多解释了。我们高中都做过这样的题目，给你一堆点，你做出一条直线尽可能去拟合样本点，那这个直线就是你“学习”出来的，然后就可以用这个直线去预测未知点了。
 
2.风暴预测系统：
 
美国的风暴预测系统
 
 
 
我们首先浏览所有的历史风暴数据，从这些大量的数据中学习出某些“模式”，这些“模式”包含了具体的哪些条件可以导致风暴。
 
比如我们也许可以通过学习历史数据发现：温度超过40度，湿度在80-100之间，就容易发生风暴。种种类似的模式。
 
这里注意了！“温度”、“湿度”等等指标，就是机器学习中的“特征”，而这些特征都是人工设置好的！就是说，我们在做这样一个预测系统的时候，首先由专家通过分析哪些“特征”是重要的，然后机器就通过分析历史数据中的这些特征的数据，来找到相应的模式，也就是怎样的特征的组合会导致怎样的结果。
 
理解上面这一点很重要，因为这是和深度学习的重要区别。
 
二、深度学习
 
还是首先看看深度学习的定义：
 
“Deep learning is a particular kind of machine learning that achieves great power and flexibility by learning to represent the world as nested hierarchy of concepts, with each concept defined in relation to simpler concepts, and more abstract representations computed in terms of less abstract ones.”（这个起码听起来像人话，但还是让人疑惑。。。）
 
我试着翻译一下：深度学习是一种特殊的机器学习，它可以获得高性能也十分灵活。它可以用概念组成的网状层级结构来表示这个世界，每一个概念更简单的概念相连，抽象的概念通过没那么抽象的概念计算。（有没有大佬帮忙指正一下？）
 
还是先通过例子说明，大家就慢慢理解了：
 
1.形状识别：
 
我们从一个简单的例子来看看我们认知层面上是如何区分物体的。比如我们要区分下面的形状，那个是圆的那个是方的：
 
方形和圆形
 
 
 
我们的眼睛第一件要做的事情，就是看看这个形状有没有4条边。如果有的话，就进一步检查，这4条边是不是连在一起，是不是等长的，是不是相连的互相垂直。如果满足上面这些条件，那么我们可以判断，是一个正方形。
 
从上面的过程可以看出，我们把一个复杂的抽象的问题（形状），分解成简单的、不那么抽象的任务（边、角、长度...）。深度学习从很大程度上就是做这个工作，把复杂任务层层分解成一个个小任务。
 
2.识别狗和猫：
 
如果是传统机器学习的方法，我们会首先定义一些特征，如有没有胡须，耳朵、鼻子、嘴巴的模样等等。总之，我们首先要确定相应的“面部特征”作为我们的机器学习的特征，以此来对我们的对象进行分类识别。
 
而现在，深度学习的方法则更进一步。深度学习自动地找出这个分类问题所需要的重要特征！而传统机器学习则需要我们人工地给出特征！
 
我觉得这是两者最重要的区别。
 
那么，深度学习是如何做到这一点的呢？
 
以这个猫狗识别的例子来说，按照以下步骤：
 
1●首先确定出有哪些边和角跟识别出猫狗关系最大；2●然后根据上一步找出的很多小元素（边、角等）构建层级网络，找出它们之间的各种组合；3●在构建层级网络之后，就可以确定哪些组合可以识别出猫和狗。
 
这里我没找到猫和狗的神经网络图片，倒是看到人像识别的一个示意图，觉得挺好的：
 
人脸识别
 
可以看到4层，输入的是Raw Data，就是原始数据，这个机器没法理解。于是，深度学习首先尽可能找到与这个头像相关的各种边，这些边就是底层的特征（Low-level features），这就是上面写的第一步；然后下一步，对这些底层特征进行组合，就可以看到有鼻子、眼睛、耳朵等等，它们就是中间层特征（Mid-level features），这就是上面写的第二步；最后，我们队鼻子眼睛耳朵等进行组合，就可以组成各种各样的头像了，也就是高层特征（High-level features）这个时候就可以识别出或者分类出各种人的头像了。
 
 
 
三、对比机器学习和深度学习
 
上面我们大概了解了机器学习和深度学习的工作原理，下面我们从几个重要的方面来对比两种技术。
 
1.数据依赖
 
随着数据量的增加，二者的表现有很大区别：
 
数据量对不同方法表现的影响
 
可以发现，深度学习适合处理大数据，而数据量比较小的时候，用传统机器学习方法也许更合适。
 
2.硬件依赖
 
深度学习十分地依赖于高端的硬件设施，因为计算量实在太大了！深度学习中涉及很多的矩阵运算，因此很多深度学习都要求有GPU参与运算，因为GPU就是专门为矩阵运算而设计的。相反，普通的机器学习随便给一台破电脑就可以跑。
 
3.特征工程
 
特征工程就是前面的案例里面讲过的，我们在训练一个模型的时候，需要首先确定有哪些特征。
 
在机器学习方法中，几乎所有的特征都需要通过行业专家在确定，然后手工就特征进行编码。
 
然而深度学习算法试图自己从数据中学习特征。这也是深度学习十分引人注目的一点，毕竟特征工程是一项十分繁琐、耗费很多人力物力的工作，深度学习的出现大大减少了发现特征的成本。
 
4.解决问题的方式
 
在解决问题时，传统机器学习算法通常先把问题分成几块，一个个地解决好之后，再重新组合起来。但是深度学习则是一次性地、端到端地解决。如下面这个物体识别的例子：
 
物体识别
 
如果任务是要识别出图片上有哪些物体，找出它们的位置。那么传统机器学习的做法是把问题分为两步：发现物体 和 识别物体。首先，我们有几个物体边缘的盒型检测算法，把所有可能的物体都框出来。然后，再使用物体识别算法，例如SVM在识别这些物体中分别是什么。
 
但是深度学习不同，给它一张图，它直接给出把对应的物体识别出来，同时还能标明对应物体的名字。这样就可以做到实时的物体识别。例如YOLO net就可以在视频中实时识别：
 
实时检测
 
5.运行时间
 
深度学习需要花大量的时间来训练，因为有太多的参数需要去学习。顶级的深度学习算法ResNet需要花两周的时间训练。但是机器学习一般几秒钟最多几小时就可以训练好。
 
但是深度学习花费这么大力气训练处模型肯定不会白费力气的，优势就在于它模型一旦训练好，在预测任务上面就运行很快。这才能做到我们上面看到的视频中实时物体检测。
 
6.可理解性
 
最后一点，也是深度学习一个缺点。其实也说不上是缺点吧，那就是深度学习很多时候我们难以理解。一个深层的神经网络，每一层都代表一个特征，而层数多了，我们也许根本就不知道他们代表的啥特征，我们就没法把训练出来的模型用于对预测任务进行解释。例如，我们用深度学习方法来批改论文，也许我们训练出来的模型对论文评分都十分的准确，但是我们无法理解模型到底是啥规则，这样的话，那些拿了低分的同学找你质问“凭啥我的分这么低啊？！”，你也哑口无言····因为深度学习模型太复杂，内部的规则很难理解。
 
但是机器学习不一样，比如决策树算法，就可以明确地把规则给你列出来，每一个规则，每一个特征，你都可以理解。
 
但是这不是深度学习的错，只能说它太牛逼了，人类还不够聪明，理解不了深度学习的内部的特征。
 
 
 
 
 
以上就是关于机器学习和深度学习的联系和区别了。首先说说感受吧，感觉很多国外的文章，尤其是这样的类似科普文章写的真心棒！很好理解，而且解释的非常详细，这是很多国内博客所不能比的。所以建议大家有问题可以多搜搜国外的文章读一读，而且其实英文也用的很简单。

人工智能、机器学习、深度学习、神经网络的区别
 
人工智能、机器学习、深度学习的包含关系如上图所示
 
1 人工智能
 
人工智能是计算机科学的一个分支， 它试图让人们了解智能的实质，并生产出一种新的能以与人类智能相似的方式做出反应的智能机器。人工智能是研究使计算机模拟人的某些思维过程和智能行为的学科，主要包括计算机实现智能的原理、制造类似于人脑智能的计算机，使计算机能实现更高层次的应用。该领域的研究涉及机器人、语言识别、图像识别、自然语言处理和专家系统等。
 
 
2 机器学习
 
机器学习是人工智能的一个分支，也是用来实现人工智能的一个有效手段。简单地说，机器学习就是通过算法使得机器能从大量历史数据中学习规律，从而对新的样本做出智能识别或对未来做出预测。使用大量数据和算法来“训练”机器，由此让机器来学习如何完成任务。
 
2.1 机器学习形式
 
机器学习主要分三种形式，即监督学习、非监督学习、半监督学习。最常见的是监督学习中的分类问题。监督学习的训练样本都含有“标签”，非监督学习的训练样本中都不含“标签”，而半监督学习介于监督学习和非监督学习之间。在监督学习中，因为训练集全部已经标记了，所以关注点通常是在未来测试数据上的性能;而在半监督学习的分类问题中，训练数据中包含未标记的数据。因此，存在两个不同的目标:一个是预测未来测试数据的类别，另一个是预测训练样本中未标记实例的类别。
 
2.1.1 监督学习
 
监督学习的训练集要求包括输入输出，也可以说是特征和目标。训练集中的目标是由人为标注的。监督学习中最常见的是分类问题，通过已有的训练样本去训练，得到一个最优模型，再利用这个模型将所有的输入映射为相应的输出，对输出进行简单的判断，从而实现分类的目的，也就具有了对未知数据分类的能力。监督学习的目标往往是让计算机去学习已经创建好的分类系统。常见的监督学习算法有:回归分析和统计分类。
 
2.1.2 非监督学习
 
非监督学习事先没有任何训练样本，而需要直接对数据进行建模。样本数据类别未知，需要根据样本间的相似性对样本集进行分类，试图使类内差距最小化，类间差距最大化。通俗点来说，就是实际应用中不少情况下无法预先知道样本的标签，也就是说没有训练样本对应的类别，因而只能从原先没有样本标签的样本集开始学习分类器设计。非监督学习里典型的例子是聚类。聚类的目的在于把相似的东西聚在一起， 而并不关心这一类是什么。
 
2.1.3 半监督学习
 
半监督学习所给的数据，有的是有标签的，有的是没有标签的。单独使用有标签的样本，能够生成有监督的分类算法:单独使用无标签的样本，能够生成非监督聚类算法。若两者都使用，则希望在有标签的样本中加入无标签的样本，增强有监督分类的效果;同样，希望在无标签的中加入有标签的样本，增强非监督聚类的效果。一般而言， 半监督学习侧重于在有监督的分类算法中加入无标记样本来实现半监督分类。
 
2.2 机器学习模型
 
有两种机器学习模型:生成模型和判别模型。我们看看下面的分类器列表:决策树、神经网络、随机森林、广义增强模型、逻辑回归、朴素贝叶斯和支持向量机(SVM)。其中大部分是分类器和组合模型。这 里比较特殊的是朴素贝叶斯。这是列表中唯一的生成模型。其他都是判别模型的例子。生成模型和判别模型的根本区别在于潜在概率的推导形式。
 
2.2.1 判别模型
 
判别模型学习目标变量Y和特征X的条件概率P(Y |X)。这是最小二乘回归的工作方式，它是我们使用的一种推理模式。这是理清变量之间的关系的一种方法。
 
2.2.2 生成模型
 
生成模型旨在对数据集进行完整的概率描述。生成模型的目标是计算联合概率P(X, Y),可以直接计算或通过计算P(Y|X)和P(X)来计算联合概率分布P(X, Y).然后推断需要分类的新数据的条件概率。这种方法需要比回归更扎实的概率信息，但它提供了数据概率结构的完整模型。了解联合概率分布可以生成数据: 因此，朴素贝叶斯是一个生成模型。
 
2.2.2.1 自编码器
 
在这里，我们构建一个由两个主要组件组成的模型: 一个编码器模型q(h|x),将输入映射到另一个空间(称为隐藏空间或者潜在空间，用h表示);一个解码器模型q(x|h)，从隐藏的输入空间中学习相反的映射。
 这些组件(编码器和解码器)连接在一起形成一个端到端的可训练模型。编码器和解码器模型都是结构不同的神经网络，例如RNN和注意力网络，以获得期望的结果。
 
2.2.2.2 GAN
 
我们有一个生成器模型q(x |h)将低维潜藏空间h(通常表示为简单分布的噪声)映射到输人空间x。这与解码器在自编码器中的作用非常相似。
 现在的目标是要引人一个判别模型p(y|x)，它可以将一个输人实例x与一个是/否的二元回答y相关联，这个回答是关于x是生成器模型根据输入生成的数据或者是我们训练数据集中的真实样本。
 
 GAN是由Ian Goofellow领导的蒙特利尔大学的一组研究人员提出的。GAN模型的核心思想是建立两种互相竞争的神经网络模型。第一种网络模型将噪声作为输人并产生样本(因此称为生成器)。第二种模型(称为判别器)从生成器和实际训练数据中获取样本，并且应该能够区分这两种来源。生成网络和判别网络在玩一个连续的游戏，其中生成器模型正在学习生成更真实的样本或示例，而判别器模型正在学习如何更好地区分生成的数据和真实数据。两种网络同时训练，目标是互相竞争，使生成的样本与真实数据不可区分。
 
2.2.2.3 序列模型
 
如果数据本质上是有时序的，那么我们可以使用称为序列模型的特定算法。这些模型可以学习形如p(y|x_n,x_1)的概率，其中i是表示序列中位置的参数，x_ i是第i个输入样本。
 举个例子，我们可以把每个单词当作是一系列的字符组成，每个句子当作是一系列的单词组成，而每一个段落 都是一系列的句子组成。输出y可以是句子的情感。使用与自编码器类似的技巧，我们可以将y替换为系列或序列中的下一个元素，即y=x_ n+1,从而让模型进行学习。
 
3 深度学习
 
深度学习是机器学习领域一个新的研究方向，近年来在图像识别与检索、语言信息处理、语音识别等众多领域都取得较为成功的发展。深度学习应用的发展基础在于建立模型来模拟人类大脑的神经连接结构，在处理图像、声音和文本这些信号时，通过多个变换阶段分层对数据特征进行描述，进而给出数据的解释。
 深度学习是实现机器学习的一种技术，现在所说的深度学习大多是指神经网络。神经网络的灵感，来自人类大脑神经元之间的相互连接。深度学习的概念源于对人工神经网络的研究，多隐藏层的神经网络就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层来表示属性类别或特征，以发现数据的分布式特征表示。目前，卷积神经网络和循环神经网络是应用最广的两种深度学习模型。
 
4 神经网络
 
神经网络( Neural Network, NN ) 或人工神经网络( Artificial Neural Nework, ANN ),是指用大量的简单计算单元 (即神经元)构成的非线性系统，它在一定程度上模仿了人脑神经系统的信息处理、存储和检索功能，是对人脑神经网络的某种简化、抽象和模拟。
 
神经网络模型
 
神经网络是由大量的神经元互相连接而构成的网络。根据网络中神经元的互连方式，常见的网络结构主要可以分为以下3类:
 (1)前馈神经网络;
 (2)反馈神经网络;
 (3)自组织神经网络。
 前馈神经网络也称前向网络。之所以称其为前馈网络，是因为这种网络只在训练过程中会有反馈信号，而在分类过程中数据只能向前传送，直至到达输出层，中层间没有向后的反馈信号。BP神经网络就属于前馈网络。
 反馈神经网络是种从输出到输入具有反馈连接的神经网络，其结构比前馈网络要复杂得多。典型的反馈型神经网络有Elman网络和Hopfield网络。
 自组织神经网络是一种非监督学习网络。它通过自动寻找样本中的内在规律和本质属性，自组织、自适应地改变网络参数与结构，如聚类分析等。

Stefan Kojouharov 在网上分享了一份很不错的AI资料。
 
在过去的几个月中，我一直在收集AI备忘单。我不时与朋友和同事分享，最近又受到很多询问，所以我决定组织和分享整个系列。为了使事情变得更有趣并提供上下文，我为每个主要主题添加了描述和/或摘录。
 这是最完整的列表，Big-O在最后。CSDN下载点击这里
 
神经网络
 
 
神经网络图