神经网络是一个具有相互连接的节点的计算系统，其节点的工作方式更像是人脑中的神经元。这些神经元在它们之间进行处理并传递信息。每个神经网络都是一系列的算法，这些算法试图通过一个模拟人类大脑运作的过程来识别一组数据中的潜在关系。
 
 
深度学习算法和经典神经网络之间有什么区别呢？最明显的区别是：深度学习中使用的神经网络具有更多隐藏层。这些层位于神经元的第一层（即输入层）和最后一层（即输出层）之间。另外，没有必要将不同层的所有神经元连接起来。
 
您应该知道的9种深度学习算法
 ＃1反向传播
 反向传播算法是一种非常流行的用于训练前馈神经网络的监督学习算法。本质上，反向传播计算成本函数的导数的表达式，它是每一层之间从左到右的导数乘积，而每一层之间的权重梯度是对部分乘积的简单修改（“反向传播误差”）。
 
我们向网络提供数据，它产生一个输出，我们将输出与期望的输出进行比较（使用损失函数），然后根据差异重新调整权重。然后重复此过程。权重的调整是通过一种称为随机梯度下降的非线性优化技术来实现的。
 
假设由于某种原因，我们想识别图像中的树。我们向网络提供任何种类的图像，并产生输出。由于我们知道图像是否实际上有一棵树，因此我们可以将输出与真实情况进行比较并调整网络。随着我们传递越来越多的图像，网络的错误就会越来越少。现在我们可以给它提供一个未知的图像，它将告诉我们该图像是否包含树。
 
＃2前馈神经网络（FNN）
 前馈神经网络通常是全连接，这意味着层中的每个神经元都与下一层中的所有其他神经元相连。所描述的结构称为“多层感知器”，起源于1958年。单层感知器只能学习线性可分离的模式，而多层感知器则可以学习数据之间的非线性的关系。
 
前馈网络的目标是近似某个函数f。例如对于分类，=（x）将输入x映射到类别y。前馈网络定义了一个映射y=f（x;θ），并学习了导致最佳函数逼近的参数θ的值。
 
 
这些模型之所以称为前馈，是因为从x到定义f的中间计算，最后到输出y，没有反馈连接。没有将模型的输出反馈到自身的反馈连接。当前馈神经网络扩展为包括反馈连接时，它们称为循环神经网络。
 
＃3卷积神经网络（CNN）
 卷积神经网络除了为机器人和自动驾驶汽车的视觉提供帮助外，还成功的应用于人脸识别，对象监测和交通标志识别等领域。
 
在数学中，卷积是一个函数越过另一个函数时两个函数重叠多少的积分度量。
 
 
绿色曲线表示蓝色和红色曲线的卷积，它是t的函数，位置由垂直的绿色线表示。灰色区域表示乘积g（tau）f（t-tau）作为t的函数，所以它的面积作为t的函数就是卷积。
 
这两个函数在x轴上每一点的重叠的乘积就是它们的卷积。
 
 
在某种程度上，他们尝试对前馈网络进行正则化，以避免过度拟合（当模型只学习预先看到的数据而不能泛化时），这使得他们能够很好地识别数据之间的空间关系。
 
＃4循环神经网络（RNN）
 循环神经网络在许多NLP任务中都非常成功。在传统的神经网络中，可以理解所有输入和输出都是独立的。但是，对于许多任务，这是不合适的。如果要预测句子中的下一个单词，最好考虑一下它前面的单词。
 
RNN之所以称为循环，是因为它们对序列的每个元素执行相同的任务，并且输出取决于先前的计算。RNN的另一种解释：这些网络具有“记忆”，考虑了先前的信息。
 
例如，如果序列是5个单词的句子，则由5层组成，每个单词一层。
 
在RNN中定义计算的公式如下：
 
x_t-在时间步t输入。例如，x_1可以是与句子的第二个单词相对应的one-hot向量。
 
s_t是步骤t中的隐藏状态。这是网络的“内存”。s_t作为函数取决于先前的状态和当前输入x_t：s_t=f（Ux_t+Ws_{t-1}）。函数f通常是非线性的，例如tanh或ReLU。计算第一个隐藏状态所需的s_{-1}通常初始化为零（零向量）。
 
o_t-在步骤t退出。例如，如果我们要预测句子中的单词，则输出可能是字典中的概率向量。o_t=softmax（Vs_t）
 
图像描述的生成
 
与卷积神经网络一起，RNN被用作模型的一部分，以生成未标记图像的描述。组合模型将生成的单词与图像中的特征相结合：
 
 
最常用的RNN类型是LSTM，它比RNN更好地捕获（存储）长期依赖关系。LSTM与RNN本质上相同，只是它们具有不同的计算隐藏状态的方式。
 
LSTM中的memory称为cells，您可以将其视为接受先前状态h_{t-1}和当前输入参数x_t作为输入的黑盒。在内部，这些cells决定保存和删除哪些memory。然后，它们将先前的状态，当前memory和输入参数组合在一起。
 
这些类型的单元在捕获（存储）长期依赖关系方面非常有效。
 
＃5递归神经网络
 递归神经网络是循环网络的另一种形式，不同之处在于它们是树形结构。因此，它们可以在训练数据集中建模层次结构。
 
由于其与二叉树、上下文和基于自然语言的解析器的关系，它们通常用于音频到文本转录和情绪分析等NLP应用程序中。然而，它们往往比递归网络慢得多
 
 
＃6自编码器
 自编码器可在输出处恢复输入信号。它们内部有一个隐藏层。自编码器设计为无法将输入准确复制到输出，但是为了使误差最小化，网络被迫学习选择最重要的特征。
 
 
自编码器可用于预训练，例如，当有分类任务且标记对太少时。或降低数据中的维度以供以后可视化。或者，当您只需要学习区分输入信号的有用属性时。
 
＃7深度信念网络和受限玻尔兹曼机器
 受限玻尔兹曼机是一个随机神经网络（神经网络，意味着我们有类似神经元的单元，其binary激活取决于它们所连接的相邻单元；随机意味着这些激活具有概率性元素），它包括：
 
可见单位层
 
隐藏单元层
 
偏差单元
 
此外，每个可见单元连接到所有的隐藏单元（这种连接是无向的，所以每个隐藏单元也连接到所有的可见单元），而偏差单元连接到所有的可见单元和所有的隐藏单元。
 
 
为了使学习更容易，我们对网络进行了限制，使任何可见单元都不连接到任何其他可见单元，任何隐藏单元都不连接到任何其他隐藏单元。
 
多个RBM可以叠加形成一个深度信念网络。它们看起来完全像全连接层，但但是它们的训练方式不同。
 
＃8生成对抗网络（GAN）
 GAN正在成为一种流行的在线零售机器学习模型，因为它们能够以越来越高的准确度理解和重建视觉内容。用例包括：
 
从轮廓填充图像。
 
从文本生成逼真的图像。
 
制作产品原型的真实感描述。
 
将黑白图像转换为彩色图像。
 
在视频制作中，GAN可用于：
 
在框架内模拟人类行为和运动的模式。
 
预测后续的视频帧。
 
创建deepfake
 
生成对抗网络（GAN）有两个部分：
 
生成器学习生成可信的数据。生成的实例成为判别器的负面训练实例。
 
判别器学会从数据中分辨出生成器的假数据。判别器对产生不可信结果的发生器进行惩罚。
 
建立GAN的第一步是识别所需的最终输出，并根据这些参数收集初始训练数据集。然后将这些数据随机化并输入到生成器中，直到获得生成输出的基本精度为止。
 
 
然后，将生成的图像与原始概念的实际数据点一起馈入判别器。判别器对信息进行过滤，并返回0到1之间的概率来表示每个图像的真实性（1与真相关，0与假相关）。然后检查这些值是否成功，并不断重复，直到达到预期的结果。
 
＃9Transformers
 Transformers也很新，它们主要用于语言应用。它它们基于一个叫做注意力的概念，这个概念被用来迫使网络将注意力集中在特定的数据点上。
 
由于LSTM单元过于复杂，因此可以使用注意力机制根据其重要性对输入的不同部分进行权衡。注意力机制只不过是另一个具有权重的层，它的唯一目的是调整权重，使输入的部分优先化，同时排除其他部分。
 
实际上，Transformers由多个堆叠的编码器（形成编码器层），多个堆叠的解码器（解码器层）和一堆attention层（self-attentions和encoder-decoderattentions）组成
 
Transformers设计用于处理诸如机器翻译和文本摘要之类的各种任务的有序数据序列，例如自然语言。如今，BERT和GPT-2是两个最著名的经过预先训练的自然语言系统，用于各种NLP任务中，它们都基于Transformers。
 
＃10图神经网络
 一般来说，非结构化数据并不适合深度学习。在许多实际应用中，数据是非结构化的，例如社交网络，化合物，知识图，空间数据等。
 
 
图神经网络的目的是对图数据进行建模，这意味着它们识别图中节点之间的关系，并对其进行数值表示。它们以后可以在任何其他机器学习模型中用于各种任务，例如聚类，分类等。

深度学习一词，最早是在2006～2007年，由Geoffrey Hinton 在《Science》上发表的文章开始被提出和逐步兴起的。深度学习是在机器学习的基础上发展的，神经网络的层级比机器学习的多而复杂，算法也有了很大发展。
 
算法的汇总，也是按照机器学习常用算法和深度学习常用算法进行分类的，算法基础分类：
 
机器学习Machine Learning
 
深度学习Deep Learning
 
如下图：
 
 
算法基础分类
 机器学习算法
 机器学习算法，可根据是监督学习还是非监督学习分为两大类。 机器学习算法分类层级如下：
 
 
机器学习：机器学习算法分类层级 ↑
 在分类中，我们看到有神经网络结构，这个也是深度学习的根基。深度学习正是在机器学习的基础上发展的，区别在于深度学习的神经网络的层级比机器学习的多而复杂。
 
正是受到生物学领域中的神经网络的启发，才有了今天机器学习、深度学习中的神经网络的结构。
 
 
 
 
生物学领域神经网络中的单个神经元 ↑
 机器学习：2层神经网络 ↑
 深度学习：3层神经网络 ↑
 提示：在统计神经网络的层数时，通常是不把输入层Input Layer计算在内的。这也是上面两个神经网络图中明明是3层、4层却分别被标记为2层、3层的神经网络的原因。
 
 
深度学习算法
 
正如深度学习是在机器学习的基础上发展的，其算法分类也可根据是监督学习还是非监督学习分为两大类。
 
深度学习：机器学习算法分类层级 ↑
 神经网络信息传递过程
 下图是一个3层的神经网络，其中：每一个⭕️代表一个神经元，也可以叫做神经节点、神经结点，每个神经元有一个偏置bias。每一条线，有一个权重weight。神经网络学习的目标：就是通过减少损失loss或cost，来确定权重和偏置。
 
理论上，如果有足够多的隐藏层和足够大的训练集，则可以模拟出任何方程。
 
 
通常，一层中的神经元经过加权求和，然后再经过非线性方程得到的结果转化为输出，或者作为下一层的输入。如下图所示：
 
常用的激励函数↑
 注意：非线性方程，即是通常所说的激励函数。常见的激励函数：sigmoid函数、tanh函数、ReLu函数、SoftMax函数等等。激励函数各有各的优缺点，使用时要注意对学习效果的影响。激励函数的图像如下：
 
 
 
常用的激励函数↑
 激励函数：sigmoid函数图像↑
 激励函数：tanh函数图像↑
 激励函数：ReLu函数图像↑
 
 
 
 
作者：TensorFlow开发者
 链接：https://www.jianshu.com/p/639f7ade671b
 来源：简书
 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

 
常用的机器学习与深度学习算法简介
 
1、机器学习
1.1 决策树与随机森林
1.2 支持向量机(SVM)
1.3 k-最近邻算法
1.4 朴素贝叶斯分类器
  
2、深度学习
2.1 人工神经网络
2.2 深度神经网络
2.3 卷积神经网络
2.4 循环神经网络
2.5 自编码器
 

 
1、机器学习
 
1.1 决策树与随机森林
 
决策树(Decision Tree)是一种将决策流程以树状结构清晰表示的机器学习方法，本质上是通过一系列规则对数据进行分类的过程。
 
 

 图1-决策树
 

 
随机森林(Random Forest)是通过构建多个决策树对样本进行训练并预测的一种分类器，其最终输出的类别是由每个决策树输出的类别的众数而决定。
 
 

 图2-随机森林
 



 
1.2 支持向量机(SVM)
 
支持向量机(Support Vector Machine)是一类按监督学习方式对数据进行二元分类的广义线性分类器，其决策边界是对学习样本求解的最大边距超平面。
 
 

 图3-支持向量机
 



 
1.3 k-最近邻算法
 
k-最近邻算法(k-Nearest Neighbor，KNN)是一种用于分类和回归的无监督学习算法,也是最简单的机器学习算法之一。该算法在诸多领域得到了广泛的应用,如在药物研发领域常用于化合物的分类,识别活性化合物。
 
 

 图4-k最近邻算法
 

 
1.4 朴素贝叶斯分类器
 
朴素贝叶斯分类器(Naive Bayes Classifier)是应用最为广泛的分类算法之一。借助于先验概率与后验概率的概念,贝叶斯分类器只需要少量的训练数据即可估计出一些必要的参数，能够在许多复杂的条件中取得较好的效果。
 
 

 图5-朴素贝叶斯分类器
 



 
2、深度学习
 
2.1 人工神经网络
 
人工神经网络(Artificial Neural Network,ANN)是20世纪80 年代以来人工智能领域兴起的研究热点。它从信息处理角度对人脑神经元网络进行抽象，建立某种简单模型，按不同的连接方式组成不同的网络。
 
 

 图6-人工神经网络
 



 
2.2 深度神经网络
 
人工神经网络(Artificial Neural Network,ANN)又称简单神经网络(Simple Neural Network),由输入层、一个隐藏层、输出层三个部分组成,每层都包含若干个神经元。而深度神经网络(Deep Neural Network, DNN)本质上是具有多个隐藏层的ANN,它是最早被应用的深度学习算法之一。
 
 

 图7-深度神经网络
 



 
2.3 卷积神经网络
 
卷积神经网络(Convolutional Neural Network,CNN)是一种前馈神经网络,通常由输入、卷积层、池化层、全连接层、输出五个部分组成。其中,卷积层是CNN的核心层,该层由一系列的卷积核组成。池化层又称下采样层,主要用于压缩特征空间。CNN在图像识别领域的表现尤为出色,除此之外,CNN在物体检测、图像分割、人脸识别、脑电信号分类等领域都有着广泛的应用。
 
 

 图8-卷积神经网络
 



 
2.4 循环神经网络
 
与ANN类似,循环神经网络(Recurrent Neural Network,RNN)同样由输入层、隐藏层、输出层三部分组成。RNN是一类用于处理序列的神经网络,如时间序列数据、文本序列数据等。不同于ANN,RNN隐藏单元的状态不仅依赖于当前的输入,还依赖于上一个时刻隐藏单元的输出,这使得RNN成为了一个具有记忆能力的神经网络。RNN在自然语言处理(Natural Language Processing)方面得到了广泛应用,比如基于RNN的LSTM算法被应用于文本生成、机器翻译、语音识别等领域。
 
值得一提的是,LSTM算法在近年来有着一些我们熟知的应用:
 
2015年以来，在机械故障诊断和预测领域，相关学者应用LSTM来处理机械设备的振动信号。
2016年,谷歌公司应用LSTM来做语音识别和文字翻译,其中Google翻译用的就是一个7-8层的LSTM模型
2016年,苹果公司使用LSTM来优化Siri应用
 
 

 图9-循环神经网络
 



 
2.5 自编码器
 
自编码器(Auto Encoder,AE)是一种用于非监督学习的神经网络,同样具有输入层、隐藏层、输出层三层结构,包含编码、解码两个部分。AE的主要作用在于重构输入,即将原始输入经编码抽象后传递至解码器。AE在NLP领域中的机器翻译、文档聚类、情绪分析等任务中都有着广泛的应用。
 
 

 图10-自编码器
 

 
 
深度学习是人工智能从概念提出到走向繁荣得以实现的主流技术。成为移动机器人、人脸识别、物体检测、自动驾驶、智能家居等应用不可或缺的方法，并且基于深度学习的方法在准确率上已经接近甚至超过人类水平。
 

 
人工智能产品的落地应用，备受全球瞩目，《国务院关于印发新一代人工智能发展规划的通知》中确立了2020 年将实现人工智能核心产业规模超过1500亿元的目标。

 
但由于我国人工智能起步较晚、发展历程较短，人工智能人才储备不足且培养机制不完善，导致我国人工智能产业内有效人才缺口预计高达30 万。作为人工智能技术的根基，深度学习已成为人工智能领域入门者及研究者的必修知识。
 

 
（图片来源：全球人工智能人才报告）
 
有效人才缺口大、市场需求急剧增长、薪资丰厚，很多想要在短期内掌握深度学习知识，因此很多人通过读知乎、博客文章的形式进行学习，但很难通过零散的知识点达到系统学习的效果；思维工程非理论，在深度学习理论理解不透彻的情况下，直接进行动手实践，最终造成只会调参数的局面。
 
怎样才能拥有扎实的理论基础做后盾？最终实现落地实际应用?
 
近期,深蓝学院推出『深度学习：从理论到实践』在线课程，本门课程将从基础的数学模型以及算法实现出发，详细讲解CNN、 RNN、 LSTM等常见的深度神经网络模型，通过生动形象的案例使大家更清楚地理解核心算法。
 
通过动手实践计算机视觉、自然语言处理等领域的经典任务，将理论与实践结合，真正做到夯实基础。
 
课程大纲
 

 
 
 
课程讲师
 
元春
 
算法工程师
 
博士毕业于中科院大数据挖掘与知识管理重点实验室，主要研究方向为机器学习、自然语言处理。
 
在国际会议与期刊中发表多篇论文，研究课题包括文本多语境表示学习和文本情感分析算法研究，以及利用文本情感分析方法与动态情感复杂网络对股市的研究。
 
曾与考拉征信、春雨医生、北京大学大数据研究院进行项目合作，先后在华为诺亚实验室和微软亚洲研究院实习。

 
洪振
 
高级研究员
 
博士毕业于中科院自动化所模式识别国家重点实验室，主要研究领域包括深度学习、目标识别、语义分割、OCR等。
 
曾获2016RAC目标识别亚军，17年ISPR 2D图像分割冠军，发表论文近10篇。
 
实践项目
 
本门课程采用理论与实践相结合，包括5个实践！这里为大家详细展示两个。
 
实践项目1：房价预测
 
房价预测是一个典型的回归预测问题，经常被当作机器学习算法的入门应用。基于神经网络的房价预测是利用全神经网络的强大拟合能力来拟合一个回归函数。
 
本实践所用数据集为波士顿地区的13个房产特征与对应的房价，通过训练一个神经网络模型可以预测波士顿地区的房价。

 

 
实践项目2 ：目标检测
 
目标检测任务需要从背景中分离出感兴趣的目标，并确定这一目标的描述(类别和位置)，是从图像分类过渡来的任务，目标检测的应用主要包括人脸检测、安防监控、交通疏导等。本次实践主要讲解基于CNN的目标检测的开山鼻祖:Faster RCNN。会从思想来源(分类任务到检测的过渡)、网络搭建和网络预测三个方面展开，熟悉目标检测的基础框架。
 

 
实践项目3：图像分类
 
本实践所用数据集为1000类的ImageNet数据集，共计120张样本。会从模型搭建、模型训练和网络预测三个方面进行展开，熟悉整个图像分类框架。
 
实践项目4：手写数字识别
 
本章节通过两个典型的回归与分类问题，可以初步了解到神经网络的能力，通过从头到尾手写代码完成训练，也能了解神经网络大概的工作步骤，为后续章节中PyTorch的学习积累经验。
 
实践项目5： 文本分类
 
本次实践利用标注好的旅游文本情感数据，利用课程讲解的卷积神经网络与循环神经网络，或是两者的搭配来创建一个文本情感分类模型，从而训练出一个实际可用的分类模型，以此来支撑实际的业务需要。（详细内容添加文末客服领取）
 
学完本门课程你将收获
 
1. 充分理解相比于经典的神经网络，深度神经网络强大的表示学习能力；
 
2.  掌握经典的深度神经网络模型（CNN, RNN, LSTM）思想原理；
 
3. 学会使用深度学习解决实际任务，及解决任务的整体流程；
 
4.  熟悉当下主流的深度学习框架Pytorch，并通过该框架做CV及NLP领域的实践。
 
还能收获什么？
 
1. 优质的学术圈子

 
伙伴们大多是来自985、211及海外院校硕博，在这里大家一起学习、进行讨论与研究。独一无二的优质圈子将是你未来学习与就业的宝贵资源。

 
2. 企业认可的证书
 
学完课程后将有机会收获优秀学员证书、毕业证书，为你的简历加分添彩。
 

 
课程服务
 
1. 三师助力
 
讲师&助教及时答疑解惑，班主任全程带班督学，帮你克服拖延，不断进步。
 
 
 
2. 定期班会
 
助教会对作业进行1V1讲评和指导；在班会中，学习更多技巧；在交流中收获更多思路。
 

 
从这门课程开始你的深度学习吧！

 
抢占优惠名额
 
 现在报名，立即优惠50元
 
仅限16人！
 
扫码备注“09”，优先通过哦~

 

 
添加客服『育心』，获取更多信息~