前馈神经网络
 
前馈神经网络（FeedForward NN ) :是一种最简单的神经网络，采用单向多层结构，各神经元分层排列，每个神经元只与前一层的神经元相连。接收前一层的输出，并输出给下一层，各层间没有反馈。
 
前馈网络包括三类节点：
 ■ 输入节点（Input Nodes）：外界信息输入，不进行任何 计 算 ，仅向下一层节点传递信息
 ■隐藏节点（Hidden Nodes）：接收上一 层节点的输入，进行计算，并将信息传到下一层节点
 ■ 输出节点（Output Nodes）：接收上_层节点的输入，进行计 算 ， 并将结果输出
 
输入层和输出层必须有，隐藏层可以没有，即为单层感知器，隐藏层也可以不止一层，有隐藏层的前馈网络即多层感知器。
 
反馈神经网络
 
反馈神经网络（FeedBack NN ):又称递归网络、回归网络，是一种将输出经过一步时移再接入到输入层的神经网络系统。这类网络中，神经元可以互连，有些神经元的输出会被反馈至同层甚至前层的神经元。常见的有Hopfield神经网络、Elman神经网络、Boltzmann机等。
 
前馈神经网络和反馈神经网络的主要区别：
 ■前馈神经网络各层神经元之间无连接，神经元只接受上层传来的数据，处理后传入下一层，数据正向流动；反馈神经网络层间神经元有连接，数据可以在同层间流动或反馈至前层。
 ■前馈神经网络不考虑输出与输入在时间上的滞后效应，只表达输出与输入的映射关系；反馈神经网络考虑输出与输入之间在时间上的延迟，需要用动态方程来描述系统的模型。
 ■前馈神经网络的学习主要采用误差修正法（如BP算法），计算过程一般比较慢，收敛速度也比较慢；反馈神经网络主要采用Hebb学习规则，一般情况下计算的收敛速度很快。
 ■相比前馈神经网络，反馈神经网络更适合应用在联想记忆和优化计算等领域。
 
感知器
 
感知器（Perceptron): 用于线性客服模式分类的最简单的神经网络模型。由一个具有可调树突权值和偏置的神经元组成。1958年Frank Rosenblatt提出一种具有单层计算单元的神经网络，即为Perception。其本质是一个非线性前馈网络，同层内无互联，不同层间无反馈，由下层向上层传递。其输入、输出均为离散值，神经元对输入加权求和后，由阈值函数决定其输出。感知器实践上是一个简单的单层神经网络模型。
 
 
自适应线性单元
 
1962年，斯坦福大学教授Widrow提出一种自适应可调的神经网络，其基本构成单元称为自适应线性单元（Adaptive Linear Neuron， ADALINE)，其主要作用是线性逼近一个函数式而进行模式联想。该模型是最早用于实际工程解决问题的人工神经网络。这种自适应可调的神经网络主要适应于信号处理中的自适应滤波、预测、模式识别等，主要应用于语言识别、天气预报、心电图诊断、信号处理以及系统识别等方面。
 
 
SONN
 
自组织神经网络（Self Organization Neural Network, SONN)，又称自组织竞争神经网络，通过自动寻找样本中的内在规律和本质属性，自组织、自适应地改变网络参数与结构。通常通过竞争学习（Competitive Learning）实现。
 
自组织神经网络属于前馈神经网络，采用无监督学习算法。其思路为：竞争层的神经元通过竞争（与输入模式进行匹配），选出一个获胜者，其输出就代表了对输入模式的分类。常见的有自适应共振理论网络ART、自组织特征映射神经网络SOM、对偶传播网络CPN等。适合解决模式分类和识别方面的问题。
 
竞争学习（Competition Learning） 是人工神经网络的一种学习方式，指网络单元群体中所有单元相互竞争对外界刺激模式响应的权利，竞争取胜的单元的连接权重向着对这一刺激有利的方向变化，相对来说竞争取胜的单元抑制了竞争失败单元对刺激模式的响应。属于自适应学习，使网络单元具有选择接受外界刺激模式的特性。竞争学习的更一般形式是不仅允许单个胜者出现，而是允许多个胜者出现，学习发生在胜者集合中各单元的连接权重上。
 
LVQ
 
学习向量量化神经网络（Learning Vector Quantization, LVQ）：在竞争网络的基础上，由Kohonen提出，其核心为将竞争学习与有监督学习相结合，学习过程中通过教师信号对输入样本的分配类别进行规定，克服了自组织网络采用无监督学习
 算法带来的缺乏分类信息的弱点。
 
量化：在数字信号处理领域，是指将信号的连续取值（或者大量可能的离散取值）近似为有限多个（或较少的）离散值的过程。向最置化是对标置量化的扩展，更适用于高维数据。
 
网络结构特点：
 ■由三层组成：输入层、竞争层、输出层
 ■输入层和竞争层之间是全连接
 ■ 一组竞争层节点对应一个输出节点
 ■输入层到竞争层的权重可调整
 ■竞争层到输出层的权重通常为固定值1
 ■竞争层的学习规则为胜者为王WTA
 ■竞争层的胜者输出为1,其余为0
 
 
CPN
 
对偶传播神经网络（Counter-Propagation Network, CPN） , 1987年甶美国学者Robert Hecht-Nielsen提出，最早用来实现样本选择匹配系统，能存储二进制或模拟值的模式对，可用于联想存储、模式分类、函数通近、统计分析和数据压缩等。
 
网络拓扑结构：
 共三层，各层之间为全连接，与三层BP网络相似。但其本质不同，实际上是由自组织网络+外星网络构成，其隐藏层即为竞争层，采用竞争学习规则，输出层为Grossberg层，采用Widrow-Hoff或者Grossberg学习规则。
 
 
ART
 
自适应共振理论（Adaptive Resource Theory，ART），1976年由美国波士顿大学学者G.A.Carpenter提出，试图为人类的心理和认证活动建立统一的数学理论。随后又和S.Grossberg提出了ART网络。
 ART网络由两层组成两个子系统，一个叫比较层C，一个叫识别层R，及三种控制信号：复位信号（Reset)、逻辑控制信号（G1、G2）组成。
 
 
 
 
BM
 
玻尔兹曼机（Bolzmann Machine, BM）：也称 Stochastic Hopfield Network with Hidden Units，是一种随机递归神经网络，可以看做是一种随机生成的Hopfield网络。1983年-1986年，由Hinton和Sejnowski提出，该神经网络只有0和1两种状态，其取值根据规律统计法则决定，其形式与注明的统计力学家Boltzmann提出的分布相似，因此被称为Boltzmann机。
 
 特征：
 有可见节点和隐藏节点之分
 形式上和单层反馈网络DHNN非常接近
 可见节点实现输入输出，隐藏节点实现输入输出间的联系
 从功能上看，和三层BP网络比较接近
 权重矩阵对称，且自反馈为0 ,即 $w_{ij}=w_{ji}$且$w_{ij}=0$
 
RBM
 
受限玻尔兹曼机（Restricted Boltzmann Machine, RBM），是一种简化的特殊的玻尔兹曼机，1986年由Paul Smolensky提出。和BM相比，其隐藏层中的节点之间没有互相连接，其可见节点间也没有连接，因此其计算相对更简单。RBM可以应用于降维、分类、协同过滤、特征学习和主题建模等领域，根据任务的不同，可以选择监督学习或者非监督学习等方式进行神经网络模型训练。
 
特征：
 两层结构：可见层和隐藏层
 同层内无连接，不同层全连接：同层内节点激活状态独立
 节点状态二值状态：0和1
 计算相对BM简单
 只要隐层节点足够多，能拟合任何离散分布
 
RBFNN
 
径向基函数神经网络(Radical Basis Function Neural Network, RBF NN): 1988 年由 John Moody和Christian J Darken提出了一种网络结构，属于前向型神经网络，理论上可以任意精度逼近任意连续函数，适合解决分类问题。
 
径向基函数神经网络特征：
 网络结构为三层前向网络
 输入层到隐藏层无权重连接
 隐藏层的激活函数为径向基函数（RBF)
 从输入层到隐藏层的变换时非线性的
 从隐藏层到输入层的变换时线性的
 
 
径向基函数（RBF ):某种沿径向对称的标量函数，通常定义为空间中某点到另外一个中心点的欧氏距离的单调函数。如果某点离中心点距离较远，则函数取值很小。
 $h(x)=e^{-\frac{(x-c{)}^2}{r^2}}$
 
DNN
 
深度神经网络（DNN)：使用统计学方法从原始感官数据中提取高层特征，在大量的数据中获得输入空间的有效表征。
 简单理解，深度神经网络就是有多个隐藏层的多层感知器网络，根据实际应用情况不同，其形态和大小也都不一样。
 
CNN
 
卷积神经网络（CNN): 由Yann LeCun提出并应用在手写字体(MINST)识别上，其实质是一种多层前馈网络，擅长处理图像特别是大图像的处理和识别。
 
 
RNN
 
前馈神经网络只能单独处理一个的输入，不同的输入之间被认为是相互独立没有联系的，但实际上很多时候输入之间是有序列关系的，需要使用递归神经网络（Recurrent Neural Network, RNN), 也称循环神经网络，其引入了 “记忆"的概念，即描述了当前输出于之前的输入信息的关系，递归的含义是指每个神经元都执行相同的任务，但是输出依赖于输入和"记忆”，常用语NLP、机器翻译、语音识别、图像描述生成、文本相似度等。
 
 
LSTM
 
长短期记忆网络（Long Short-Term Memory, LSTM）:是一种时间递归神经网络，适合用于处理和预测时间序列中间隔和延迟较长的重要事件。基于LSTM的系统可以学习翻译语言、控制机器人、图像分析、文档摘要、语音识别、图像识别、手写识别、控制聊天机器人、预测疾病、点击率和股票、合成音乐等等任务。LSTM区別于RNN的地方，主要就在于它在算法中加入了一个判断信息有用与否的"处理器"，信息有用则被记忆，无用则被遗忘。目前已经证明，LSTM是解决长序依赖问题的有效技术，并且这种技术的普适性非常高，导致带来的可能性变化非常多。
 
 
自编码器
 
自动编码器（AutoEncoder):是人工神经网络的一种，主要用来处理数据的压缩，其数据的压缩和解压缩函数是数据相关的、有损的、从样本中自动学习的。原理为训练神经网络，通过捕捉可以代表输入信息的最关键的因素，让其输入能近似复制到输出，即让输入内容和输出内容近似一样。
 
 
DBN
 
深度信念网结（Deep Belief Nets, DBN): 或称深度置信网络，神经网络的一种，由多个受限玻尔兹曼机组成。既可以用于非监督学习，类似于一个自编码器，也可以用于监督学习，类似于一个分类器。
 从非监督学习来讲，其目的是尽可能地保留原始特征的特点，同时降低特征的维度。
 从监督学习来讲，其目的在于使得分类错误率尽可能地小。
 而不论是监督学习还是非监督学习，DBN的本质都是Feature Learning的过程，即如何得到更好的特征表达。
 
 
GAN
 
生成对抗网结(Generative Adversarial Network, GAN): 由Goodfellow在2014年提出，其核心思想来自于博弈论的"纳什均衡”。它包含两个网络模型：一个生成模型和一个判别模型。生成模型捕捉样本数据的分布，判别模型是一个二分类的分类器。生成模型接受一个随机的噪声，结合学习到的样本数据特征，生成一个新的数据，交由分类横型去判断是否是“真实的”。在训练过程中，生成模型尽量生成新数据去欺骗判断模型，判断模型会尽量去识别出不真实的数据，两者实际上是一个”二元极小极大博弈问题"。最终得到一个生成模型用来生成新的数据。
 

一、单个神经元
 
神经网络算法，是使用计算机模拟生物神经系统，来模拟人类思维方式的算法。它的基本单位就是人工神经元。通过相互连接形成一张神经网络。
 
 
生物神经网络中，每个神经元与其他神经元连接，当它“激活”时，会传递化学物质到相连的神经元，改变其他神经元的电位，当电位达到一定“阈值”，那么这个神经元也会被激活。
 
单个人工神经元的计算公式：
 
 
其中：
 
  为输入参数向量，表示其他神经元输入的信号。
 
  为每个输入参数的权重值，表示对应神经元信号的权重。
 
θ为阈值或者偏差值，是指该激活神经元的难易程度。
 
y为神经元的输出值，表示该神经元是否被激活。
 
Act()为激活函数，理想的激活函数是下图（a）中的跃阶函数，“1”为神经元兴奋，“0”为神经元抑制，但由于跃阶函数具有不是连续可导等不好的性质，因此一般采用下图（b）的Sigmoid函数作为激活函数。
 
 
 
 
二、全连接神经网络结构
 
我们来定义一个全连接神经网络：
 
 
全连接神经网络，就是指每一层的每个神经元都和下一层的每个神经元相连接。
 
Layer：0为输入层，
 
Layer：L为输出层
 
其他L-1个Layer为隐层
 
输入x
 
 
 
我们称一个输入值x为一个样本
 
输出 y
 
 
变量的上标（0）（L），表示该变量处于神经网络的哪一层。
 
 表示第L层编号为i的神经元。 表示第L层的神经元数量。
 
更好的理解神经网络，可观看此视频：https://www.bilibili.com/video/av15532370
 
 
 
三、反向传播算法（BP算法）
 
下面来说明如何调整一个神经网络的参数，也就是误差反向传播算法（BP算法）。以得到一个能够根据输入，预测正确输出的模型。
 
1、首先我们要了解优化的目标
 
根据人工神经元的定义，有以下三个公式：
 
 
其中，Act()是激活函数，之前已经说过。
 
 
根据公式(2)和公式(3)，可以得出各个神经元之间的通用计算公式，如下所示：
 
 
公式(4)是人工神经网络正向传播的核心公式。
 
 
 
那么，我们根据什么来调整神经网络的参数，以得到一个能够正确预测结果的模型呢？请看下面的公式：
 
 
公式(5)用来计算我们期望的输出和实际输出的“差别”，其中cost()叫做损失函数。我们的期望是损失值达到最小。
 
但是，只根据一次输出的损失值，对参数进行调整，无法使模型适应所有输入样本。我们需要的是，调整参数，使得所有输入样本，得到输出的总损失值最小，而不是只让其中一个样本的损失值最小，导致其他样本损失值增大。因此有如下公式：
 
 
公式(6)表示一个batch的所有样本输出的总损失值的平均值。其中，bn表示一个batch中样本的数量。
 
为什么不用所有的样本计算损失值，而将所有样本分成一个个的batch呢？因为所有的训练样本数量太大了，可能有数以百万计，将所有的样本损失值都一起进行运算，计算量过于庞大，大大降低了模型计算的速度。
 
公式(6)中计算总的损失值C，其实是一个以所有的连接权值ω和所有的阈值θ未为变量的多元函数。我们想要的模型就是求得C最小时，所有ω和θ的值。直接计算显然是不可能的，因为对于一个大的深度神经网络，所有的参数变量，可能数以万计。
 
在这里我们使用梯度下降算法来逐步逼近C的最小值，也就是先随机得到一组参数变量的值，然后计算参数变量当前的梯度，向梯度的反方向，也就是C变小最快的方向，逐步调整参数值，最终得到C的最小值，或者近似最小值。
 
而将所有样本，随机分成一个个固定长度的batch，以得到近似的梯度方向，叫做随机梯度下降算法。
 
更好理解梯度下降算法，逐步求得最优的参数值，可观看此视频：https://www.bilibili.com/video/av16144388
 
 
 
2、开始求梯度
 
那么，根据梯度的定义，接下来的任务，就是求取各个参数变量相对于C的偏导数。我们将使用误差反向传播算法来求取各个参数变量的偏导数。
 
这里先剧透一下，求取参数偏导数的方法，和神经网络正向传播（根据样本计算输出值）的方式类似，也是逐层求解，只是方向正好相反，从最后一层开始，逐层向前。
 
更好的理解误差反向传播算法，可观看此视频：https://www.bilibili.com/video/av16577449
 
首先，我们先求神经网络最后一层，也就是输出层的相关参数的偏导数。为了降低推导的复杂性，我们只计算相对于一个样本的损失值函数Cbi的偏导数，因为相对于总损失值函数C的偏导数值，也不过是把某个参数的所有相对于Cbi偏导数值加起来而已。
 
根据公式(2)、公式(3)、公式(5)，以及“复合函数求导法则”，可以得到输出层（L层）某个神经元的权值参数ω的偏导数，计算公式如下：
 
 
根据公式(5)可以得到：
 
 
根据公式(2)可以得到：
 
 
根据公式(3)可以得到：
 
 
将公式(8)(9)(10)，带入公式(7)，可以得到：
 
 
 
 
我们令：
 
 
根据公式(8)(9)则有：
 
 
将公式(13)，带入公式(11)，可以得到：
 
 
这样我们就得到了输出层L相关的权值参数ω的偏导数计算公式！
 
接下来，同理可得输出层L相关的阈值θ的偏导数计算公式为：
 
 
而根据公式(3)可以得到：
 
 
将公式(16)带入公式(15)可以得到：
 
 
这就是输出层L相关的阈值θ的偏导数计算公式！
 
 
 
3、根据L层，求前一层参数的偏导函数
 
由公式(3)可知，一个权值参数ω只影响一个L-1层的神经元，因此有：
 
 
根据公式(3)可以得到：
 
 
将公式(19)带入公式(18)可以得到：
 
 
根据公式(12)可以得到：
 
 
将公式(21)带入公式(20)可以得到：
 
 
同理，我们可以得到：
 
 
根据公式(3)可以得到：
 
 
将公式(24)带入公式(23)可以得到：
 
 
这样我们就得到了L-1层神经元相关参数的计算公式！
 
 
 
下面，我们还需要推导一下 之间的关系，根据公式(2)可以得到：
 
 
同样根据公式(2)可以得到：
 
 
将公式(27)带入公式(26)可以得到：
 
 
由公式(3)可知，一个权值参数ω只影响一个L-1层的神经元，但这个L-1层神经元影响了所有L层的神经元。因此，根据“多元复合函数求导法则”有：
 
 
根据公式(12)可以得到：
 
 
将公式(27)带入公式(26)可以得到：
 
 
根据公式(3)可以得到：
 
 
将公式(32)带入到公式(31)可以得到：
 
 
将公式(33)带入公式(28)可以得到：
 
 
这样我们就得到了反向传播，逐层推导的通用公式：
 
 
 
 
 
在这里，ω和z都是正向传播过程中，已经算好的常数，而   可以从L层开始逐层向前推导，直到第1层，第0层是输入层，不需要调整参数。而第L层的   可参考公式(13)。
 
 
 
下面是全连接神经网络的python实现代码：
 
#coding=utf-8
import numpy as np
import matplotlib.pylab as plt
import random

class NeuralNetwork(object):
    def __init__(self, sizes, act, act_derivative, cost_derivative):
        #sizes表示神经网络各层的神经元个数，第一层为输入层，最后一层为输出层
        #act为神经元的激活函数
        #act_derivative为激活函数的导数
        #cost_derivative为损失函数的导数
        self.num_layers = len(sizes)
        self.sizes = sizes
        self.biases = [np.random.randn(nueron_num, 1) for nueron_num in sizes[1:]]
        self.weights = [np.random.randn(next_layer_nueron_num, nueron_num)
            for nueron_num, next_layer_nueron_num in zip(sizes[:-1], sizes[1:])]
        self.act=act
        self.act_derivative=act_derivative
        self.cost_derivative=cost_derivative

    #前向反馈（正向传播）
    def feedforward(self, a):
        #逐层计算神经元的激活值，公式(4)
        for b, w in zip(self.biases, self.weights):
            a = self.act(np.dot(w, a)+b)
        return a

    #随机梯度下降算法
    def SGD(self, training_data, epochs, batch_size, learning_rate):
        #将训练样本training_data随机分为若干个长度为batch_size的batch
        #使用各个batch的数据不断调整参数，学习率为learning_rate
        #迭代epochs次
        n = len(training_data)
        for j in range(epochs):
            random.shuffle(training_data)
            batches = [training_data[k:k+batch_size] for k in range(0, n, batch_size)]
            for batch in batches:
                self.update_batch(batch, learning_rate)
            print("Epoch {0} complete".format(j))

    def update_batch(self, batch, learning_rate):
        #根据一个batch中的训练样本，调整各个参数值
        nabla_b = [np.zeros(b.shape) for b in self.biases]
        nabla_w = [np.zeros(w.shape) for w in self.weights]
        for x, y in batch:
            delta_nabla_b, delta_nabla_w = self.backprop(x, y)
            nabla_b = [nb+dnb for nb, dnb in zip(nabla_b, delta_nabla_b)]
            nabla_w = [nw+dnw for nw, dnw in zip(nabla_w, delta_nabla_w)]
        #计算梯度，并调整各个参数值
        self.weights = [w-(learning_rate/len(batch))*nw for w, nw in zip(self.weights, nabla_w)]
        self.biases = [b-(learning_rate/len(batch))*nb for b, nb in zip(self.biases, nabla_b)]

    #反向传播
    def backprop(self, x, y):
        #保存b和w的偏导数值
        nabla_b = [np.zeros(b.shape) for b in self.biases]
        nabla_w = [np.zeros(w.shape) for w in self.weights]
        #正向传播
        activation = x
        #保存每一层神经元的激活值
        activations = [x]
        #保存每一层神经元的z值
        zs = []
        for b, w in zip(self.biases, self.weights):
            z = np.dot(w, activation)+b
            zs.append(z)
            activation = self.act(z)
            activations.append(activation)
        #反向传播得到各个参数的偏导数值
        #公式(13)
        d = self.cost_derivative(activations[-1], y) * self.act_derivative(zs[-1])
        #公式(17)
        nabla_b[-1] = d
        #公式(14)
        nabla_w[-1] = np.dot(d, activations[-2].transpose())
        #反向逐层计算
        for l in range(2, self.num_layers):
            z = zs[-l]
            sp = self.act_derivative(z)
            #公式(36)，反向逐层求参数偏导
            d = np.dot(self.weights[-l+1].transpose(), d) * sp
            #公式(38)
            nabla_b[-l] = d
            #公式(37)
            nabla_w[-l] = np.dot(d, activations[-l-1].transpose())
        return (nabla_b, nabla_w)

#距离函数的偏导数
def distance_derivative(output_activations, y):
    #损失函数的偏导数
    return 2*(output_activations-y)

# sigmoid函数
def sigmoid(z):
    return 1.0/(1.0+np.exp(-z))

# sigmoid函数的导数
def sigmoid_derivative(z):
    return sigmoid(z)*(1-sigmoid(z))

if __name__ == "__main__":
    #创建一个5层的全连接神经网络，每层的神经元个数为1，8，5，3，1
    #其中第一层为输入层，最后一层为输出层
    network=NeuralNetwork([1,8,5,3,1],sigmoid,sigmoid_derivative,distance_derivative)

    #训练集样本
    x = np.array([np.linspace(-7, 7, 200)]).T
    #训练集结果，由于使用了sigmoid作为激活函数，需保证其结果落在(0,1)区间内
    y = (np.cos(x)+1)/2

    #使用随机梯度下降算法（SGD）对模型进行训练
    #迭代5000次；每次随机抽取40个样本作为一个batch；学习率设为0.1
    training_data=[(np.array([x_value]),np.array([y_value])) for x_value,y_value in zip(x,y)]
    network.SGD(training_data,5000,40,0.1)

    #测试集样本
    x_test = np.array([np.linspace(-9, 9, 120)])
    #测试集结果
    y_predict = network.feedforward(x_test)

    #图示对比训练集和测试集数据
    plt.plot(x,y,'r',x_test.T,y_predict.T,'*')
    plt.show()
 
 

本文介绍了人工智能的发展历史，基本概念，应用领域；神经元模型，神经元的学习规则以及神经网络工作原理。本系列文章来自阿里云大学人工智能学习路线中的《神经网络概览及神经网络算法详解》课程。
 
 
系列文章：
 
【神经网络算法详解 01】-- 人工神经网络基础
【神经网络算法详解 02】 – 感知神经网络与反向传播算法（BP）
【神经网络算法详解 03】 – 竞争神经网络【SONN、SOFM、LVQ、CPN、ART】
【神经网络算法详解 04】 – 反馈神经网络 【Hopfield、DHNN、CHNN、BAM、BM、RBM】
【神经网络算法详解 05】-- 其它类型的神经网络简介【RBF NN、DNN、CNN、LSTM、RNN、AE、DBN、GAN】
 
 


 
文章目录
 
系列文章：
1. 人工神经网络（ANN）及人工智能（AI）
1.1 智能（Intelligence）
1.2 人工智能（Artificial Intelligence）
1.3 ANN的发展历史
  
2. 神经元模型
2.1 神经元结构
2.2 生物神经元模型
2.3 信息处理机制
2.4 M-P模型
2.5 激活函数
  
3. 神经网络模型
3.1 神经网络模型分类
3.1.1 按照拓扑结构划分
3.1.2 按照信息流向划分
   
3.2 前馈神经网络
3.3 反馈神经网络
3.4 前馈神经网络和反馈神经网络的主要区别
3.5 前馈与反馈
  
4. 神经元网络学习规则
4.1 基本概念
4.2 学习规则类型
4.3 赫布法则
4.3.1 由来
4.3.2 赫布学习规则
4.3.3 赫布学习规则实例
   
4.4 离散感知器学习规则
4.4.1 实例
   
4.5 连续感知器学习规则
4.5.1 损失函数
4.5.2 损失函数优化：梯度下降法
   
4.5.3 $\delta$ 规则
4.5.4 最小均方学习规则
4.5.5 相关学习规则
4.5.6 竞争学习&胜者为王
4.5.7 外形学习规则
  
 

 
 
1. 人工神经网络（ANN）及人工智能（AI）
 
智能（Intelligence） 是个体有目的的行为，合理的思维以及有效的适应环境的综合能力。或者说智能是个体认识客观事物和运用知识解决问题的能力。
人工智能（Artificial Intelligence，AI） 最初在1956年被引入，它主要研究怎样让计算机模仿人脑从事准理、设计、思考、学习等思维活动，以解决和处理较复杂的问题。简单的讲，人工智能就是研究如何让计算机模仿人脑进行工作。
人工神经网络（Artificial Neural Network，ANN） 是一种旨在模仿人脑结构及其功能的脑式智能信息处理系统。通常以数学和物理的方法以及信息处理的角度对人脑神经网络进行抽象，并建立某种简化模型。简单的讲，它是一种数学模型，可以用电子线路来实现，也可以通过计算枧程序来模拟，是人工智能的一种研究方法。
 
1.1 智能（Intelligence）
 
【智能（Intelligence）】是个体有目的的行为，合理的思维以及有效的适应环境的综合能力。或者说智能是个体认识客观事物和运用知识解决问题的能力。
 
通常认为智能包含以下方面的能力：
 
感知与认识客观事物、客观世界和自我的能力：人类生存最基本的能力，感知是智能的基础；
通过学习取得知识与积累经验的能力：人类能够持续发展的最基本的能力；
理解知识，运用知识经验去分析、解决问题的能力：智能的高级形式，人类改造世界的基本能力；
联想、推理、判断和决策的能力：智能的高级形式，人类对未来和未知的预测、应对能力；
运用语言进行抽象、概括的能力：是形式化描述的基础；
“发现、发明、创造和创新的能力：是第三种能力的高级体现；
实时、迅速、合理地应付复杂环境的能力：实时反映能力，也是人类生存的基本能力；
预测、洞察事物发展、变化的能力：根据历史信息和经验，判断事物未来的发展。
 
1.2 人工智能（Artificial Intelligence）
 
【人工智能（Artificial Intelligence，AI）】 最初在1956年被引入，它主要研究怎样让计算机模仿人脑从事准理、设计、思考、学习等思维活动，以解决和处理较复杂的问题。简单的讲，人工智能就是研究如何让计算机模仿人脑进行工作。
 
由于研究的出发点、方法学以及应用领域的不同，有多个代表性的流派：
 
符号主义学派：Newell和Simon在1967年提出的假说，认为人工智能源于数学逻辑，通过数学逻辑来描述智能行为，后来发展了启发式算法 --> 专家系统 --> 知识工程的理论。
联接主义学派：代表人物为McCulloch和Pitts，认为人工智能源于仿生学，特别是人脑的研究，并提出了MP模型，后来基于该模型衍生出人工神经网络等
行为主义学派：认为人工智能源于控制论，Wiener等提出的控制论和自组织系统等，立足于模拟人在控制过程中的智能行为和作用，如自组织、自寻优、自适应、自学习等。
 
1.3 ANN的发展历史
 
萌芽期（？-1949）
 
1943年，心理学家McCulloch和数学家Pitts根据神经元提出M-P模型，打下坚实基础；
1949年，心理学家Hebb提出了人工神经网络的学习规则，称为模型的训练算法的起点。
 
第一高潮期（1950-1968）
 
单层感知器：研究者通过电子线路或者计算机去实现单层感知器，包括Minsky、Rosenblatt等，被用于各种问题求解，甚至某个阶段内被乐观的认为找到了智能的根源。
 
反思期（1969-1981）
 
1969年，Minsky和Papert发表论文《Perceptron》，从理论上严格证明了单层感知器无法解决异或问题从而引申到无法解决线性不可分的问题，由于大部分问题都是线性不可分的，所以单层感知器的能力有限，人们对ANN的研究进入反思期。
也取得到了一些积极成果，如Arbib的竟争模型、Kohonen的自组织映射、Grossberg的自适应共振模型（ART）、RumeIIhart等人并行分布处理模型（PDP）等。
 
第二高潮期（1982-90年代）．
 
1982年Hopfield提出循环网络，1984年研制了HopfiIed网络，解决了TSP问题；
1985年，美国加州大学圣地亚哥分校的Hinton、Rumellhart等提出了Boltzmann机；
1986年RumeIIhart等人提出了用于多层网络训练的BP算法对ANN起到了重大的推动作用；
1987年，第一届神经网络国际会议在加州，1600+人参加，1990年12月，国内第一届在北京举行。
 
新时期（90年代至今）
 
神经网络已经成为涉及神经生理科学、认知科学、数理科学、心理学、信息科学、计算机科学、微电子学、光学、生物电子学等多学科交叉、综合的前沿学科；
神经网络的应用已经渗透到模式识别、图像处理、非线性优化、语音处理、自然语言理解、自动目标识别、机器人、专家系统等领域，并取得了令人瞩目的成果；
各种会议、论坛、刊物、活动等越来越多；
除了神经研究本身的突破和进展之外，相关的领域也都取得了长足的发展。
 
 
ANN与大数据
 
 
 
ANN的基本特征
 
结构特点 
  
信息处理的并行性：单个单元处理简单，可以大规模并行处理，有较快的涑度；
信息存储的分布性：信息不是存储在网络中的局部，而是分布在网络所有的连接权中；
信息处理单元的互联性：处理单元之间互联，呈现出丰富的功能；
结构的可塑性：连接方式多样，结构可塑。
 
性能特点 
  
高度的非线性：多个单元链接，体现出非线性；
良好的容错性：分布式存储的结构特点使容错性好；
计算的非精确性：当输入模糊信息时，通过处理连续的模拟信号及不精确的信息逼近解而非精确解。
 
能力特征 
  
自学习、自组织与自适应性：根据外部环境变化通过训练或感知，能调节参数适应变化（自学习），并可按输入刺激调整构建神经网络（自组织）。
 
 
 
ANN的基本功能
 
 
 
2. 神经元模型
 
2.1 神经元结构
 
 
2.2 生物神经元模型
 
 
2.3 信息处理机制
 
生物神经元的信息的产生、传递和处理是一种电化学活动，其机制为：
 
信息产生：在某一给定时刻，神经元总是处于静息、兴奋和抑制三种状态之一。在外界的刺激下，当神经元的兴奋程度大于某个阈电位时，神经元被激发而发出神经脉冲。
传递与接收：神经脉冲信号沿轴突传向其末端的各个分支，通过突触完成传递与接收。突触有兴奋性突触和抑制性性突触两种，当兴奋性突触的电位超过某个阈电位时，后一个神经元就有神经脉冲输出，从而把前一个神经元的信息传递给了后一个神经元。
信息整合：接收各个轴突传来的脉冲输入，根据输入可到达神经元的不同部位，输入部位不同，对神经元影响的权重也不同。在同一时刻产生的刺激所引起的电位变化大致等于各单独刺激引起的电位变化的代数和。神经元对空间和时间上对输入进行积累和整合加工，从而决定输出的时机和强弱。
生物神经网络：由多个生物神经元以确定方式和拓扑结构互相连接即形成生物神经网络，是一种更为灵巧、复杂的生物信息处理系统，在宏观上呈现出复杂的信息处理能力。
 
2.4 M-P模型
 

 神经元特点：
 
多个输入单个输出
多输入累加整合
不同输入仅重不同
阈值特性
 
M-P模型：是把神经元视为二值开关元件，按照不同方式组合来完成各种逻辑运算。能够构成逻辑与、非、或，理论上可以进而组成任意复杂的逻辑关系，若将M-P模型按一定方式组织起来，可以构成具有逻辑功能的神经网络。
 
 
 
2.5 激活函数
 
激活函数 (Activation Function)：也叫连接函数、传递函数、变换函数或者激励函数。用来模拟神经元输出与具激活状态之间的联系：输入达到某个阈值后达到激活状态，否则为抑制态。不同的激活函数，会使神经元具有不同的信息处理特性。**对于神经网络来讲，激活函数的主要作用就是进行线性变换，增加系统的非线性表达能力。**常见的激活函数有：
 
 
 
3. 神经网络模型
 
3.1 神经网络模型分类
 
3.1.1 按照拓扑结构划分
 
可分为层次结构和互连结构。
 
层次结构：
 
互连结构
 
全互连：每个节点都和其他所有节点连接
局部互连：每个节点只与其临近节点有连接
稀疏连接：节点只与少数相距较远的节点有连接
 
 
3.1.2 按照信息流向划分
 
可分为前馈性网络和反馈性网络
 
前馈型网络：网络信息从输入层到各藏层再到输出层逐层前进。
反馈型网络：反馈网络中所有节点都具有信息处理功能，并且每个节点既可以接收输入同时又可以进行输出。
 
 
3.2 前馈神经网络
 
前馈神经网络（Feed Forward NN）是一种最简单的神经网络，采用单向多层结构，各神经元分层排列，每个神经元只与前一层的神经元相连。接收前一层的输出，并输出给下一层，各层间没有反馈。
 
前馈网络包括三类节点：
 
输入节点（lnput Nodes）：外界信息输入，不进行任何计算，仅向下一层节点传递信息；
隐藏节点（Hidden Nodes）：接收上一层节点的输入，进行计算，并将信息传到下一层节点；
输出节点（OutputNodes）：接收上一层节点的输入，进行计算，并将结果输出；
 
输入层和输出层必须有，隐藏层可以没有，即为单层感知器，隐藏层也可以不止一层，有隐藏层的前馈网络即多层感知器。
 
 
3.3 反馈神经网络
 
反馈神经网络（Feed Back NN）：又称递归网络、回归网络，是一种将输出经过一步时移再接入到输入层的神经网络系统。这类网络中，神经元可以互连，有些神经元的输出会被反馈至同层甚至前层的神经元。常见的有HopfieId神经网络、Elman神经网络、Boltzmann机等。
 
3.4 前馈神经网络和反馈神经网络的主要区别
 
前馈神经网络各层神经元之间无连接，神经元只接受上层传来的数据，处理后传入下一层，数据正向流动；反馈神经网络层间神经元有连接，数据可以在同层间流动或反馈至前层。
前馈神经网络不考虑输出与输入在时间上的滞后效应，只表达输出与输入的映射关系；反馈神经网络考虑输出与输入之间在时间上的延迟，需要用动态方程来描述系统的模型。
前馈神经网络的学习主要采用误差修正法（如BP算法），计算过程一般比较慢，收敛速度也比较慢；反馈神经网络主要采用Hebb学习规则，一般情况下计算的收敛速度很快。
相比前馈神经网络，反馈神经网络更适合应用在联想记忆和优化计算等领域。
 
3.5 前馈与反馈
 
 
 
4. 神经元网络学习规则
 
4.1 基本概念
 
学习：通过训练使个体在行为上产生较为持久改变的过程，一般来说效果随着训练了的增加而提高，即通过学习获得进步。
 
人工神经网络的功能由其连接的拓扑结构和网络的连接仅值决定，其全体的权值 $w$ 整体反映了神经网络对于所解决问题的知识存储。即一旦拓扑结构和权值确定，该网络可以应用于新的数据得到结果。
 
人工神经网络的学习：通过对样本的学习训练，不断改变网络的拓扑结构及连接权值，使得输出不断的接近期望输出值。
 
通过训练改变权值的规则被称为学习算法或者学习规则，有时也称作训练规则或者训练算法，学习规则对人工神经网络非常重要。
 
4.2 学习规则类型
 
按照一般的分类标准，通常分为三类：
 
 
有监督学习：学习模式为纠错
 不断的给网络提供一个输入即其期望的正确输出（称教师信号），将ANN的实际输出和期望输出作比较，不符时，按照一定规则调整权值参数，重新计算、比较，直到网络对于给定的输入均能产生期望的输出。则认为该网络训练完成，即已学会样本数据中的知识和规则。即可用于解决实际问题。
 
 
无监督学习：学习模式为自组织
 学习时不断给网络提供动态输入信息，网络根据特有的内部结构和学习规则，在输入信息流中发现可能的模式和规律，同时根据网络功能和输入信息调整仅值（自组织）。使网络能对属于同一类的模式进行自动分类。该模式网络权值的调整不取决于教师信号，网络的学习评价标准隐含于网络内部。
 
 
4.3 赫布法则
 
4.3.1 由来
 

 $$DonaldO.Hebb$$
 赫布法则（Heb’s rule）：在《The Organization of Behavior》书中解释了学习过程中大脑中的神经细胞是如何改变和调整的，认为知识和学习发生在大脑主要是通过神经元间突触的形成与变化。当细胞A的轴突足以接近激发细胞B，并反复持续地对细胞B放电，一些生长过程或代谢变化将发生在某一个或这两个细胞内，以致A作为对B放电的细胞中的一个效率增加。通俗来讲就是两个神经细胞交流越多，它们连接的效率就越高，反之就越低。
 
McCulloch-Pitts模型缺乏一个对人工智能而言至关重要的学习机制，M-P模型很好的简化、模拟了神经元，但是无法通过学习的方式调整、优化权重，形成有效的模型。赫布法则的出现，成为神经模型训练（学习机制）的基础性工作。
 

 $$ИванПетровичПавлов$$
 巴浦洛夫的条件反射实验：每次给狗喂食前都先响铃，时间一长，狗就会将铃声和食物朕系起来。以后如果铃响但是不给食物，狗也会流口水。
 
受此实验启发，Hebb的理论认为在同一时间被激发的神经元间的朕系会被强化。例如，铃声响时一个神经元被激发，在同一时间食物的出现会激发附近的另一个神经元，那么这两个神经元间的联系会被强化，从而记住这两个事物之间存在着联系。相反，如果两个神经元总是不能同步激发，那么它们之间的朕系将会越来越弱。
 
赫布规则被作为无监督神经网络的学习规则，广泛应用于自组织神经网络、竞争网络中。
 
4.3.2 赫布学习规则
 

 赫布学习规则的步骤：
 
初始化权值参数 $W$，一般赋于 0 附近的随机数；
初始化学习率 $\eta$；
对所有输入记录：根据输入记录，更新权重值；
 
4.3.3 赫布学习规则实例
 
带入第一个样本更新权重：
 
 带入第二个样本更新权重：
 
 带入第三个样本更新权重：
 
 
4.4 离散感知器学习规则
 
**感知器（Perceptron）**是由Rosenblatt定义的具有单层神经计算单元的神经网络结构。实际上为一种前馈网络，同层内无互连，不同层间无反馈，由下层向上层传递，其输入、输出均为离散值，神经元对输入加权求和后，由阈值函数（激活函数）决定其输出。
 
离散感知器学习规则代表一种有导师的学习方式，其规定将神经元期望输出（教师信号）与实际输出之差作为学习信号，通过训练调整权值，直到实际输出满足要求（等于或者接近于期望输出）。
 
 离散感知器学习规则的步骤：
 
初始化权值参数，学习速率；
对每一个样本，实际输出和期望输出的差满足要求：根据输入记录，更新权重值；
 
4.4.1 实例
 

 
 
 
 验证：
 
 
4.5 连续感知器学习规则
 

 $$McClelland$$
 DeIta习规则（$\delta$ LearningRule)：1986年，由认知心理学家McCIeIIand和RumeIIhart在神经网络训练中引入了学习规则。一种简单的有导师学习算法，该算法根据神经元的实际输出与期望输出差别来调整连接权。
 
Delta学习规则的思路如下：系统首先用一个输入向量，输入网络结构，得到一个输出向量；每个输入向量都有一个对应的期望输出向量、或者称作是目标向量；比较实际输出向量与期望输出向量的差别，若没有差别，就不再继续学习；否则，连接的权重修改对应的差值（delta差）。
 
4.5.1 损失函数
 
损失函数（Loss Function）：用于衡量最优的策略，通常是一个非负实值函数。机器学习试图通过不断的学习，建立一个可以很好预测现实结果的模型，损失函数则是用来衡量预测结果和真实结果之间的差距，其值越小，代表预测结果和真实结果越一致。损失函数越合适，通韋模型的性能越好。通过各种方式缩小损失函数的过程被称作优化·损失函数记做 $L(Y,f(x))$。
 
0-1损失函数（0-1 LF）：预测值和实际值精确相等则“没有损失”，为0，否则意味着“完全损失”，为1，预测值和实际值精确相等有些过于严格，可以采用两者的差小于某个阈值的方式：
 
 
绝对值损失函数（AbsoIuteLF）：预测结果与真实结果差的绝对值。简单易懂，但是计算不方便。
 $$L(Y,f(x))=|Y-f(X)|$$
 平方损失函数（Quadratic LF）：预测结果与真实结果差的平方。
 $$L(Y,f(x))=(Y-f(X){)}^2$$
 
平方损失函数优势有：
 
每个样本的误差都是正的，累加不会被抵消；
平方对于大误差的惩罚大于小误差；
数学计算简单、友好，导数为一次函数。
 
 
对数损失函数（Logarithmic LF） 或对数似然损失函数(log-likehood loss function)对数函数具有单调性，在求最优化问题时，结果与原始目标一致。可将乘法转化为加法，简化计算。
 $$L(Y,P(Y|X))=-logP(Y|X)$$
 指数损失函数（ExponentiaI LF） 或对数似然损失函数(likehood loss function)：单调性、非负性的优良性质，使得越接近正确结果误差越小。
 $$L(Y,f(x))=e^{-Y\ast f(X)}$$
 
折叶掼失函数（HingeLF）：也称铰链损失，对于判定边界附近的点的惩罚力度较高，常见于SVM。
 $$L(f(x))=max(0,1-f(x))$$
 
不同的损失函数有不同的持点，适用于不同的场景：
 
0-1：理想状况模型
Log：逻辑回归、交叉熵
Squared：线性回归
Exponential：AdaBoosting
Hinge：SVM、soft margin
 
4.5.2 损失函数优化：梯度下降法
 
 
4.5.3 $\delta$ 规则
 
 
4.5.4 最小均方学习规则
 
 
4.5.5 相关学习规则
 
 
4.5.6 竞争学习&胜者为王
 
竞争学习（Competition Learning） 是人工神经网络的一种学习方式，指网络单元群体中所有单元相互竟争对外界刺激模式响应的权利。竟争取胜的单元的连接权重向着对这一刺激有利的方向变化，相对来说竟争取胜的单元抑制了竟争失败单元对刺激模式的响应。属于自适应学习，使网络单元具有选择接受外界刺激模式的特性。竟争学习的更一般形式是不仅允许单个胜者出现，而是允许多个胜者出现，学习
 发生在胜者集合中各单元的连接权重上。
 
胜者为王学习规则（Winner-Take-All）。无导师学习，将网络的某一层设置为竞争层，对于输入 $X$ 竞争层的所有 $p$ 个神经元均有输出响应，响应值最大的神经元在竟争中获胜，即：$W_m^{T}X=ma{x}_{i=1,2,...p}(W_i^{T}X)$。获胜的神经元才有权调整其权向量 $Wm$，调整量为：$\delta W_m=a(X-W_m)，\alpha \in （0，1]$ 随着学习而减小。
 
在竞争学习过程中，竞争层的各神经元所对应的权向量逐渐调整为输入样本空间的聚类中心。
 
在实际应用中通常会定义以获胜神经元为中心的邻域，所在邻域内的所有神经元都进行权重调整。
 

 
 
 
 
 
4.5.7 外形学习规则
 
内星节点：总是接收其他神经元输入的加权信号，是信号的汇聚点，其对应的权值向量称作内星权向量。
 外星节点：总是向其他神经元输出加权信号，是信号的发散点，其对应的权值向量称作外星权向量。
 
 两者的更新规则：
 
内星属于无导师学习，外星属于有导师学习；
内星更新依赖于输入和权重的差异，外星更新依赖于输出和权重的差异。
 
 
 
课程链接：https://edu.aliyun.com/course/1923
 

典型的卷积神经网络，开始阶段都是卷积层以及池化层的相互交替使用，之后采用全连接层将卷积和池化后的结果特征全部提取进行概率计算处理。
 在具体的误差反馈和权重更新的处理上，不论是全连接层的更新还是卷积层的更新，使用的都是经典的反馈神经网络算法，这种方法较原本较为复杂的、要考虑长期的链式法则转化为只需要考虑前后节点输入和输出误差对权重的影响，使得当神经网络深度加大时能够利用计算机计算，以及卷积核在计算过程中产生非常多的数据计算。
 
反馈神经网络正向与反向传播公式推导
 
经典反馈神经网络主要包括3个部分，数据的前向计算、误差的反向传播以及权值的更新。如下图所示。
 
 　　可以看到每个层l（假设是卷积或者池化层的一种）都会接一个下采样层l+1。对于反馈神经网络来说，要想求得层l的每个神经元对应的权值更新，就需要先求层l的每一个神经元点的灵敏度。简单来说，总体有以下几个权重以及数值需要在传递的过程中进行计算，即：
 　　1.输入层-卷积层
 　　2.卷积层-池化层
 　　3.池化层-全连接层
 　　4.全连接层-输出层
 　　这是正向的计算，而当权值更新时，需要对其进行反向更新，即：
 　　1.输出层-全连接层
 　　2.全连接层-池化层
 　　3.池化层-卷积层
 　　4.卷积层-输出层
 
1.前向传播算法
 　　对于前向传播的值传递，隐藏层输出值定义如下：
 　　　　　　　　$a_h^{H1}$=$W_h^{H1}$×$X_i$
 　　　　　　　　$b_h^{H1}$ = $f(a_h^{H1})$
 　　其中$X_i$是当前输入节点的值，$W_h^{H1}$是连接到此节点的权重，$a_h^{H1}$是输出值。f是当前阶段的激活函数，$b_h^{H1}$是当前节点的输入值经过计算后被激活的值。
 　　对于输出层，定义如下：
 　　　　　　　　$a_k$ = $\sum W_{hk}\times b_h^{H1}$
 　　其中，$W_{hk}$为输入的权重，$b_h^{H1}$为输入到输出节点的输入值。对所有输入值进行权重计算后求得和值，将其作为神经网络的最后输出值$a_k$。
 
2.反向传播算法
 　　与前向传播类似，首先定义两个值${\delta }_k$与${\delta }_h^{H1}$:
 　　　　　　　　${\delta }_k$ = $\frac{\partial L}{\partial a_k}$ = (Y - T)
 　　　　　　　　${\delta }_h^{H1}$ = $\frac{\partial L}{\partial a_h^{H1}}$
 　　其中，${\delta }_k$为输出层的误差项，其计算值为真实值与模型计算值的差值。Y是计算值，T是输出真实值。${\delta }_h^{H1}$为输出层的误差。
 　　神经网络反馈算法，就是逐层地将最终的误差进行分解，即每一层只与下一层打交道（如下图所示）。因此，可以假设每一层均为输出层的前一个层级，通过计算前一个层级与输出层的误差得到权重的更新。
 
 　　 因此反馈神经网络计算公式定义如下：
 　　 ${\delta }_h^{H1}$ = $\frac{\partial L}{\partial a_h^{H1}}$
 　　 　　 =$\frac{\partial L}{\partial b_h^{H1}}$ × $\frac{\partial b_h^{H1}}{\partial a_h^{H1}}$
 　　 　　 =$\frac{\partial L}{\partial b_h^{H1}}$ × f’($a_h^{H1}$)
 　　 　　 =$\frac{\partial L}{\partial a_k}$ × $\frac{\partial a_k}{\partial b_h^{H1}}$ × f’($a_h^{H1}$)
 　　 　　 =${\delta }_k$ × $\sum W_{hk}$ × f’($a_h^{H1}$)
 　　 　　 =$\sum W_{hk}$ × ${\delta }_k$ × f’($a_h^{H1}$)
 　　 即当前层输出值对误差的梯度可以通过下一层的误差与权重和输出值的梯度乘积获得。在公式$\sum W_{hk}$ × ${\delta }_k$ × f’($a_h^{H1}$)中，${\delta }_k$若为输出层，即可以通过${\delta }_k$ = $\frac{\partial L}{\partial a_k}$ = (Y - T)求得；而${\delta }_k$为非输出层时，可以使用逐层反馈方式求得${\delta }_k$的值。
 　　 换一种形式将上面的公式表示为：
 　　　${\delta }^l$ =$\sum W_{ij}^l$ × ${\delta }_j^{l+1}$ × f’($a_i^j$)
 　　通过更为泛化的公式把当前层的输出对输入的梯度计算转化成求下一个层级的梯度计算值。
 
3.权重的更新
 　　反馈神经网络计算的目的是对权重进行更新。与梯度下降法类似，其更新可以仿照梯度下降对权值的更新公式：
 　　 θ = θ - α(f(θ) - $y_i$)$x_i$
 　　 即：
 　　 $W_{ji}$=$W_{ji}$ + α×${\delta }_j^l$×$x_{ji}$
 　　 $b_{ji}$=$b_{ji}$ + α×${\delta }_j^l$
 　　 其中ji表示为反向传播时对应的节点系数，通过对${\delta }_j^l$的计算来更新对应的权重值。