神经网络算法
 锁定
本词条由“科普中国”百科科学词条编写与应用工作项目 审核。
逻辑性的思维是指根据逻辑规则进行推理的过程；它先将信息化成概念，并用符号表示，然后，根据符号运算按串行模式进行逻辑推理；这一过程可以写成串行的指令，让计算机执行。然而，直观性的思维是将分布式存储的信息综合起来，结果是忽然间产生想法或解决问题的办法。这种思维方式的根本之点在于以下两点：1.信息是通过神经元上的兴奋模式分布储在网络上；2.信息处理是通过神经元之间同时相互作用的动态过程来完成的。
中文名
神经网络算法
外文名
Neural network algorithm
定    义
根据逻辑规则进行推理的过程
第二种方式
人工神经网络就是模拟人思维
目录

.         1 神经网络
.         2 人工神经网络
.         ▪ 工作原理
.         ▪ 特点
.         ▪ 应用及发展


神经网络

思维学普遍认为，人类大脑的思维分为抽象（逻辑）思维、形象（直观）思维和灵感（顿悟）思维三种基本方式。
人工神经网络就是模拟人思维的第二种方式。这是一个非线性动力学系统，其特色在于信息的分布式存储和并行协同处理。虽然单个神经元的结构极其简单，功能有限，但大量神经元构成的网络系统所能实现的行为却是极其丰富多彩的。
神经网络的研究内容相当广泛，反映了多学科交叉技术领域的特点。主要的研究工作集中在以下几个方面：
（1）生物原型研究。从生理学、心理学、解剖学、脑科学、病理学等生物科学方面研究神经细胞、神经网络、神经系统的生物原型结构及其功能机理。
（2）建立理论模型。根据生物原型的研究，建立神经元、神经网络的理论模型。其中包括概念模型、知识模型、物理化学模型、数学模型等。
（3）网络模型与算法研究。在理论模型研究的基础上构作具体的神经网络模型，以实现计算机模拟或准备制作硬件，包括网络学习算法的研究。这方面的工作也称为技术模型研究。
（4）人工神经网络应用系统。在网络模型与算法研究的基础上，利用人工神经网络组成实际的应用系统，例如，完成某种信号处理或模式识别的功能、构造专家系统、制成机器人等等。
纵观当代新兴科学技术的发展历史，人类在征服宇宙空间、基本粒子，生命起源等科学技术领域的进程中历经了崎岖不平的道路。我们也会看到，探索人脑功能和神经网络的研究将伴随着重重困难的克服而日新月异。

人工神经网络

人工神经网络（Artificial Neural Networks，ANN）系统是
 20 世纪 40
年代后出现的。它是由众多的神经元可调的连接权值连接而成，具有大规模并行处理、分布式信息存储、良好的自组织自学习能力等特点。BP（Back
 Propagation）算法又称为误差反向传播算法，是人工神经网络中的一种监督式的学习算法。BP
神经网络算法在理论上可以逼近任意函数，基本的结构由非线性变化单元组成，具有很强的非线性映射能力。而且网络的中间层数、各层的处理单元数及网络的学习系数等参数可根据具体情况设定，灵活性很大，在优化、信号处理与模式识别、智能控制、故障诊断等许多领域都有着广泛的应用前景。
工作原理
人工神经元的研究起源于脑神经元学说。19世纪末，在生物、生理学领域，Waldeger等人创建了神经元学说。人们认识到复杂的神经系统是由数目繁多的神经元组合而成。大脑皮层包括有100亿个以上的神经元，每立方毫米约有数万个，它们互相联结形成神经网络，通过感觉器官和神经接受来自身体内外的各种信息，传递至中枢神经系统内，经过对信息的分析和综合，再通过运动神经发出控制信息，以此来实现机体与内外环境的联系，协调全身的各种机能活动。
神经元也和其他类型的细胞一样，包括有细胞膜、细胞质和细胞核。但是神经细胞的形态比较特殊，具有许多突起，因此又分为细胞体、轴突和树突三部分。细胞体内有细胞核，突起的作用是传递信息。树突是作为引入输入信号的突起，而轴突是作为输出端的突起，它只有一个。
树突是细胞体的延伸部分，它由细胞体发出后逐渐变细，全长各部位都可与其他神经元的轴突末梢相互联系，形成所谓“突触”。在突触处两神经元并未连通，它只是发生信息传递功能的结合部，联系界面之间间隙约为（15～50)×10米。突触可分为兴奋性与抑制性两种类型，它相应于神经元之间耦合的极性。每个神经元的突触数目正常，最高可达10个。各神经元之间的连接强度和极性有所不同，并且都可调整、基于这一特性，人脑具有存储信息的功能。利用大量神经元相互联接组成人工神经网络可显示出人的大脑的某些特征。
人工神经网络是由大量的简单基本元件——神经元相互联接而成的自适应非线性动态系统。每个神经元的结构和功能比较简单，但大量神经元组合产生的系统行为却非常复杂。
人工神经网络反映了人脑功能的若干基本特性，但并非生物系统的逼真描述，只是某种模仿、简化和抽象。
与数字计算机比较，人工神经网络在构成原理和功能特点等方面更加接近人脑，它不是按给定的程序一步一步地执行运算，而是能够自身适应环境、总结规律、完成某种运算、识别或过程控制。
人工神经网络首先要以一定的学习准则进行学习，然后才能工作。现以人工神经网络对于写“A”、“B”两个字母的识别为例进行说明，规定当“A”输入网络时，应该输出“1”，而当输入为“B”时，输出为“0”。
所以网络学习的准则应该是：如果网络作出错误的的判决，则通过网络的学习，应使得网络减少下次犯同样错误的可能性。首先，给网络的各连接权值赋予(0，1)区间内的随机值，将“A”所对应的图象模式输入给网络，网络将输入模式加权求和、与门限比较、再进行非线性运算，得到网络的输出。在此情况下，网络输出为“1”和“0”的概率各为50%，也就是说是完全随机的。这时如果输出为“1”(结果正确)，则使连接权值增大，以便使网络再次遇到“A”模式输入时，仍然能作出正确的判断。
如果输出为“0”(即结果错误)，则把网络连接权值朝着减小综合输入加权值的方向调整，其目的在于使网络下次再遇到“A”模式输入时，减小犯同样错误的可能性。如此操作调整，当给网络轮番输入若干个手写字母“A”、“B”后，经过网络按以上学习方法进行若干次学习后，网络判断的正确率将大大提高。这说明网络对这两个模式的学习已经获得了成功，它已将这两个模式分布地记忆在网络的各个连接权值上。当网络再次遇到其中任何一个模式时，能够作出迅速、准确的判断和识别。一般说来，网络中所含的神经元个数越多，则它能记忆、识别的模式也就越多。
特点
（1）人类大脑有很强的自适应与自组织特性，后天的学习与训练可以开发许多各具特色的活动功能。如盲人的听觉和触觉非常灵敏；聋哑人善于运用手势；训练有素的运动员可以表现出非凡的运动技巧等等。
普通计算机的功能取决于程序中给出的知识和能力。显然，对于智能活动要通过总结编制程序将十分困难。
人工神经网络也具有初步的自适应与自组织能力。在学习或训练过程中改变突触权重值，以适应周围环境的要求。同一网络因学习方式及内容不同可具有不同的功能。人工神经网络是一个具有学习能力的系统，可以发展知识，以致超过设计者原有的知识水平。通常，它的学习训练方式可分为两种，一种是有监督或称有导师的学习，这时利用给定的样本标准进行分类或模仿；另一种是无监督学习或称无为导师学习，这时，只规定学习方式或某些规则，则具体的学习内容随系统所处环境（即输入信号情况）而异，系统可以自动发现环境特征和规律性，具有更近似人脑的功能。
（2）泛化能力
泛化能力指对没有训练过的样本，有很好的预测能力和控制能力。特别是，当存在一些有噪声的样本，网络具备很好的预测能力。
(3)非线性映射能力
当对系统对于设计人员来说，很透彻或者很清楚时，则一般利用数值分析，偏微分方程等数学工具建立精确的数学模型，但当对系统很复杂，或者系统未知，系统信息量很少时，建立精确的数学模型很困难时，神经网络的非线性映射能力则表现出优势，因为它不需要对系统进行透彻的了解，但是同时能达到输入与输出的映射关系，这就大大简化设计的难度。
(4)高度并行性
并行性具有一定的争议性。承认具有并行性理由：神经网络是根据人的大脑而抽象出来的数学模型，由于人可以同时做一些事，所以从功能的模拟角度上看，神经网络也应具备很强的并行性。
多少年以来，人们从医学、生物学、生理学、哲学、信息学、计算机科学、认知学、组织协同学等各个角度企图认识并解答上述问题。在寻找上述问题答案的研究过程中，这些年来逐渐形成了一个新兴的多学科交叉技术领域，称之为“神经网络”。神经网络的研究涉及众多学科领域，这些领域互相结合、相互渗透并相互推动。不同领域的科学家又从各自学科的兴趣与特色出发，提出不同的问题，从不同的角度进行研究。
下面将人工神经网络与通用的计算机工作特点来对比一下：
若从速度的角度出发，人脑神经元之间传递信息的速度要远低于计算机，前者为毫秒量级，而后者的频率往往可达几百兆赫。但是，由于人脑是一个大规模并行与串行组合处理系统，因而，在许多问题上可以作出快速判断、决策和处理，其速度则远高于串行结构的普通计算机。人工神经网络的基本结构模仿人脑，具有并行处理特征，可以大大提高工作速度。
人脑存贮信息的特点为利用突触效能的变化来调整存贮内容，也即信息存贮在神经元之间连接强度的分布上，存贮区与计算机区合为一体。虽然人脑每日有大量神经细胞死亡（平均每小时约一千个），但不影响大脑的正常思维活动。
普通计算机是具有相互独立的存贮器和运算器，知识存贮与数据运算互不相关，只有通过人编出的程序使之沟通，这种沟通不能超越程序编制者的预想。元器件的局部损坏及程序中的微小错误都可能引起严重的失常。
应用及发展
心理学家和认知科学家研究神经网络的目的在于探索人脑加工、储存和搜索信息的机制，弄清人脑功能的机理，建立人类认知过程的微结构理论。
生物学、医学、脑科学专家试图通过神经网络的研究推动脑科学向定量、精确和理论化体系发展，同时也寄希望于临床医学的新突破；信息处理和计算机科学家研究这一问题的目的在于寻求新的途径以解决不能解决或解决起来有极大困难的大量问题，构造更加逼近人脑功能的新一代计算机。
人工神经网络早期的研究工作应追溯至上世纪40年代。下面以时间顺序，以著名的人物或某一方面突出的研究成果为线索，简要介绍人工神经网络的发展历史。
1943年，心理学家W·Mcculloch和数理逻辑学家W·Pitts在分析、总结神经元基本特性的基础上首先提出神经元的数学模型。此模型沿用至今，并且直接影响着这一领域研究的进展。因而，他们两人可称为人工神经网络研究的先驱。
1945年冯·诺依曼领导的设计小组试制成功存储程序式电子计算机，标志着电子计算机时代的开始。1948年，他在研究工作中比较了人脑结构与存储程序式计算机的根本区别，提出了以简单神经元构成的再生自动机网络结构。但是，由于指令存储式计算机技术的发展非常迅速，迫使他放弃了神经网络研究的新途径，继续投身于指令存储式计算机技术的研究，并在此领域作出了巨大贡献。虽然，冯·诺依曼的名字是与普通计算机联系在一起的，但他也是人工神经网络研究的先驱之一。
50年代末，F·Rosenblatt设计制作了“感知机”，它是一种多层的神经网络。这项工作首次把人工神经网络的研究从理论探讨付诸工程实践。当时，世界上许多实验室仿效制作感知机，分别应用于文字识别、声音识别、声纳信号识别以及学习记忆问题的研究。然而，这次人工神经网络的研究高潮未能持续很久，许多人陆续放弃了这方面的研究工作，这是因为当时数字计算机的发展处于全盛时期，许多人误以为数字计算机可以解决人工智能、模式识别、专家系统等方面的一切问题，使感知机的工作得不到重视；其次，当时的电子技术工艺水平比较落后，主要的元件是电子管或晶体管，利用它们制作的神经网络体积庞大，价格昂贵，要制作在规模上与真实的神经网络相似是完全不可能的；另外，在1968年一本名为《感知机》的著作中指出线性感知机功能是有限的，它不能解决如异感这样的基本问题，而且多层网络还不能找到有效的计算方法，这些论点促使大批研究人员对于人工神经网络的前景失去信心。60年代末期，人工神经网络的研究进入了低潮。
另外，在60年代初期，Widrow提出了自适应线性元件网络，这是一种连续取值的线性加权求和阈值网络。后来，在此基础上发展了非线性多层自适应网络。当时，这些工作虽未标出神经网络的名称，而实际上就是一种人工神经网络模型。
随着人们对感知机兴趣的衰退，神经网络的研究沉寂了相当长的时间。80年代初期，模拟与数字混合的超大规模集成电路制作技术提高到新的水平，完全付诸实用化，此外，数字计算机的发展在若干应用领域遇到困难。这一背景预示，向人工神经网络寻求出路的时机已经成熟。美国的物理学家Hopfield于1982年和1984年在美国科学院院刊上发表了两篇关于人工神经网络研究的论文，引起了巨大的反响。人们重新认识到神经网络的威力以及付诸应用的现实性。随即，一大批学者和研究人员围绕着
 Hopfield提出的方法展开了进一步的工作，形成了80年代中期以来人工神经网络的研究热潮。
1985年，Ackley、Hinton和Sejnowski将模拟退火算法应用到神经网络训练中，提出了Boltzmann机，该算法具有逃离极值的优点，但是训练时间需要很长。
1986年，Rumelhart、Hinton和Williams提出了多层前馈神经网络的学习算法，即BP算法。它从证明的角度推导算法的正确性，是学习算法有理论依据。从学习算法角度上看，是一个很大的进步。
1988年，Broomhead和Lowe第一次提出了径向基网络：RBF网络。
总体来说，神经网络经历了从高潮到低谷，再到高潮的阶段，充满曲折的过程。
 

典型的卷积神经网络，开始阶段都是卷积层以及池化层的相互交替使用，之后采用全连接层将卷积和池化后的结果特征全部提取进行概率计算处理。

在具体的误差反馈和权重更新的处理上，不论是全连接层的更新还是卷积层的更新，使用的都是经典的反馈神经网络算法，这种方法较原本较为复杂的、要考虑长期的链式法则转化为只需要考虑前后节点输入和输出误差对权重的影响，使得当神经网络深度加大时能够利用计算机计算，以及卷积核在计算过程中产生非常多的数据计算。
反馈神经网络正向与反向传播公式推导
经典反馈神经网络主要包括3个部分，数据的前向计算、误差的反向传播以及权值的更新。如下图所示。



　　可以看到每个层l（假设是卷积或者池化层的一种）都会接一个下采样层l+1。对于反馈神经网络来说，要想求得层l的每个神经元对应的权值更新，就需要先求层l的每一个神经元点的灵敏度。简单来说，总体有以下几个权重以及数值需要在传递的过程中进行计算，即：

　　1.输入层-卷积层

　　2.卷积层-池化层

　　3.池化层-全连接层

　　4.全连接层-输出层

　　这是正向的计算，而当权值更新时，需要对其进行反向更新，即：

　　1.输出层-全连接层

　　2.全连接层-池化层

　　3.池化层-卷积层

　　4.卷积层-输出层
1.前向传播算法

　　对于前向传播的值传递，隐藏层输出值定义如下：

　　　　　　　　$a^{H1}_h$=$W^{H1}_h$×$X_i$

　　　　　　　　$b^{H1}_h$ = $f(a^{H1}_h)$

　　其中$X_i$是当前输入节点的值，$W^{H1}_h$是连接到此节点的权重，$a^{H1}_h$是输出值。f是当前阶段的激活函数，$b^{H1}_h$是当前节点的输入值经过计算后被激活的值。

　　对于输出层，定义如下：

　　　　　　　　$a_k$ = $\displaystyle\sum_{}^{} W_{hk}×b^{H1}_h$

　　其中，$W_{hk}$为输入的权重，$b^{H1}_h$为输入到输出节点的输入值。对所有输入值进行权重计算后求得和值，将其作为神经网络的最后输出值$a_k$。
2.反向传播算法

　　与前向传播类似，首先定义两个值$δ_k$与$δ^{H1}_h$:

　　　　　　　　$δ_k$ = $\frac{∂L}{∂a_k}$ = (Y - T)

　　　　　　　　$δ^{H1}_h$ = $\frac{∂L}{∂a^{H1}_h}$

　　其中，$δ_k$为输出层的误差项，其计算值为真实值与模型计算值的差值。Y是计算值，T是输出真实值。$δ^{H1}_h$为输出层的误差。

　　神经网络反馈算法，就是逐层地将最终的误差进行分解，即每一层只与下一层打交道（如下图所示）。因此，可以假设每一层均为输出层的前一个层级，通过计算前一个层级与输出层的误差得到权重的更新。



　　	因此反馈神经网络计算公式定义如下：

　　	$δ^{H1}_h$ = $\frac{∂L}{∂a^{H1}_h}$

　　	　　 =$\frac{∂L}{∂b^{H1}_h}$ × $\frac{∂b^{H1}_h}{∂a^{H1}_h}$

　　	　　 =$\frac{∂L}{∂b^{H1}_h}$ × f’($a^{H1}_h$)

　　	　　 =$\frac{∂L}{∂a_k}$ × $\frac{∂a_k}{∂b^{H1}_h}$ × f’($a^{H1}_h$)

　　	　　 =$δ_k$ × $\displaystyle\sum_{}^{} W_{hk}$ × f’($a^{H1}_h$)

　　	　　 =$\displaystyle\sum_{}^{} W_{hk}$ × $δ_k$ × f’($a^{H1}_h$)

　　	即当前层输出值对误差的梯度可以通过下一层的误差与权重和输出值的梯度乘积获得。在公式$\displaystyle\sum_{}^{} W_{hk}$ × $δ_k$ × f’($a^{H1}_h$)中，$δ_k$若为输出层，即可以通过$δ_k$ = $\frac{∂L}{∂a_k}$ = (Y - T)求得；而$δ_k$为非输出层时，可以使用逐层反馈方式求得$δ_k$的值。

　　	换一种形式将上面的公式表示为：

　　　$δ^{l}$ =$\displaystyle\sum_{}^{} W^l_{ij}$ × $δ^{l+1}_j$ × f’($a^{j}_i$)

　　通过更为泛化的公式把当前层的输出对输入的梯度计算转化成求下一个层级的梯度计算值。
3.权重的更新

　　反馈神经网络计算的目的是对权重进行更新。与梯度下降法类似，其更新可以仿照梯度下降对权值的更新公式：

　　 θ =  θ - α(f(θ) - $y_i$)$x_i$

　　 即：

　　 $W_{ji}$=$W_{ji}$ + α×$δ^{l}_j$×$x_{ji}$

　　 $b_{ji}$=$b_{ji}$ + α×$δ^{l}_j$

　　 其中ji表示为反向传播时对应的节点系数，通过对$δ^{l}_j$的计算来更新对应的权重值。

本篇文章主要根据《神经网络与机器学习》和《人工神经网络原理》两本书，对 BP 神经网络的数学推导过程做了一个总结，为自己进入深度学习打下一个基础。
一、 人工神经网络
1.人工神经网络简介
人工神经网络（ANN）是一种旨在模仿人脑结构及其功能的由多个非常简单的处理单元彼此按某种方式相互连接而形成的计算机系统，该系统靠其状态对外部输入信息的动态响应来处理信息 。



神经元由细胞及其发出的许多突起构成。细胞体内有细胞核，突触的作用是传递信息。作为引入输入信号的若干个突起称为“树突”，而作为输出端的突起只有一个称为“轴突” 。
2.神经元M-P模型
所谓M-P模型,其实是按照生物神经元的结构和工作原理构造出来的一个抽象和简化了的模型。
对于第$j$个神经元，接受多个其它神经元的输入信号$x_i$。各突触强度以实系数$w_{ij}$表示，这是第 $i$个神经元对第 $j$个神经元作用的加权值。


神经元的“净输入”用$I_j$表示，其表达式是线性加权求和，即：



神经元$j$的输出$y_j$是其当前状态的函数, M-P 模型的数学表达式为：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-apKne9an-1615981917750)(https://img-blog.csdn.net/20170409215520699?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvdTAxMDg1ODYwNQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)]

式中，$θ_j$为阈值， $sgn$是符号函数。当净输入超过阈值时，$y_j$取+1 输出，反之为-1输出 。如果考虑输出与输入的延时作用，表达式可修正为：


3.ANN的基本要素

神经元激活函数
网络的学习
神经元之间的连接形式

（1）常用激活函数


（2）常用学习规则

Hebb规则
误差修正法学习算法 （如：BP算法）
胜者为王(Winner-Take-All)学习规则

（3）神经元之间连接方式

<1>前缀网络


<2>反馈网络


> 注：BP 神经网络属于前缀网络
二、 BP 神经网络原理
BP(Back Propagation)神经网络的学习过程由信号的正向传播与误差的反向传播两个过程组成。正向传播时，输入样本从输入层传入，经隐层逐层处理后，传向输出层。若输出层的实际输出与期望输出不符，则转向误差的反向传播阶段。误差的反向传播是将输出误差以某种形式通过隐层向输入层逐层反传，并将误差分摊给各层的所有单元，从而获得各层单元的误差信号，此误差信号即作为修正各单元权值的依据。BP网络由输入层﹑输出层和隐层组成，$N_1$ 为输入层， $N_m$为输出层，其余为隐层。BP 神经网络的结构如下：


这里介绍三层神经网络的推导（一个输入层、一个隐层和一个输出层）
BP 神经网络反向传播算法的神经元示意图图一：

上图描绘了神经元$j$被它左边的一层神经元产生的一组函数信号所馈给。$m$是作用于神经元$j$的所有输入不包括偏置的个数。突触权值$w_{j0}(n)$等于神经元$j$的偏置$b_j$。
1.前向传播过程推导
图一中，在神经元$j$的激活函数输入处产生的诱导局部域$v_j(n)$（即神经元$j$ 的输入）是：


$\phi_j$是激活函数，则出现在神经元$j$输出处的函数信号（即神经元$j$的输出）$y_j(n)$是：


2.误差反向传播过程推导
在图一中，$y_j(n)$与$d_j(n)$分别是神经元$j$的实际输出和期望输出，则神经元$j$的输出所产生的误差信号定义为：


其中，$d_j(n)$是期望响应向量$d(n)$的第$j$个元素。
为了使函数连续可导，这里最小化均方根差，定义神经元$j$的瞬时误差能量为：


将所有输出层神经元的误差能量相加，得到整个网络的全部瞬时误差能量：



其中，集合C 包括输出层的所有神经元。
BP 算法通过反复修正权值使式(2-5)$E_n$最小化，采用梯度下降法对突触权值$w_{ji}(n)$应用一个修正值$∆w_{ji}(n)$它正比于偏导数$\delta$$E(n)/$$\delta$$w_{ji}(n)$。根据微分链式规则，把这个梯度表示为：



偏导数$\delta$$E(n)/$$\delta$$w_{ji}(n)$代表一个敏感因子，决定突触权值$w_{ji}$在权值空间的搜索方向。
在式(2-5)两边对$e_j(n)$取微分，得到：


在式(2-3)两边对$y_j(n)$取微分，得到：


在式(2-2)两边对$v_j(n)$取微分，得到：


最后在式(2-1)两边对$w_{ji}(n)$取微分，得到：


将式(2-7)——(2-10)带入式(2-6)得：

应用于$w_{ji}(n)$的修正$∆w_{ji}(n)$定义为：


其中，$\eta$是误差反向传播的学习率， 负号表示在权空间中梯度下降。
将式(2-11)带入式(2-12)得：


其中，$\delta_j(n)$是根据delta法则定义的局部梯度：



局部梯度指明了突触权值所需要的变化。
现在来考虑神经元$j$所处的层。
####（1） 神经元$j$是输出层节点

当神经元$j$位于输出层时，给它提供了一个期望响应。根据式(2-3)误差信号$e_j(n)=d_j(n)-y_j(n)$确定，通过式(2-14)得到神经元$j$的局部梯度$\delta_j(n)$为：


####（2） 神经元$j$是隐层节点

当神经元$j$位于隐层时，没有对该输入神经元的指定期望响应。隐层的误差信号要根据所有与隐层神经元直接相连的神经元的误差信号向后递归决定。

考虑神经元$j$为隐层节点，隐层神经元的局部梯度$\delta_j(n)$根据式(2-14)重新定义为：


来看图二：它表示输出层神经元$k$连接到隐层神经元$j$的信号流图。



在这里下标$j$表示隐层神经元，下标$k$表示输出层神经元。
图二中，网络的全部瞬时误差能量为：


在式(2-17)两边对函数信号$y_j(n)$求偏导，得到：


在图二中：


因此，


图二中，对于输出层神经元$k$ ，其诱导局部域是：


求式(2-21)对$y_j(n)$的微分得到：


将式(2-20)和(2-22)带入到式(2-18)得到：


将式(2-23)带入式(2-16)得隐层神经元$j$的局部梯度$\delta_j(n)$为：


反向传播过程推导总结
因此，结合式(2-13)、(2-15)和(2-24)，由神经元$i$连接到神经元$j$的突触权值的修正值$∆w_{ji}(n)$按照delta法则定义如下：

其中：

神经元$j$是输出层节点时，局部梯度$\delta_j(n)$等于倒数$\phi_j'(v_j(n))$和误差信号$e_j(n)=d_j(n)-y_j(n)$的乘积，见式(2-15);
神经元$j$是隐层节点时，局部梯度$\delta_j(n)$等于倒数$\phi_j'(v_j(n))$和下一层（隐层或输出层）的$\delta_k$与权值加权和的乘积，见式(2-24)。

3.标准BP神经网络设计原则
（1）激活函数

单极性S型函数和双曲正切S型函数

（2）学习率

$0<\eta<1$

（3）停止准则

网络的均方误差足够小或者训练足够的次数等

（4）初始权值

以均值等于0的均匀分布随机挑选突触权值

（5）隐层结构

理论证明一个隐层就能映射所有连续函数 ；

隐层节点数=$\sqrt{(输入节点数+输出节点数)}$ +$\alpha$, $1<\alpha<10$  或
隐层节点数=$\sqrt{(输入节点数*输出节点数)}$
4.标准BP算法训练过程及流程图
（1）训练过程


初始化网络的突触权值和阈值矩阵；


训练样本的呈现；


前向传播计算；


误差反向传播计算并更新权值；


迭代，用新的样本进行步骤3和4，直至满足停止准则。


（2）流程图


5.标准BP算法分析
由于标准 BP 算法采用的是梯度下降法，BP 算法的 E-w 曲线图如下：


因此标准 BP 算法具有以下缺陷：

在误差曲面上有些区域平坦，此时误差对权值的变化不敏感，误差下降缓慢，调整时间长，影响收敛速度。
存在多个极小点，梯度下降法容易陷入极小点而无法得到全局最优解。
学习率$\eta$越小，学习速度减慢，而$\eta$越大，虽然学习速度加快，却容易使权值的变化量不稳定，出现振荡。

6.标准BP算法改进方法
（1）增加动量项

一个既要加快学习速度又要保持稳定的方法是修改式(2-13)，增加动量项，表示为：



这里$\alpha$是动量常数，0≤$\alpha$<1。
动量项$\alpha∆w_{ji}(n-1)$反映了以前积累的调整经验，当误差梯度出现局部极小时，虽然$∆w_{ji}(n)$→0，但$∆w_{ji}(n-1)$≠0，使其跳出局部极小区域，加快迭代收敛速度。
（2）其他改进方法

可变学习速度的反向传播
学习速率的自适应调节
引入陡度因子——防止饱和
共轭梯度法、拟牛顿法等

 

BP神经网络算法原理

BP神经网络算法步骤

BP神经网络算法数学公式

BP神经网络算法原理

BP神经网络算法是一种神经网络学习算法[4]，其原理是在梯度下降法，利用梯度搜索技术，以期使网络的实际输出值和期望输出值的误差均方差为最小。其优点在于泛化能力、自学习和自适应能力强，及特别适合于求解内部机制复杂的问题。

BP神经网络算法步骤

BP神经网络的过程主要分为两个阶段，第一阶段是信号的前向传播，从输入层经过隐含层，最后到达输出层；

第二阶段是反向传播，从输出层到隐层，最后到输入层，依次调节隐层到输出层的权重和偏置，输入层到隐层的权重和偏置。

首先，初始化权重，将样本模式计数器n和训练次数计数器设置为1，误差E设置为0，其次是输入样本并计算输出和误差，接着根据误差调制各层的权值，当网络训练后达到精度（设为一个较小的正数）。结束神经网络参数训练。



BP神经网络算法数学公式

以输入层、隐层和输出层的节点数分别为3、4、4为例。

输入层到隐层的激励函数为



隐层的输出函数

 



输出层的输出函数

 



误差公式



附体论文连接：http://kns.cnki.net/KCMS/detail/detail.aspx?dbcode=CJFQ&dbname=CJFDTEMP&filename=TXJS201810030&uid=WEEvREcwSlJHSldRa1FhdkJkVWEySnB3VEE4M3pJUFFQZERFWU9mV05uST0=$9A4hF_YAuvQ5obgVAqNKPCYcEjKensW4IQMovwHtwkF4VYPoHbKxJw!!&v=MDIzNjV4WVM3RGgxVDNxVHJXTTFGckNVUkxLZVp1Wm9GeWpnVnIzTk1UWEJmYkc0SDluTnI0OUdaSVI4ZVgxTHU=