精华内容
下载资源
问答
  • 人工神经网络训练样本的选择方法

    万次阅读 2016-02-25 20:41:41
    人工神经网络训练样本的选择一般有三种方法,即随机遍历法、正交设计法和均匀设计方法。

    人工神经网络训练样本的选择方法:

    1.随机遍历法生成样本点

    假设有12个样本,其中训练样本9个,测试样本3个。

    %假设样本包含3个输入变量,1个输出变量,并用zeros进行初始化
    in=zeros(12,3);
    out=zeros(12,1);
    %产生随机数,并用sort函数排序,生成随机序列n
    k=rand(1,12);
    [m,n]=sort(k);
    %提取9个训练样本,3个测试样本
    in_train=in(n(1:9),:);
    out_train=out(n(1:9,:));
    in_test=in(n(10:12),:);
    out_test=out(n(10:12,:));

    2.用randsample函数

    用法:从1~n中随机返回不相同的k个数,a=randsample(n,k)

    %提取9个训练样本,3个测试样本
    a=randsample(12,12);
    in_train=in(n(1:9),:);
    out_train=out(n(1:9,:));
    in_test=in(n(10:12),:);
    out_test=out(n(10:12,:));

    3.正交设计法

    正交设计是最常用而且有长久历史的实验设计,是一种多因素实验设计和实验结果分析相结合的科学实验方法。用它进行实验时,是用已印好的表格———正交表科学地安排实验,使得实验尽可能地减少。
    正交表是安排实验、分析实验的一种简单而容易掌握的有力工具。它是根据数理统计原理归纳出来的一种合理安排实验的表格,用Ln(mk)表示:表中L是代表“正交”之义;n表示横行数即实验次数;m表示每纵列中的不同字码的个数,即每个因素的水平数;k表示纵列数,即该均匀设计表最多安排的因素数。



    展开全文
  • 提高人工神经网络训练速度的一个方法是对训练算法优化以减少计算量。由于人工神经网络训练算法 包含大量的矩阵和向量运算,如果把优化的算法用运行在GPU上的OpenCLC语言实现,则训练速度相比传统 基于CPU计算的实现...
  • 用改进的人工蜂群算法训练前馈人工神经网络
  • 在机器学习和认知科学领域,人工神经网络(英文:artificial neural network,缩写ANN),简称神经网络(英文:neural network,缩写NN)或类神经网络,是一种模仿生物神经网络(动物的中枢神经系统,特别是大脑)...

    机器学习认知科学领域,人工神经网络英文:artificial neural network,缩写ANN),简称神经网络英文:neural network,缩写NN)或类神经网络,是一种模仿生物神经网络(动物的中枢神经系统,特别是大脑)的结构和功能的数学模型计算模型,用于对函数进行估计或近似。神经网络由大量的人工神经元联结进行计算。大多数情况下人工神经网络能在外界信息的基础上改变内部结构,是一种自适应系统。现代神经网络是一种非线性统计性数据建模工具。典型的神经网络具有以下三个部分:

    • 结构Architecture)结构指定了网络中的变量和它们的拓扑关系。例如,神经网络中的变量可以是神经元连接的权重(weights)和神经元的激励值(activities of the neurons)。
    • 激励函数(Activity Rule)大部分神经网络模型具有一个短时间尺度的动力学规则,来定义神经元如何根据其他神经元的活动来改变自己的激励值。一般激励函数依赖于网络中的权重(即该网络的参数)。
    • 学习规则(Learning Rule)学习规则指定了网络中的权重如何随着时间推进而调整。这一般被看做是一种长时间尺度的动力学规则。一般情况下,学习规则依赖于神经元的激励值。它也可能依赖于监督者提供的目标值和当前权重的值。例如,用于手写识别的一个神经网络,有一组输入神经元。输入神经元会被输入图像的数据所激发。在激励值被加权并通过一个函数(由网络的设计者确定)后,这些神经元的激励值被传递到其他神经元。这个过程不断重复,直到输出神经元被激发。最后,输出神经元的激励值决定了识别出来的是哪个字母。

    神经网络的构筑理念是受到生物(人或其他动物)神经网络功能的运作启发而产生的。人工神经网络通常是通过一个基于数学统计学类型的学习方法(Learning Method)得以优化,所以人工神经网络也是数学统计学方法的一种实际应用,通过统计学的标准数学方法我们能够得到大量的可以用函数来表达的局部结构空间,另一方面在人工智能学的人工感知领域,我们通过数学统计学的应用可以来做人工感知方面的决定问题(也就是说通过统计学的方法,人工神经网络能够类似人一样具有简单的决定能力和简单的判断能力),这种方法比起正式的逻辑学推理演算更具有优势。

    和其他机器学习方法一样,神经网络已经被用于解决各种各样的问题,例如机器视觉语音识别。这些问题都是很难被传统基于规则的编程所解决的。


    背景

    对人类中枢神经系统的观察启发了人工神经网络这个概念。在人工神经网络中,简单的人工节点,称作神经元(neurons),连接在一起形成一个类似生物神经网络的网状结构。

    人工神经网络目前没有一个统一的正式定义。不过,具有下列特点的统计模型可以被称作是“神经化”的:

    • 具有一组可以被调节的权重,换言之,被学习算法调节的数值参数,并且
    • 可以估计输入数据的非线性函数关系

    这些可调节的权重可以被看做神经元之间的连接强度。

    人工神经网络与生物神经网络的相似之处在于,它可以集体地、并行地计算函数的各个部分,而不需要描述每一个单元的特定任务。神经网络这个词一般指统计学认知心理学人工智能领域使用的模型,而控制中央神经系统的神经网络属于理论神经学计算神经学[1]

    在神经网络的现代软件实现中,被生物学启发的那种方法已经很大程度上被抛弃了,取而代之的是基于统计学信号处理的更加实用的方法。在一些软件系统中,神经网络或者神经网络的一部分(例如人工神经元)是大型系统中的一个部分。这些系统结合了适应性的和非适应性的元素。虽然这种系统使用的这种更加普遍的方法更适宜解决现实中的问题,但是这和传统的连接主义人工智能已经没有什么关联了。不过它们还有一些共同点:非线性、分布式、并行化,局部性计算以及适应性。从历史的角度讲,神经网络模型的应用标志着二十世纪八十年代后期从高度符号化的人工智能(以用条件规则表达知识的专家系统为代表)向低符号化的机器学习(以用动力系统的参数表达知识为代表)的转变。

    历史

    沃伦·麦卡洛克沃尔特·皮茨(1943)[2]基于数学和一种称为阈值逻辑的算法创造了一种神经网络的计算模型。这种模型使得神经网络的研究分裂为两种不同研究思路。一种主要关注大脑中的生物学过程,另一种主要关注神经网络在人工智能里的应用。

    赫布型学习

    二十世纪40年代后期,心理学家唐纳德·赫布根据神经可塑性的机制创造了一种对学习的假说,现在称作赫布型学习。赫布型学习被认为是一种典型的非监督式学习规则,它后来的变种是长期增强作用的早期模型。从1948年开始,研究人员将这种计算模型的思想应用到B型图灵机上。

    法利和韦斯利·A·克拉克(1954)[3]首次使用计算机,当时称作计算器,在MIT模拟了一个赫布网络。

    弗兰克·罗森布拉特(1956)[4]创造了感知机。这是一种模式识别算法,用简单的加减法实现了两层的计算机学习网络。罗森布拉特也用数学符号描述了基本感知机里没有的回路,例如异或回路。这种回路一直无法被神经网络处理,直到Paul Werbos(1975)创造了反向传播算法

    马文·明斯基西摩·帕尔特(1969)发表了一项关于机器学习的研究以后,神经网络的研究停滞不前。他们发现了神经网络的两个关键问题。第一是基本感知机无法处理异或回路。第二个重要的问题是电脑没有足够的能力来处理大型神经网络所需要的很长的计算时间。直到计算机具有更强的计算能力之前,神经网络的研究进展缓慢。

    反向传播算法与复兴

    后来出现的一个关键的进展是反向传播算法(Werbos 1975)。这个算法有效地解决了异或的问题,还有更普遍的训练多层神经网络的问题。

    在二十世纪80年代中期,分布式并行处理(当时称作联结主义)流行起来。David E. Rumelhart和James McClelland(1986)的教材对于联结主义在计算机模拟神经活动中的应用提供了全面的论述。

    神经网络传统上被认为是大脑中的神经活动的简化模型,虽然这个模型和大脑的生理结构之间的关联存在争议。人们不清楚人工神经网络能多大程度地反映大脑的功能。

    支持向量机和其他更简单的方法(例如线性分类器)在机器学习领域的流行度逐渐超过了神经网络,但是在2000年代后期出现的深度学习重新激发了人们对神经网络的兴趣。

    2006年之后的进展

    人们用CMOS创造了用于生物物理模拟和神经形态计算的计算装置。最新的研究显示了用于大型主成分分析卷积神经网络的纳米装置[5]具有良好的前景。如果成功的话,这会创造出一种新的神经计算装置[6],因为它依赖于学习而不是编程,并且它从根本上就是模拟的而不是数字化的,虽然它的第一个实例可能是数字化的CMOS装置。

    在2009到2012年之间,Jürgen Schmidhuber在Swiss AI Lab IDSIA的研究小组研发的递归神经网络和深前馈神经网络赢得了8项关于模式识别和机器学习的国际比赛。[7][8]例如,Alex Graves et al.的双向、多维的LSTM赢得了2009年ICDAR的3项关于连笔字识别的比赛,而且之前并不知道关于将要学习的3种语言的信息。[9][10][11][12]

    IDSIA的Dan Ciresan和同事根据这个方法编写的基于GPU的实现赢得了多项模式识别的比赛,包括IJCNN 2011交通标志识别比赛等等。[13][14]他们的神经网络也是第一个在重要的基准测试中(例如IJCNN 2012交通标志识别和NYU的扬·勒丘恩(Yann LeCun)的MNIST手写数字问题)能达到或超过人类水平的人工模式识别器。

    类似1980年Kunihiko Fukushima发明的neocognitron[15]和视觉标准结构[16](由David H. Hubel和Torsten Wiesel在初级视皮层中发现的那些简单而又复杂的细胞启发)那样有深度的、高度非线性的神经结构可以被多伦多大学杰夫·辛顿实验室的非监督式学习方法所训练。[17][18][19]

    神经元

    神经元示意图:

    Ncell.png
    • a1~an为输入向量的各个分量
    • w1~wn为神经元各个突触的权值
    • b为偏置
    • f为传递函数,通常为非线性函数。一般有traingd(),tansig(),hardlim()。以下默认为hardlim()
    • t为神经元输出

    数学表示 t=f(W′→A→+b){\displaystyle t=f({\vec {W'}}{\vec {A}}+b)}

    • W→{\vec {W}}为权向量,W′→{\displaystyle {\vec {W'}}}W→{\vec {W}}的转置
    • A→{\vec {A}}为输入向量
    • bb为偏置
    • ff为传递函数

    可见,一个神经元的功能是求得输入向量与权向量的内积后,经一个非线性传递函数得到一个标量结果。

    单个神经元的作用:把一个n维向量空间用一个超平面分区成两部分(称之为判断边界),给定一个输入向量,神经元可以判断出这个向量位于超平面的哪一边。

    该超平面的方程:W′→p→+b=0{\displaystyle {\vec {W'}}{\vec {p}}+b=0}

    • W→{\vec {W}}权向量
    • bb偏置
    • p→{\vec {p}}超平面上的向量[20]

    神经元网络

    单层神经元网络

    是最基本的神经元网络形式,由有限个神经元构成,所有神经元的输入向量都是同一个向量。由于每一个神经元都会产生一个标量结果,所以单层神经元的输出是一个向量,向量的维数等于神经元的数目。

    示意图:

    SingleLayerNeuralNetwork english.png

    多层神经元网络

    人工神经网络的实用性

    人工神经网络是一个能够学习,能够总结归纳的系统,也就是说它能够通过已知数据的实验运用来学习和归纳总结。人工神经网络通过对局部情况的对照比较(而这些比较是基于不同情况下的自动学习和要实际解决问题的复杂性所决定的),它能够推理产生一个可以自动识别的系统。与之不同的基于符号系统下的学习方法,它们也具有推理功能,只是它们是创建在逻辑算法的基础上,也就是说它们之所以能够推理,基础是需要有一个推理算法则的集合。

    人工神经元网络模型

    通常来说,一个人工神经元网络是由一个多层神经元结构组成,每一层神经元拥有输入(它的输入是前一层神经元的输出)和输出,每一层(我们用符号记做)Layer(i)是由Ni(Ni代表在第i层上的N)个网络神经元组成,每个Ni上的网络神经元把对应在Ni-1上的神经元输出做为它的输入,我们把神经元和与之对应的神经元之间的连线用生物学的名称,叫做突触英语:Synapse),在数学模型中每个突触有一个加权数值,我们称做权重,那么要计算第i层上的某个神经元所得到的势能等于每一个权重乘以第i-1层上对应的神经元的输出,然后全体求和得到了第i层上的某个神经元所得到的势能,然后势能数值通过该神经元上的激活函数(activation function,常是∑函数(英语:Sigmoid function)以控制输出大小,因为其可微分且连续,方便差量规则(英语:Delta rule)处理。求出该神经元的输出,注意的是该输出是一个非线性的数值,也就是说通过激励函数求的数值根据极限值来判断是否要激活该神经元,换句话说我们对一个神经元网络的输出是否线性不感兴趣。

    基本结构

    一种常见的多层结构的前馈网络(Multilayer Feedforward Network)由三部分组成,

    • 输入层(Input layer),众多神经元(Neuron)接受大量非线形输入消息。输入的消息称为输入向量。
    • 输出层(Output layer),消息在神经元链接中传输、分析、权衡,形成输出结果。输出的消息称为输出向量。
    • 隐藏层(Hidden layer),简称“隐层”,是输入层和输出层之间众多神经元和链接组成的各个层面。隐层可以有多层,习惯上会用一层。隐层的节点(神经元)数目不定,但数目越多神经网络的非线性越显著,从而神经网络的强健性(robustness)(控制系统在一定结构、大小等的参数摄动下,维持某些性能的特性。)更显著。习惯上会选输入节点1.2至1.5倍的节点。

    神经网络的类型已经演变出很多种,这种分层的结构也并不是对所有的神经网络都适用。

    学习过程

    通过训练样本的校正,对各个层的权重进行校正(learning)而创建模型的过程,称为自动学习过程(training algorithm)。具体的学习方法则因网络结构和模型不同而不同,常用反向传播算法(Backpropagation/倒传递/逆传播,以output利用一次微分Delta rule来修正weight)来验证。

    参见:神经网络介绍

    种类

    人工神经网络分类为以下两种:
    1.依学习策略(Algorithm)分类主要有:


    2.依网络架构(Connectionism)分类主要有:

    理论性质

    计算能力

    多层感知器(MLP)是一个通用的函数逼近器,由Cybenko定理证明。然而,证明不是由所要求的神经元数量或权重来推断的。Hava Siegelmann和Eduardo D. Sontag的工作证明了,一个具有有理数权重值的特定递归结构(与全精度实数权重值相对应)相当于一个具有有限数量的神经元和标准的线性关系的通用图灵机。[21]他们进一步表明,使用无理数权重值会产生一个超图灵机。

    容量

    人工神经网络模型有一个属性,称为“容量”,这大致相当于他们可以塑造任何函数的能力。它与可以被储存在网络中的信息的数量和复杂性相关。

    收敛性

    没有什么通常意义上的收敛,因为它取决于一些因素。首先,函数可能存在许多局部极小值。这取决于成本函数和模型。其次,使用优化方法在远离局部最小值时可能无法保证收敛。第三,对大量的数据或参数,一些方法变得不切实际。在一般情况下,我们发现,理论保证的收敛不能成为实际应用的一个可靠的指南。

    综合统计

    在目标是创建一个普遍系统的应用程序中,过度训练的问题出现了。这出现在回旋或过度具体的系统中当网络的容量大大超过所需的自由参数。为了避免这个问题,有两个方向:第一个是使用交叉验证和类似的技术来检查过度训练的存在和选择最佳参数如最小化泛化误差。二是使用某种形式的正规化。这是一个在概率化(贝叶斯)框架里出现的概念,其中的正则化可以通过为简单模型选择一个较大的先验概率模型进行;而且在统计学习理论中,其目的是最大限度地减少了两个数量:“风险”和“结构风险”,相当于误差在训练集和由于过度拟合造成的预测误差。

    参见

    外部链接

    参考文献

    1. Hentrich, Michael William. Methodology and Coronary Artery Disease Cure. 2015-08-16. doi:10.1709/TIT.2015.1083925.
    2. McCulloch, Warren S.; Pitts, Walter. A logical calculus of the ideas immanent in nervous activity. The bulletin of mathematical biophysics. 1943-12-01, 5 (4): 115–133. ISSN 0007-4985doi:10.1007/BF02478259 (英语).
    3. Farley, B.; Clark, W. Simulation of self-organizing systems by digital computer. Transactions of the IRE Professional Group on Information Theory. 1954-09-01, 4 (4): 76–84. ISSN 2168-2690doi:10.1109/TIT.1954.1057468.
    4. Rochester, N.; Holland, J.; Haibt, L.; Duda, W. Tests on a cell assembly theory of the action of the brain, using a large digital computer. IRE Transactions on Information Theory. 1956-09-01, 2 (3): 80–93. ISSN 0096-1000doi:10.1109/TIT.1956.1056810.
    5. Yang, J. J.; Pickett, M. D.; Li, X. M.; Ohlberg, D. A. A.; Stewart, D. R.; Williams, R. S. Memristive switching mechanism for metal/oxide/metal nanodevices. Nat. Nanotechnol. 2008, 3: 429–433. doi:10.1038/nnano.2008.160.
    6. Strukov, D. B.; Snider, G. S.; Stewart, D. R.; Williams, R. S. The missing memristor found. Nature. 2008, 453: 80–83. PMID 18451858doi:10.1038/nature06932.
    7. 2012 Kurzweil AI Interview with Jürgen Schmidhuber on the eight competitions won by his Deep Learning team 2009–2012
    8. http://www.kurzweilai.net/how-bio-inspired-deep-learning-keeps-winning-competitions 2012 Kurzweil AI Interview with Jürgen Schmidhuber on the eight competitions won by his Deep Learning team 2009–2012
    9. Graves, Alex; and Schmidhuber, Jürgen; Offline Handwriting Recognition with Multidimensional Recurrent Neural Networks, in Bengio, Yoshua; Schuurmans, Dale; Lafferty, John; Williams, Chris K. I.; and Culotta, Aron (eds.), Advances in Neural Information Processing Systems 22 (NIPS'22), 7–10 December 2009, Vancouver, BC, Neural Information Processing Systems (NIPS) Foundation, 2009, pp. 545–552.
    10. Graves, A.; Liwicki, M.; Fernandez, S.; Bertolami, R.; Bunke, H.; Schmidhuber, J. A Novel Connectionist System for Improved Unconstrained Handwriting Recognition (PDF). IEEE Transactions on Pattern Analysis and Machine Intelligence. 2009, 31 (5).
    11. Graves, Alex; and Schmidhuber, Jürgen; Offline Handwriting Recognition with Multidimensional Recurrent Neural Networks, in Bengio, Yoshua; Schuurmans, Dale; Lafferty, John; Williams, Chris K. I.; and Culotta, Aron (eds.), Advances in Neural Information Processing Systems 22 (NIPS'22), December 7th–10th, 2009, Vancouver, BC, Neural Information Processing Systems (NIPS) Foundation, 2009, pp. 545–552
    12. Graves, A.; Liwicki, M.; Fernandez, S.; Bertolami, R.; Bunke, H.; Schmidhuber, J. A Novel Connectionist System for Improved Unconstrained Handwriting Recognition. IEEE Transactions on Pattern Analysis and Machine Intelligence. 2009, 31 (5).
    13. D. C. Ciresan, U. Meier, J. Masci, J. Schmidhuber. Multi-Column Deep Neural Network for Traffic Sign Classification. Neural Networks, 2012.
    14. D. C. Ciresan, U. Meier, J. Masci, J. Schmidhuber. Multi-Column Deep Neural Network for Traffic Sign Classification. Neural Networks, 2012.
    15. Fukushima, K. Neocognitron: A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position. Biological Cybernetics. 1980, 36 (4): 93–202. PMID 7370364doi:10.1007/BF00344251.
    16. M Riesenhuber, T Poggio. Hierarchical models of object recognition in cortex. Nature neuroscience, 1999.
    17. Deep belief networks at Scholarpedia.
    18. Hinton, G. E.; Osindero, S.; Teh, Y. W. A Fast Learning Algorithm for Deep Belief Nets (PDF)Neural Computation. 2006, 18 (7): 1527–1554. PMID 16764513doi:10.1162/neco.2006.18.7.1527.
    19. Hinton, G. E.; Osindero, S.; Teh, Y. A fast learning algorithm for deep belief nets (PDF)Neural Computation. 2006, 18 (7): 1527–1554. PMID 16764513doi:10.1162/neco.2006.18.7.1527.
    20. Hagan, Martin. Neural Network Design. PWS Publishing Company. 1996. ISBN 7-111-10841-8.
    21. Siegelmann, H.T.; Sontag, E.D. Turing computability with neural nets (PDF). Appl. Math. Lett. 1991, 4 (6): 77–80. doi:10.1016/0893-9659(91)90080-F.
    展开全文
  • 人工神经网络

    千次阅读 2018-08-20 00:12:00
    1 人工神经网络结构 1.1 概述 人工神经网络是利用物理器件来模拟生物神经网络的某些结构和功能。 人工神经网络在本质上是由许多小的非线性函数组成的大的非线性函数,反映的是输入变量到输出变量间的复杂...

    1 人工神经网络结构

    1.1 概述

    • 人工神经网络是利用物理器件来模拟生物神经网络的某些结构和功能。
    • 人工神经网络在本质上是由许多小的非线性函数组成的大的非线性函数,反映的是输入变量到输出变量间的复杂映射关系。
    • 人工神经网络是一个并行和分布式的信息处理网络结构,该网络结构一般由许多个神经元组成,每个神经元有一个单一的输出,他可以连接到很多其他神经元,其输入有多个连接通路,每个连接通路对应一个连接权系数。
    • 人工神经元是人工神经网络的基本单元。依据生物神经元的结构和功能,可以把他看作一个多输入单输出的非线性阈值器件。

    1.2 结构

    人工神经网络分为层状结构和网状结构。因为单个人工神经元不能完成输入信号的处理,所以需要按照一定的规则连成网络,并让网络中的每个神经元的权值和阈值按照一定的规则变化,才能实现一定的功能要求。

    1.2.1 层状结构

    由若干层组成,每层中有一定数量的神经元,相邻层中神经元单向连接,一般同层内的神经元不能连接。

    1.2.2 网状结构

    前馈网络(前向网络)

    不含反馈的前向网络结构如图1.0所示。网络中的神经元分层排列,接受输入量的神经元节点组成输入层,产生输出量的神经元节点组成输出层,中间层亦称为隐层。每一层的神经元只接受前一层神经元的输入,输入向量经过各层的顺序变换后,由输出层得到输出向量。

    前馈

    图1.0 前向神经网络

    反馈前向网络

    从输出层到输入层有反馈的前向网络简称为反馈神经网络,如图1.2所示。网路中的神经元也是分层排布,但是输入层神经元在学习过程中接受输出层神经元或部分输出层神经元的反馈输入。
    反向前馈

    图1.2 反馈神经网络
    • 层内有相互结合的前向网络
        每一层的神经元除接受前一层神经元的输入之外,也可接受同一层神经元的输入,如图1.3所示。通过层内神经元的相互结合,可以实现同层神经元之间的抑制或兴奋机制,从而可以限制一层内能同时动作的神经元的个数。
      层内结合
    图1.3 层内结合神经网络

    相互结合型网络
      任意两个神经元之间都可能有连接,在不含反馈的前向网络中,输入信号一旦通过某个神经元就将输出这个信 传递,网络处于一种不断改变状态的动态之中,如图1.4所示。从某初态开始,经过若干次的状态变化,网络才会到达某种稳定状态,根据网络的结构和神经元的映射特性,网络还有可能进入周期振荡或其他平衡动态号的变换值。
    相互结合

    图1.4 相互结合神经网络

    2 人工神经网络特征

    • 非线性
        非线性关系是自然界的普遍特性,人工神经元处于兴奋或抑制两种不同的状态,这种行为在数学上表现为一种非线性关系。具有阈值的神经元构成的网络具有更好的性能,可以提高容错性和存储容量。
    • 非局限性
        一个神经网络通常由多个神经元广泛连接而成,一个系统的整体行为不仅取决于单个神经元的特征,而且可能主要由单元之间的相互作用、相互连接所决定。通过单元间的大量连接模拟大脑的非局限性。联想记忆是非局限性的典型。
    • 非常定性
        人工神经网络具有自适应、自组织、自学习能力。神经网络不但处理的信息可以有各种变化,且在处理信息的同时,非线性动力系统本身也在不断变化。经常采用迭代过程描写动力系统的演化过程。
    • 非凸性
        一个系统的演化方向,在一定条件下取决于某个特定的状态函数。如能量函数,她的极值相应于系统比较稳定的状态。非凸性是指这种函数有多个极值,故系统具有多个较稳定的平衡态,将导致系统演化的多样性。

    3 神经元建模的假设

    • 每个神经元都是一个多输入单输出的信息处理单元。
    • 神经元输入分兴奋输入和一致性输入。
    • 神经元具有空间整合特性和阈值特性。
    • 神经元输入与输出之间有固定的时滞,主要取决于突出延搁。
    • 忽略时间整合作用和不应期。
    • 神经元本身是非时变的,即其突出时延和突触强度均为常数。

    4 人工神经元模型(M-P模型)

    • M-P神经元模型
        人工神经网络的基本处理单元,对全部输入依据不同权重进行整合,以确定各类输入的作用效果,图4.1表示组合输入的“总和”,相当于生物神经元的膜电位,神经元是否激活取决于某一阈值电平,即只有当输入总和超过阈值时,神经元才被激活二发放脉冲,否则神经元不会产生输出信号。
      M-P NN Model
    图4.1 M-P神经元模型
    • 数学模型:
      y j = f [ ( ∑ i = 0 n x i ∗ w i j ) − θ ] y_j=f\left[\left(\sum_{i=0}^{n}x_i*w_{ij}\right)-\theta\right] yj=f[(i=0nxiwij)θ]
      其中,
      x i x_i xi:第i个神经元的输入;
      w i j w_{ij} wij:神经元i到神经元的j权重至;
      θ \theta θ:神经元的阈值;
      f f f:神经元的激活函数(转移函数);
      y j y_j yj:神经元j的输出;

    5 激活函数

    5.1 作用

    激活函数是用来引入非线性因素的。网络中仅有线性模型的话,表达能力不足。如果一个多层的线性网络,其表达能力和单层的线性网络是相同的,网络中卷积层、池化层和全连接层全是线性的,所以,需要在网络中引入非线性的激活函数层。

    5.2 特性

    • 非线性:弥补线性模型的不足。
    • 处处可导:反向传播时需要计算激活函数的偏导数,所以需要激活函数除个别点外,处处可导。
    • 单调性:当激活函数是单调的时候,单层网络能够保证是凸函数。
    • 输出值的范围:当激活函数输出值是有限的时候,基于梯度的优化方法会更加稳定,因为特征的表示受有限权值的影响更加显著,当激活函数的输出为无限的时候,模型的训练会更加有效,不过这种情况下,一般需要更小的learning rate。
    • 常见激活函数
      sigmod、tanh、relu,其中Relu效果最好,使用较广泛。

    5.3 激活函数实例

    • 使用MatLab绘制激活函数图像。
    • 阈值型激活函数
      f ( x ) = { 1 , x ≥ 0 0 , x < 0 f\left(x\right)=\begin{cases}1,&\text {$x\geq0$}\\0,&\text{x < 0} \end{cases} f(x)={1,0,x0x < 0
      阈值
    图5.1 阈值型激活函数
    • 非线性激活函数(sigmod)
      f ( x ) = 1 1 + e − x f\left(x\right)=\frac{1}{1+e^{-x}} f(x)=1+ex1

    sigmod

    图5.2 非线性激活函数
    • 双曲正切激活函数
      f ( x ) = t a n h ( x ) = e x − e − x e x + e − x f\left(x\right)=tanh\left(x\right)=\frac{e^x-e^{-x}}{e^x+e^{-x}} f(x)=tanh(x)=ex+exexex

    tanh

    图5.3 双正切激活函数
    • Relu(Rectified Linear Units)激活函数
      f ( x ) = m a x ( 0 , x ) = { x , x ≥ 0 0 , x < 0 f\left(x\right)=max\left(0,x\right)=\begin{cases}x,&\text{$x\geq0$}\\0,&\text{x < 0} \end{cases} f(x)=max(0,x)={x,0,x0x < 0

    这里写图片描述

    图5.4 Relu激活函数

    6 术语解析

    序号术语描述
    1网络训练要使网络模型实现某种功能,必须对他进行训练,让他逐步学会要做的事情,并把所学到的知识记忆在网络的权值(weight)中,人工神经网络权值的确定不是通过计算,而是通过网络的自身训练来完成。调整权重类似于智能过程,网络最重要的信息存在于调整过的权重之中。于是,神经网络的关键在于如何决定每一神经元的权值。
    2网络学习神经网络模型是怎样确定最后的权重值,即学习的过程,相应的由很多学习准则,网络的训练和学习是一起讨论的,都是通过训练集获取权重,完成模型训练。
    3学习规则由于训练网络权值的原理不同,从而形成各种各样的神经网络学习规则。常用规则有Hebb、感知器(Perceptron)Delta、反向传播学习、Widrow-Hoff、相关(Correlation)、胜者为王(Winner-Take-All)、外星(outstar)、最小均方(LMS)、Kohonen和Grosberg。
    4泛化能力经过训练(学习)后的预测模型对为经训练的数据集中出现的样本做出正确反应的能力。学习不是简单地记忆已经学习过的输入,而是通过对有限个训练样本的学习,学到隐含在样本中的有关环境本身的内在规律性。

    展开全文
  • 用入侵的自适应遗传算法训练人工神经网络的详细讲解,是遗传算法的拓展
  • 本文综合整理常用的神经网络,包括生物神经网络、人工神经网络、卷积神经网络、循环神经网络、生成对抗网络;参考了许多高校的课程、论文、博客和视频等。文章的结构是先进行概念了解,然后结合图片、结构图、一步...

    前言

    本文综合整理常用的神经网络,包括生物神经网络、人工神经网络、卷积神经网络、循环神经网络、生成对抗网络;参考了许多高校的课程、论文、博客和视频等。文章的结构是先进行概念了解,然后结合图片、结构图、一步一步详细讲解;大家要不看看? ( •̀ ω •́ )y

    一、人工神经网络

    简介:人工神经网络 (Artificial Neural Network, ANN),由人工神经元构成的网络,模拟人类的大脑;它模拟生物过程以反映人脑某些特征的计算结构。

    联系人工神经元模拟生物神经元人工神经网络模拟人类的大脑,模拟生物神经网络

    特点:人工神经网络是一个并行、分布处理结构,具有学习能力、泛化能力。

    功能:联想记忆功能、非线性映射功能、分类与识别功能、知识处理功能。

    详细介绍一篇文章“简单”认识《人工神经网络》(更新版)

    目录大纲

      展开全文
    • 人工神经网络基本原理

      万次阅读 多人点赞 2017-01-06 09:53:41
      最近谷歌升级版AlphaGo打败众多国内外围棋高手,那狗又火了一把,再次引起...因此,本文先介绍神经网络基本原理,后面系列文章将详细介绍神经网络的成熟算法及网络结构(比如:BP神经网络、RBF、CNN等)并编程实现之。
    • 人工神经网络简介

      万次阅读 多人点赞 2015-12-12 14:20:37
      人工神经网络简介
    • 用caffe训练人工神经网络

      千次阅读 2016-01-12 19:45:29
      Caffe 是一个做CNN的工具。但是如果我只想搭建一套普通的神经网络,那么应该怎么做呢?这篇文章参考了一下两篇文章来一发CNN搭建神经网络的实验。   ...
    • PAGE / NUMPAGES 人工神经网络发展历史与训练算法概述 以一己之力战胜两位世界级围棋高手李世石及柯洁的Alpha Go的横空出世不仅仅吸引了相应人才从事此方面的研究更显示了其的巨大潜力而Alpha Go能战胜这两位围棋中...
    • 人工神经网络 BP神经网络算法 梯度下降算法 感知器训练法则,权值,阈值
    • 人工神经网络——径向基函数(RBF)神经网络

      万次阅读 多人点赞 2015-10-24 15:32:45
      径向基函数神经网络的优点:逼近能力,分类能力和学习速度等方面都优于BP神经网络,结构简单、训练简洁、学习收敛速度快、能够逼近任意非线性函数,克服局部极小值问题。原因在于其参数初始化具有一定的方法,并非...
    • 嵌入式中的人工神经网络

      千次阅读 2018-11-07 21:36:00
      人工神经网络在AI中具有举足轻重的地位,除了找到最好的神经网络模型和训练数据集之外,人工神经网络的另一个挑战是如何在嵌入式设备上实现它,同时优化性能和功率效率。 使用云计算并不总是一个选项,尤其是当设备...
    • 本文主要介绍了由生物神经元和生物神经网络引申到人工神经元和人工神经网络,从生物学角度上理解神经元和神经网络模型。
    • 深度学习-人工神经网络概述

      千次阅读 2019-03-02 21:25:40
      人工神经网络 简述 很多术语听起来很唬人,“人工神经网络”就属于其中之一。在很多人看来,我们对人类的神经系统还没有研究透彻,这就来了一个“人工的”神经网络,人脑这样复杂,那么人工神经网络一定相当高深...
    • 自组织竞争人工神经网络,介绍自组织神经网络的结构以及权值的训练
    • 人工神经网络定义:由许多简单的并行工作的处理单元组成的系统,功能取决于网络的结构、连接强度及个单元处理方式。 人工神经网络基本功能:联想记忆功能、非线性映射功能、分类与识别功能、优化计算功能、知识处理...
    • 人工神经网络入门

      千次阅读 2016-05-19 22:22:14
      本文简要介绍了人工神经网络和基于matlab的BP神经网络的简单实现的案例。
    • 人工神经网络总结

      千次阅读 2015-10-23 14:35:44
      人工神经网络是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型,在这种模型中,大量的节点(或神经元)之间相互联接构成网络,即“神经网络”,以达到处理信息的目的,神经网络通常需要进行训练训练...
    • 之前十期,我们彻头彻尾的介绍了神经网络技术,然而用到的都是只有一个隐藏层的。那种有多个隐藏层的神经网络,叫深度神经网络,比如这种: 在神经网络中,比较浅的隐藏层会处理一些比较简单的任务,比较深的层会...
    • 人工神经网络Bp的matlab仿真程序,采用前馈反向网络对正弦函数和方波函数进行神经元个数为n的网络训练,绘制出原函数、仿真输出和训练后输出的曲线。
    • 名称:网络训练函数 语法:  [net,tr,Y,E,Pf,Af] = train(net,P,T,Pi,Ai) 功能:根据net.trainFcn和net.trainParam参数来训练网络 参数: net Network P Network inputs T Network targets (def
    • 人工神经网络之BP神经网络模型

      万次阅读 2017-07-08 20:25:58
      BP(Back Propagation)网络是1986年由Rumelhart和McCelland为首的科学家小组提出,是一种按误差逆传播算法训练的多层前馈网络,是目前应用最广泛的神经网络模型之一。BP网络能学习和存贮大量的输入-输出模式映射...

    空空如也

    空空如也

    1 2 3 4 5 ... 20
    收藏数 101,460
    精华内容 40,584
    关键字:

    人工神经网络训练