精华内容
下载资源
问答
  • 人工神经网络类型
    万次阅读
    2019-02-27 11:33:59

    人类神经网络为一类似人类神经结构的并行计算模式,是”一种基于脑与神经系统研究,所启发的信息处理技术“,通常也被称为平行分布式处理模型或链接模型。其具有人脑的学习、记忆和归纳等基本特性,可以处理连续型和离散型的数据,对数据进行预测。可利有系统输入与输出所组成的数据,建立系统模型(输入与输出间的关系)。

    人工神经网络分类,常见的人工神经网络模型可分为四大类,如下所示:

    1.监督式学习网络,从问题中取得训练样本(包括输入和输出变量值),并从中学习输入与输出变量两者之间的关系规则,可以在新样本中输入变量值,进而推知其输出变量值。主要有模型有感知机网络、倒传递网络,概率神经网强、学习向量量化网络及反传递网络。

    2.非监督学习网络,从问题中取得训练样本(仅包括输入变量值),并从中学习输入变量的分类规则,可以在新样本中输入变量值,从而获得分类信息。主要模型有自组织映像图网络、及自适应共振网络。

    3.联想式学习网络,从问题中取得训练样本(仅包括状态变量值),并从中学习内在记忆规则,可以应用于新的安全(不完整的状态变量值),从而推知其完整的状态变量值。包括霍普菲尔网络及双向联想记忆网络。

    4.最适化应用网络,针对问题设计变量值,使其在满足设计限制下,达到设计目标优化的效果。包括霍普菲尔——坦克网强及退火神经网络。

    人工神经网络的优点

    人工神经网络是崭新且令人兴奋的研究领域,它有很大的发展潜力,但也同时遭受到一些尚未克服的困难。其优点可列举如下:

    1.可处理噪声:一个人工神经网络补训练完成后,即使输入的数据中有部分遗失,它仍然有能力辨认样本。

    2.不易损坏:因为人工神经网络以分布式的方法来表示数据,所以当某些单元损坏时,它依然可以正常地工作。

    3.可以平行处理。

    4.可以学习新的观念。

    5.为智能机器提供了一个较合理的模式。

    6.已经被成功地运用在某些以一般传统方法很难解决的问题上,如某些视觉问题。

    7.有希望实现联合内存。

    8.它提供了一个工具,来模拟并探讨人脑的功能。
      人工智能、大数据、云计算和物联网的未来发展值得重视,均为前沿产业,多智时代专注于人工智能和大数据的入门和科谱,在此为你推荐几篇优质好文:
    什么是神经网络,深度神经网络怎么分类的,主要是做什么的?
    http://www.duozhishidai.com/article-1174-1.html
    人工神经网络的架构,主要由哪几部分组成?
    http://www.duozhishidai.com/article-1158-1.html
    神经网络从原理到实现
    http://www.duozhishidai.com/article-4259-1.html
      



    多智时代-人工智能大数据学习入门网站|人工智能、大数据、物联网云计算的学习交流网站

    多智时代-人工智能大数据学习入门网站|人工智能、大数据、云计算、物联网的学习服务的好平台
      
    更多相关内容
  • 人工神经网络种类

    2018-02-20 10:02:29
    人工神经网络种类
  • 第一章 人工神经网络………………………………………………… 3 §1.1人工神经网络简介………………………………………………………… 3 1.1 人工神经网络的起源 …………………………………………………… 3 1.2 ...
  • 人工神经网络模型与分类

    万次阅读 2017-07-05 21:57:59
    1. 人工神经网络的分类 按性能分:连续型和离散型网络,或确定型和随机型网络。 按拓扑结构分:前向网络和反馈网络。 前向网络有自适应线性神经网络(AdaptiveLinear,简称Adaline)、单层感知器、多层感知...
    1.  人工神经网络的分类

    按性能分:连续型和离散型网络,或确定型和随机型网络。

    按拓扑结构分:前向网络和反馈网络。

    前向网络有自适应线性神经网络(AdaptiveLinear,简称Adaline)、单层感知器、多层感知器、BP等。


    前向网络,网络中各个神经元接受前一级的输入,并输出到下一级,网络中没有反馈,可以用一个有向无环路图表示。这种网络实现信号从输入空间到输出空间的变换,它的信息处理能力来自于简单非线性函数的多次复合。网络结构简单,易于实现。反传网络是一种典型的前向网络。

    反馈网络有Hopfield、Hamming、BAM等。

    反馈网络,网络内神经元间有反馈,可以用一个无向的完备图表示。这种神经网络的信息处理是状态的变换,可以用动力学系统理论处理。系统的稳定性与联想记忆功能有密切关系。Hopfield网络、波耳兹曼机均属于这种类型。

    2、人工神经网络发展

    2.1 感知机

    神经网络技术起源于上世纪五、六十年代,当时叫感知机(perceptron),拥有输入层、输出层和一个隐含层。输入的特征向量通过隐含层变换达到输出层,在输出层得到分类结果。早期感知机的推动者是Rosenblatt。但是,Rosenblatt的单层感知机有一个严重得不能再严重的问题,对于计算稍微复杂的函数其计算力显得无能为力。

    2.2 多层感知机的出现

    随着数学的发展,这个缺点直到上世纪八十年代才被Rumelhart、Williams、Hinton、LeCun等人发明的多层感知机(multilayer perceptron)克服。多层感知机,顾名思义,就是有多个隐含层的感知机。

    多层感知机可以摆脱早期离散传输函数的束缚,使用sigmoid或tanh等连续函数模拟神经元对激励的响应,在训练算法上则使用Werbos发明的反向传播BP算法。对,这就是我们现在所说的神经网络( NN)!多层感知机解决了之前无法模拟异或逻辑的缺陷,同时更多的层数也让网络更能够刻画现实世界中的复杂情形。多层感知机给我们带来的启示是,神经网络的层数直接决定了它对现实的刻画能力——利用每层更少的神经元拟合更加复杂的函数。

    即便大牛们早就预料到神经网络需要变得更深,但是有一个梦魇总是萦绕左右。随着神经网络层数的加深,优化函数越来越容易陷入局部最优解,并且这个“陷阱”越来越偏离真正的全局最优。利用有限数据训练的深层网络,性能还不如较浅层网络。同时,另一个不可忽略的问题是随着网络层数增加,“梯度消失”现象更加严重。具体来说,我们常常使用 sigmoid 作为神经元的输入输出函数。对于幅度为1的信号,在BP反向传播梯度时,每传递一层,梯度衰减为原来的0.25。层数一多,梯度指数衰减后低层基本上接受不到有效的训练信号。

    2.3 (DNN)神经网络“具有深度”

    2006年,Hinton利用预训练方法缓解了局部最优解问题,将隐含层推动到了7层(参考论文:Hinton G E, Salakhutdinov R R. Reducing the Dimensionality of Data with Neural Networks[J]. Science, 2006, 313(5786):504-507.),神经网络真正意义上有了“深度”,由此揭开了深度学习的热潮。这里的“深度”并没有固定的定义——在语音识别中4层网络就能够被认为是“较深的”,而在图像识别中20层以上的网络屡见不鲜。为了克服梯度消失,ReLU、maxout等传输函数代替了 sigmoid,形成了如今 DNN 的基本形式。单从结构上来说,全连接的DNN和上图的多层感知机是没有任何区别的。值得一提的是,今年出现的高速公路网络(highway network)和深度残差学习(deep residual learning)进一步避免了梯度弥散问题,网络层数达到了前所未有的一百多层(深度残差学习:152层,具体去看何恺明大神的paper)!

    2.4 CNN(卷积神经网络)的出现

    我们看到全连接DNN的结构里下层神经元和所有上层神经元都能够形成连接,带来的潜在问题是参数数量的膨胀。假设输入的是一幅像素为1K*1K的图像,隐含层有1M个节点,光这一层就有10^12个权重需要训练,这不仅容易过拟合,而且极容易陷入局部最优。另外,图像中有固有的局部模式(比如轮廓、边界,人的眼睛、鼻子、嘴等)可以利用,显然应该将图像处理中的概念和神经网络技术相结合。此时我们可以祭出题主所说的卷积神经网络CNN。对于CNN来说,并不是所有上下层神经元都能直接相连,而是通过“卷积核”作为中介。同一个卷积核在所有图像内是共享的,图像通过卷积操作后仍然保留原先的位置关系。

    通过一个例子简单说明卷积神经网络的结构。假设我们需要识别一幅彩色图像,这幅图像具有四个通道 ARGB (透明度和红绿蓝,对应了四幅相同大小的图像),假设卷积核大小为 3∗3 共使用100个卷积核 w1 w100 (从直觉来看,每个卷积核应该学习到不同的结构特征)。用 w1 在ARGB图像上进行卷积操作,可以得到隐含层的第一幅图像;这幅隐含层图像左上角第一个像素是四幅输入图像左上角 3∗3 区域内像素的加权求和,以此类推。同理,算上其他卷积核,隐含层对应100幅“图像”。每幅图像对是对原始图像中不同特征的响应。按照这样的结构继续传递下去。 CNN 中还有 max-pooling 等操作进一步提高鲁棒性。

    我们注意到,对于图像,如果没有卷积操作,学习的参数量是灾难级的。CNN之所以用于图像识别,正是由于CNN模型限制了参数的个数并挖掘了局部结构的这个特点。顺着同样的思路,利用语音语谱结构中的局部信息,CNN照样能应用在语音识别中。在普通的全连接网络或CNN中,每层神经元的信号只能向上一层传播,样本的处理在各个时刻独立,因此又被成为前向神经网络(Feed-forward Neural Networks)。

    2.5 RNN(循环神经网络)的出现

    全连接的DNN还存在着另一个问题——无法对时间序列上的变化进行建模。然而,样本出现的时间顺序对于自然语言处理、语音识别、手写体识别等应用非常重要。对了适应这种需求,就出现了另一种神经网络结构——循环神经网络RNN。而在RNN中,神经元的输出可以在下一个时间戳直接作用到自身,即第i层神经元在m时刻的输入,除了 (i−1) 层神经元在该时刻的输出外,还包括其自身在 (m−1) 时刻的输出。

    RNN可以看成一个在时间上传递的神经网络,它的深度是时间的长度!正如我们上面所说,“梯度消失”现象又要出现了,只不过这次发生在时间轴上。对于 t 时刻来说,它产生的梯度在时间轴上向历史传播几层之后就消失了,根本就无法影响太遥远的过去。因此,之前说“所有历史”共同作用只是理想的情况,在实际中,这种影响也就只能维持若干个时间戳。为了解决时间上的梯度消失,机器学习领域发展出了长短时记忆单元 LSTM,通过门的开关实现时间上记忆功能,并防止梯度消失

    3 结束语

    事实上,不论是那种网络,他们在实际应用中常常都混合着使用,比如CNN和RNN在上层输出之前往往会接上全连接层,很难说某个网络到底属于哪个类别。不难想象随着深度学习热度的延续,更灵活的组合方式、更多的网络结构将被发展出来。尽管看起来千变万化,但研究者们的出发点肯定都是为了解决特定的问题。对于想进行这方面的研究的朋友,不妨仔细分析一下这些结构各自的特点以及它们达成目标的手段。

    展开全文
  • 第08讲 自组织竞争人工神经网络.doc在实际的神经网络中,比如人的视网膜中,存在着一种“侧抑制”现象,即一个神经细胞兴奋后,通过它的分支会对周围其他神经细胞产生抑制。这种侧抑制使神经细胞之间出现竞争,虽然...
  • 在本篇内容里小编给大家分享了人工神经网络算法的相关知识点以及原理介绍,需要的朋友们参考下。
  • 人工神经网络 神经网络区别Artificial neural networks (ANN) in machine learning (artificial intelligence) are complex compounds of algorithms that work in an organized manner to extract labels or ...

    人工神经网络 神经网络区别

    Artificial neural networks (ANN) in machine learning (artificial intelligence) are complex compounds of algorithms that work in an organized manner to extract labels or results for a given set of data. It is believed that this technology is akin to the biological arrangement of neurons in the human central nervous system (CNS); wherein a set of neurons transfers stimuli to another set which consequently relates them to another set of neurons till the brain gets to interpret the stimuli and instigate a reaction. Each compound of algorithms simulates a human neuron (nerve cell) and it connects with other compounds of brotherly algorithms to make computations and transmit information. Although this comparison [to the brain cells] is informal because we are not quite yet certain how the human central nervous system works its intricacy, thus we cannot simply compare it to the artificial neural network which obviously is incompetent in terms of intelligence, decisiveness, and originality. This is why some folks will tell you computers can never be as smart as humans, or at least cannot have the same type of natural [animate] intelligence, because artificial neural networks which are themselves the modelled brains of these [artificial intelligence] computers don't yet seem to compare to the human brain. However, the artificial intelligence we have today, and the ones we perceive of the future, are very much impressive when it comes to data [or information] processing. This, perhaps, could be the championship of the computer over humans, because today, we can make a 1GB computer process stored data faster than a human student ever could — of course, if students had that superpower as artificial neural networks, they wouldn’t be perplexed remembering things in the exams at all. So, if the artificial neural networks are indeed competent in data processing, an advantage that has yielded a lot of awesomeness in artificial intelligence today, how do they do it?

    在机器学习(人工智能) 甲 rtificial神经网络(ANN)是算法络合物,在以有组织的方式来提取标签或工作结果对于给定的数据集。 可以相信,该技术类似于人类中枢神经系统(CNS)中神经元的生物排列。 其中一组神经元将刺激转移到另一组神经,从而将它们与另一组神经元联系起来,直到大脑理解该刺激并引发React。 每种算法的复合物都模拟人的神经元(神经细胞),并且与兄弟算法的其他复合物连接以进行计算并传输信息。 尽管[与脑细胞]的比较是非正式的,因为我们还不确定人类中枢神经系统如何发挥其复杂性,所以我们不能简单地将其与人工神经网络相比较,后者在智力,果断性,和独创性。 这就是为什么有些人会告诉您计算机永远不会像人类一样聪明,或者至少不能具有相同类型的自然[动画]智能的原因,因为人工神经网络本身就是这些[人工智能]计算机的建模大脑,似乎还不能与人脑相提并论。 但是,当涉及到数据[或信息]处理时,我们今天拥有的人工智能以及我们对未来拥有的人工智能令人印象深刻。 也许这可能是计算机在人类之上的冠军,因为今天,我们可以使1GB的计算机处理数据的速度比人类学生更快—当然,如果学生拥有像人工神经网络那样的超能力,他们将不会完全不要为考试记忆而困惑。 那么,如果人工神经网络确实能够胜任数据处理,而这一优势已经在当今的人工智能领域引起了极大的反响,那么它们将如何做呢?

    A typical artificial neural network (the brain of the AI) consists of a few, scores, cents, thousands, or even millions of artificial neurons called units like the human brain has billions of units of brain cells. The units of the artificial neural network are arranged in a series of layers, each connecting to the layers on either side.

    一个典型的人工神经网络(人工智能的大脑)由数个,分数,美分,数千甚至数百万个称为单位的人工神经元组成 就像人类的大脑拥有数十亿个脑细胞单位。 人工神经网络的单元排列成一系列的层,每个层都连接到任一侧的层。

    Image for post
    Neural Network consisting of three hidden layers of artificial neurons.
    神经网络由三个隐藏的人工神经元层组成。

    From the image above, we see the arrangement of these layers. The first layer receives data, input, or signals (if a sensor) that the artificial neural network will attempt to recognize and process — thus, it is called the input layer. The next sets of layers just before the last layer are called the hidden layers, consisting of sets of other artificial neurons that take the processed results from the input layer to re-process them. The last layer is the output layer, and it simply outputs the results of the computations from previous layers. Simple artificial neural networks, like a perceptron, consist of one input layer of artificial neurons, one or a few more hidden layers of artificial neurons and an output layer of artificial neurons. Other complex artificial neural networks will consist of tens, hundreds, thousands, and millions of hidden layers so that they get inputs or raw information from one layer (the input layer), process it through a very rich myriad of layers inside, and then give computed results through the last layer (output layer) — these ones are called Deep Neural Networks (DNN).

    从上图可以看到这些层的排列。 第一层接收人工神经网络将尝试识别和处理的数据,输入或信号(如果是传感器),因此被称为输入层 。 紧接在最后一层之前的下一层称为隐藏层 ,由其他人造神经元组成,这些人造神经元从输入层获取经过处理的结果以对其进行重新处理。 最后一层是输出层 ,它仅输出前一层的计算结果。 简单的人工神经网络(如感知器 )由人工神经元的一个输入层,一个或几个隐藏的人工神经元层和一个人工神经元输出层组成。 其他复杂的人工神经网络将由数十,数百,数千和数百万个隐藏层组成,以便它们从一层(输入层)获取输入或原始信息,通过内部非常丰富的层对其进行处理,然后给出经过最后一层(输出层)的计算结果-这些结果称为深度神经网络 (DNN)。

    Neural networks, apart from their numerous layers, have more intricate structures and connections between individual artificial neurons of each layer. Each artificial neuron, which means a unit in one layer, could be connected to one or more artificial neurons of the next layer as in the former image. The connections between artificial neurons are represented by individual numbers called weights, which can be either positive or negative, depending on which artificial neuron succeeds the other in the network. The artificial neuron with a larger weight will have a larger influence in the computation over the ones with lesser weights — this happens to be the way brain cells trigger one another across tiny gaps called synapses. The bias is a conventional value attributed to each artificial neuron.

    神经网络除了具有无数层外,在每一层的各个人工神经元之间还具有更复杂的结构和连接。 每个人造神经元,即一层中的一个单元,可以连接到下一层的一个或多个人造神经元,如前一个图像所示。 人工神经元之间的联系由称为权重的单个数字表示, 权重可以是正数,也可以是负数,具体取决于网络中哪个人工神经元接替另一个。 权重较大的人工神经元与权重较小的人工神经元相比,对计算的影响更大-这恰好是脑细胞在称为突触的微小间隙中相互触发的方式。 偏差是归属于每个人工神经元的常规值。

    Image for post
    Weights and biases in an artificial neural network
    人工神经网络中的权重和偏差

    Each artificial neuron has its own number associated to it, called activation. This number represents the artificial neuron and is also used in its computation. There is a complex calculation between the activations, weights, and biases of connections to obtain the value (or activation) of a destination artificial neuron in the network. Mathematical functions such as sigmoid function, rectified linear activation unit, ReLU function for short, threshold function, and hyperbolic tangent function are used as the basis of algorithms that work these computations. Each of these functions aims to compute the value of the destination artificial neuron in the network by calculating the sum of the products of connected units with its given bias. The first of the hidden layers obtains values for individual artificial neurons in it and passes these values for the computation of subsequent hidden layers — like a chain reaction in chemistry. This discourse is not intended to dissect the flow of mathematical logic in the computer’s brain as much as it is an overview which allows you to understand how we use machine learning to build the brains of AI— thus, we shall rather briefly discuss the applications of artificial neural networks, something less abstract; I wouldn’t want to bore you with mathematics [in this ‘overview’].

    每个人工神经元都有自己的编号,称为激活 。 该数字代表人工神经元,也用于其计算。 在连接的激活,权重和偏差之间要进行复杂的计算,才能获得网络中目标人工神经元的值(或激活)。 使用诸如S形函数整流线性激活单元,短路的ReLU函数阈值函数双曲正切函数等数学函数作为执行这些计算的算法的基础 这些功能中的每一个旨在通过计算具有给定偏差的连接单元的乘积之和来计算网络中目标人工神经元的值。 隐藏层中的第一层获取其中的各个人工神经元的值,并将这些值传递给后续隐藏层的计算,就像化学中的连锁React一样。 本论述并非旨在剖析计算机大脑中的数学逻辑流,而是作为概述,使您能够了解我们如何使用机器学习来构建AI的大脑,因此,我们将简要讨论以下方面的应用:人工神经网络,不太抽象的东西; 在本“概述”中,我不想对数学感到厌烦。

    Artificial Neural Networks (ANN) are used in recognition systems, such as speech recognition, handwriting or text recognition, computer vision, and also natural language processing (which conversational robots use). We cannot list all the applications of neural networks as much as we don’t yet know the limitations of artificial intelligence itself. Artificial neural networks are the brains of artificial intelligence systems, and any computer program professing to apply artificial intelligence but does not have a neural network of algorithms underlying its codes is only like some of the invertebrate animals which live but don’t have brains. Police departments in developed and some developing countries use artificial neural networks in their computer vision systems to identify the registration plate numbers of cars from their traffic cameras. These systems could detect the speed of cars or whether a driver disobeys any of the traffic laws, simply by calculating their velocity mathematically. They capture the plate number of that car which the police will obtain from the system; thus, the law need not be perplexed searching for the criminal or prosecuting the innocent, the AI gets the exact culprit’s plate number with other necessary details.

    人工神经网络(ANN)用于识别系统,例如语音识别,手写或文本识别,计算机视觉以及自然语言处理(会话机器人使用)。 我们还不能列出神经网络的所有应用,因为我们还不了解人工智能本身的局限性。 人工神经网络是人工智能系统的大脑,任何自称应用人工智能但没有基于其代码的算法的神经网络的计算机程序,都只像一些无脑但无脑的无脊椎动物。 发达国家和一些发展中国家的警察部门在其计算机视觉系统中使用人工神经网络从交通摄像头中识别汽车的车牌号。 这些系统只需数学计算速度即可检测汽车的速度或驾驶员是否违反任何交通法规。 他们捕获了警察将从系统中获得的那辆车的车牌号; 因此,法律不必为寻找罪犯或起诉无辜者而感到费解,AI会获得肇事者的确切车牌号以及其他必要的细节。

    There are several types of artificial neural networks, but the most common ones are Convolutional Neural Network (CNN), Feedforward Neural Network (FNN), Recurrent Neural Network (RNN), Modular Neural Network (MNN), Kohonen Self Organizing Neural Network, Radial basis function Neural Network, etcetera. These networks are inspired by the concept of the biological brain, though we don’t see any significant resemblance. They differ, basically, in their abstract structures, functions, and uses.

    人工神经网络有几种类型,但最常见的是卷积神经网络(CNN),前馈神经网络(FNN),递归神经网络(RNN),模块化 神经网络(MNN)Kohonen自组织神经网络,径向基函数神经网络等。 这些网络的灵感来自生物大脑的概念,尽管我们没有发现任何明显的相似之处。 基本上,它们的抽象结构,功能和用途不同。

    For the most part, a higher knowledge in mathematics is essential for any programmer who desires to engage this field of building brains for AI, but everything seems to have cheaper alternatives. There are python programs that can be written in these neural networks without the programmer having to know all the hows of the mathematical logic and induction that make the algorithms work, therefore, if they so wish, they can learn more about this field. Artificial neural networks, by the way, keeps growing and we see better computations every day because the AI continues to learn. Soon enough, even though AI, in my opinion, will definitely not have the human type of intelligence, there will be computer actions that will be difficult to distinguish from human actions.

    在大多数情况下,对于希望参与AI大脑建设这一领域的任何程序员来说,数学知识都是至关重要的,但是一切似乎都有更便宜的选择。 可以在这些神经网络中编写python程序,而程序员不必知道使算法起作用的所有数学逻辑和归纳方法,因此,如果他们愿意的话,他们可以了解有关该领域的更多信息。 顺便说一下,人工神经网络一直在增长,并且由于AI不断学习,我们每天都能看到更好的计算。 很快,我认为即使AI绝对不会具有人类的智能类型,但仍然会有计算机动作难以与人类动作区分开。

    翻译自: https://medium.com/dev-genius/an-overview-of-artificial-neural-networks-d3b5c9204f19

    人工神经网络 神经网络区别

    展开全文
  • 神经网络学习对于逼近实数值、离散值或向量值的目标函数提供了一种健壮性很强的方法对于某些类型的问题,如学习解释复杂的现实世界中的传感器数据,人工神经网络是目前知道的最有效的学习方法     ...
  • 人工神经网络

    千次阅读 2022-01-20 11:07:59
    1. 人工神经网络(ANN)概述 1.1 人工神经网络的研究目的和意义 目的: (1)探索和模拟人的感觉、思维和行为的规律,设计具有人类智能的计算机系统。 (2)探讨人脑的智能活动,用物化了的智能来考察和研究人脑智能的...

    目录

    1. 人工神经网络(ANN)概述

    1.1 人工神经网络的研究目的和意义

    1.2 人工神经网络的发展

    1.3 人工神经网络(ANN)的定义

    2. ANN基本原理

    2.1 生物神经元模型

     2.2 人工神经元模型

     2.3 感知机与二分类问题

    2.4 人工神经元模型的激活函数

     3. BP神经网络基本原理

    3.1 什么是BP神经网络

    3.2 误差反向传播学习算法


    1. 人工神经网络(ANN)概述

    1.1 人工神经网络的研究目的和意义

    目的:
            (1)探索和模拟人的感觉、思维和行为的规律,设计具有人类智能的计算机系统。
            (2)探讨人脑的智能活动,用物化了的智能来考察和研究人脑智能的物质过程及其规律。
    意义:
            (1)争取构造出尽可能与人脑具有相似功能的计算机,即ANN计算机。
            (2)研究仿照脑神经系统的人工神经网络,将在模式识别、组合优化和决策判断等方面取得传统计算机所难以达到的效果。

    1.2 人工神经网络的发展

    (1)第一次热潮(40-60年代未)
            1943年,美国心理学家W.McCulloch和数学家W.Pitts在提出了一个简单的神经元模型,即MP
    模型。1958年,F.Rosenblatt等研制出了感知机(Perceptron)。

     (2) 低潮(70-80年代初)
            20世纪60年代以后,数字计算机的发展达到全盛时期,人们误以为数字计算机可以解决人
    工智能、专家系统、模式识别问题,而放松了对“感知器”的研究。人工神经网络进入低潮期

    (3)第二次热潮
            1982年,美国物理学家J.J.Hopfield提出Hopfield网络.1 986年Rumelhart等提出的误差反向传播法,即BP法影响最为广泛。直到今天,BP算法仍然是自动控制上最重要、应用最多的有效算法。
    (4)低潮(90年代初-2000年初)
            SVM算法诞生,与神经网络相比:无需调参;高效;全局最优解。基于以上种种理由,SVM成为主流,人工神经网络再次陷入冰河期

    (5)第三次热潮( 2006年开始)
            在被人摒弃的10年中,有几个学者仍然在坚持研究。这其中的选手就是加拿大多伦多大学的Geoffery Hinton教授。2006年,Hinton在《Science》和相关期刊上发表了论文,首次提出了“深学习”的概念。之后,深度学习在语音识别领域暂露头角。接着,2012年,深度学习技术又在图像识别领域大展拳脚。Hinton与他的学生在ImageNet竞赛中,用多层的卷积神经网络成功地对包含一千类别的一百万张图片进行了训练,取得了分类错误率1 5%的好成绩,这个成绩比第二名高了近11个百分点,充分证明了多层神经网络识别效果的优越性。

    1.3 人工神经网络(ANN)的定义

            广义定义:人工神经网络( Artificial Neural Networks, 简写为ANN )也简称为神经网络或称作连接模型,是对人脑或自然神经网络若干基本特性的抽象和模拟,以大量的具有相同结构的简单.单元的连接,来模拟人类大脑的结构和思维方式的- -种可实现的物理系统,可通过计算机程序来模拟实现。

     采用物理可实现的系统来模拟生物神经网络的信息输入,模式加工,动作输出过程功能的系统

    2. ANN基本原理

    2.1 生物神经元模型

             ①细胞体:是神经元的主体,由细胞核、细胞质和细胞膜三部分构成。
            ②树突:是从细胞体向外延伸的许多突起的神经纤维这些突起称为树突。神经元靠树突接受来自其他神经元的输入信号,相当于细胞体的输入端。
            ③轴突:也称神经纤维,是由细胞体伸出的最长的条突起称为轴突,它用于传出细胞体产生的输出电化学信号。轴突相当于细胞的输出电缆,用于传出神经冲动、兴奋或抑制信号。
            ④突触:是神经元之间通过一-个神经元的轴突末梢和其他神经元的细胞体或树突进行通信连接,这种连接相当于神经元之间的输入输出接口,其接口称为突触。

            神经元是构成神经网络的最基本单元(构件),因此,首要任务是构造人工神经元模型。

     2.2 人工神经元模型

    ●人工神经元模型
            \theta _{j}:第j个神经元的阈值
            x_{i}:第i个(i= 1,2,..n) 输入信号
            \omega _{ij}:第i个输入信号与第j个神经元之间的连接权
            f():输出变换函数( 激活函数)
            y_{j}:第j个神经元的输出

    第j个人工神经元模型的输入输出关系为:

     2.3 感知机与二分类问题

    单层感知机:单层计算单元的神经网络( 只有一-个神经元)且激活函数为线性函数

     假设两个输入X1和X2;激活函数f为比例函数: f(s)=s;那么感知机输入输出关系为:
            y=\omega _{1}x_{1}+\omega _{2}x_{2}-\theta        ←神经网络分类模型

    二分类问题:
            寻找合适的\omega _{1},\omega _{2},\theta            ←模型训练
            将已知数据实现较好的分类;例如y>0时为一类,y<0为另一类

     假设两个输入X1和X2;激活函数f为符号函数: f(s)=sgn(s)                      
            那么感知机输入输出关系为:y=sgn(\omega _{1}x_{1}+\omega _{2}x_{2}-\theta)

    那么对于二分类问题:y=1时为一类,y=-1时为另一类f(s)=\left\{\begin{matrix} -1,s<0\\1,s\geq 0 \end{matrix}\right.

    单层感知机的缺点:
            ●单层感知器是线性可分模型
            ●感知器的输出只能取-1或1 (0或1 ) .只能用来解决简单的分类问题

            历史上,Minsky正是利用这个典型例子指出了感知器的致命弱点,从而导致了70年代神经元网络的研究低潮(第一次低潮)。

            多层感知器相对于单层感知器,输出端从一个变到了多个;输入端和输出端之间也不光只有一层,可以有多层:输出层和隐藏层。

             例:如图是一个含有两个输入,三个感知机隐层神经元和一-个输出神经元的三层感知机网络,若取

     y1=sgn(2x1+2x2+1)
    y2=sgn(-x1+0.25x2+0.8)
    y3=sgn(0.75x1-2x2+1.4)
    z= sgn(y1+y2+y3-2.5)        实现了非线性分类:

    2.4 人工神经元模型的激活函数

     ●激活函数
            激活函数( Activation Function) : (亦称作用、传递、特性、活化、转移、刺激函数),实现神经元的输入和输出之间非线性化,因线性模型的表达能力不够,故加入非线性因素增强模型的表达能力。

                            

            例:如经典的分类问题,若采用线性模型进行拟合无法得到一一个满意的结果,所以选择更复杂的非线性化模型,得到了复杂的分类线

     典型的激活函数
    (1)比例函数:f(s)=s       (2)符号函数:f(s)=\left\{\begin{matrix} -1,s<0\\1,s\geq 0 \end{matrix}\right.

     (3)饱和函数:f(s)=\left\{\begin{matrix} 1 ,s\geq\frac{1}{k} \\ sk,-\frac{1}{k}\leq s\leq \frac{1}{k}\\ -1,s< -\frac{1}{k}\end{matrix}\right.  

     (4)阶跃函数: f(s)=\left\{\begin{matrix} 0,s<0\\1,s\geq 0 \end{matrix}\right.(5)双曲函数:f(s)=\frac{1-e^{-\mu s}}{1+e^{-\mu s}}

     (6) Sigmoid函数: 
            ①Sigmoid函数的输出曲线两端平坦,中间部分变化剧烈。f(s)=\frac{1}{1+e^{-\mu s}}

             ②Sigmoid函数的- -阶导数:

             注:双曲函数和Sigmoid函数也称为S形函数,它们具有平滑和渐近性,并保持单调性,相对于其它类函数,Sigmoid函数最为常用

     3. BP神经网络基本原理

    3.1 什么是BP神经网络

            单层感知机:模型中的激活函数多采用符号函数,因此输出值为二值量,主要用.于简单模式分类。
            多层感知机:模型通过感知器的组合以及采用S型激活函数,可输出值为0-1之间的连续值,可实现输入到输出的任意非线性映射

          定理:只要隐藏层神经元的个数充分多,且神经元激活函数为非线性函数的多层神经网络可逼近任何函数。

            BP神经网络=多层感知机+误差反向传播( Back Propagation)学习(训练)算法。即模型训练或者说连接权重的调整采用反向传播( Back Propagation)学习算法

    3.2 误差反向传播学习算法

    学习的过程:
            神经网络在外界输入样本的刺激下不断改变网络的连接权值,以使网络的输出不断地接近期望的输出。
    学习的本质:
            对各连接权值的动态调整
    学习规则(算法) :
            权值调整规则,即在学习过程中网络中各神经元的连接权变化所依据的一定的调整规则。
    BP学习算法类型:
            监督学习一已知样本数据及其期望值(标签值)
    BP学习算法核心思想:
            将输出误差以某种形式通过隐藏层向输入层逐层反传,将误差分摊给各层的所有神经元,修正各神经元权值
    学习过程:
            信号正向传播>误差反向传播
    BP学习算法步骤:

            1. 正向传播:
                    输入样本- - -输入层- - -各隐层-- -输出层
            2. 判断是否转入反向传播阶段:
                    若输出层的实际输出与期望的输出不符
            3. 误差反传
                    误差以某种形式在各层表示一- - -修正各层单元的权值
            4. 终止条件
                    网络输出的误差减少到可接受的程度进行到预先设定的学习次数为止
    ■网络结构( 三层结构)
            输入层有n个输入信号,隐含层有p个神经元,输出层有q个神经元

    ■变量定义
            ●输入向量:x=\left ( x_{1},x_{2},...,x_{n} \right )              输入层与隐含层的连接权值: w_{ih}
            ●隐含层输入向量: h_{i}=(h_{i_{1}},h_{i_{2}},...,h_{i_{p}})        隐含层与输出层的连接权值: w_{ho}
            ●隐含层输出向量: h_{o}=(h_{o_{1}},h_{o_{2}},...,h_{o_{p}})       隐含层各神经元的阈值: b_{h}
            ●输出层输入向量:y_{i}=(y_{i_{1}},h_{y_{2}},...,h_{y_{q}})        输出层各神经元的阈值: b_{o}
            ●输出层输出向量: y_{o}=(y_{o_{1}},y_{o_{2}},...,y_{o_{q}})       样本数据及个数:k = 1,2,..m
            ●期望输出向量:d_{o}=(d_{1},d_{2},...,d_{q})       激活函数: f()
    ●第一步,网络初始化
            ●给各连接权值分别赋一个区间(-1,1)内的随机数,设定误差函数e,给定计算精度值和最大学习次数M。

    ●第二步,随机选取第k个输入样本及对应期望输出

            x(k)=(x_{1}(k),x_{2}(k),...,x_{n}(k))                  d_{o}(k)=(d_{1}(k),d_{2}(k),...,d_{n}(k))
    ●第三步,计算隐藏层各神经元的输入和输出

    ■误差函数:        学习目标是最小化误差,即
            求满足.上式的各层神经元的连接权重(共n*p+p*q个)与阈值( 共p+q个)故,三层BP神经网络待确定的参数数量为(n+q+1)*p+q个

    ●第四步,利用网络期望输出和实际输出,计算误差函数对输出层的各神经元的偏导数\delta _{o}(k)
    其中,

    ●第五步,利用隐含层到输出层的连接权值、输出层的\delta _{o}(k)和隐含层的输出计算误差函数对隐含层 
    各神经元的偏导数\delta _{h}(k)

    ●第六步,利用输出层各神经元的\delta _{o}(k)和隐含层各神经元的输出来修正连接权值w_{ho}(k)

    ●第七步,利用隐含层各神经元的\delta _{h}(k)和输入层各神经元的输入修正连接权。

    ●第八步,计算全局误差,
    ●第九步,判断网络误差是否满足要求。当误差达到预设精度或学习次数大于设定的最大次数,则结束算法。否则,选取下一个学习样本及对应的期望输出,返回到第三步,进入下一轮学习。
       3.3 小结

    展开全文
  • 人工神经网络算法

    千次阅读 2021-03-04 19:06:02
    一、人工神经网络算法概念 1、神经元 正如我们日常生活中,遇到美女眼睛移不开、闻到香味流口水等生理现象等,其实都是神经所支配进行的,这就涉及到神经细胞。神经细胞(nerve cell)又称神经元或神经原,是神经...
  • 人工神经网络是一种典型的机器学习方法。 本文简介了人工神经网络相关基础知识,包括:人工神经元、感知机、BP反向传播算法、深度神经网络等
  • 第五章 人工神经网络

    千次阅读 2021-12-29 11:12:46
    人工神经网络 知识介绍及其相关习题答案
  • 人工神经网络(ANN)是受大脑结构启发的计算模型,旨在模拟人类行为,例如经过训练的学习,联想,概括和抽象。 在本文中,将ANN多层感知器(MLP)类型应用于具有网络钓鱼特征的网站分类。 获得的结果鼓励了ANN-MLP...
  • 在机器学习和认知科学领域,人工神经网络(英文:artificial neural network,缩写ANN),简称神经网络(英文:neural network,缩写NN)或类神经网络,是一种模仿生物神经网络(动物的中枢神经系统,特别是大脑)...
  • 鉴于防护林体系植被类型受众多因素影响,并具有复杂的非线性特点,以近自然林业为理念,采用LM人工神经网络建立防护林体系植被类型优化模型,并用典型流域的现实数据对模型进行训练和预测验证。结果表明,用Matlab构建的...
  • 人工神经网络概述

    千次阅读 2019-05-24 10:34:09
    神经科学主要研究生物神经系统的结构、功能和发育等,对生物行为及学习的研究都属于神经科学的分支。人脑是人类智能与高级精神活动的生理基础,其研究涉及分子层面、细胞层面、神经元群体和神经系统等多个领域,人的...
  • 针对现有炭/炭复合材料热解炭织构类型的识别方法受人为因素影响较大和操作过程比较复杂等问题,提出了基于热解炭偏光形貌和人工神经网络的热解炭织构类型识别方法.识别时,从炭/炭复合材料的偏光显微图像中分割出...
  • 人工神经网络研究简介.docx
  • 第八章 人工神经网络与深度学习

    千次阅读 2020-11-15 10:43:32
    文章目录本节重点一、生物神经元模型二、感知器算法2.1 感知器模型的结构2.2 感知器权重学习方法2.3 实例2.4 感知器算法的问题和改进2.5 人工神经元模型特点三、前馈神经网络和BP算法3.1 FNN结构3.2 FNN问题四、错误...
  • 人工神经网络—神经元的数学模型

    千次阅读 2021-04-27 22:09:24
    人工神经网络1. 简介 1. 简介 人工神经网络(Artificial Neural Networks)简称(NEURAL NETWORKS),是集体智慧的结晶。人工神经网络的方法曾经经历过起起落落,也经历过几乎无人问津的地步,但是近年来突然受到非常...
  • 人工智能-基于小波神经网络木材缺陷类型超声检测机理的研究.pdf
  • 为确切判定淮北矿区新第三纪沉积物成因类型,分别用自组织人工神经网络(SOM)和聚类分析方法对宿南等矿区的19组样本进行分类.对比发现SOM的分类结果与实际情况更吻合.从机理和应用方式上探讨了两种方法的功能差异,证明...
  • 研究了人工神经网络的原理、结构和学习算法,并将该网络应用于带式输送机滚动轴承的故障诊断中。采集不同类型的滚动轴承故障信号,并对信号进行预处理。利用神经网络进行训练,当训练误差满足设定要求时,训练完成。利用...
  • 人工智能-基于频域分析与神经网络的学生公寓电器类型识别.pdf
  • 人工神经网络与Matlab

    千次阅读 2020-08-30 21:54:49
    人工神经网络与Matlab实现 What is ANN [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-wSe1vkY9-1598795677773)(E:\数学建模\备份\image-20200830202943569.png)] 常用激活函数 神经网络...
  • ann人工神经网络Building your first neural network in less than 30 lines of code. 用不到30行代码构建您的第一个神经网络。 1.What is Deep Learning ? 1.什么是深度学习? Deep learning is that AI function...
  • 人工智能-几个不同类型的Hopfield神经网络分析.pdf

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 59,116
精华内容 23,646
关键字:

人工神经网络类型