精华内容
下载资源
问答
  • ANN 简单单元神经网络 ANN是最基础的神经网络。是指由大量的处理单元(神经元) 互相连接而形成的复杂网络结构,是对人脑组织结构和运行机制的某种抽象、简化和模拟。 FNN 全联接神经网络 fnn指所有的节点都...

    ANN 简单单元神经网络

    ANN是最基础的神经网络。是指由大量的处理单元(神经元) 互相连接而形成的复杂网络结构,是对人脑组织结构和运行机制的某种抽象、简化和模拟。

    FNN 全联接神经网络

    fnn指所有的节点都相互连接,同层节点不连接的网络结构。

    RNN 循环神经网络

    rnn具有时序性,即通过当前的输入值和之前的预测参数,来影响当前的预测值。适合用来做翻译,生成文章、语音等需求。

    LSTM 长短时记忆循环神经网络

    rnn 的加强版,为了解决rnn梯度爆炸梯度消失记忆消失问题。和rnn相比,lstm多了几个门。即是否参考之前的记忆,是否记录当前的记忆等

    DQN 强化学习

    通过随机参数的干扰,不断自动试错并赋予奖励,使网络具有自动学习的能力。 比如让一个游戏自动学习如何过关,或让一个蜘蛛如何控制每个腿的关节达到快速移动的目的

    GAN 对抗神经网络

    使用两个模型,一个是生成模型,一个是验证模型。通过他们相互不断的竞争,使模型越来越接近训练样本。从而达到特征学习的目的。用于自动生成图像等领域

    展开全文
  • 几种神经网络类型

    千次阅读 2011-05-10 15:33:00
    卷积神经网络概率神经网络Convolutional Neural Networks are are a special kind of multi-layer neural networks. Like almost every other neural networks they are trained with a version of the back-...

    卷积神经网络概率神经网络

    Convolutional Neural Networks are are a special kind of multi-layer neural networks. Like almost every other neural networks they are trained with a version of the back-propagation algorithm. Where they differ is in the architecture.  
    Convolutional Neural Networks are designed to recognize visual patterns directly from pixel images with minimal preprocessing. 
    They can recognize patterns with extreme variability (such as handwritten characters), and with robustness to distortions and simple geometric transformations.  

    LeNet-5 is our latest convolutional network designed for handwritten and machine-printed character recognition.  Here is an example of LeNet-5 in action. 

    尤其适合于从图像中识别出模式,典型案例:

    http://yann.lecun.com/exdb/lenet/index.html

    cvnn

     

    概率神经网络

     

    模糊神经网络

    混沌神经网络

    小波神经网络

    混合神经网络

     

    分析神经网络的工作机制与优势特长,并将其组合,构成混合神经网络,才能达到林火运用的目的。

    展开全文
  • 神经网络类型

    千次阅读 2018-06-01 14:31:30
    KNN DNN SVM DL BP DBN RBF CNN RNN ANN概述本文主要介绍了当前常用的神经网络,这些神经网络主要有哪些用途,以及各种神经网络的优点和局限性。1 BP神经网络BP (Back Propagation)神经网络是一种神经网络学习算法。...

    KNN DNN SVM DL BP DBN RBF CNN RNN ANN

    概述

    本文主要介绍了当前常用的神经网络,这些神经网络主要有哪些用途,以及各种神经网络的优点和局限性。

    1 BP神经网络

    BP (Back Propagation)神经网络是一种神经网络学习算法。其由输入层、中间层、输出层组成的阶层型神经网络,中间层可扩展为多层。相邻层之间各神经元进行全连接,而每层各神经元之间无连接,网络按有教师示教的方式进行学习,当一对学习模式提供给网络后,各神经元获得网络的输入响应产生连接权值(Weight)。然后按减小希望输出与实际输出误差的方向,从输出层经各中间层逐层修正各连接权,回到输入层。此过程反复交替进行,直至网络的全局误差趋向给定的极小值,即完成学习的过程。

        初始权值阈值的确定:所以权值及阈值的初始值应选为均匀分布的小数经验

    值,约为(-2.4/F~2.4/F)之间,其中F 为所连单元的输入层节点数

     1.1 主要功能

    (1)函数逼近:用输入向量和相应的输出向量训练一个网络以逼近一个函数。

    (2)模式识别:用一个待定的输出向量将它与输入向量联系起来。

    (3)分类:把输入向量所定义的合适方式进行分类。

    (4)数据压缩:减少输出向量维数以便传输或存储。

    1.2 优点及其局限性

    BP神经网络最主要的优点是具有极强的非线性映射能力。理论上,对于一个三层和三层以上的BP网络,只要隐层神经元数目足够多,该网络就能以任意精度逼近一个非线性函数。其次,BP神经网络具有对外界刺激和输入信息进行联想记忆的能力。这是因为它采用了分布并行的信息处理方式,对信息的提取必须采用联想的方式,才能将相关神经元全部调动起来。BP 神经网络通过预先存储信息和学习机制进行自适应训练,可以从不完整的信息和噪声干扰中恢复原始的完整信息。这种能力使其在图像复原、语言处理、模式识别等方面具有重要应用。再次,BP 神经网络对外界输入样本有很强的识别与分类能力。由于它具有强大的非线性处理能力,因此可以较好地进行非线性分类, 解决了神经网络发展史上的非线性分类难题。另外, BP 神经网络具有优化计算能力。BP神经网络本质上是一个非线性优化问题, 它可以在已知的约束条件下,寻找一组参数组合,使该组合确定的目标函数达到最小。不过,其优化计算存在局部极小问题,必须通过改进完善。

    由于BP网络训练中稳定性要求学习效率很小,所以梯度下降法使得训练很慢。动量法因为学习率的提高通常比单纯的梯度下降法要快一些,但在实际应用中还是速度不够,这两种方法通常只应用于递增训练。

    多层神经网络可以应用于线性系统和非线性系统中,对于任意函数模拟逼近。当然,感知器和线性神经网络能够解决这类网络问题。但是,虽然理论上是可行的,但实际上BP网络并不一定总能有解。

    对于非线性系统,选择合适的学习率是一个重要的问题。在线性网络中,学习率过大会导致训练过程不稳定。相反,学习率过小又会造成训练时间过长。和线性网络不同,对于非线性多层网络很难选择很好的学习率。对那些快速训练算法,缺省参数值基本上都是最有效的设置。

    非线性网络的误差面比线性网络的误差面复杂得多,问题在于多层网络中非线性传递函数有多个局部最优解。寻优的过程与初始点的选择关系很大,初始点如果更靠近局部最优点,而不是全局最优点,就不会得到正确的结果,这也是多层网络无法得到最优解的一个原因。为了解决这个问题,在实际训练过程中,应重复选取多个初始点进行训练,以保证训练结果的全局最优性。

    网络隐层神经元的数目也对网络有一定的影响。神经元数目太少会造成网络的不适性,而神经元数目太多又会引起网络的过适性。

    2 RBF(径向基)神经网络

        径向基函数(RBF-Radial Basis Function)神经网络是由J.Moody和C.Darken在80年代末提出的一种神经网络,它是具有单隐层的三层前馈网络。由于它模拟了人脑中局部调整、相互覆盖接收域(或称感受野-Receptive Field)的神经网络结构,因此,RBF网络是一种局部逼近网络,它能够以任意精度逼近任意连续函数,特别适合于解决分类问题。

     

    2.1 主要功能

    图像处理,语音识别,时间系列预测,雷达原点定位,医疗诊断,错误处理检测,模式识别等。RBF网络用得最多之处是用于分类,在分类之中,最广的还是模式识别问题,次之是时间序列分析问题。

     

    2.2 优点及其局限性

    (一) 优点:

    神经网络有很强的非线性拟合能力,可映射任意复杂的非线性关系,而且学习规则简单,便于计算机实现。具有很强的鲁棒性、记忆能力、非线性映射能力以及强大的自学习能力,因此有很大的应用市场。

     ①它具有唯一最佳逼近的特性,且无局部极小问题存在。

    ②    RBF神经网络具有较强的输入和输出映射功能,并且理论证明在前向网     络中RBF网络是完成映射功能的最优网络。

    ③    网络连接权值与输出呈线性关系。

    ④    分类能力好。

    ⑤    学习过程收敛速度快

    (二)局限性:

    ①    最严重的问题是没能力来解释自己的推理过程和推理依据。

    ②    不能向用户提出必要的询问,而且当数据不充分的时候,神经网络就无法进行工作。

    ③    把一切问题的特征都变为数字,把一切推理都变为数值计算,其结果势必是丢失信息。

    ④    理论和学习算法还有待于进一步完善和提高。

    ⑤    隐层基函数的中心是在输入样本集中选取的, 这在许多情况下难以反映出系统真正的输入输出关系, 并且初始中心点数太多; 另外优选过程会出现数据病态现象。

    3 感知器神经网络

         是一个具有单层计算神经元的神经网络,网络的传递函数是线性阈值单元。原始的感知器神经网络只有一个神经元。主要用来模拟人脑的感知特征,由于采取阈值单元作为传递函数,所以只能输出两个值,适合简单的模式分类问题。当感知器用于两类模式分类时,相当于在高维样本空间用一个超平面将两类样本分开,但是单层感知器只能处理线性问题,对于非线性或者线性不可分问题无能为力。假设p是输入向量,w是权值矩阵向量,b为阈值向量,由于其传递函数是阈值单元,也就是所谓的硬限幅函数,那么感知器的决策边界就是wp+b,当wp+b>=0时,判定类别1,否则判定为类别2。

    3.1 主要功能

    主要用于分类。

    3.2 优点及其局限性

    感知器模型简单易于实现,缺点是仅能解决线性可分问题。解决线性不可分问题途径:一是采用多层感知器模型,二是选择功能更加强大的神经网络模型。

    4 线性神经网络

    线性神经网络是比较简单的一种神经网络,由一个或者多个线性神经元构成。采用线性函数作为传递函数,所以输出可以是任意值。线性神经网络可以采用基于最小二乘LMS的Widrow-Hoff学习规则调节网络的权值和阈值,和感知器一样,线性神经网络只能处理反应输入输出样本向量空间的线性映射关系,也只能处理线性可分问题。目前线性神经网络在函数拟合、信号滤波、预测、控制等方面有广泛的应用。线性神经网络和感知器网络不同,它的传递函数是线性函数,输入和输出之间是简单的纯比例关系,而且神经元的个数可以是多个。只有一个神经元的线性神经网络仅仅在传递函数上和感知器不同,前者是线性函数的传递函数,后者是阈值单元的传递函数,仅此而已。

    4.1 主要功能

    (1)线性预测;

    (2)自适应滤波噪声抵消;

    (3)自适应滤波系统辨识;

    4.2优点及其局限性

    线性神经网络只能反应输入和输出样本向量空间的线性映射关系。由于线性神经网络的误差曲面是一个多维抛物面,所以在学习速率足够小的情况下,对于基于最小二乘梯度下降原理进行训练的神经网络总是可以找到一个最优解。尽管如此,对线性神经网络的训练并不能一定总能达到零误差。线性神经网络的训练性能要受到网络规模、训练集大小的限制。若神经网络的自由度(所有权值和阈值的总个数)小于样本空间中输入-输出向量的个数,而且各样本向量线性无关,则网络不可能达到零误差,只能得到一个使得网络的误差最小的解。反之,如果网络的自由度大于样本集的个数,则会得到无穷多个可以使得网络误差为零的解。

    另外对超定系统、不定系统、线性相关向量的情况还有一些其他的限制。

    5自组织神经网络

    在生物神经细胞中存在一种特征敏感细胞,这种细胞只对外界信号刺激的某一特征敏感,并且这种特征是通过自学习形成的。在人脑的脑皮层中,对于外界信号刺激的感知和处理是分区进行的,有学者认为,脑皮层通过邻近神经细胞的相互竞争学习,自适应的发展称为对不同性质的信号敏感的区域。根据这一特征现象,芬兰学者Kohonen提出了自组织特征映射神经网络模型。他认为一个神经网络在接受外界输入模式时,会自适应的对输入信号的特征进行学习,进而自组织成不同的区域,并且在各个区域对输入模式具有不同的响应特征。在输出空间中,这些神经元将形成一张映射图,映射图中功能相同的神经元靠的比较近,功能不同的神经元分的比较开,自组织特征映射网络也是因此得名。

    自组织映射过程是通过竞争学习完成的。所谓竞争学习是指同一层神经元之间相互竞争,竞争胜利的神经元修改与其连接的连接权值的过程。竞争学习是一种无监督学习方法,在学习过程中,只需要向网络提供一些学习样本,而无需提供理想的目标输出,网络根据输入样本的特性进行自组织映射,从而对样本进行自动排序和分类。

    自组织神经网络包括自组织竞争网络、自组织特征映射网络、学习向量量化等网络结构形式。

    5.1 自组织竞争网络

    竞争学习网络的结构:假设网络输入为R维,输出为S个,典型的竞争学习网络由隐层和竞争层组成,与径向基函数网络的神经网络模型相比,不同的就是竞争传递函数的输入是输入向量p与神经元权值向量w之间的距离取负以后和阈值向量b的和,即ni=-||wi-p||+bi。网络的输出由竞争层各神经元的输出组成,除了在竞争中获胜的神经元以外,其余的神经元的输出都是0,竞争传递函数输入向量中最大元素对应的神经元是竞争的获胜者,其输出固定是1。

    竞争学习网络的训练:竞争学习网络依据Kohonen学习规则和阈值学习规则进行训练,竞争网络每进行一步学习,权值向量与当前输入向量最为接近的神经元将在竞争中获胜,网络依据Kohonen准则对这个神经元的权值进行调整。假设竞争层中第i个神经元获胜,其权值向量Wi将修改为:Wi(k)=Wi(k-1)-alpha*(p(k)-Wi(k-1))。按照这一规则,修改后的神经元权值向量将更加接近当前的输入。经过这样调整以后,当下一此网络输入类似的向量时,这一神经元就很有可能在竞争中获胜,如果输入向量与该神经元的权值向量相差很大,则该神经元极有可能落败。随着训练的进行,网络中的每一个节点将代表一类近似的向量,当接受某一类向量的输入时,对应类别的神经元将在竞争中获胜,从而网络就具备了分类功能。

    5.2 自组织特征映射网络

    自组织特征映射网络SOFM的构造时基于人类大脑皮质层的模仿。在人脑的脑皮层中,对外界信号刺激的感知和处理是分区进行的,因此自组织特征映射网络不仅仅要对不同的信号产生不同的响应,即与竞争学习网络一样具有分类功能。而且还要实现功能相同的神经元在空间分布上的聚集。因此自组织特征映射网络在训练时除了要对获胜的神经元的权值进行调整之外,还要对获胜神经元邻域内所有的神经元进行权值修正,从而使得相近的神经元具有相同的功能。自组织特征映射网络的结构域竞争学习网络的结构完全相同,只是学习算法有所区别而已。

    稳定时,每一邻域的所有节点对某种输入具有类似的输出,并且这聚类的概率分布与输入模式的概率分布相接近。

    5.3 学习向量量化网络

    学习向量量化网络由一个竞争层和一个线性层组成,竞争层的作用仍然是分类,但是竞争层首先将输入向量划分为比较精细的子类别,然后在线性层将竞争层的分类结果进行合并,从而形成符合用户定义的目标分类模式,因此线性层的神经元个数肯定比竞争层的神经元的个数要少。

    学习向量量化网络的训练:学习向量量化网络在建立的时候,竞争层和线性层之间的连接权重矩阵就已经确定了。如果竞争层的某一神经元对应的向量子类别属于线性层的某个神经元所对应的类别,则这两个神经元之间的连接权值等于1,否则两者之间的连接权值为0,这样的权值矩阵就实现了子类别到目标类别的合并。根据这一原则,竞争层和线性层之间的连接权重矩阵的每一列除了一个元素为1之外,其余元素都是0。1在该列中的位置表示了竞争层所确定的子类别属于哪一种目标类别(列中的每一个位置分别表示一种目标类别)。在建立网络时,每一类数据占数据总数的百分比是已知的,这个比例恰恰就是竞争层神经元归并到线性层各个输出时所依据的比例。由于竞争层和线性层之间的连接权重矩阵是事先确定的,所以在网络训练的时候只需要调整竞争层的权值矩阵。

    5.4 主要功能

    特别适合于解决模式分类和识别方面的应用问题。

    5.5 优点及其局限性

    SOFM网络(自组织特征映射网络)的最大优点是网络输出层引入了拓扑结构,从而实现了对生物神经网络竞争过程的模拟。

    LVQ网络(学习向量量化网路)则在竞争学习的基础山引入了有监督的学习算法,被认为是SOFM算法的扩展形式。

    常用的结合方法是,将学习向量算法作为自组织映射算法的补充,在输出层应用具有拓扑结构的自组织映射网络结构,一次采用自组织映射学习算法和学习矢量量化算法对网络进行两次训练。

    6 反馈神经网络

    前面介绍的网络都是前向网络,实际应用中还有另外一种网络——反馈网络。在反馈网络中,信息在前向传递的同时还要进行反向传递,这种信息的反馈可以发生在不同网络层的神经元之间,也可以只局限于某一层神经元上。由于反馈网络属于动态网络,只有满足了稳定条件,网络才能在工作了一段时间之后达到稳定状态。反馈网络的典型代表是Elman网络和Hopfield网络。

    6.1 Elman神经网络

    Elman网络由若干个隐层和输出层构成,并且在隐层存在反馈环节,隐层神经元采用正切sigmoid型函数作为传递函数,输出层神经元传递函数为纯线性函数,当隐层神经元足够多的时候,Elman网络可以保证网络以任意精度逼近任意非线性函数。

    6.2 Hopfield网络

    Hopfield网络主要用于联想记忆和优化计算。联想记忆是指当网络输入某一个向量之后,网络经过反馈演化,从网络的输出端得到另外一个向量,这样输出向量称为网络从初始输入向量联想得到的一个稳定的记忆,也就是网络的一个平衡点。优化计算是指某一问题存在多个解法的时候,可以设计一个目标函数,然后寻求满足折椅目标的最优解法。例如在很多情况下可以把能量函数看作是目标函数,得到最优解法需要使得能量函数达到极小值,也就是所谓的能量函数的稳定平衡点。总之,Hopfield网络的设计思想就是在初始输入下,使得网络经过反馈计算,最后达到稳定状态,这时候的输出就是用户需要的平衡点。

    6.3 主要应用

    Elman网络主要用于信号检测和预测方面,Hopfield网络主要用于联想记忆、聚类以及优化计算等方面。

    6.4 优点及其局限性

    (一)Hopfield神经网络

    对于Hopfield神经网络而言, 都存在以下问题:

    (1)在具体神经网络实现中要保证连接权矩阵是对称的;

    (2)在实际的神经网络实现中, 总会存在信息的传输延迟, 这些延迟对神经网络的特性有影响。

    (3)神经网络实现中的规模问题, 即集成度问题。

    (二)Elman神经网络

    Elman神经网络模型与其他神经网络模型一样,具有输入层、隐层和输出层,具有学习期和工作期,因此具有自组织、自学习的特征。另外,由于在Elman神经网络模型中增加了隐层及输出层节点的反馈,因而更进一步地增强了网络学习的精确性和容错性。

     

    利用Elman神经网络建立的网络模型,对具有非线性时间序列特征的其它应用领域都具有较好地应用前景,它具有较强的鲁棒性、良好的泛化能力、较强的通用性和客观性,充分显示出神经网络方法的优越性和合理性,这种神经网络方法在其它领域预测和评价方面的使用将具有较好的实际应用价值。

     

    7.其它:

    收集了一些资料,还有另一个版本,有重叠:

     ANNs指使用第一代或第二代神经元模型的算法


    unsupervised learning (聚类)

    1、其他聚类:
    SOM
    autoencoder
    2、Deep learning,分三类,方法完全不同,连神经元都不一样
    前馈预测:见3
    反馈预测:stacked sparse autoencoder(聚类), predictive coding (属RNN,聚类)
    交互预测:Deep belief net (DBN,属RNN,聚类+分类)
    3、前馈神经网络(分类)
    perceptron
    BP
    RBF
    前馈Deep learning:convolutional neural network (CNN)
    4、Recurrent NN类
    hopfield
    Boltzmann machine 及变种 
    echo state network
    5、其他工程用算法的神经网络版本,数量太多,简单写几
    强化学习如TD(reinforcement learning)
    PCA

    展开全文
  • 如果你使用百度查找的相关资料,则使用了百度的神经网络,该神经网络会根据给出的关键词对相关度最高的网页进行排名。如果你最近要买东西访问过淘宝官网,那么该网站推荐的所有产品都是由神经网络管理的。 ...

    2020-01-26 13:32:04

    全文共3046字,预计学习时长9分钟

    ​深度科普:神经网络的类型及其作用

    图源:百家号

     

    机器学习是人工智能领域的一个分支,它结合了神经网络来创建一些人们日常使用的优秀软件。

     

    如果你使用百度查找的相关资料,则使用了百度的神经网络,该神经网络会根据给出的关键词对相关度最高的网页进行排名。如果你最近要买东西访问过淘宝官网,那么该网站推荐的所有产品都是由神经网络管理的。

     

    即便是现在,当使用手机时,也可能会遇到一种便利生活的神经网络。神经网络无所不在,它们以不同的工作方式完成各式各样的任务。

     

    所以……“神经网络”是什么呢?

     

    ​深度科普:神经网络的类型及其作用

    图源:wemedia.ifeng.com

     

    “神经”只是大脑的另一种表达。

     

    “所以这是一个大脑网络?”

     

    本质上,完全如此!神经网络是人类最强大的工具——大脑的简化。它使用的神经元都是通过权重(下图中的线条)相互连接的。神经元被赋予一些数值输入,然后乘以权重。权重是神经网络的核心,通过将权重转换为特定的数值,就可以处理任何输入并获得期望的输出。

     

    神经网络只是一种处理数据的方式。而数据本身在此处很关键。通过使用各种神经网络处理数据……就可以构建功能强大的工具来完成一些神奇的事情!

     

    ​深度科普:神经网络的类型及其作用

     

     

    这其中,有很多神经网络具有神奇的特性,下面小芯将介绍几种最著名的:

     

    1. 感知器——最古老最简单的神经网络

     

    感知器是最古老的神经网络,其发明最早可追溯到1958年。它同时也是最简单的神经网络。弗兰克·罗森布拉特(Frank Rosenblatt)发明的感知机为神经网络的基本原理奠定了基础。

     

    这种神经网络只有一个神经元,因此非常简单。它可接收n个输入量并将其乘以相应的权重。感知器仅计算一个输出,因其只能处理单个复杂性级别的数据,复杂性程度低,因而发展受限。

     

    ​深度科普:神经网络的类型及其作用

     

     

    用例:

     

    · 了解人脑

    · 扩展用于更高级别的神经网络

     

    2. 多层感知器——什么是层?

     

    多层感知器(MLP)本质上仍是感知器,但复杂性通过层的设计而得到增强。在MLP中,有三种类型的层:

     

    输入层:

     

    顾名思义,输入层指输入到神经网络的数据。输入数据必须是数值。也就是说非数值的内容需要转化为数值。在将数据输入到神经网络之前对其进行操作的过程称为数据处理,通常情况下,数据处理过程是制作机器学习模型最耗时的部分。

     

    隐藏层:

     

    隐藏层由神经网络中的大多数神经元组成,是处理数据以获得所需输出的核心部分。数据将穿过隐藏层,并由许多权重和偏差调节。之所以称其为“隐藏”层,是因为它与输入和输出层不同,神经网络的开发人员并不会直接使用这些层。

     

    输出层:

     

    输出层是在神经网络中处理数据的最终产物,可以表示不同的事物。通常情况下,输出层由神经元组成,每个神经元代表一个对象,而附加的数值则表示该对象是某特定对象的概率。其他情况下,输出层可能是一个神经元的输出,当给定某些输入时,它就是特定值。

     

    核心思想是:输出层是神经网络传递数据的结果,也是人们试图达到的目标。

     

    ​深度科普:神经网络的类型及其作用

     

    前馈神经网络

     

    此原理是,将数值数据传送到神经网络中,然后继续进行大量运算。让数据不断往下传递,没有反馈。为了操作正确,使任何给定输入始终产生所需输出,就需要进行训练。训练本质上是寻找产生最佳结果的方法,并将其应用于神经网络。

     

    用例:

     

    • 计算机视觉
    • 自然语言处理
    • 其他神经网络的基础

     

    3. 卷积神经网络——卷积层?

     

    卷积神经网络仍使用与多层感知器(MLP)相同的原理,但值得注意的是,它运用了卷积层,卷积神经网络通常应用于图像和视频。

     

    重要的是要认识到图像只是一个数字网格,每个数字都表示着某个像素的强度。知道了图像是一个数字网格,就可以通过操作这些数字来找到图像的模式和特征。卷积层通过使用滤波器来实现这一点。

    ​深度科普:神经网络的类型及其作用

     

    滤波器

     

    滤波器是定义为N x M(N和/M表示网格大小)的数字矩阵,它与原始图像相乘多次。要了解实际情况,请参阅动画。

     

    滤波器在网格上移动并产生新值。这些值可以代表图像中的边缘或线条。例如,使用以下滤波器:

     

    ​深度科普:神经网络的类型及其作用

     

     

    水平滤波器会试图消除垂直中心以外的值。它通过使用负值去除边缘,使用0消除中心以使像素变为中性。如果过滤成功,将可以从新值中看到一条水平线。对于正好反过来的垂直滤波器也是如此。

     

    在将滤波器应用于整个图像之后,就可以使用池化层轻松地提取滤波器识别的主要特征。在训练模型时,确定滤波器应包含的数字。找到最佳数值以使任务达到最佳结果。

     

    池化层

     

    如闻其名,池化层的作用就是将滤波器识别到的最重要特征“汇集”在一起,这是通过使用多种方法完成的。

     

    一种流行的方式是“最大池化”(Max Pooling),在这个方法中,对于图像的每个被滤部分,取最大的数目并存储到一个新的矩阵中。它的基本功能是识别最重要特征并将其压缩为一个图像,以便将其处理为多层感知器模型(MLP)。此过程也称为数据采样,使用此过程会产生令人满意的结果。

     

    用例

     

    · 图像分类

    · 计算机视觉

    · 查找图像特征/模式

     

    ​深度科普:神经网络的类型及其作用

    图源:www.crazyiter.com

     

    4. 递归神经网络——时态数据?

     

    神经网络分析的数据并不完全局限于静态数据。诸如图像、数字和帧等都是可以分析的数据。然而,依赖于数据本身的过去实例来预测未来,这是时态数据的示例。股市数据、时间序列数据、脑电波数据等数据总是通过使用因变量的过去实例进行分析。

     

    目前为止,已提及的神经网络种类无法处理其他状态的数据,接下来要讲的递归神经网络(RNN)才是解决方案。

     

    状态矩阵

     

    递归神经网络(RNN)通过将最后的输出存储于自身内存中来记忆数据的先前状态。这些称为状态矩阵。循环神经网络的工作原理与多层感知器(MLP)中的普通层类似,但它使用状态矩阵来计算新的输出。使用以前输出和数据状态本质上考虑了最终的输出数据,这对于股市预测和时间序列预测等应用至关重要。

     

    ​深度科普:神经网络的类型及其作用

     

     

    长短期记忆网络

     

    长短期记忆网络(LSTM)进一步扩展了将状态矩阵保存为两种状态的想法——长期状态和短期状态。如果状态持续存在于模型输出中,它将被保存为长期状态矩阵,并将在考虑新数据时占据更大权重。

     

    对于连续数据查找模式的应用,LSTM系统非常高效且处于股市指标预测方法的最前沿。

     

    用例

     

    • 自然语言处理
    • 股市预测
    • 基于时间序列的数据预测

     

    5. 自动编码器——以压缩方式呈现数据

     

    大多数神经网络接收数据并做出某些类型的决策。自动编码器则有着不同的任务,即找出一种能压缩数据但不损质量的方法。

     

    在传统的机器学习中,贴在数据上的标签与神经网络的输出目标并不一样。而在自动编码器中,标签相当于输入。

     

    因此,在自动编码器的体系结构中,输入和输出层是相同的。隐藏层小于输入和输出层(就节点而言),被称为“瓶颈”。由于瓶颈较小,因此它被迫寻找一种压缩原始数据并将其放回输出层的方法。这种压缩方式一般比常规方法更好,因为它仍然可以保持数据的高质量。

     

    ​深度科普:神经网络的类型及其作用

     

     

    用例:

     

    · 主要用于以较小的压缩方式呈现大量数据。

     

    ​深度科普:神经网络的类型及其作用

    图源:Unsplash

     

    现在,你是不是了解到了很多神经网络的知识了?

     

    纸上得来终觉浅,绝知此事要躬行。

     

    立刻行动起来,现在就去将这些神经网络落实到自己的课题实践中去吧~

    ​深度科普:神经网络的类型及其作用

     

    展开全文
  • 卷积神经网络四种卷积类型

    千次阅读 2018-12-17 08:59:47
    卷积神经网络四种卷积类型   https://www.toutiao.com/a6631333810287936013/     一般卷积 首先,我们需要就定义卷积层的一些参数达成一致。 卷积核大小(Kernel Size):卷积核定义了卷积的大小范围,...
  • 最近一段时间在研究如何利用...发现神经网络模型可以来预测,并且有很多是结合时间序列或者SVM(支持向量机)等组合模型来进行预测,本文结合实际数据,选取了常用的BP神经网络算法,其算法原理,因网上一大堆,所以...
  • 卷积神经网络超详细介绍

    万次阅读 多人点赞 2018-09-19 10:16:59
    1、卷积神经网络的概念 2、 发展过程 3、如何利用CNN实现图像识别的任务 4、CNN的特征 5、CNN的求解 6、卷积神经网络注意事项 7、CNN发展综合介绍 8、LeNet-5结构分析 9、AlexNet 10、ZFNet 10.1 意义 ...
  • 神经网络-多层前馈神经网络

    千次阅读 2019-01-04 16:48:24
    不同的层次结构会产出不同类型神经网络,比如前馈神经网络和递归神经网络。 神经元 神经元是神经网络最重要的组成部分,下图为一个神经元的示意图,箭头的方向就是数据运行的方向。为神经元接受的输入向量a,为...
  • 一、最简单的神经网络--Bp神经网络

    万次阅读 多人点赞 2018-09-04 20:44:38
     这里要从名字开始说起了,首先从名称中可以看出,Bp神经网络可以分为两个部分,bp和神经网络。  bp是 Back Propagation 的简写 ,意思是反向传播。而神经网络,听着高大上,其实就是一类相对复杂的计算网络。...
  • 神经网络类型分类

    千次阅读 2019-06-10 20:00:05
    以下文章是在学习过程中找到的觉得对自己有帮助的文章,在此记录一下,同时也希望对和我有同样困惑的同学有所帮助 版权归原作者所有,如有侵权请及时联系。 ... ......
  • 一文搞定BP神经网络——从原理到应用(原理篇)

    万次阅读 多人点赞 2017-10-11 09:31:25
    神经网络结构以及前向传播过程 损失函数和代价函数 反向传播 1 矩阵补充知识 11 矩阵求梯度 12 海塞矩阵 13 总结 2 矩阵乘积和对应元素相乘 3 反向传播原理四个基础等式 4 反向传播总结 41 单样本输入公式表 42 多...
  • 前馈神经网络 & 反馈神经网络

    千次阅读 2020-07-22 22:52:17
    前馈神经网络(feedforward neural network,FNN) 前馈神经网络也叫做多层感知机,各神经元分层排列。每个神经元只与前一层的神经元相连。接收前一层的输出,并输出给下一层.各层间没有反馈 个人理解就是我们...
  • 利用MATLAB 进行BP神经网络的预测(含有神经网络工具箱) 最近一段时间在研究如何利用预测其销量个数,在网上搜索了一下,发现了很多模型来预测,比如利用回归模型、时间序列模型,GM(1,1)模型,可是自己在结合...
  • 初探MATLAB神经网络——nntool

    千次阅读 2019-06-23 17:28:17
    感知器神经网络是最简单的神经网络类型,采用单层神经网络结构,主要作用是解决最简单的分类问题。 创建: 采用GUI创建法: 创建一个逻辑与功能的感知器 ①在命令行窗口内输入nntool指令 >> nntool 即可打开...
  • 径向基RBF神经网络

    千次阅读 2018-06-16 11:38:33
    1988年Moody和Darken提出了一种神经网络结构,即RBF神经网络,属于前向神经网络类型,它能够以任意精度逼近任意连续函数,特别适合于解决分类问题。RBF网络的结构与多层前向网络类似,它是一种三层前向网络。输入层...
  • Airfraft Type Recognition Based on Segmentation With Deep Convolutional Neural Networks 2018 IEEE ...为了解决这一问题,我们提出了一种基于深度卷积神经网络的新型飞机型号识别框架。首先,...
  • 四种基本的神经网络

    千次阅读 多人点赞 2020-11-30 11:30:33
    这是实际应用中最常见的神经网络类型。第一层是输入,最后一层是输出。如果有多个隐藏层,我们称之为“深度”神经网络。他们计算出一系列改变样本相似性的变换。各层神经元的活动是前一层活动的非线性函数。 循环...
  • BP神经网络用于垃圾邮件识别

    千次阅读 2018-11-02 14:38:57
    神经网络类型选择常用的BP神经网络,编程环境为Matlab。为了加深对神经网络的理解,不使用已有的神经网络工具包,而是根据底层原理编写实现完整的正向输出过程和参数调整过程。此外,根据实验中获取的经验,引入了一...
  • 神经网络学习(十三)卷积神经网络的MATLAB实现

    万次阅读 多人点赞 2018-03-27 16:08:28
    系列博客是博主学习神经网络中相关的笔记和一些个人理解,仅为作者记录笔记之用,不免有很多细节不对之处。 卷积神经网络回顾 上一节,我们简单探讨了卷积神经网络的反向传播算法,本节我们着手实现了一个...
  • 神经网络和深度学习(一)——初识神经网络

    万次阅读 多人点赞 2017-08-15 19:18:17
    神经网络和深度学习 神经网络:一种可以通过观测数据使计算机学习的仿生语言范例 深度学习:一组强大的神经网络学习技术神经网络和深度学习目前提供了针对图像识别,语音识别和自然语言处理领域诸多问题的最佳解决...
  • 于是,“人工神经网络(ANN, Artificial Neural Network)”就在这样苛刻的条件下粉墨登场了,神经科学的研究成果为机器学习领域开辟了广阔的道路。 神经元 有一种假说:“智能来源于单一的算法(One Learning ...
  • 人工神经网络

    千次阅读 2017-05-24 23:45:16
    一、神经网络的模型: 图1 两层全连接神经网络模型  这个是一个带有两个全连接层的神经网络神经网络,一般不把输入层算在层数之中。 1、神经元: 图2 神经元的数学模型  从单个神经元来看,每个神经元可以...
  • matlab 神经网络做回归预测

    万次阅读 2016-05-27 15:28:39
    选择神经网络类型例如, feedforwardnet(hiddenSizes,trainFcn) 参数是层数、训练函数,这是一种前馈网络,用法: net = feedforwardnet(10); 特殊的前馈网络: fitting networks (fitnet函数)、 pattern networks...
  • 1、BP网络简介BP网络(Back-ProPagation Network)又称反向传播神经网络,它是一种前馈式、多层、感知机网络。 通过样本数据的训练,不断修正网络权值和阈值使误差函数沿负梯度方向下降,逼近期望输出。它是一种...
  • 神经网络算法详解 01:人工神经网络基础

    千次阅读 多人点赞 2020-03-25 20:18:17
    本文介绍了人工智能的发展历史,基本概念,应用领域;神经元模型,神经元的学习规则以及神经网络工作原理。本系列文章来自阿里云大学人工智能学习路线中的《神经网络概览及神经网络算法详解》课程。
  • 循环神经网络(RNN)又称递归神经网络,是一种功能强大的神经网络类型,也是目前最先进的顺序数据算法之一。循环神经网络(RNN)利用它的内部记忆来处理任意时序的输入序列,目前常用于处理如手写识别、语音识别等。...
  • 神经网络

    千次阅读 2017-08-23 16:42:44
    神经网络(neural networks, NN)是由具有适应性的简单单元组成的广泛并行互连的网络,它的组织能够模拟生物神经系统对真实世界物体所作出的交叉反应。   2 感知机与多层网络 感知机(Perceptron)是由两层神经元...
  • 竞争神经网络

    千次阅读 2017-08-08 20:02:13
     竞争型神经网络是基于无监督学习(Unsupervised learning)方法的神经网络的一种重要类型,它经常作为基本的网络形式,构成其它一些具有自组织能力的网络,如自组织映射网络、自适应共振理论网络、学习向量量化...
  • 白话神经网络

    千次阅读 2019-11-22 01:13:11
    神经网络是人工智能的核心,也就是说没有神经网络就没有人工智能,那么这篇文章就带大家学习一下神经网络相关的知识。因为这篇文章没有数学公式、没有代码,旨在帮助读者快速掌握神经网络的核心知识,因此起名叫极简...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 99,711
精华内容 39,884
关键字:

神经网络类型