下图所示，是来自Asimov研究所的Fjodor van Veen在2016年编写了一个关于神经网络种类图：



参考网站：https://www.asimovinstitute.org/neural-network-zoo/

       随着神经网络的不断发展，越来越多的人工神经网络模型也被创造出来了，其中，具有代表性的就是前馈型神经网络模型、反馈型神经网络模型以及图网络.

1.前馈型神经网络模型

      前馈神经网络（Feedforward Neural Network ,FNN），简称前馈网络。

      把每个神经元按接收信息的先后分为不同的组，每一组可以看做是一个神经层。每一层中的神经元接收前一层神经元的输出，并输出到下一层神经元

      整个网络中的信息是朝着一个方向传播的，即输入到输出方向，没有反向的信息传播（和误差反向传播不是一回事）,可用有向无环图表示

      前馈神经网络包括全连接前馈神经网络(FC)和卷积神经网络(CNN)。

      前馈神经网络可以看做是一个函数，通过简单非线性函数的多次复合，实现输入空间到输出空间的复杂映射。



 

2.反馈型神经神经网络

反馈神经网络中神经元不但可以接收其他神经元的信号，而且可以接收自己的反馈信号。

和前馈神经网络相比，反馈神经网络中的神经元具有记忆功能，在不同时刻具有不同的状态。反馈神经网络中的信息传播可以是单向也可以是双向传播，因此可以用一个有向循环图或者无向图来表示。

常见的反馈神经网络包括循环神经网络(RNN)、Hopfield网络和玻尔兹曼机。



而为了进一步增强记忆网络的记忆容量，可以映入外部记忆单元和读写机制，用来保存一些网络的中间状态，称为记忆增强网络，比如神经图灵机。

 

3. 图网络

前馈神经网络和反馈神经网络的输入都可表示为向量或者向量序列，但实际应用中很多数据都是图结构的数据，比如知识图谱、社交网络和分子网络等。这时就需要用到图网络来进行处理。

图网络是定义在图结构数据上的神经网络，图中每个结点都由一个或者一组神经元组成。结点之前的连接可以是有向的，也可以是无向的。每个结点可以收到来自相邻结点或自身的信息。



 

perference

1、深度学习之前馈神经网络（前向传播和误差反向传播

了解名词，以防他人提起，自己不会～

一.神经网络的分类

前馈式网络，反馈式网络，图网络

二.前馈网络（Feedforward Neural Network,FNN）

输入：向量或向量序列

包括：全连接前馈神经网络，卷积神经网络

表示：有向无环图

信息传播：朝着一个方向（反向传播和这个不是同一个概念）



三.反馈网络

输入：向量或向量序列

包括：循环神经网络，Hopfieid网络，波尔兹曼机

表示：有向循环图或者无向图

信息传播：可单向，可双向，可以自己到自己

神经元：有记忆功能，在不同时刻有不同状态。（为进一步增强网络记忆容量，可映入外部记忆单元和读写机制，以保存网络中间状态，如神经图灵机）



 

四.图网络

输入：图结构数据（如：知识图谱，社交网络，分子网络等）

表示：可有向，可无向

信息传播：相邻节点或自己

结点：一个或一组神经元

1.神经网络的分类

大体上，神经网络分为三种：前馈神经网络、反馈神经网络和图网络。

2.前馈神经网络

前馈神经网络（feedforward neural network）是一种简单的神经网络，也被称为多层感知机（multi-layer perceptron，简称MLP），其中不同的神经元属于不同的层，由输入层-隐藏层-输出层构成，信号从输入层往输出层单向传递，中间无反馈，其目的是为了拟合某个函数，由一个有向无环图表示，如下：



前馈神经网络中包含激活函数（sigmoid函数、tanh函数等）、损失函数（均方差损失函数、交叉熵损失函数等）、优化算法（BP算法）等。常用的模型结构有：卷积神经网络、全连接神经网络、BP神经网络、RBF神经网络、感知机等。

3.反馈神经网络

反馈神经网络（feedback neural network）的输出不仅与当前输入以及网络权重有关，还和网络之前的输入有关。它是一个有向循环图或是无向图，具有很强的联想记忆能力和优化计算能力。常用的模型结构有：RNN、Hopfield网络、玻尔兹曼机、LSTM等。



4.图网络

图（graph）是一种在拓扑空间内按图结构组织来关系推理的函数集合，包括社交网络、知识图谱、分子图神经网络等。