一、神经网络类别

一般的，神经网络模型基本结构按信息输入是否反馈，可以分为两种：前馈神经网络和反馈神经网络。

1.1 前馈神经网络

前馈神经网络（Feedforward Neural Network）中，信息从输入层开始输入，每层的神经元接收前一级输入，并输出到下一级，直至输出层。整个网络信息输入传输中无反馈（循环）。即任何层的输出都不会影响同级层，可用一个有向无环图表示。

常见的前馈神经网络包括卷积神经网络（CNN）、全连接神经网络（FCN)、生成对抗网络(GAN)等。

1.2 反馈神经网络

反馈神经网络（Feedback Neural Network）中，神经元不但可以接收其他神经元的信号，而且可以接收自己的反馈信号。和前馈神经网络相比，反馈神经网络中的神经元具有记忆功能，在不同时刻具有不同的状态。反馈神经网络中的信息传播可以是单向也可以是双向传播，因此可以用一个有向循环图或者无向图来表示。

常见的反馈神经网络包括循环神经网络(RNN)、长短期记忆网络(LSTM)、Hopfield网络和玻尔兹曼机。

二、经典神经网络模型介绍

全连接神经网络（FCN）

全连接神经网络是深度学习最常见的网络结构，有三种基本类型的层: 输入层、隐藏层和输出层。当前层的每个神经元都会接入前一层每个神经元的输入信号。在每个连接过程中，来自前一层的信号被乘以一个权重，增加一个偏置，然后通过一个非线性激活函数，通过简单非线性函数的多次复合，实现输入空间到输出空间的复杂映射。

卷积神经网络（CNN）

图像具有非常高的维数，因此训练一个标准的前馈网络来识别图像将需要成千上万的输入神经元，除了显而易见的高计算量，还可能导致许多与神经网络中的维数灾难相关的问题。卷积神经网络提供了一个解决方案，利用卷积和池化层，来降低图像的维度。由于卷积层是可训练的，但参数明显少于标准的隐藏层，它能够突出图像的重要部分，并向前传播每个重要部分。传统的CNNs中，最后几层是隐藏层，用来处理“压缩的图像信息”。

残差网络(ResNet)

深层前馈神经网络有一个问题，随着网络层数的增加，网络会发生了退化（degradation）现象：随着网络层数的增多，训练集loss逐渐下降，然后趋于饱和，当再增加网络深度的话，训练集loss反而会增大。为了解决这个问题，残差网络使用跳跃连接实现信号跨层传播

生成对抗网络(GAN)

生成对抗网络是一种专门设计用于生成图像的网络，由两个网络组成: 一个鉴别器和一个生成器。鉴别器的任务是区分图像是从数据集中提取的还是由生成器生成的，生成器的任务是生成足够逼真的图像，以至于鉴别器无法区分图像是否真实。随着时间的推移，在谨慎的监督下，这两个对手相互竞争，彼此都想成功地改进对方。最终的结果是一个训练有素的生成器，可以生成逼真的图像。鉴别器是一个卷积神经网络，其目标是最大限度地提高识别真假图像的准确率，而生成器是一个反卷积神经网络，其目标是最小化鉴别器的性能。

变分自动编码器(VAE)

自动编码器学习一个输入（可以是图像或文本序列）的压缩表示，例如，压缩输入，然后解压缩回来匹配原始输入，而变分自动编码器学习表示的数据的概率分布的参数。不仅仅是学习一个代表数据的函数，它还获得了更详细和细致的数据视图，从分布中抽样并生成新的输入数据样本。

Transformer

Transformer是Google Brain提出的经典网络结构，由经典的Encoder-Decoder模型组成。在上图中，整个Encoder层由6个左边Nx部分的结构组成。整个Decoder由6个右边Nx部分的框架组成，Decoder输出的结果经过一个线性层变换后，经过softmax层计算，输出最终的预测结果。

循环神经网络 (RNN)

循环神经网络是一种特殊类型的网络，它包含环和自重复，因此被称为“循环”。由于允许信息存储在网络中，RNNs 使用以前训练中的推理来对即将到来的事件做出更好、更明智的决定。为了做到这一点，它使用以前的预测作为“上下文信号”。由于其性质，RNNs 通常用于处理顺序任务，如逐字生成文本或预测时间序列数据(例如股票价格)。它们还可以处理任意大小的输入。

长短期记忆网络(LSTM)

LSTM结构是专门为解决RNN在学习长的的上下文信息出现的梯度消失、爆炸问题而设计的，结构中加入了内存块。这些模块可以看作是计算机中的内存芯片——每个模块包含几个循环连接的内存单元和三个门(输入、输出和遗忘，相当于写入、读取和重置)。信息的输入只能通过每个门与神经元进行互动，因此这些门学会智能地打开和关闭，以防止梯度爆炸或消失。

Hopfield网络

Hopfield神经网络是一种单层互相全连接的反馈型神经网络。每个神经元既是输入也是输出，网络中的每一个神经元都将自己的输出通过连接权传送给所有其它神经元，同时又都接收所有其它神经元传递过来的信息。

本文在介绍神经网络算法模型基础知识的同时，详细阐述了正向传播神经网络的计算过程。

斯坦福大学教授Andrew Ng（吴恩达）在Coursera网课平台上开设的Machine Learning课程，非常适合机器学习新手入门，看过之后有种豁然开朗的感觉。但这门课程是英文讲解的，况且对于快速理解神经网络算法来讲，观看视频课程全面学习Machine Learning的知识体系，效率自然不如阅读专题文章。这是我花费精力写这篇文章的主要原因。本文结构与算法描述方式也主要借鉴于Andrew Ng的课程。只是在细节的地方做了些调整和补充。在这里提前做出说明，避免误被控诉为抄袭。

写本文之前，我查阅了大量网络上相关的文章。发现这些文章大多存在两个极端：一部分太注重于解释神经网络的感性理解，忽略了数学基础，太过简单；另一部分则又过于学术化，大量的复杂公式推导，让很多感兴趣的读者望而却步。我以为，尽管神经网络听上去很深奥，但其实要理解并掌握它的算法原理，并非那么困难。因此，本文想要从感性理解和理性认知两者中间找到合适的平衡，暂且跳过复杂的参数求解过程，从简单的理论出发，一步步阐述神经网络的基本计算方式，让读者可以快速对神经网络算法有个比较直观的认识。

建议英文基础较好，并且有精力的读者学习Andrew的这门课程，我将链接附在这里：https://www.coursera.org/learn/machine-learning

1.神经网络算法的创造缘由

在基础机器学习中，Linear Regression和Logistic Regression都能够拟合输入和输出之间的定量关系，并根据新的输入预测输出值或者进行分类。那为什么还需要神经网络这样的复杂算法呢？主要有两方面的原因：一是现实生活中的很多问题并非线性的。二是在Linear Regression和Logistic Regression模型中，当输入特征的数量比较大时，模型参数的解算效率会非常低。并且随着输入特征数量的增长，参数解算效率以指数形式降低，非常不利于模型学习和应用。

1.1 非线性问题

非线性问题比线性问题要复杂的多，但却是现实世界中的最常见的问题形式。对于非线性问题，Linear Regression和Logistic Regression不能达到很好的效果。简单举个例子。假设有两个输入要素，分别是$x_1,x_2\in R$，下图表示了$x_1$和$x_2$构成的两个不同类别的点分布情况。可以看到，这两个类别是没有办法用一条直线进行分割的。现为了区分开这两个类别，在Logistic Regression模型中，就需要引入高阶变量，例如$x_1{x}_2,x_1^2{x}_2,x_1{x}_2^2$等等作为新的输入要素加入模型，这首先会带来输入要素的数量增加，且高阶变量自然会让模型变得更加复杂，同时容易引起Overfitting的问题。

1.2 大量特征带来的问题

除了上面讲到的非线性问题导致的特征数量增多的情况，现实生活中的很多问题，其特征本来就是非常多的。计算机视觉问题就是典型的例子。图像通过像素矩阵来表示现实世界的物体，像素矩阵中的点往往非常多，将这些像素点的值作为特征输入模型，庞大的特征数量是显而易见的。而当特征数量上升时，线性回归和逻辑回归模型会让求解变得非常慢。事实上，这个关系根据使用的输入特征阶数的不同，线性回归和逻辑回归模型的参数求解会有$O(n^2)、O(n^3)$等时间复杂度。传统的输入特征为1~1000时尚可接受，而一个普通$50\ast 50$的灰度图像像素矩阵，输入特征都是2500个，更别说更大、更复杂的图像了，

2.神经网络模型表示

2.1 神经网络的结构和数学定义

（1）模型结构

神经网络模型包含三个部分：input layer（输入层）、hidden layer（中间层或隐藏层）、output layer（输出层）。其中，hidden layer的层数不固定，在某些简单问题中，hidden layer的层数可能为0，仅有input layer和output layer；在复杂问题中，hidden layer的层数也可能成百上千。

模型中每一层的节点称为“神经元”。位于input layer的神经元对应着训练数据的特征。hidden layer和output layer中的神经元由activation function（激活函数）表达，我们用字母$g$表示。Activation function有很多种类型，最常用是sigmoid函数，它的表达式如下：
$$sigmoid(x)=\frac{1}{1+e^{-x}}$$
sigmoid函数图像如下图所示。当$x>>0$时，$f(x)$无限逼近于1；当$x<<0$时，$f(x)$无限逼近于0；当$x=0$时，$f(x)=0.5$。

（2）训练样本数据

为了深入阐述神经网络模型算法过程，我们来定义一些需要用到的数学变量和符号。

我们用$x$表示输入的特征向量，$x_i$表示单独的特征变量。$y$表示真实类别标签向量，$y_i$对应单独的真实类别，为了简单起见，我们先从二元分类讲起，也就是说 y ∈ { 0 , 1 } y∈\{0,1\} y∈{0,1}。假如，我们想训练一个神经网络模型，根据房子的某些特征自动判断该房子是否为别墅，那么特征向量$x$就可以表示为：
$$x=\left[\begin{array}{c}{x}_1=卧室数目\\ x_2=客厅面积\\ x_3=总体面积\\ ...\end{array}\right]$$
其中，卧室数目、客厅面积、总体面积等等数据都是特征变量，它们共同衡量了房子的属性。并且，我们定义当$y=1$时，表示该房子为别墅；当$y=0$时，表示房子为其他类型。这样，我们就可以收集整理一些如下表所示的训练样本数据：

（3）模型数学表示

为了方便使用数学表示，我们不单独为input layer、hidden layer和output layer定义数学表示，而是使用 a = { a ( 1 ) , a ( 2 ) , a ( 3 ) , . . . , a ( n ) } a=\{a^{(1)}, a^{(2)}, a^{(3)},...,a^{(n)}\} a={a(1),a(2),a(3),...,a(n)}来表示从左到右的各个层。例如在简单的三层神经网络模型中，$a^{(1)}$表示输入层，$a^{(2)}$表示中间层，$a^{(3)}$表示输出层。用${\theta }_j^{(i)}$来表示各层对应的权重参数，$i$表示层号，$j$表示该层中的神经元。由此，一个简单的三层神经网络模型中，各个结构的数学可以表示如下图：

2.2 Forward Propagation

我们以Forward Propagation（正向传递）计算过程为例，详细介绍神经网络模型当中的数学计算。为了简单起见，我们以下图中展示的神经网络模型为例。这里我们先暂时不介绍模型参数求解相关方法，而是假设已经计算得到了所有的模型参数值。

在这个模型中，第一层有2个神经元，分别用$x_1,x_2$表示；第二层包含2个神经元，分别用$a_1^{(2)},a_2^{(2)}$表示；第三层只有1个神经元，用$h_{\theta }(x)$表示（我们用$y$表示了数据的真实类型，这里便用$h_{\theta }(x)$表示模型的输出值，以示区别）；各神经元之间的连接权重参数$\theta$在图中有详细表示。

由于神经网络模型计算需要使用到Linear Regression的参数乘积运算，而在参数乘积运算中：
$$\begin{gathered} h_{\theta }(x)={\theta }^{T}x={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+...+{\theta }_n{x}_n \\ 其中， \\ x=\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right],\theta =\left[\begin{array}{c}{\theta }_0\\ {\theta }_1\\ {\theta }_2\end{array}\right] \end{gathered}$$
为了让$x$和$\theta$两个向量“对齐”，便于方便地使用向量运算方法表示计算过程，我们人为加入值为1的常量$x_0$，于是上面的式子就变为：
$$\begin{gathered} h_{\theta }(x)={\theta }^{T}x={\theta }_0{x}_0+{\theta }_1{x}_1+{\theta }_2{x}_2+...+{\theta }_n{x}_n \\ 其中， \\ x=\left[\begin{array}{c}{x}_0\\ x_1\\ x_2\end{array}\right],\theta =\left[\begin{array}{c}{\theta }_0\\ {\theta }_1\\ {\theta }_2\end{array}\right] \end{gathered}$$
同样，我们也在神经网络模型中，需要进行参数乘积运算的地方加入bias神经元，如下图所示：

最后，我们假设使用的activation function为sigmoid函数，也就是$g(x)=sigmoid(x)$，于是Forward Propagation的计算过程如下：

1. 计算第一层变量与对应参数的乘积，作为第二层的输入。
   $$\begin{gathered} ({\theta }_1^{(1)}{)}^{T}x={\theta }_{10}^{(1)}{x}_0+{\theta }_{11}^{(1)}{x}_1+{\theta }_{12}^{(1)}{x}_2 \\ ({\theta }_2^{(1)}{)}^{T}x={\theta }_{20}^{(2)}{x}_0+{\theta }_{21}^{(1)}{x}_1+{\theta }_{22}^{(1)}{x}_2 \end{gathered}$$

2. 使用sigmoid函数计算第二层中各神经元的值：
   $$\begin{gathered} sigmoid({\theta }^{T}x)=\frac{1}{1+e^{-{\theta }^{T}x}} \\ {a}_1^{(2)}=sigmoid({\theta }_1^{(1)}{)}^{T}x \\ {a}_2^{(2)}=sigmoid({\theta }_2^{(1)}{)}^{T}x \end{gathered}$$

3. 将第二层计算结果与对应参数的乘积，作为第三层的输入：
   $$({\theta }_1^{(2)}{)}^{T}a={\theta }_{10}^{(2)}{a}_0^{(2)}+{\theta }_{11}^{(2)}{a}_1^{(2)}+{\theta }_{12}^{(2)}{a}_2^{(2)}$$

4. 使用sigmoid函数计算第三层的值：
   $$h_{\theta }(x)=sigmoid(({\theta }_1^{(2)}{)}^{T}a)=\frac{1}{1+e^{-({\theta }_1^{(2)}{)}^{T}a}}$$

5. 根据$h_{\theta }(x)$的值，做出判断。

是的，尽管神经元增加了以后，整个运算会看起来很复杂，但是模型当中的计算过程实际上就是这么简单。使用不同的activation function，只需要替换以上算法过程中的sigmoid函数就可以。增加hidden layer的层数，也不过是重复以上迭代过程而已。

2.3 神经网络模型表示逻辑关系

为什么神经网络模型按照上文介绍的计算方法，就能够表示非线性问题？下面我们通过神经网络模型表示逻辑关系的例子，来看看神经网络模型的“奇妙”之处。

逻辑关系包含“AND”、“OR”、“NOT”、“XOR”4种简单运算。现实世界中错综复杂的问题，常常可以用这些简单逻辑运算的排列组合来表达。

（1）“AND”关系的表示

“AND”关系定义为：
x 1 , x 2 ∈ { 0 , 1 } ,      y = x 1   A N D   x 2 x_1, x_2 ∈ \{0,1\},\ \ \ \ y=x_1\ AND\ x_2 x1​,x2​∈{0,1},    y=x1​ AND x2​
只有$x_1$和$x_2$同时为1时，$h_{\theta }(x)$才为1，否则$h_{\theta }(x)$为0。

用下图所示的神经网络就可以表示“AND”关系：

图中表示的参数并不是唯一的。根据Forward Propagation，这个神经网络的计算结果可以表示为：
$$h_{\theta }(x)=g(-30+20x_1+20x_2)$$
实际上，这样的简单神经网络模型等同于logistic regression。代入$x_1,x_2$的值检验一下模型计算结果，可以得到如下表所示关系：

可以看到，只有$x_1，x_2$同时为1时，$h(\theta )$才能等于1。因此，这个神经网络模型正确表示出了“AND”逻辑运算。

（2）“OR”关系的表示

“OR”关系定义为：
x 1 , x 2 ∈ { 0 , 1 } ,      y = x 1   O R   x 2 x_1, x_2 ∈ \{0,1\},\ \ \ \ y=x_1\ OR\ x_2 x1​,x2​∈{0,1},    y=x1​ OR x2​
当$x_1$和$x_2$有一个等于1时，$y$就等于1，否则$y$等于0。

我们定义一个如下图所示的神经网络模型：

这个模型同样简单，可以表示为：
$$h_{\theta }(x)=g(-10+20x_1+20x_2)$$
代入$x_1,x_2$，可以发现该模型能正确表示“OR”逻辑运算。具体计算结果如下表所示：

（3）“NOT”关系的表示

“NOT”即“非”或“否”，关系表示为：
x 1 ∈ { 0 , 1 } ,      y = N O T   x 1 x_1∈ \{0,1\},\ \ \ \ y=NOT\ x_1 x1​∈{0,1},    y=NOT x1​
也就是当$y$值总是$x$值的反面。用神经网络模型表示“NOT”关系就更容易了，如下图所示：

这个神经网络可以表示为：
$$h_{\theta }(x)=g(10-20x_1)$$
代入$x_1$的值，可以发现该模型能正确表示“NOT”逻辑运算。具体计算结果如下表所示：

（4）“XNOR”关系的表示

“XNOR”在中文中常被翻译为“异或”，它的数学定义如下：
x 1 , x 2 ∈ { 0 , 1 } ,      y = x 1   X O R   x 2 x_1, x_2 ∈ \{0,1\},\ \ \ \ y=x_1\ XOR\ x_2 x1​,x2​∈{0,1},    y=x1​ XOR x2​
当$x_1,x_2$同为0或者同为1时，$y=1$；当$x_1,x_2$中有一个为1，另一个为0时，$y=0$。

在表示“AND”、“OR”和“NOT”关系时，我们都仅仅使用了结构非常简单的神经网络模型。而在表示“XNOR”关系时，以上的简单神经网络模型就不够用了，需要加入其他的神经元。如下图所示：

我们来计算一下：
$$\begin{gathered} a_1^{(2)}=g(-30+20x_1+20x_2) \\ {a}_2^{(2)}=g(10-20x_1-20x_2) \\ 并且 \\ {h}_{\theta }(x)=a_1^{(3)}=g(-10+20a_1^{(2)}+20a_1^{(2)}) \end{gathered}$$

同样，用表格的形式分别代入$x_1,x_2$的值，对应关系如下：

通过上面的几个神经网络实现逻辑运算的例子可以看出，即便是不使用中间层，神经网络就能够正确表示出“AND”、“OR”和“NOT”逻辑运算关系。“XNOR”关系的表达也仅仅只需要引入两个中间层的神经元而已。那么，当中间层的数目不断增加，神经元的数量不断增加，这些简单逻辑关系不断组合，就能够表达出错综复杂的“非线性”关系。这正是神经网络模型的奥妙之处。当然，这并不表示神经元越多、结构越复杂，就一定越好。结构越复杂，运算所需要的代价就越大。面向不同的应用、不同的数据，选择“最优”的神经网络模型结构，才是最佳策略。选择“最优”的过程实际上就是神经网络的参数调节过程，常被称为“调参”。具体如何对神经网络模型进行“调参”，本文就不作展开了，感兴趣的朋友可以通过机器学习课程，或者网络上的学习资源进行深入研究。

3. 多类别分类

上面我们讨论的都是二元分类问题，输出层只有一个神经元，输出结果要么是1，要么是0。现实世界中的分类应用要复杂的多。例如，一幅图片有可能被分类为猫、狗、大象等等类别。那么，如何用一个神经网络模型来同时得出多种不同的分类结果呢？

事实上，我们采用的策略非常简单，即在输出层中设置多个神经元，每个输出层代表一个类别。如下图所示。

在上图所示的神经网络结构中，输出层中的每个神经元都会有一个计算结果，我们综合比较每个结果数值，选择值最大的那个神经元所对应的类别，作为最终的计算类别。例如，假设我们输入某个新图像$x_i$，模型计算得到如下结果：
$$h(\theta )=\left[\begin{array}{c}0.2\\ 0.3\\ 0.7\end{array}\right]$$
那么，我们就取0.7那个神经元所对应的类别，作为图像$x_i$的类别。这里这个类别为“大象”。

本文暂且假设所有参数已知，详细介绍了神经网络内部是如何进行运算并作出类别判断的。具体涉及的cost function, gradient descent等参数求解的算法，将在未来作出补充。有较好英文基础的朋友，也可以直接学习Andrew Ng的课程视频。

1 神经元

1.1 概述

1.1.1 神经网络

神经网络：一种人工模仿动物中枢系统的数学模型，用于对函数进行近似估计

1.1.2 神经元

神经网络的基本单位是神经元。

神经元是一种处理单元，是对人脑组织的神经元的某种抽象、简化和模拟。通过神经元，人工神经网络可以以数学模型模拟人脑神经元活动，继而进行高效的计算以及其他处理。

1.2 计算机中的神经元系统

1.2.1 简单的神经元系统

神经元模型便是模拟大脑神经元的运行过程，其包含输入，输出与计算功能，输入可以类比为神经元的树突，而输出可以类比为神经元的轴突，计算则可以类比为细胞核。下图是一个典型的神经元模型：包含有m个输入，1个输出，以及2个计算功能。

1.2.2 一句话理解神经网络

所以一句话理解就是：制造一个神经网络就是在定义一个函数集合。而训练一个神经网络就是在这个函数集合中找到 唯一一个函数。这个函数代表了训练样本的共性特征。这种共性特征称为目标。

一个神经元的功能是求得输入向量与权向量的内积后，经一个非线性传递函数得到一个标量结果。

1.2.3 神经网络的形成

当前主要使用反向传播的算法将模型的误差作为刺激的信号，并沿着神经元处理信号的反方向进行逐层传播，并更新当前层中节点的权重。

1.2.4 神经网络的特点

神经网络的结构与功能，使得其天生具有编程与实现各种高级功能的能力，只不过该编程不需要通过人脑拟合现实来实现，而是通过模型学习的方式，通过现实的表象来优化其所需要的结构。

1.3 深度学习中的基础神经网络模型

• 全连接神经网络：用来处理与数值相关的任务
• 卷积神经网络：用来处理与计算机视觉相关的任务
• 循环神经网络：用来处理与序列相关的任务

1.4 神经网络（深度学习）到底是在干什么

1.4.1 玩色子

应该都接触过摇色子赌大小得游戏，微信表情包就有这个，总共有六个点数，如下：

一般电视剧里用两只碗扣在一块，里面有三个色子，最大是18点，最小是3点，所以这里暂且以11为中位数，大于等于11的为大，小于11的为小，刚好8个大点、8个小点。

1.4.2 建模型

神经网络包括三个部分——输入层、隐藏层和输出层。我们建立一个神经网络模型来让机器识别我们摇出来的点数是大还是小。

先摇三个点。。。

很明显的是1+3+4 = 8 <11，

问题是隐藏层 “ ”到底做了什么？该怎么做？

1.4.3 出结果

其实这个隐藏层的函数（或者叫矩阵）就是三个值为1的常数函数。

 计算方式为点对点相乘然后相加（相当于深度学习里面的全连接层）
1×1+3×1+4×1 = 8 < 11，然后只需要一个判断函数就可以将“小”作为结果输出。

同样：

3×1+5×1+6×1 = 14 >11，输出“大”。

当然了，这个只是一个很简单的分类模型，而且只有两个分类结果。
一般用于实现数字识别或者图像识别的隐藏层比较复杂，甚至需要很多个隐藏层，分别命名为卷积层（一个模型中可能会多次使用）、池化层（一个模型中可能会多次使用）、全连接层，还会有对应的激活函数。

看吧，其实就是一个很简单的模型而已，只是名字唬人罢了。

2 全连接神经网络，又称作多层感知机（MLP）

2.1 网络结构

• 输入层：[特征维度，n]
• 隐含层：权重矩阵 [输出维度，输入维度] 或者说  [这层维度，上层维度]
• 输出层：[类别数，n]

2.1.1 全连接层的本质

① 全连接神经网络的本质是将低维数据向高维数据的映射，通过增加数据所在的维度空间，使得数据变得线性可分

② 可以对任何数据进行分类，缺点是需要更多的参数进行训练。但更多的参数参与运算，将会导致训练过程难以收敛

2.2 全连接神经网络的设计思想

2.2.1 输入节点根据外部的特征数据来确定

2.2.2 隐藏层的节点数，隐藏层的数量都是可以自定义设计的，但需要遵循以下两个原则

2.2.3 设计原则

• 隐藏层的节点数决定模型的拟合能力，但是过多的节点带了拟合能力的同时，也会使得模型的泛化能力下降。
• 隐藏层的层数决定模型的泛化能力，层数越多，模型的推理能力越强，但是随着层数的变多，会对拟合效果产生影响

2.3 全连接神经网络在模型中的位置

一般处于整个深层模型的最后部分，由其具有的调节维度的作用，通过指定输入层与输出层的节点数，就可以实现从原维度向任意维度的变化，一般前后层的维度控制在5倍以内。

2.3.1 小技巧

搭建多层全连接神经网络时，对隐藏层的节点设计，应遵循先将维度扩大再缩小的方式进行，会使得模型的拟合效果更好。