循环神经网络RNN结构：

RNN结构参数说明：

前向传播：

反向传播：

待训练参数总数：

到此所有的参数更新公式推导完毕，欢迎交流学习。
参考1
参考2
参考3

深度学习——循环神经网络RNN公式推导

1、循环神经网络引入

1.1 从传统网络到循环网络

对于传统的神经网络，在我们之前介绍的传统的神经网络中，主要包含输入层、隐藏层、输出层三个部分。其基本的图示如下：

X表示输入层的向量，H表示隐藏层的向量，O表示输出层的向量。W表示从输入层到隐藏层的权重矩阵，V表示从隐藏层到输出层的权重矩阵。其中，每一层可以有多个神经元。每一层神经元的个数代表的是每一层的维度。

我们将该网络展开成神经元的形式如下：

我们可以看到的是，对于每一个隐藏层的神经元，其结果是由输入层的向量和权重W来决定的。似乎是有这样的一种可能，每一个隐藏层的神经元是和其排列在前面的神经元之间是有关系的，也就是排列在前面隐藏层的神经元也作为当前隐藏层神经元的一个输入。这就引出来了循环神经网络。

我们先给出循环神经网络的基本结构：

在上面的结构中，我们能够发现，对于隐藏层的神经元，其中有一个自我传递信息的过程，下面是具体的展开图：

可以理解为，网络的输入通过时间进行向后传播，每次输入一个X，产生一个St和一个O，然后下一个时刻的X和前一个时刻的H作为当前时刻的输入，其中X通过W来控制权重，H通过U来控制权重。我们将上述的神经网络结构成为：单向循环神经网络。

在对于该神经网络进行进一步的展开(这里，我们只展开一个时刻的神经单元)

2 BPTT算法以及前向和后向传播算法

2.1 前向传播过程

1. 从输入层神经元到隐藏层神经元。
2. 从隐藏层神经元到隐藏层神经元。
3. 隐藏层神经元整合两个部分的输入。
4. 从隐藏层神经元到输出层神经元。

2.1.1 从输入层神经元到隐藏层神经元

这个部分的前向传播主要是输入神经元信息和对应的权重矩阵W来决定的。具体的计算公式为：
$$W^T{X}_t$$
注意，这个部分中，X是一个向量，W是一个权重矩阵，通过W来将X转换成另外的向量。

2.1.2 从隐藏层神经元到隐藏层神经元

这个部分主要是前一个时刻的隐藏层神经元向当前时刻的神经元的信息传递，其值有$S_{t-1}$和对应的权重矩阵U来决定。公式如下：
$$U^T{S}_{t-1}$$
注意，这个部分中，$S_{t-1}$是一个向量，U是一个权重矩阵，通过U来将$S_{t-1}$转换成另外的向量。

2.1.3 隐藏层神经元整合两个部分的输入

这一部分，主要是当前时刻的神经元$h_t$，将两个部分的输入整合，激活生成当前时刻隐藏层神经元的输出。
整合的过程就是向量相加，对应的公式为：
$$W^T{X}_t+U^T{S}_{t-1}$$
在假设激活函数为f，则激活后生成当前时刻神经元的值：
$$S_t=f(W^T{X}_t+U^T{S}_{t-1})$$

2.1.4 从隐藏层神经元到输出层神经元

这一部分的信息传递主要是将当前时刻隐藏层神经元的值传递到当前时刻的输出神经元中去。计算公式为：
$$O_t=g(V^T{S}_t)$$
其中g表示的也是激活函数。

2.2 前向过程总结

前向过程相对来说比较简单，用两个公式就可以总结其基本的传播过程：
$$S_t=f(W^T{X}_t+U^T{S}_{t-1})$$
$$O_t=g(V^T{S}_t)=g(V^{T}f(W^T{X}_t+U^T{S}_{t-1}))$$

2.3 参数权重说明：

在整个神经网络中，一共包含的三中权重矩阵，第一个矩阵是W，给矩阵的维度为(N,K)，N表示隐藏层神经元值的向量维度，K表示输入神经单元的向量的维度。第二个权重矩阵是V，该矩阵的维度为(L,N)，其中P表示输出层的神经元的向量维度。第三个是权重矩阵U，该矩阵的维度是(N,N)。

2.4 反向传播过程

2.4.1 误差函数

关于误差函数的选择，可以根据具体的任务进行，我们这里选择MSE作为误差计算函数：
$$J=\frac{1}{2}\sum _{t=1}^T||R_t-O_t|{|}^2$$
注意，我们这里在算误差的时候，$R_t和O_t$对应的是t时刻真实标签向量是预测输出的向量，所有采用的了取模计算的|| ||。

将上面的式子展开后得到
$$J=\frac{1}{2}\sum _{t=1}^T\sum _{j=1}^L(R_t(j)-O_t(j){)}^2$$
L表示输入向量的属性值的个数。

2.4.2 反向传播过程

对于最后一个时刻的节点$X_T,H_T,O_T$，我们首先计算这一个时刻的相关误差。我们在这里设置两个临时函数：
$$net{o}_t=V^{T}f(W^T{X}_t+U^T{S}_{t-1})$$
$$net{h}_t=W^T{X}_t+U^T{S}_{t-1}$$

其中$ne{t}_o(t)$表示t时刻没有激活的输出层的向量值，$ne{t}_h(t)$表示t时刻没有激活的隐藏层的向量值。

为了清晰，我们再之前单个神经元中的结构拿过来：

根据公式和图示，我们能够知道$neth(t)$，表示的是t时刻$[h_1,h_2,h_3]$组成的没有激活时的向量，$neto(t)$表示的是没有激活的$[o_1,o_2]$构成的向量。

1. 对于最后时刻T，我们计算出来的误差是J，首先我们计算：
   $$\frac{\partial J}{\partial net{o}_1(T)}=\frac{\partial J}{\partial O_T(1)}\frac{\partial O_T(1)}{\partial net{o}_T(1)}=(R_T(1)-O_T(1))g^{\prime }(net{o}_T(1))$$
   整理一下有：
   $${\delta }_T^O(j)=\frac{\partial J}{\partial net{o}_T(j)}=\frac{\partial J}{\partial O_T(j)}\frac{\partial O_T(j)}{\partial net{o}_T(j)}=(R_T(j)-O_T(j))g^{\prime }(net{o}_T(j))其中j\in [1,L]$$

进一步，转换成矩阵的形式：
$${\delta }_T^O=\frac{\partial J}{\partial net{o}_T}=\frac{\partial J}{\partial O_T}\frac{\partial O_T}{\partial net{o}_T}=(R_T-O_T)\ast g^{\prime }(net{o}_T)公式1$$

2. 然后我们计算
   $$\frac{\partial J}{\partial net{h}_T(1)}=\frac{\partial J}{\partial O_T(1)}\frac{\partial O_T(1)}{\partial net{o}_T(1)}\frac{\partial net{o}_T(1)}{\partial h_T(1)}\frac{\partial h_T(1)}{\partial net{h}_T(1)}+\frac{\partial J}{\partial O_T(2)}\frac{\partial O_T(2)}{\partial net{o}_T(2)}\frac{\partial net{o}_T(2)}{\partial h_T(1)}\frac{\partial h_T(2)}{\partial net{h}_T(1)}$$

整理一下就是：
$$\frac{\partial J}{\partial net{h}_T(1)}=\sum _{i=1}^2\frac{\partial J}{\partial O_T(i)}\frac{\partial O_T(i)}{\partial net{o}_T(i)}\frac{\partial net{o}_T(i)}{\partial h_T(1)}\frac{\partial h_T(1)}{\partial net{h}_T(1)}$$

进一步可以推广为：
$$\frac{\partial J}{\partial net{h}_T(i)}=\sum _{i=1}^L\frac{\partial J}{\partial O_T(i)}\frac{\partial O_T(i)}{\partial net{o}_T(i)}\frac{\partial net{o}_T(i)}{\partial h_T(j)}\frac{\partial h_T(j)}{\partial net{h}_T(j)}$$

计算出来的结果为：
$${\delta }_T^h(j)=\frac{\partial J}{\partial net{h}_j(T)}=\sum _{i=1}^L{\delta }_T^O(i)V_{ji}{f}^{\prime }(net{h}_j(T))$$

在整理成矩阵的形式：
$${\delta }_T^h=V^T{\delta }_T^O\ast f^{\prime }(neth(T))公式2$$

对于其他时刻t的关于${\delta }_t^O$梯度计算，也最后一个时刻T的计算方式类似：

$${\delta }_t^O=\frac{\partial J}{\partial net{o}_t}=\frac{\partial J}{\partial O_t}\frac{\partial O_t}{\partial net{o}_t}=(R_t-O_t)\ast g^{\prime }(net{o}_t)$$

注意：最重要的计算部分在于其他时刻关于${\delta }_T^h(j)$的计算，下面进行具体的介绍

对于不是最后一个时刻T的${\delta }_t^h(j)$，其主要包含的两个部分，一个部分是从输出层传递回来的误差，另外一个部分是从t+1时刻传递回来的误差。(因为$h_t$计算的结果是$h_{t+1}$的一个输入)

形式化描述为：
$${\delta }_t^h(j)=[输出层误差+t+1时刻的误差]f^{\prime }(net{h}_t(j))$$
在之前的计算中，我们已经知道了t时刻从输出层传递回来的误差为：
$$V^t{\delta }_t^O\ast f^{\prime }(neth(t))$$
则有，原式为：
$${\delta }_t^h(j)=[V^t{\delta }_t^O+t+1时刻的误差]f^{\prime }(net{h}_t(j))$$

下面，我们具体来计算T到T-1时刻的误差传递，根据正向传播的方式有：
$$S_T=f(W^T{X}_T+U^T{S}_{T-1})$$
$$S_{T-1}=f(W^{T-1}{X}_{T-1}+U^T{S}_{T-2})$$
根据上面的两个公式我们可以看出，在求${\delta }_{T-1}^h(j)$的时候，需要的另外一部分是$\frac{{\delta }_T^h}{{\delta }_{T-1}^h(j)}$,也就是
$$\sum _{i=1}^N{\delta }_T^h(i)U_{ji}$$，则总结上面的公式有
$${\delta }_{T-1}^h(j)=[\sum _{i=1}^L{V}_{ji}{\delta }_t^O(i)+\sum _{i=1}^N{\delta }_T^h(i)U_{ji}]f^{\prime }(net{h}_{T-1}(j))$$
$${\delta }_{T-1}^h=[V^T{\delta }_T^O+U^T{\delta }_T^h]\ast f^{\prime }(net{h}_{T-1})$$

进而可以推广到其他时刻
$${\delta }_{t-1}^h=[V^T{\delta }_t^O+U^T{\delta }_t^h]\ast f^{\prime }(net{h}_{t-1})$$

2.5 权重更新

2.5.1 隐藏层到输出层V更新

$$V_{ji}(new)=V_{ji}(old)-\alpha \sum _{t=1}^T\frac{\partial J}{\partial net{o}_t(i)}\frac{\partial net{o}_t(i)}{\partial V_{ji}}=V_{ji}-\alpha \sum _{t=1}^T{\delta }_o^t(i)h_t(j)$$
整理成矩阵的形式：
$$V(new)=V(old)+\alpha \sum _{t=1}^T{\delta }_o^t{h}_t^T$$
注意：$h_t^T$中的T表示转置。

2.5.2 输入层到隐藏层的W更新

$$W_{ji}(new)=W_{ji}(old)-\alpha \sum _{t-1}^T\frac{\partial J}{\partial net{h}_t(i)}\frac{\partial net{h}_t(i)}{\partial W_{ji}}=W_{ji}(old)-\alpha \sum _{t-1}^T{\delta }_h^t(i)X_t(j)$$
整理成矩阵的形式
$$W(new)=W(old)+\alpha \sum _{t=1}^T{\delta }_h^t{X}_t^T$$
注意：$X_t^T$中的T表示转置。添加链接描述

2.5.3 隐藏层到隐藏层的U的更新

$$U_{ji}(new)=U_{ji}(old)-\alpha \sum _{t-1}^T\frac{\partial J}{\partial net{h}_t(i)}\frac{\partial net{h}_t(i)}{\partial U_{ji}}=U_{ji}(old)-\alpha \sum _{t-1}^T{\delta }_h^t(i)h_{t-1}(j)$$
整理成矩阵的形式：
$$U(new)=U(old)+\alpha \sum _{t=1}^T{\delta }_o^t{h}_{t-1}^T$$
注意：$h_{t-1}^T$中的T表示转置。

3、参考资料

1. 知乎——RNN前向传播与后向传播公式推导

循环神经网络简介

循环神经网络（recurrent neural network, RNN）源自1982年由Saratha Sathasivam提出的霍普菲尔德网络。霍普菲尔德网络因为实现困难，在提出时并且没有被合适地应用。该网络结构也于1986年后被全连接神经网络以及一些传统的机器学习算法所取代。然而：

• 传统的机器学习算法非常依赖于人工提取的特征，使得基于传统机器学习的图像识别、语音识别以及自然语言处理等问题存在特征提取的瓶颈；
• 基于全连接神经网络的方法也存在参数太多、无法利用数据中时间序列信息等问题。

随着更加有效的循环神经网络结构被不断提出，循环神经网络挖掘数据中的时序信息以及语义信息的深度表达能力被充分利用，并在语音识别、语言模型、机器翻译以及时序分析等方面实现了突破。

1. 原理

RNN的主要用途是处理和预测序列数据。在全连接神经网络或CNN模型中，网络结构都是从输入层到隐含层再到输出层，层与层之间是全连接或部分连接的，但每层之间的节点是无连接的。考虑这样一个问题，如果要预测句子的下一个单词是什么，一般需要用到当前单词以及前面的单词，因为句子中前后单词并不是独立的。比如，当前单词是“很”，前一个单词是“天空”，那么下一个单词很大概率是“蓝”。RNN的来源就是为了刻画一个序列当前的输出与之前信息的关系。从网络结构上，RNN会记忆之前的信息，并利用之前的信息影响后面结点的输出。也就是说，RNN的隐藏层之间的结点是有连接的，隐藏层的输入不仅包括输入层的输出，还包括上一时刻隐藏层的输出。

下图展示了一个典型的RNN。在每一时刻 t ，RNN会针对该时刻的输入结合当前模型的状态给出一个输出，并更新模型状态。从下图中可以看到，RNN的主体结构 A 的输入除了来自输入，还有一个循环的边来提供上一时刻的隐藏状态(hidden state)。在每一个时刻，RNN的模块A在读取了和之后会生成新的隐藏状态，并产生本时刻的输出，由于模块A中的运算和变量在不同时刻是相同的，因此RNN络理论上可以被看作是同一神经网络结构被无限复制的结果。正如卷积神经网络在不同的空间位置共享参数，循环神经网络是在不同时间位置共享参数，从而能够使用有限的参数处理任意长度的序列。

将完整的输入输出序列展开，可以得到下图所展示的结构。在图中可以更加清楚地看到RNN在每一个时刻会有一个输入，然后根据RNN前一时刻的状态计算新的状态，并输出。RNN当前的状态， 是根据上一时刻的状态和当前的输入共同决定的。在时刻 t，状态浓缩了前面序列的信息，用于作为输出的参考。由于序列的长度可以无限延长，维度有限的h状态不可能将序列的全部信息都保存下来，因此模型必须学习只保留与后面任务相关的最重要的信息。

循环网络的展开在模型训练中有重要意义。从图中可以看到，RNN对长度为N的序列展开之后，可以视为一个有N个中间层的前馈神经网络。这个前馈神经网路没有循环链接，因此可以直接使用反向传播算法进行训练，而不需要任何特别的优化算法。这样的训练方法称为“沿时间反向传播” （Back-Propagation Through Time），是训练循环神经网络最常见的方法。

2. 应用

从RNN的结构特征可以很容易看出它最擅长解决与时间序列相关的问题。RNN也是处理这类问题时最自然的神经网络结构。对于一个序列数据，可以将这个序列上不同时刻的数据依次传入RNN的输入层，而输出可以是对序列中下一个时刻的预测，也可以是对当前时刻信息的处理结果（比如语音识别结果）。循环神经网络要求每一个时刻都有一个输入，但是不一定每个时刻都需要有输出。

以机器翻译为例来介绍RNN是如何解决实际问题的。RNN中每一个时刻的输入为需要翻译的句子中的单词。如图8.3所示，需要翻译的句子为ABCD，那么RNN第一段每一个时刻的输入就分别是A、B、C和D，然后用“_”作为待翻译句子的结束符。在第一段中，循环神经网络没有输出。从结束符“_”开始，循环神经网络进入翻译阶段。该阶段中每一个时刻的输入是上一个时刻的输出（图中虚线所示），而最终得到的输出就是句子ABCD翻译的结果。从图中可以看到句子ABCD对应的翻译结果就是XYZ，当网络输出“_＂时翻译结束。

3. RNN前向传播

RNN可以看作是同一神经网络结构在时间序列上被复制多次的结果，这个被复制多次的结构被称之为循环体。如何设计循环体的网络结构是循环神经网络解决实际问题的关键。下图展示了一个最简单的循环体结构。这个循环体中只使用了一个类似全连接层的神经网络结构。下面将通过图中所示的神经网络来介绍RNN前向传播的完整流程。

RNN中的状态是通过一个向量来表示的，这个向量的维度也称为RNN隐藏层的大小，假设其为n。从上图可以看出，循环体中的神经网络的输入有两部分，一部分为上一时刻的状态，另一部分为当前时刻的输入样本。对于时间序列数据来说（比如不同时刻商品的销量），每一时刻的输入样例可以是当前时刻的数值（比如销量值）；对于语言模但来说，输入样例可以是当前单词对应的单词向量（word embedding）。

假设输入向量的维度为x，隐藏状态的维度为n，那么上图循环体的全连接层神经网络的输入大小为n+x。也就是将上一时刻的状态与当前时刻的输入拼接（这里为了简便描述为拼接，实际情况往往是t-1时刻的隐状态和输入分别乘以一个矩阵，详见代码）成一个大的向量作为循环体中神经网络的输入。因为该全连接层的输出为当前时刻的状态，于是输出层的节点个数也为n，循环体中的参数个数为（n+x)∗n+n 个。从图中可以看到，循环体中的神经网络输出不但提供给了下一时刻作为状态，同时也会提供给当前时刻的输出。注意到循环体状态与最终输出的维度通常不同，因此为了将当前时刻的状态转化为最终的输出，RNN还需要另外一个全连接神经网络来完成这个过程。这和CNN中最后的全连接层的意义是一样的。类似的，不同时刻用于输出的全连接神经网络中的参数也是一致的。

4. 前向传播例子

下图直观的展示了一个RNN前向传播的具体计算过程。

假设状态地维度为2，输入、输出地维度都为1，而且循环体中地全连接层中的权重为：

偏置项的大小为=[0.1,−0.1]，用于输出的全连接层权重为：

偏置项的大小为=0.1。那么在时刻，因为没有上一时刻，所以将状态初始化为=[0,0]，而当前的输入为1，所以拼接得到的向量为[0,0,1]，通过循环体中的全连接层神经网络得到的结果为：

这个结果将作为下一时刻的输入状态，同时RNN也会使用该状态生成输出。将该向盘作为输入提供给用于输出的全连接神经网络可以得到时刻的最终输出：

使用时刻的状态可以类似地推导得出时刻的状态为[0.860, 0.884]，而时刻的输出为2.73。在得到RNN的前向传播结果之后，可以和其他神经网络类似地定义损失函数。RNN唯一的区别在于因为它每个时刻都有一个输出，所以RNN的总损失为所有时刻（或者部分时刻）上的损失函数的总和。

以下代码实现了这个简单的循环神经网络前向传播的过程：

import numpy as np

X = [1,2]
state = [0.0, 0.0]
# 分开定义不同输入部分的权重以方便操作
w_cell_state = np.asarray([[0.1, 0.2], [0.3, 0.4]])
w_cell_input = np.asarray([0.5, 0.6])
b_cell = np.asarray([0.1, -0.1])

# 定义用于输出的全连接层参数
w_output = np.asarray([[1.0], [2.0]])
b_output = 0.1

# 执行前向传播过程
for i in range(len(X)):
    before_activation = np.dot(state, w_cell_state) + X[i] * w_cell_input + b_cell
    state = np.tanh(before_activation)
    final_output = np.dot(state, w_output) + b_output
    print("before activation: ", before_activation)
    print("state: ", state)
    print("output: ", final_output)

before activation:  [0.6 0.5]
state:  [0.53704957 0.46211716]
output:  [1.56128388]
before activation:  [1.2923401  1.39225678]
state:  [0.85973818 0.88366641]
output:  [2.72707101]

RNN（BPTT   Back Propagation Through Time）

以上情况只是RNN中最简单的情形，它还有许多变种，我们接下来看一个标准的RNN结构，并推导一下它的数学公式

下图是一个以时间展开的更为具体的结构，【W,V,U】表示顺序与上图表示略有不同

RNN的几种常见结构

结构一：

---

结构二： 

 

---

结构三：

---

 RNN的一个特点是所有的隐层共享参数(U,V,W)，整个网络只用这一套参数。

RNN前向传导

上图中左边是RNN模型没有按时间展开的图，如果按时间序列展开，则是上图中的右边部分，我们重点观察右边部分的图，注意区分与之前几幅图的角标的不同，以下讨论都以上图角标为准

这幅图描述了在序列索引号 t 附近RNN的模型。其中：

1. 代表在序列索引号 t 时训练样本的输入。同样的，和代表在序列索引号 t−1 和 t+1 时训练样本的输入。
2. 代表在序列索引号 t 时模型的隐藏状态。由和共同决定。
3. 代表在序列索引号 t 时模型的输出。只由模型当前的隐藏状态决定。
4. 代表在序列索引号 t 时模型的损失函数。
5. 代表在序列索引号 t 时训练样本序列的真实输出。
6. 这三个矩阵是我们的模型的线性关系参数，它在整个RNN网络中是共享的。 也正因为是共享了，它体现了RNN的模型的“循环反馈”的思想。　　

有了上面的模型，RNN的前向传播算法就很容易得到了。

对于任意一个序列时刻 t ，我们隐藏状态由和得到：

                                                                  

其中 σ 为RNN的激活函数，一般为tanh, b为偏置项。

序列时刻 t ，模型的输出o(t)的表达式比较简单：

                                                                                  

最终在序列时刻 t 时我们的预测输出为:

                                                                                     

通常由于RNN是识别类的分类模型，所以上面这个激活函数一般是softmax。

通过损失函数，比如对数似然损失函数、交叉熵损失函数，我们可以量化模型在当前位置的损失，即和的差距。

反向传播算法推导

有了RNN前向传播算法的基础，就容易推导出RNN反向传播算法的流程了。通过梯度下降法一轮轮的迭代，得到合适的RNN模型参数 U,W,V,b,c 。由于我们是基于时间反向传播，所以RNN的反向传播有时也叫做BPTT(back-propagation through time)。当然这里的BPTT和DNN也有很大的不同点，即这里所有的 U,W,V,b,c 在序列的各个位置是共享的，反向传播时我们更新的是相同的参数。

为了简化描述，这里的损失函数我们为交叉熵损失函数，输出的激活函数为softmax函数，隐藏层的激活函数为tanh函数。

对于RNN，由于我们在序列的每个位置都有损失函数，因此最终的损失L为：

                                                                                      

其中，为序列的总时间步

接下来对V,c求梯度，V,c 的梯度计算比较简单

                                                          

                                                  

但是的梯度计算就比较的复杂了。从RNN的模型可以看出，在反向传播时，在某一序列位置 t 的梯度损失由当前位置的输出对应的梯度损失和序列索引位置 t+1 时的梯度损失两部分共同决定。对于 W 在某一序列位置 t 的梯度损失需要反向传播一步步的计算。我们定义序列索引 t 位置的隐藏状态的梯度为： 

                                                                                       

                        

这样我们就可以根据递推了

对于，由于它的后面没有其他的序列索引了，因此有：

                                                                  

有了，计算就容易了，这里给出的梯度计算表达式：

                                                

                                                    

                                                        

根据RNN模型会有些不同，自然前向反向传播的公式会有些不一样，但是原理基本类似。

需要特别指出的是，理论上RNN可以支持任意长度的序列，然而在实际训练过程中，如果序列过长:

• 一方面会导致优化时出现梯度消散和梯度爆炸的问题;
• 另一方面，展开后的前馈神经网络会占用过大的内存。

所以实际中一般会规定一个最大长度，当序列长度超过规定长度之后会对序列进行截断。