循环神经网络除了训练困难，还有一个更严重的问题，那就是 短时记忆（Short-term memory）。考虑一个长句子：

今天天气太美好了，尽管路上发生了一件不愉快的事，…，我马上调整好状态，开开心心地准备迎接美好的一天。

根据我们的理解，之所以能够“ 开开心心地准备迎接美好的一天”，在于句子最开始处点明了“ 今天天气太美好了”。可见人类是能够很好地理解长句子的，但是循环神经网络却不一定。研究人员发现，循环神经网络在处理较长的句子时，往往只能够理解有限长度内的信息，而对于位于较长范围内的有用信息往往不能很好地利用起来。我们把这种现象叫做短时记忆。

 那么，能不能够延长这种短时记忆，使得循环神经网络可以有效利用较大范围内的训练数据，从而提升性能呢？1997年，瑞士人工智能科学家J $\ddot{\text{u}}$rgen Schmidhuber 提出了 长短时记忆网络（Long Short-Term Memory，简称LSTM）。LSTM相对于基础的RNN网络来说，记忆能力更强，更擅长处理较长的序列信号数据，LSTM提出后，被广泛应用在序列预测、自然语言处理等任务中，几乎取代了基础的RNN模型。

 接下来，我们将介绍更加流行、更加强大的LSTM网络。

0. LSTM原理

 基础的RNN网络结构如下图所示，上一个时间戳的状态向量${\mathbf{h}}_{t-1}$与当前时间戳的输入${\mathbf{x}}_t$经过线性变换后，通过激活函数$\text{tanh}$后得到新的状态向量${\mathbf{h}}_t$。

基础RNN结构框图

相对于基础的RNN网络只有一个状态向量${\mathbf{h}}_t$，LSTM新增了一个状态向量${\mathbf{c}}_t$，同时引入了门控（Gate）机制，通过门控单元来控制信息的遗忘和刷新，如下图所示：

LSTM结构框图

 在LSTM中，有两个状态向量$\mathbf{c}$和$\mathbf{h}$，其中$\mathbf{c}$作为LSTM的内部状态向量，可以理解为LSTM的内部状态向量Memory，而$\mathbf{h}$表示LSTM的输出向量。相对于基础的RNN来说，LSTM把内部Memory和输出分开为两个变量，同时利用三个门控：输入门（Input Gate）、遗忘门（Forget Gate）和输出门（Output Gate）来控制内部信息的流动。

 门控机制可以理解为控制数据流通量的一种手段，类比于水阀门：当水阀门全部打开时，水流畅通无阻地通过；当水阀门全部关闭时，水流完全被隔断。在LSTM中，阀门开合程度利用门控值向量$\mathbf{g}$表示，如下图所示，通过$\sigma (\mathbf{g})$激活函数将门控制压缩到$[0,1]$之间的区间，当$\sigma (\mathbf{g})=0$时，门控全部关闭，输出$\mathbf{o}=0$；当$\sigma (\mathbf{g})=1$时，门控全部打开，输出$\mathbf{o}=\mathbf{x}$。通过门控机制可以较好地控制数据的流量程度。

门控机制

 下面我们分别来介绍三个门控的原理及其作用。

1. 遗忘门

 遗忘门作用于LSTM状态向量$\mathbf{c}$上面，用于控制上一个时间戳的记忆${\mathbf{c}}_{t-1}$对当前时间戳的影响。遗忘门的控制变量${\mathbf{g}}_f$由
$${\mathbf{g}}_f=\sigma ({\mathbf{W}}_f[{\mathbf{h}}_{t-1},{\mathbf{x}}_t]+{\mathbf{b}}_f)$$
产生，如下图所示：

遗忘门

 其中${\mathbf{W}}_f$和${\mathbf{b}}_f$为遗忘门的参数张量，可由反向传播算法自动优化，$\sigma$激活函数，一般使用Sigmoid函数。当门控${\mathbf{g}}_f=1$时，遗忘门全部打开，LSTM接受上一个状态${\mathbf{c}}_{t-1}$，输出为0的向量。这也是遗忘门的名字由来。

 经过遗忘门后，LSTM的状态向量变为${\mathbf{g}}_f{\mathbf{c}}_{t-1}$。

2. 输入门

 输入门用于控制LSTM对输入的接收程度。首先通过对当前时间戳的输入${\mathbf{x}}_t$和上一个时间戳的输出${\mathbf{h}}_{t-1}$做非线性变换得到新的输入向量${\tilde{\mathbf{c}}}_t$：
$${\tilde{\mathbf{c}}}_t=\text{tanh}({\mathbf{W}}_c[{\mathbf{h}}_{t-1},{\mathbf{x}}_t]+{\mathbf{b}}_c)$$
其中${\mathbf{W}}_c$和${\mathbf{b}}_c$为输入门的参数，需要通过反向传播算法自动优化，$\text{tanh}$为激活函数，用于将输入标准化到$[-1,1]$区间。${\tilde{\mathbf{c}}}_t$并不会全部刷新进入LSTM的Memory，而是通过输入门控制接受输入的量。输入门的控制变量同样来自于输入${\mathbf{x}}_t$和输出${\mathbf{h}}_{t-1}$：
$${\mathbf{g}}_i=\sigma ({\mathbf{W}}_i[{\mathbf{h}}_{t-1},{\mathbf{x}}_t]+{\mathbf{b}}_i)$$
其中${\mathbf{W}}_i$和${\mathbf{b}}_i$为输入门的参数，需要通过反向传播算法自动优化，$\sigma$为激活函数，一般使用Sigmoid函数。输入门控制变量${\mathbf{g}}_i$决定了LSTM对当前时间戳的新输入${\tilde{\mathbf{c}}}_t$的接受程度：当${\mathbf{g}}_i$=0时，LSTM不接受任何新的输入${\tilde{\mathbf{c}}}_t$；当${\mathbf{g}}_i=1$时，LSTM全部接受新输入${\tilde{\mathbf{c}}}_t$，如下图所示：

输入门

 经过输入门后，待写入Memory的向量为${\mathbf{g}}_i{\tilde{\mathbf{c}}}_t$。

3. 刷新Memory

 在遗忘门和输入门的控制下，LSTM有选择地读取了上一个时间戳的记忆${\mathbf{c}}_{t-1}$和当前时间戳的新输入${\tilde{\mathbf{c}}}_t$，状态向量${\mathbf{c}}_t$的刷新方式为：
$${\mathbf{c}}_t={\mathbf{g}}_i{\tilde{\mathbf{c}}}_t+{\mathbf{g}}_f{\mathbf{c}}_{t-1}$$
得到的新状态向量${\mathbf{c}}_t$即为当前时间戳的状态向量。如下图所示：

刷新Memory

4. 输出门

 LSTM的内部状态向量${\mathbf{c}}_t$并不会直接用于输出，这一点和基础的RNN不一样。基础的RNN网络的状态向量$\mathbf{h}$既用于记忆，又用于输出，所以基础的RNN可以理解为状态向量$\mathbf{c}$和输出向量$\mathbf{h}$是同一个对象。在LSTM内部，状态向量并不会全部输出，而是在输出门的作用下有选择地输出。输出门的门控变量${\mathbf{g}}_o$为：
$${\mathbf{g}}_o=\sigma ({\mathbf{W}}_o[{\mathbf{h}}_{t-1},{\mathbf{x}}_t]+{\mathbf{b}}_o)$$
其中${\mathbf{W}}_o$和${\mathbf{b}}_o$为输出门的参数，同样需要通过反向传播算法自动优化，$\sigma$为激活函数，一般使用Sigmoid函数。当输出门${\mathbf{g}}_o=0$时，输出关闭，LSTM的内部记忆完全被隔断，无法用作输出，此时输出为0的向量；当输出门${\mathbf{g}}_o=1$时，输出完全打开，LSTM的状态向量${\mathbf{c}}_t$全部用于输出。LSTM的输出由：
$${\mathbf{h}}_t={\mathbf{g}}_o\cdot \text{tanh⁡}({\mathbf{c}}_t)$$
产生，即内存向量${\mathbf{c}}_t$经过$\text{tanh}$激活函数后与输入门作用，得到LSTM的输出。由于${\mathbf{g}}_o\in [0,1]$，$\text{tanh}({\mathbf{c}}_t)\in [-1,1]$，因此LSTM的输出${\mathbf{h}}_t\in [-1,1]$。

输出门

5. 小结

 LSTM虽然状态向量和门控数量较多，计算流程相对复杂。但是由于每个门控功能清晰明确，每个状态的作用也比较好理解。这里将典型的门控行为列举出来，并解释其代码的LSTM行为，如下表所示：

输入门和遗忘门的典型行为

输入门控	遗忘门控	LSTM行为
0	1	只使用记忆
1	1	综合输入和记忆
0	0	清零记忆
1	0	输入覆盖记忆

LSTM总结

长短时记忆网络（Long short-term memory, LSTM）

gif来自：https://cloud.tencent.com/developer/article/1358208

LSTM是循环神经网络RNN的一种变体，先简单提一嘴RNN。

• 循环神经网络通过使用带自反馈(隐藏层)的神经元，能够处理任意长度的序列。循环神经网络比前馈神经网络更加符合生物神经网络的结构。已经被广泛应用在语音识别、图像处理、语言模型等任务上。所谓自反馈是指序列也就是上面这个图，他可以表示成左边这种简写的形式，也就是他的隐藏层不断地传给下一个时刻，形成一个自反馈这样的机制。
• 每一时刻的输出都取决于当前时刻的输入Xt和上一时刻的隐藏状态ht-1。
• 因为RNN是一个序列模型，所以当这个序列很长的时候问题就出现了，容易梯度消失和梯度爆炸。为了从根本上解决长距离的依赖的问题，就有了长短时记忆网络。
  
  LSTM模型的关键是引入了一组记忆单元，允许网络可以学习何时遗忘历史信息，何时用新信息更新记忆单元。在时刻t时，记忆单元𝐶_𝑡记录了到当前时刻为止的所有历史信息，并受三个“门”控制：输入门𝑖_𝑡 ，遗忘门𝑓_𝑡和输出门𝑜_𝑡 。三个门的元素值在[0，1]之间。

• 记忆单元就是最上边的这条信息传送带，他可以看成是一个细胞的记忆状态。细胞的状态在整条链上运行，只有一些小的线性操作作用其上，信息很容易保持不变的流过整条链。
  

• 那门控呢是一个有选择的让信息通过的方式，它由一个Sigmoid神经网络层和一个点乘运算组成。Sigmoid神经网络层输出0和1之间的数字，这个数字描述每个组件有多少信息可以通过，0表示不通过任何信息，1表示全部通过，0.5的话就有一半的信息通过。

1. 遗忘门

首先我们看一下什么是遗忘门，遗忘门决定我们要从细胞状态中丢弃什么信息，他是由前一个隐藏状态ht-1和当前输入xt来共同决定的，他为上一个状态ct-1中的每个数字输出0和1之间的值，表示我们要从前一个状态中丢弃什么信息，以一个句子为例，“细胞状态可能包括当前主语的性别，从而决定使用正确的代词(他/她/它)，当看到新的主语时，就需要忘记旧主语的性别。”也就是从我们当前的输入来决定应该忘记哪些历史信息。

2. 输入门

输入门是决定我们要在细胞状态中存储什么信息，它分为两部分，第一部分是决定哪些信息要输入，其次是要输入的具体信息，然后组合来创建更新值。输入门也是由前一个状态的隐藏值也就是ht-1和当前时刻的输入xt来共同决定的，

3. 记忆更新

可以看到，当前时刻的细胞状态Ct等于遗忘门乘上一时刻状态加上输入门乘当前输入的信息就得到了最新的状态。

4. 输出门

输出门，就是要决定输出哪一部分信息给下一时刻，首先有一个门控， 输出0-1之间的值，然后将细胞状态通过tanh操作乘以这个输出门得到结果，就完成了输出门决定将哪些信息给下一时刻。

总结：

往期回顾

在上一篇文章中，我们介绍了循环神经网络以及它的训练算法。我们也介绍了循环神经网络很难训练的原因，这导致了它在实际应用中，很难处理长距离的依赖。在本文中，我们将介绍一种改进之后的循环神经网络：长短时记忆网络(Long Short Term Memory Network, LSTM)，它成功的解决了原始循环神经网络的缺陷，成为当前最流行的RNN，在语音识别、图片描述、自然语言处理等许多领域中成功应用。但不幸的一面是，LSTM的结构很复杂，因此，我们需要花上一些力气，才能把LSTM以及它的训练算法弄明白。在搞清楚LSTM之后，我们再介绍一种LSTM的变体：GRU (Gated Recurrent Unit)。 它的结构比LSTM简单，而效果却和LSTM一样好，因此，它正在逐渐流行起来。最后，我们仍然会动手实现一个LSTM。

长短时记忆网络是啥

我们首先了解一下长短时记忆网络产生的背景。回顾一下零基础入门深度学习(5) - 循环神经网络中推导的，误差项沿时间反向传播的公式：

我们可以根据下面的不等式，来获取 δTk 的模的上界（模可以看做对 δTk 中每一项值的大小的度量）：

我们可以看到，误差项 δ 从t时刻传递到k时刻，其值的上界是 βfβw 的指数函数。 βfβw 分别是对角矩阵 diag[f′(neti)] 和矩阵W模的上界。显然，除非 βfβw 乘积的值位于1附近，否则，当t-k很大时（也就是误差传递很多个时刻时），整个式子的值就会变得极小（当 βfβw 乘积小于1）或者极大（当 βfβw 乘积大于1），前者就是梯度消失，后者就是梯度爆炸。虽然科学家们搞出了很多技巧（比如怎样初始化权重），让 βfβw 的值尽可能贴近于1，终究还是难以抵挡指数函数的威力。

梯度消失到底意味着什么？在零基础入门深度学习(5) - 循环神经网络中我们已证明，权重数组W最终的梯度是各个时刻的梯度之和，即：

假设某轮训练中，各时刻的梯度以及最终的梯度之和如下图：

我们就可以看到，从上图的t-3时刻开始，梯度已经几乎减少到0了。那么，从这个时刻开始再往之前走，得到的梯度（几乎为零）就不会对最终的梯度值有任何贡献，这就相当于无论t-3时刻之前的网络状态h是什么，在训练中都不会对权重数组W的更新产生影响，也就是网络事实上已经忽略了t-3时刻之前的状态。这就是原始RNN无法处理长距离依赖的原因。

既然找到了问题的原因，那么我们就能解决它。从问题的定位到解决，科学家们大概花了7、8年时间。终于有一天，Hochreiter和Schmidhuber两位科学家发明出长短时记忆网络，一举解决这个问题。

其实，长短时记忆网络的思路比较简单。原始RNN的隐藏层只有一个状态，即h，它对于短期的输入非常敏感。那么，假如我们再增加一个状态，即c，让它来保存长期的状态，那么问题不就解决了么？如下图所示：

新增加的状态c，称为单元状态(cell state)。我们把上图按照时间维度展开：

上图仅仅是一个示意图，我们可以看出，在t时刻，LSTM的输入有三个：当前时刻网络的输入值 xt 、上一时刻LSTM的输出值 ht−1 、以及上一时刻的单元状态 ct−1 ；LSTM的输出有两个：当前时刻LSTM输出值 ht 、和当前时刻的单元状态 ct 。注意 x 、 h 、 c 都是向量。

LSTM的关键，就是怎样控制长期状态c。在这里，LSTM的思路是使用三个控制开关。第一个开关，负责控制继续保存长期状态c；第二个开关，负责控制把即时状态输入到长期状态c；第三个开关，负责控制是否把长期状态c作为当前的LSTM的输出。三个开关的作用如下图所示：

接下来，我们要描述一下，输出h和单元状态c的具体计算方法。

长短时记忆网络的前向计算

前面描述的开关是怎样在算法中实现的呢？这就用到了门（gate）的概念。门实际上就是一层全连接层，它的输入是一个向量，输出是一个0到1之间的实数向量。假设W是门的权重向量， b 是偏置项，那么门可以表示为：

门的使用，就是用门的输出向量按元素乘以我们需要控制的那个向量。因为门的输出是0到1之间的实数向量，那么，当门输出为0时，任何向量与之相乘都会得到0向量，这就相当于啥都不能通过；输出为1时，任何向量与之相乘都不会有任何改变，这就相当于啥都可以通过。因为 σ （也就是sigmoid函数）的值域是(0,1)，所以门的状态都是半开半闭的。

LSTM用两个门来控制单元状态c的内容，一个是遗忘门（forget gate），它决定了上一时刻的单元状态 ct−1 有多少保留到当前时刻 ct ；另一个是输入门（input gate），它决定了当前时刻网络的输入 xt 有多少保存到单元状态 ct 。LSTM用输出门（output gate）来控制单元状态 ct 有多少输出到LSTM的当前输出值 ht 。

我们先来看一下遗忘门：

上式中， Wf 是遗忘门的权重矩阵， [ht−1,xt] 表示把两个向量连接成一个更长的向量， bf 是遗忘门的偏置项， σ 是sigmoid函数。如果输入的维度是 dx ，隐藏层的维度是 dh ，单元状态的维度是 dc （通常 dc=dh ），则遗忘门的权重矩阵 Wf 维度是 dc×(dh+dx) 。事实上，权重矩阵 Wf 都是两个矩阵拼接而成的：一个是 Wfh ，它对应着输入项 ht−1 ，其维度为 dc×dh ；一个是 Wfx ，它对应着输入项 xt ，其维度为 dc×dx 。 Wf 可以写为：

下图显示了遗忘门的计算：

接下来看看输入门：

上式中， Wi 是输入门的权重矩阵， bi 是输入门的偏置项。下图表示了输入门的计算：

接下来，我们计算用于描述当前输入的单元状态 c~t ，它是根据上一次的输出和本次输入来计算的：

下图是 c~t 的计算：

现在，我们计算当前时刻的单元状态 ct 。它是由上一次的单元状态 ct−1 按元素乘以遗忘门 ft ，再用当前输入的单元状态 c~t 按元素乘以输入门 it ，再将两个积加和产生的：

符号 ∘ 表示按元素乘。下图是 ct 的计算：

这样，我们就把LSTM关于当前的记忆 c~t 和长期的记忆 ct−1 组合在一起，形成了新的单元状态 ct 。由于遗忘门的控制，它可以保存很久很久之前的信息，由于输入门的控制，它又可以避免当前无关紧要的内容进入记忆。下面，我们要看看输出门，它控制了长期记忆对当前输出的影响：

下图表示输出门的计算：

LSTM最终的输出，是由输出门和单元状态共同确定的：

下图表示LSTM最终输出的计算：

式1到式6就是LSTM前向计算的全部公式。至此，我们就把LSTM前向计算讲完了。