seq2seq

                    
          

            
关于seq2seq，我看过这位博主的文章，并且也去实践过，当时还将他的文章整理成博客笔记。但是，当时对seq2seq的理解确实不是很到位，所以昨天看到这位博主时是很疑惑的。原本以为encoder端的输出直接接一个decoder就行，但是这位博主还重复利用了encoder的输出向量，每次都与decoder的输出混合送入分类器预测。而一般的seq2seq只是在开始的阶段参与了计算，后续并没有。此篇博客，是我对作者的整理，仅供自己学习之用。
Seq2Seq简介
seq2seq，顾名思义就是序列对序列，一般应用与机器翻译，自动文摘，而本文正是用自动文摘举例（当时，机器翻译举例也简单）。
基本结构
假设输入为X=(a, b, c, d, e, f)，需要的输出为Y=(P, Q, R, S, T)，那么一个基本的seq2seq如下，encoder输出的向量参与每一次运算。图来自论文：










可能大家最常见到的是这个图，encoder输出的向量只参与一次运算的这种：








代码实现
源码部分，我还没写，先保留这三个连接

[1].https://mp.weixin.qq.com/s/IjX8ZztFdvUuHNEKxYMILw

[2]. https://blog.keras.io/a-ten-minute-introduction-to-sequence-to-sequence-learning-in-keras.html

[3]. Sam Wiseman and Alexander M Rush. Sequence-to-sequence learning as beam-search optimization. In EMNLP, 2016.

          
        
        
        
                
    

eq2seq模型是以编码（Encode）和解码（Decode）为代表的架构方式，seq2seq模型是根据输入序列X来生成输出序列Y. 相比传统RNN，可以实现N2M的变长序列输出. 
1. Encoder
Encoder-Decoder结构先将输入数据编码成一个上下文向量c 向量c可以有不同的形式，如（1）（2）（3）.
2. Decoder
将c当做之前的初始状态h0输入到Decoder中
将c当做每一步的输入
3. Else
    Encoder-Decoder，其中Encoder 部分应该是非常容易理解的，就是一个RNNCell（RNN ，GRU，LSTM 等） 结构。 每个 timestep， 我们向 Encoder 中输入一个字/词（一般是表示这个字/词的一个实数向量），直到我们输入这个句子的最后一个字/词 XT ，然后输出整个句子的语义向量 c(一般情况下， c=hXT , XT 是最后一个输入)。
    因为 RNN 的特点就是把前面每一步的输入信息都考虑进来了，所以理论上这个 c 就能够把整个句子的信息都包含了，我们可以把 c 当成这个句子的一个语义表示，也就是一个句向量。
    在 Decoder 中，我们根据 Encoder 得到的句向量 c， 一步一步地把蕴含在其中的信息分析出来。

 Seq2Seq模型虽然具有局限性，但是作为入门级别的Nlper，我们应该深入的了解他，如下图



这里encoder和decoder部分我们采用的是传统的RNN，这并不影响我们理解这个模型，你也可以把他看成LSTM或者GRU。

以我爱计算机为例进行讲解，开始时我们把“我爱计算机”输入到encoder网络中，这里hi为隐藏状态，oi为RNN的输出，这里一定要注意的是RNN不能进行并行处理，虽然我们是一次性的把文字输入到网络中，但是在处理的时候RNN是把之前的一个文字处理完成之后再处理后面的文字。encoder中的RNN处理完成后会生成语义变量C，这里的C有多种，一种是RNN序列最后一个状态，也就是h5，其次也可以是o1，o2，o3，o4，o5的合并，这里最常用的是最后一个单元的状态作为整个句子的语义C，有了C之后就可以在decoder中进行解码操作，同样这里也采用RNN结构，与encoder不同的是这里每一个单元的输出都是下一个单元的部分输入，这里讲得很含蓄，但是事实是我们在decoder中的输入并不是i love computer，而是对应的<start> i love computer<end>，我们对应的预测值是i love computer<end>。这个C也有两种不同的用法，第一种是作为第一时刻的隐状态，也就是图中那样，还有就是作为每一时刻的输入，也就是C对于每一个单词的预测都要有贡献。

总结：

传统Seq2Seq模型有很大的不足，C绝大部分取决于后面的几个单词，会把最前面单词的信息给掩盖掉，而且对于decoder中的预测默认每一个单词贡献是相同的，但是事实却并非如此，因此有了后来的改进模型Seq2Seq+attention。

下节再讲Seq2Seq+attention，欢迎加Q互相讨论：1121974909