（文末招聘论文讲师）
说起国内的AI算法大赛平台，你首先会想到哪一个？
我猜你第一反应会是：阿里云天池——国内第一人工智能竞赛平台。
天池的比赛打的多了，但天池的论文复现课程你体验过吗？11月23日，深度之眼联合阿里云天池推出人工智能Paper体验课，带你3天复现CV&NLP领域的经典顶会论文！
以前自己读论文，总会遇到很多问题：
不知道从哪里找论文、如何甄别论文质量？
找到论文之后，找不到论文源代码？
好不容易找到代码，却配置不好环境，更别说复现论文了！
而这一次，深度之眼为你提供论文原文和代码！天池免费为你提供配置好的论文复现环境、GPU算力，让你一键跑通论文代码，3天复现经典顶会论文：
不仅如此，阿里云天池还为大家准备了学员福利！
福利一：完课学员直接返还学费！
福利二：完课学员颁发天池优秀学员证书，获得证书的同学，可成为天池强化学习小白入门的首批用户！
如果两篇Paper论文你觉得不够，下面是Paper会员整个课程体系的详细介绍：
扫码添加客服咨询课程详情
学员走心评价
品牌口碑
年轻最有效的资本是时间，让我们带你更有效的学习，帮你节约盲目摸索的时间。
让你赚取更多的价值！
订阅须知
Q：课程资料在哪里看？
A：所有的课程资料均会在训练营内上传，报名以后请务必添加客服微信入群！
Q：视频可以电脑看吗？
A：课程视频支持PC端倍速播放。
Q：报名后可以退款吗？
A：本服务为虚拟内容产品，一经购买，概不退款，敬请谅解。
Q：可以开具发票吗？
A：可以开具普通电子发票，请联系微信班主任填写需要的信息即可。
paper讲师招聘
【工作职责】
1、讲解计算机视觉（自然语言处理）经典/前沿论文课程制作及后续内容迭代和优化
2、制作录播课课件，如有代码复现，需要提供经过自己跑的代码及相关注释，方便讲解
3、结合自己的理解和实际工作经历对论文内容做拓展讲解4、按照我们的模板制定教学计划，提升学员的学习效果
【任职要求】
1、计算机视觉（三维重建、3D场景、超分辨等）、自然语言处理（文本摘要、智能问答、文本匹配等）算法、工程岗在职工程师，或人工智能相关课题研究的国内外名校高材生。
2、精读过计算机视觉（自然语言处理）经典论文并对部分论文做过复现，随时关注前沿研究动态。
3、自己出过相关视频课或者在其他机构任职过兼职/全职讲师者优先考虑
4、对教育有热情，在博客、或者知乎等相关知识分享平台写过技术分享文章优先考虑。
5、无须全职，线上工作，能在不影响本职工作下完成备课、授课和学员服务，没有工作地点的限制。
如有意向添加工作人员微信：

                

                    
论文介绍
这篇文章是 COLING 2018 的 Best Reproduction Paper，文章主要对现有的做句子对任务的最好的几个模型进行了重现，并且作者实现出来的效果和原文章声称的效果相差不多，这点还是很厉害的，而且作者对语义理解的集中任务也做了相关梳理，文章简单易读，还是很值得一看的。
任务
句子对建模是 NLP，NLU 中比较基础，并扮演着重要角色的任务，主要集中在语义理解，语义交互上，这也是我自己的一个研究方向，大致有这几类任务：
1. Semantic Textual Similarity (STS) ：判断两个句子的语义相似程度（measureing the degree of equivalence in the underlying semantics of paired snippets of text）；
2. Natural Language Inference (NLI) ：也叫 Recognizing Textual Entailment (RTE)，判断两个句子在语义上是否存在推断关系，相对任务一更复杂一些，不仅仅是考虑相似，而且也考虑了推理；
3. Paraphrase Identification (PI) ：判断两个句子是否表达同样的意思（identifing whether two sentences express the same meaning）；
4. Question Answering (QA) ：主要是指选择出来最符合问题的答案，是在给定的答案中进行选择，而不是生成；
5. Machine Comprehension (MC) ：判断一个句子和一个段落之间的关系，从大段落中找出存在答案的小段落，对比的两个内容更加复杂一些。
论文模型
有了任务，作者选取了集中目前情况下最好的模型，因为原文中每个模型可能只针对了某些任务进行了很多优化，那这些模型是否真的有效呢，作者考虑这些模型在所有的任务上进行比较，在介绍模型之前，作者首先介绍了句子对建模的一般框架：
一般框架
1. 输入层：适用预训练或者参与训练的词向量对输入中的每个词进行向量表示，比较有名的 Word2Vec，GloVe，也可以使用子序列的方法，例如 character-level embedding；
2. 情境编码层：将句子所处的情境信息编码表示，从而更好的理解目标句子的语义，常用的例如 CNN，HighWay Network 等，如果是句子语义表示的方法，一般到这里就结束了，接下来会根据具体的任务直接使用这一层得到语义表示；
3. 交互和注意力层：该层是可选的，句子语义表示有时候也会用到，但更多的是词匹配方法用到的，通过注意力机制建模两个句子在词层面的匹配对齐关系，从而在更细粒度上进行句子对建模，个人认为句子语义表示也会用到这些，只是句子语义表示最后会得到一个语义表示的向量，而词匹配的方法不一定得到句子语义的向量；
4. 输出分类层：根据不同的任务，使用 CNN，LSTM，MLP 等进行分类判断。
下图展示了一些句子语义表示的模型的基本框架：


有了这个一般的框架，接下来作者选取了集中目前最好的模型进行重现。
模型选择
1. InferSent [1]：BiLSTM+max-pooling；
2. SSE [2]：如图 1，和 InferSent 比较类似；
3. DecAtt [3]：词匹配模型的代表，利用注意力机制得到句子 1 中的每个词和句子 2 中的所有词的紧密程度，然后用句子 2 中的所有词的隐层状态，做加权和表示句子 1 中的每个词；
4. ESIM [4]：考虑了一些词本身的特征信息，和 DecAtt 比较类似；
5. PWIM [5]：在得到每个词的隐层状态之后，通过不同的相似度计算方法得到词对之间相似关系，最后利用 CNN 进行分类。
数据
为了更好的展示每个数据的情况，在这里直接用下图展示作者使用到的数据集：


结果
直接上结果，上图是原文章中的结果，下图是作者重现的结果：


从结果上看，作者实现的效果还是很厉害的，基本上跟原文章声明的不相上下，当然由于不是针对特定任务进行特别优化，所有效果还是有一点点差的，但基本上可以认为是实现了原来的效果，而且作者也发现了一些有意思的现象，例如：表现最好的就是 ESIM，个人感觉这里面加入了很多次本身的一些信息，例如近义词，反义词，上下位信息等，这些信息其实对句子语义理解十分重要。
以上就是这篇文章的整体介绍，作者完整实现了这些方法，并在不同的数据集上进行验证，工作量还是很大的，而且对句子对建模进行了比较完整的介绍，还是很有意思的。


原文发布时间为：2018-06-19
本文作者：张琨

本文来自云栖社区合作伙伴“PaperWeekly”，了解相关信息可以关注“PaperWeekly”。

        
        
                
    

最近踩的坑：


在ddpg算法类的actor网络中输入1个state来获取action，要扩展成batch_size为1的tensor。否则出来的维度不同，导致后面计算熵出错。出错还好，就是怕不报错，就需要慢慢排查。


对于target类网络，不需要使用梯度更新的，可以关掉梯度来节省内存提高速度。


iterator.chain()返回的迭代器只能使用一次，for循环后将失效。需要重新创建迭代器。（因为这个原因导致critic的网络没有被更新）
l1 = [1,2,3]
l2 = [4,5,6]
l1_l2 = itertools.chain(l1,l2)
for i in l1_l2:
    print(i)
# l1_l2使用后失效。
for i in l1_l2:
    # 无法进入
    print(i*0.1)



numpy: a.squeeze()并不改变a本身的值，而是返回一个结果。一般带下划线的方法可以改变本身的值，如a.add_()


np.where(c, x, y) 如果满足条件c，则返回x，否则返回y
np.where( c ) 返回满足条件c的坐标。
例如，
a = np.random.uniform(size = 10) # 随机生成均一分布的10个0~1之间的数组
np.where(a<0.8) #返回所有小于0.8的坐标。长度不一定，根据多少定。



numpy:
# 假设a是一个(1,50,10)的数组。
a[0, [1,2,3]] # 返回的是dim0里面坐标为1,2,3的元素。即返回的是一个(3,10)的数组。



算法相关：
不一定需要正则化，也可以训练出来好的结果。根据实际情况定。一旦对输入的数据进行了正则化，那么在测试新的数据时，就需要使用原来正则化所使用的均值和方差，否则结果会有问题。


如果想要保证网络每次初始化的参数都相同，在pytorch中网络的__init__可以使用torch.manual_seed(seed)设置随机种子，这样在每次创建的网络初始权重都一样。

复现论文实验一直是一大难题，或者说复现实验达到论文中精度是一大难题。绝大部分时候我们很难复现到媲美原文的精度，这很大原因是神经网络的参数众多，优化技巧众多，参数初始化等一些列问题，一般论文中对不会对小细节的处理进行描述或者他们有着一些不为人知的“trick”，所以我们很多时候我们达不到他们的实验效果。
之前我曾尝试复现几篇论文的实验，花了很大力气总算搞出来的，但是结果实验结果与原文中精度总有2-3%左右的差距。由于原文没开源代码，按照他论文来所描述的来写代码，难以发现自己哪里出问题了，后来就放弃了。
最近看到一篇有关网络优化的文章，感觉挺有用的，对复现实验代码比较有用，所以写下来了。
一、加快模型训练

主要有两块内容：一块是选用更大的batch size，另一块是采用16位浮点型进行训练。

选用更大的batch size能够在整体上加快模型的训练，但是一般而言如果只增大batch size，效果不会太理想，这部分目前有比较多的研究论文，比如Facebook的这篇：Accurate, Large Minibatch SGD:Training ImageNet in 1 Hour，作者也总结了主要的几个解决方案。

增大学习率，因为更大的batch size意味着基于每个batch数据计算得到的梯度更加贴近整个数据集（数学上来讲就是方差更小），因此当更新方向更加准确后，迈的步子也可以更大了，一般而言将batch size修改为原来的几倍，那么初始学习率也需要修改为原来的几倍。
用一个小的学习率先训几个epoch（warmup） 。因为网络的参数是随机初始化的，假如一开始就采用较大的学习率容易出现数值不稳定，这是使用warmup的原因。等到训练过程基本稳定了就可以使用原先设定的初始学习率进行训练了。作者在实现warmup的过程中采用线性增加的策略，举例而言，假设warmup阶段的初始学习率是0，warmup阶段共需要训练m个batch的数据（实现中m个batch共5个epoch），假设训练阶段的初始学习率是L，那么在batch i的学习率就设置为i*L/m。
每个残差块的最后一个BN层的γ参数初始化为0，我们知道BN层的γ、β参数是用来对标准化后的输入做线性变换的，也就是γx^+β，一般γ参数都会初始化为1，作者认为初始化为0更有利于模型的训练。
不对bias参数执行weight decay操作，weight decay主要的作用就是通过对网络层的参数（包括weight和bias）做约束（L2正则化会使得网络层的参数更加平滑）达到减少模型过拟合的效果。

采用低精度（16位浮点型）训练是从数值层面来做加速。一般而言现在大部分的深度学习网络的输入、网络参数、网络输出都采用32位浮点型，现在随着GPU的迭代更新（比如V100支持16为浮点型的模型训练），如果能使用16位浮点型参数进行训练，就可以大大加快模型的训练速度，这是作者加速训练最主要的措施，不过目前来看应该只有V100才能支持这样的训练。
二、优化网络结构部分
这部分的优化是以ResNet为例的，Figure1是ResNet网络的结构示意图，简单而言是一个input stem结构、4个stage和1个output部分，input stem和每个stage的内容在第二列展示，每个residual block的结构在第三列展示，整体而言这个图画得非常清晰了。


关于residual block的改进可以参考Figure2，主要有3点。

ResNet-B，改进部分就是将stage中做downsample的residual block的downsample操作从第一个11卷积层换成第二个33卷积层，如果downsample操作放在stride为2的11卷积层，那么就会丢失较多特征信息（默认是缩减为1/4），可以理解为有3/4的特征点都没有参与计算，而将downsample操作放在33卷积层则能够减少这种损失，因为即便stride设置为2，但是卷积核尺寸够大，因此可以覆盖特征图上几乎所有的位置。
ResNet-C，改进部分就是将Figure1中input stem部分的77卷积层用3个33卷积层替换。这部分借鉴了Inception v2的思想，主要的考虑是计算量，毕竟大尺寸卷积核带来的计算量要比小尺寸卷积核多不少，不过读者如果仔细计算下会发现ResNet-C中3个33卷积层的计算量并不比原来的少，这也是Table5中ResNet-C的FLOPs反而增加的原因。
ResNet-D，改进部分是将stage部分做downsample的residual block的支路从stride为2的11卷积层换成stride为1的卷积层，并在前面添加一个池化层用来做downsample。这部分我个人理解是虽然池化层也会丢失信息，但至少是经过选择（比如这里是均值操作）后再丢失冗余信息，相比stride设置为2的1*1卷积层要好一些。


三、模型训练调优部分

主要4个调优技巧：

学习率衰减策略采用cosine函数，这部分的实验结果对比可以参考Figure3，其中(a)是cosine decay和step decay的示意图，step decay是目前比较常用的学习率衰减方式，表示训练到指定epoch时才衰减学习率。(b)是2种学习率衰减策略在效果上的对比。
采用label smoothing，网络中softmax的输出可以直接理解成概率，而one-hot向量只有0与1。所以这部分是将原来常用的one-hot类型标签做软化，这样在计算损失值时能够在一定程度上减少过拟合，可以增强模型的泛化能力。从交叉熵损失函数可以看出，只有真实标签对应的类别概率才会对损失值计算有所帮助，全概率和零概率将鼓励所属类别和非所属类别之间的差距尽可能拉大，而由于以上可知梯度有界，因此很难adapt。

因此label smoothing相当于减少真实标签的类别概率在计算损失值时的权重，同时增加其他类别的预测概率在最终损失函数中的权重。这样真实类别概率和其他类别的概率均值之间的gap（倍数）就会下降一些，会造成模型过于相信预测的类别。

label smoothing的具体：　为了使得模型less confident，提出将label真实标签从$q(K)$变成$q'(K)$,其中$q'(k|x)=(1-\epsilon)\delta_{k,y}+\epsilon u(k)$

对于以Dirac函数分布的真实标签，我们将它变成分为两部分获得（替换）

1.第一部分：将原本Dirac分布的标签变量替换为 (1 - ϵ)的Dirac函数；

2.第二部分：以概率 ϵ ，在u(k)u(k) 中份分布的随机变量。（在文章中，作者采用先验概率也就是均布概率，而K取值为num_class = 1000）

从而交叉熵被替换为：$H(q',p)=-\sum_{k=1}^{K}logp(k)q'(k)=(1-\epsilon)H(q,p)+\epsilon H(u,p)$可以认为：Loss 函数为分别对【预测label与真实label】【预测label与先验分布】进行惩罚。
**知识蒸馏（knowledge distillation）**这部分其实是模型加速压缩领域的一个重要分支，表示用一个效果更好的teacher model训练student model，使得student model在模型结构不改变的情况下提升效果。作者采用ResNet-152作为teacher model，用ResNet-50作为student model，代码上通过在ResNet网络后添加一个蒸馏损失函数实现，这个损失函数用来评价teacher model输出和student model输出的差异，因此整体的损失函数原损失函数和蒸馏损失函数的结合：



其中p表示真实标签，z表示student model的全连接层输出，r表示teacher model的全连接层输出，T是超参数，用来平滑softmax函数的输出
引入mixup,mixup其实也是一种数据增强方式，假如采用mixup训练方式，那么每次读取2张输入图像，假设用（xi，yi）和（xj，yj）表示，那么通过下面这两个式子就可以合成得到一张新的图像（x，y），然后用这张新图像进行训练，需要注意的是采用这种方式训练模型时要训更多epoch。式子中的λ是一个超参数，用来调节合成的比重，取值范围是[0,1]。