⬆⬆⬆              点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

细粒度情感分析，也叫做基于方面的情感分析是情感分析中的一个子任务。虽然现有的模型在该任务上的效果很好，但是现有的测试集并不能够用来研究模型是否基于目标方面的情感词而做出的正确预测。本次分享从现有数据集存在的问题出发，提出了简单而有效地测试样本构建方法，丰富了原有的测试集，从而评测并分析了现有模型的鲁棒性。

本期AI TIME PhD直播间，我们有幸邀请到复旦大学研究生邢晓渝为我们进行分享，本次分享的主题是——无监督句法分析模型里面的监督信号。

邢晓渝：复旦大学自然语言处理组2018级在读研究生，导师张奇教授。研究方向有细粒度情感分析、命名实体识别，多项研究工作发表在国际会议ACL、EMNLP上。

一、 自动生成数据的方法介绍

当一个模型展现了很好的表现的时候，它不一定是强壮的或是具有很强的鲁棒性。那么在ABSA模型中，什么样的模型是鲁棒的呢？我们认为一个具有鲁棒性的细粒度情感分析模型应该具有一下三个特征：

1.在句子中哪些词语是方面，即aspects；

2.它应该知道哪些词是情感词；

3.最重要的一点，它应该知道对于我们要预测的目标方面来说哪些情感词是来修饰它的。

现有的深度学习模型在ABSA模型上面都取得了非常好的效果，然而这些模型是否真的明白方面和情感词之间的对应关系呢？

接下来看几个典型的例子：

1)“Tasty burgers，crispy fries.”：在这个句子中burgers是我们需要预测的一个方面词，它的情感极性是正向的，ABSA模型也会将它预测为正向的。

2)“Tasty burgers， soggy fries”：在这个句子中fries的情感极性是负向的，而我们需要预测的burgers的情感极性是正向的，在这个情况下ABSA模型会感到一些困惑。

3)“Tasty burgers， soggy fries， and worst of all the service.”：在这个句子中所有的非目标方面都是负向的，ABSA模型在这个例子中预测为负向，预测失败。

因此我们对现有模型的鲁棒性提出了疑问，一个模型能够对什么程度的测试样本进行正确的预测。

1)第一个问题，如果我们反转了这个目标的情感极性，那么模型是否也会相应的改变它的预测结果呢？

2)第二个问题是，如果在句子中所有非目标方面的情感极性都是和目标方面的情感极性相反的，那么模型是否还能预测正确呢？

3)第三个问题是，如果我们在句子当中添加了很多和目标方面相反的非目标方面的情感表示的话，那么模型是否还能预测正确呢？

基于以上这三个问题，我们认为当且仅当我们能够对这三个问题都回答正确的时候，这个模型才能够称之为鲁棒的。

因此我们基于这三个问题先去探究了一下现有的ABSA模型的数据集。第一个数据集是Twitter 2014数据集，第二个是Semeval 2014 Laptop数据集，第三个是Semeval 2014 Restaurant数据集。

从图中可以发现，在数据集中大部分的测试数据，其目标方面的情感和非目标方面的情感极性都是相同的。因此仅仅只有途中蓝色的一小部分的数据可以被用来回答我们之前提出来的问题。然而当我们在这个小测试子集上进行测试的时候发现，原先最好的模型在Laptop上的表现从78.53%下降到了59.32%，在Restaurant数据集上的表现从原有的86.70%下降到了63.93%。

这样大幅度的下降就表明了现有的模型是过度的依赖于非目标方面的情感词，进而做出的预测。也就是说，它并不知道哪些情感词在修饰目标方面。

二、数据集的对比分析

负采样

因此我们就提出了一个自动生产测试集的框架。上图中，在原有的测试集中有句子“Tasty burgers，and crispy fries.”，在这句当中有一个目标方面burgers，它情感极性是正向的，对于fries来说，它是非目标方面，它的情感极性是正向的。模型的任务是预测burgers的情感极性，如果模型对于burgers预测正确的话，它是依赖于tasty这个单词还是crispy这个单词亦或者是其他的一些线索呢？我们其实想要探究这个问题。我们提出了三种生成的策略，来生成一个probing set，

第一个策略叫做REVTGT。在REVTGT这个策略当中，我们把目标方面的情感极性反转，就把tasty变成了terrible，同时也把情感极性从positive变成了negative。

第二个策略叫做REVNON。在这个策略当中我们没有修改目标方面的情感，我们修改的是非目标方面的情感词，我们把fries从crispy变成了soggy，这样的情感极性就是负向的。

第三个策略叫做ADDDIFF。我们在句子末尾添加了一些和目标反面情感极性相反的非目标方面的表达，在这个例子中我们添加了“but poorest service ever”。

接下来我们看一下REVTGT的具体细节。

1)第一个我们举得例子是“It’s light and easy to transport.”，在这个句子当中目标方面是transport，它有两个情感词light和easy，我们获得了一些light和easy的反义词heavy和difficult并且替代它们。

2)但是不是所有词语都有反义词，第二个例子“The menu changes seasonally”中changes这个词，因此我们在这个词前面加了一个否定词，变成了does not change。

3)第三个例子是“The food is good, and the décor is nice.”，我们在修改情感词的同时也面临一些可读性的问题，例如将nice改为nasty，就需要将and改为but。

第二个策略是REVNON，在这里我们遇到了两种情况，第一种情况是非目标方面的情感极性与目标方面的情感极性相同，在这种情况下我们需要反转它的情感极性。第二种情况是非目标方面的情感极性与目标方面的情感极性相反，这种情况下情感就需要加强。

举个例子“It has great food at a reasonable price, but the service is poor.”，在这个例子当中，我们的目标方面是负的，它的情感是正向的，我们有非目标方面price和service，因为price由reasonable修饰，所以它的情感方向是正向的。所以我们将其变成了unreasonable，对于service而言其原本情感就是负向的，所以我们添加了一个程度副词extremely使其加深。

第三个策略是ADDDIFF，首先我们从训练集中抽取了Aspect的表示，构建了一个AspectSet。然后我们随机从AspectSet中抽取1~3个这样的表示，添加到了句子末尾。这些表示需要满足两个条件，第一个是它的情感极性必须和目标极性相反，第二个是这个方面在之前的句子中是没有提到过的，就比如例子中“Tasty burgers, crispy fries, but poorest service ever!”添加了“but poorest service ever”在句子末尾。这个策略就保证了句子的整体情感从原来的正向变成了负向。

接下来我们根据这三种策略构建了新的数据集，ARTS。我们将ARTS数据集与原有的数据集进行了对比，我们发现ARTS数据集比原有的数据集更大一些，并且它的标签也更加的平衡。第二点是ARTS数据集更有挑战性。

我们衡量了三个点，第一个点是在每个句子当中Aspect的数量，我们发现在ARTS数据集中的数量要比原有数据集的数量更多。第二点是在测试集当中，和目标方面情感极性相反的非目标方面数量不少于1的数量的比例远远的上升。第三个是在句子当中和目标方面情感极性相反的非目标方面的数量比原本的数据集超出了许多。因此我们的数据集更具有挑战性。

三、实验结果讨论与分析

接下来是实验结果。我们提出了新的评价方式ARS，其计算方式是正确的单元数除以总的单元数。一个单元包括了原有的句子和经过三种扩充策略后的句子，一共包含四个句子。当且仅当我们的模型在这四句话中都预测正确，才能判断对这个单元的预测正确。左图展现了9种模型在原本测试集和现有的测试集上的表现的差异。可以看到大部分模型新的数据集ARTS上表现下降非常的多，但是基于BERT的三种模型CapsBERT，BERT，BERT-PT，其相对而言是比较鲁棒的，它们下降的幅度要比其他模型要低。

接下来，分解来看三种策略对模型精确度的影响。REVTGT策略使得模型的平均表现下降最多。这是因为REVTGT策略需要模型能够精确的识别到修饰目标方面的词语，一旦有所偏差就会导致精确度下降较多。第二点是ADDDIFF策略上面，ADDDIFF会导致非BERT模型下降的比BERT模型更多，这就表明非BERT模型对句子长度更加敏感，在句子后添加了许多和目标方面相反的无关词语之后可能会对非BERT模型表现影响较大。

接下来我们也探索了几种策略的变种，首先我们探究了联合REVNON和ADDDIFF这两种策略，我们发现联合之后会使得模型下降的程度更大。第二种是在ADDDIFF策略中对句子末尾添加更多的aspects，探究其对于测试精确度的影响。这里使用了三个模型，第一个是BERT-PT，是鲁棒性最好的；第二个是GCN，鲁棒性位于中位的；第三个是BERT-Sent，是鲁棒性最差的。我们发现在句子末尾添加的aspect越多，它的精确度也就越低。但是BERT-PT相对于其他两个模型表现仍然要高出许多。

负采样

三、如何提升模型的鲁棒性

之后我们也分析了怎么有效的建模aspects来提升它的鲁棒性。在这个表格中，所有的模型是按照它们的鲁棒性高低排序的，在Laptop数据中，AttLSTM的鲁棒性是最差的，BERT-PT的鲁棒性是最好的，从表中可以看出基于BERT的模型要比非BERT的模型鲁棒性要好，在非BERT模型中GCN和TD-LSTM的鲁棒性是最好的。我们认为这是它们在模型建模中建模了aspects的位置信息，所以它的鲁棒性要比其他没有建模的要高一些。

我们也探究了怎样的训练策略可以提升模型的鲁棒性。我们探究了两个点：

第一个是在更加复杂的数据集上训练，比如MAMS数据集，这个数据集与Restaurant同源但是比其更为复杂。我们发现在更为复杂的数据集上训练会对鲁棒性提升有所提升。

第二个是利用了对抗训练，也就是把我们之前提出的三种策略同样的应用于训练集当中，然后在再在ARTS测试集上进行测试，我们发现这种策略能够最大程度提升模型的鲁棒性。

总结

第一点，我们提出了一个简单但是有效的方法，来探测现有模型在ABSA模型上的鲁棒性。

第二点，我们提升了现有的测试集，将SemEval 2014测试集效果提升了294%，将Restaurant测试集提升了315%。

第三点，我们探测了现有的9个ABSA模型的鲁棒性，并探测了然后提升它们鲁棒性的方法。

论文数据及代码：

https://github.com/zhijing-jin/ARTS_TestSet

论文链接：

https://arxiv.org/pdf/2009.07964.pdf

负采样

整理：闫昊

排版：杨梦蒗

审稿：邢晓渝

AI TIME欢迎AI领域学者投稿，期待大家剖析学科历史发展和前沿技术。针对热门话题，我们将邀请专家一起论道。同时，我们也长期招募优质的撰稿人，顶级的平台需要顶级的你，请将简历等信息发至yun.he@aminer.cn！

微信联系：AITIME_HY

AI TIME是清华大学计算机系一群关注人工智能发展，并有思想情怀的青年学者们创办的圈子,旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法、场景、应用的本质问题进行探索，加强思想碰撞，打造一个知识分享的聚集地。

更多资讯请扫码关注

（直播回放：https://b23.tv/WJcJaw）

（点击“阅读原文”下载本次报告ppt）

近期，CVPR 2021 安全AI挑战者大赛正在进行中 （报名截止3月24日），相关技术解析：

1. CVPR 2021大赛， 安全AI 之防御模型的「白盒对抗攻击」解析

2. 还在刷榜ImageNet？找出模型的脆弱之处更有价值！

报名链接：

https://s.alibaba.com/Challenge

借由此比赛，引起了不少同学对【神经网络鲁棒性】研究的兴趣，本文为该方向最新进展解读，作者来自中国台湾国立交通大学和IBM。

论文链接：https://arxiv.org/abs/2102.11935

1

 引言 

神经网络的鲁棒性研究一直是一个热门的话题，该论文出自IBM是一篇很硬核关于神经网络鲁棒性分析的理论性文章，作者在论文中的数学证明由浅入深层层递进推。

为了能够清晰的阐述论文中的贡献，我花了很大的力气将文章中没有展开的证明进行了补充，并对文章中的一些推导中一些小错误进行了更正。

论文中最关键的地方就是作者提出了一个基于理论实证的正则化损失函数，如果能把它看懂并为我们所用的话，应该是一个很好的涨点利器。

2

 预备知识 

为了能够更加清晰的介绍论文中的公式推导和核心思想，需要对论文中涉及到的预备知识和符号加以说明，具体的符号形式如下所示，相关的介绍会在z 之后证明中加以说明。

假定有一个 层的神经网络，其输入向量为 ，输出的类别是为 ，则有如下公式：

其中， 为包含了神经网络中所有的权重的集合，即 ， 为非负单调激活函数（ReLU和Sigmoid）。神经网络输出的第 个元素被记作 ，输出中 和 两个类别的差值表示为。

在无对抗扰动的情况下，神经网络第 层（ ）的输出表示为 ，其中 。在有对抗扰动的情况下，神经网络的第 层的输出为 ，其中 。

2.1单隐层权重扰动

为了简化问题，作者考虑了一个含有激活函数的四层神经网络，并试图探究在对抗扰动下误差传播的边界。对于含激活函数的四层神经网络可以由如下公式所表示：

其中， 是第 层的权重矩阵。考虑对神经网络中第二层权重矩阵 中的任何一个元素加以 的扰动和对神经网络中输入层中 加以 的扰动这两种情况，即 ， 。令向量 为第 层权重误差

（举例说明如果第三层的权重被加以扰动，则受影响的第3层之后的权重，输入层向量和第二层权重不会受到影响）

所以可以通过获得第一层的输出 来获得误差向量 ，具体的公式如下所示：

论文中如上公式的推导限于篇幅的影响省去了很多推导步骤，补充的完整过程如下所示：

对照之前的符号的表格，然后根据三角不等式即可推出结果

接下来考虑传播过程中的每个后续误差向量，由于所考虑的层之后没有层被扰动，则误差向量 的计算公式如下所示：

通过层层传播达到最后一层并能够评估扰动引起的预测误差。对于任何两个类 和 ， 的相对误差的计算公式如下所示：

对上公式的补充扩展如下所示：

3

 理论推导 

3.1输入向量和单隐层向量联合扰动联合扰动

将在输入向量和单隐层向量联合扰动联合扰动下第 层的权重误差向量记为 。 计算公式如下所示：

第二个误差 向量包括第一个误差向量 和权重扰动向量 ，具体的计算公式如下所示：

由于之后层没有添加权重扰动，则 的计算公式为：

最后一层中的 和 两类的差值的计算公式为：

综上可以发现一个现象，通过误差传播，无论扰动类型如何，误差都随着权重矩阵的范数而增长。作者给出了不同扰动设置下的边界定理。

定理一：令 为一个 层的神经网络，其中， ， ，则有如下公式：

其中， 表示的是 行向量的维度， 表示输入向量 的维度。

定理二：令 为一个 层的神经网络，其中， ， ， 。 。 表示 行向量的维度，则有如下公式：

其中， 能被写成：

有如下形式：

 其中，

以上的定理1和定理2分别给出了第 个类别和第 个类别在联合扰动中单层扰动和全层扰动这两种情况下的预测标签概率差值的上界。有坚实的理论做依靠使得作者能够提出基于理论推导得出的具有鲁棒性的损失函数。

3.2非奇异鲁棒性损失函数

根据以上严格的推导，作者提出了一种新的正则化损失函数用于训练神经网络使得其具有一定的鲁棒性，该损失函数公式如下所示：

其中，第一项 为标准的分类损失，而第二项和第三项分别用非负系数 和 调整对输入和权重空间的扰动敏感度。它们受到定理2的启发，可以解释为由联合输入权重扰动引起的最大误差。

4

 实验结果 

如下图所示展示了每个模型的鲁棒性能。标准模型（a）易受权重和输入扰动的影响。奇异鲁棒模型（b）和（c）只对可见的扰动类型鲁棒，而它们对不可见的扰动类型甚至具有更差的鲁棒性。比较测试准确性的曲线下面积（AUC）分数可以发现，使用本文提出的损失的非奇异稳健模型（d-f）明显优于标准和奇异稳健模型（a-c）。

END

备注：对抗

对抗学习交流群

扫码备注拉你入群。

我爱计算机视觉

微信号:aicvml

QQ群:805388940

微博知乎:@我爱计算机视觉

投稿:amos@52cv.net

网站:www.52cv.net

 点此报名AI大赛，赢10万美金大奖！