精华内容
下载资源
问答
  • 浅谈模型鲁棒性
    万次阅读 多人点赞
    2019-06-23 11:42:15

    模型鲁棒性的理解

    “鲁棒”的英文是robustness,其是一个特别大的研究领域。最权威的著作当属稳健统计的2本厚书 文献[1]和[2]。

    1. 概念

    . Huber从稳健统计的角度系统地给出了鲁棒性3个层面的概念:

        一是模型具有较高的精度或有效性,这也是对于机器学习中所有学习模型的基本要求;
    
        二是对于模型假设出现的较小偏差,只能对算法性能产生较小的影响;   
    
               主要是:噪声(noise)
    
        三是对于模型假设出现的较大偏差,不可对算法性能产生“灾难性”的影响。  
    
              主要是:离群点(outlier)
    

    2. 聚类算法的鲁棒性:

    1) 定义

        对于聚类算法而言,鲁棒性意味着聚类结果不应受到模型中存在的数据扰动、噪声及离群点的太大影响。
    

    2) 综述文章

         文献[4] [5]
    

    3. 提升 对离群点数据鲁棒性 的方法

    1)lp范数,0<p<=1

    文献[6]
    文献[7]  给出了 一种鲁棒化PCA的方法,采用了L1范数。本人在博文[机器学习]Lasso,L1范数,及其鲁棒性中分析了L1范数相对于L2范数的鲁棒性,引用了文献[7]。
    

    2)采取鲁棒的数据模型

    被广泛使用的数据模型:![在这里插入图片描述](https://img-blog.csdnimg.cn/20190623112042726.png)
    
    u--干净簇中心向量,e--噪声向量。
    
    上述数据模型改造为: ![在这里插入图片描述](https://img-blog.csdnimg.cn/20190623112115820.png)
    o--outlier。采用该数据模型,再在目标函数中引入关于o的惩罚项(如L1,L2范数),可提高算法鲁棒性。
    
    参考文献:聚类 -- 文献[8], PCA -- 文献[9]
    

    4. 未来发展:

       TomDietterich教授表达了对人工智能鲁棒性的特别关注,参考文献[3] -- 一篇顶会的ppt。
    

    https://blog.csdn.net/zhouxinxin0202/article/details/79915873


    5. 鱼(模型准确性)与熊掌(模型鲁棒性)难以兼得

    分类的准确度长期以来都是评价图像分类模型性能的最核心甚至唯一标准。但最近研究表明,即使是充分训练好的深度神经网络模型也很容易被对抗攻击算法攻破。对抗攻击是指在图像上加入特定的且人眼无法察觉的微量噪声,使得目标模型对加噪之后得到的对抗样本做出错误分类。
    为了揭示深度神经网络模型的鲁棒性和准确性之间的关系,来自 IBM 研究院,加州大学戴维斯分校,麻省理工学院以及京东 AI 研究院的研究人员,系统性地度量了 18 个被学术界和工业界广泛接受并使用的 ImageNet 深度神经网络模型,如 AlexNet、VGG Nets、Inception Nets、ResNets、DenseNets、MobileNets、NASNets 等的鲁棒性。
    该研究发现了多个非常有趣的现象,包括:1) 准确度越高的模型的普遍鲁棒性越差,且分类错误率的对数和模型鲁棒性存在线性关系;2) 相比于模型的大小,模型的结构对于鲁棒性的影响更大;3) 黑盒迁移攻击是一直以来都比较困难的任务,但在 VGG 系列模型上生成的对抗样本可以比较容易地直接攻击其它的模型。该项工作对于理解深度神经网络准确性和鲁棒性之间关系提供了一个较完备的图景。此项研究的论文「Is Robustness the Cost of Accuracy? – A Comprehensive Study on the Robustness of 18 Deep Image Classification Models」已被欧洲计算机视觉大会(ECCV 2018)接收,并且预印版和代码都已公开。
    为了评估深度神经网络的鲁棒性,一个直观的方法是使用对抗攻击。这种攻击生成视觉上和原图难以察觉区别的对抗样本使得深度神经网络做出错误分类。一般来讲,对于一个深度神经网络,如果在其上构建对抗样本越容易、所添加的噪声越小、则该网络越不鲁棒。除了对抗攻击之外,神经网络的鲁棒性也可以用一种独立于攻击的方式来衡量。例如 Szegedy 等人 [10] 和 Hein 等人 [11] 使用神经网络模型的全局和局部的 Lipschitz 常量对某些简单模型的鲁棒性进行了理论分析。Weng 等人 [12] 提出使用极值理论来估计为了生成有效的对抗样本所需要的最小噪声的尺度。
    在这篇论文中,研究者们同时使用了上述两种方式评估了 18 个在 ImageNet 竞赛中脱颖而出的 DNN 模型,包括 AlexNet, VGG Nets, Inceptin Nets, ResNets, DenseNets, MobileNets 和 NASNets 等。这 18 个模型具有不同的大小,分类准确度和结构,因此具有充分的代表性,从而能更好地分析出影响模型鲁棒性的不同因素。在使用对抗攻击来评估鲁棒性的方式中,研究者们使用了目前最好最常用的几种攻击算法,包括 Fast Gradient Sign Method(FGSM)[13]、Iterative FGSM(I-FGSM)[14]、Carlini & Wagner(C&W)算法 [15],以及 Elastic-Net Attack under L1 norm(EAD-L1)算法 [16]。此外,在独立于攻击的鲁棒性评估方式中,研究者们选用了目前最为有效的 CLEVER Score[4] 来评估深度神经网络的鲁棒性。
    这篇论文通过对 18 个 ImageNet 模型在 C&W 攻击和 I-FGSM 攻击下的鲁棒性的实验分析,发现当已有模型仅仅追求更高的分类准确度时,往往会牺牲在对抗攻击下的鲁棒性。
    https://baijiahao.baidu.com/s?id=1608931340081979756&wfr=spider&for=pc


    6. 参考文献:

    [1] Huber P J. Robust Statistics[J]. 1981. Wiley, New York.

    [2] Hampel F R, Ronchetti E M, Rousseeuw P J, et al. Robust statistics: the approach based on influence functions[J]. 1986. Wiley, New York.

    [3] http://web.engr.oregonstate.edu/~tgd/talks/dietterich-aaai-presidents-address-final.pdf

    [4] Luis Angel García-Escudero, Alfonso Gordaliza, Carlos Matrán, et al. A review of robust clustering methods[J]. Advances in Data Analysis and Classification, 2010, 4(2-3):89-109.

    [5] Dave R N, Krishnapuram R. Robust clustering methods: a unified view[J]. IEEE Transactions on Fuzzy Systems, 2002, 5(2):270-293.

    [6] Nie F, Wang H, Cai X, et al. Robust Matrix Completion via Joint Schatten p-Norm and lp-Norm Minimization[C]// IEEE, International Conference on Data Mining. IEEE, 2013:566-574.

    [7] Meng D, Zhao Q, Xu Z. Improve robustness of sparse PCA by L1-norm maximization[J]. Pattern Recognition, 2012, 45(1): 487-497.

    [8] Forero P A, Kekatos V, Giannakis G B. Robust clustering using outlier-sparsity regularization[J]. IEEE Transactions on Signal Processing, 2012, 60(8): 4163-4177.

    [9] Mateos G, Giannakis G B. Robust PCA as bilinear decomposition with outlier-sparsity regularization[J]. IEEE Transactions on Signal Processing, 2012, 60(10): 5176-5190.
    [10] Szegedy, C., Zaremba, W., Sutskever, I., Bruna, J., Erhan, D., Goodfellow, I., Fergus, R.: Intriguing properties of neural networks. ICLR 2014.

    [11] Hein, M., Andriushchenko, M.: Formal guarantees on the robustness of a classifier against adversarial manipulation. NIPS 2017.

    [12] Weng, T.W., Zhang, H., Chen, P.Y., Yi, J., Su, D., Gao, Y., Hsieh, C.J., Daniel, L.: Evaluating the robustness of neural networks: An extreme value theory approach. ICLR 2018.

    [13] Goodfellow, I., Shlens, J., Szegedy, C.: Explaining and harnessing adversarial examples. ICLR 2015.

    [14] Kurakin, A., Goodfellow, I.J., Bengio, S.: Adversarial machine learning at scale. ICLR 2017.

    [15] Carlini, N., Wagner, D.A.: Towards evaluating the robustness of neural networks. Oakland 2017.

    [16] Chen, P.Y., Sharma, Y., Zhang, H., Yi, J., Hsieh, C.J.: Ead: Elastic-net attacks to deep neural networks via adversarial examples. AAAI 2018

    更多相关内容
  • 人工智能对抗环境下的模型鲁棒性研究综述.pdf
  • 针对所构建的三种耦合方式下的无标度相依网络,引入节点负荷作用,通过计算机仿真对相依网络的鲁棒性问题进行研究。研究发现,相比随机耦合和异配耦合,相依网络在同配耦合方式下具有最强鲁棒性。节点容忍系数和子...
  • ⬆⬆⬆ 点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入!细粒度情感分析,也叫做基于方面的情感分析是情感分析中的一个子任务。虽然现有的模型在该任务上的效...

    ⬆⬆⬆              点击蓝字

    关注我们

    AI TIME欢迎每一位AI爱好者的加入!

    细粒度情感分析,也叫做基于方面的情感分析是情感分析中的一个子任务。虽然现有的模型在该任务上的效果很好,但是现有的测试集并不能够用来研究模型是否基于目标方面的情感词而做出的正确预测。本次分享从现有数据集存在的问题出发,提出了简单而有效地测试样本构建方法,丰富了原有的测试集,从而评测并分析了现有模型的鲁棒性。

    本期AI TIME PhD直播间,我们有幸邀请到复旦大学研究生邢晓渝为我们进行分享,本次分享的主题是——无监督句法分析模型里面的监督信号。

    邢晓渝复旦大学自然语言处理组2018级在读研究生,导师张奇教授。研究方向有细粒度情感分析、命名实体识别,多项研究工作发表在国际会议ACL、EMNLP上。

    一、 自动生成数据的方法介绍

    当一个模型展现了很好的表现的时候,它不一定是强壮的或是具有很强的鲁棒性。那么在ABSA模型中,什么样的模型是鲁棒的呢?我们认为一个具有鲁棒性的细粒度情感分析模型应该具有一下三个特征:

    1.在句子中哪些词语是方面,即aspects;

    2.它应该知道哪些词是情感词;

    3.最重要的一点,它应该知道对于我们要预测的目标方面来说哪些情感词是来修饰它的。

    现有的深度学习模型在ABSA模型上面都取得了非常好的效果,然而这些模型是否真的明白方面和情感词之间的对应关系呢?

    接下来看几个典型的例子:

    1)“Tasty burgers,crispy fries.”:在这个句子中burgers是我们需要预测的一个方面词,它的情感极性是正向的,ABSA模型也会将它预测为正向的。

    2)“Tasty burgers, soggy fries”:在这个句子中fries的情感极性是负向的,而我们需要预测的burgers的情感极性是正向的,在这个情况下ABSA模型会感到一些困惑。

    3)“Tasty burgers, soggy fries, and worst of all the service.”:在这个句子中所有的非目标方面都是负向的,ABSA模型在这个例子中预测为负向,预测失败。

    因此我们对现有模型的鲁棒性提出了疑问,一个模型能够对什么程度的测试样本进行正确的预测。

    1)第一个问题,如果我们反转了这个目标的情感极性,那么模型是否也会相应的改变它的预测结果呢?

    2)第二个问题是,如果在句子中所有非目标方面的情感极性都是和目标方面的情感极性相反的,那么模型是否还能预测正确呢?

    3)第三个问题是,如果我们在句子当中添加了很多和目标方面相反的非目标方面的情感表示的话,那么模型是否还能预测正确呢?

    基于以上这三个问题,我们认为当且仅当我们能够对这三个问题都回答正确的时候,这个模型才能够称之为鲁棒的。

    因此我们基于这三个问题先去探究了一下现有的ABSA模型的数据集。第一个数据集是Twitter 2014数据集,第二个是Semeval 2014 Laptop数据集,第三个是Semeval 2014 Restaurant数据集。

    从图中可以发现,在数据集中大部分的测试数据,其目标方面的情感和非目标方面的情感极性都是相同的。因此仅仅只有途中蓝色的一小部分的数据可以被用来回答我们之前提出来的问题。然而当我们在这个小测试子集上进行测试的时候发现,原先最好的模型在Laptop上的表现从78.53%下降到了59.32%,在Restaurant数据集上的表现从原有的86.70%下降到了63.93%。

    这样大幅度的下降就表明了现有的模型是过度的依赖于非目标方面的情感词,进而做出的预测。也就是说,它并不知道哪些情感词在修饰目标方面。

    二、数据集的对比分析

    负采样

    因此我们就提出了一个自动生产测试集的框架。上图中,在原有的测试集中有句子“Tasty burgers,and crispy fries.”,在这句当中有一个目标方面burgers,它情感极性是正向的,对于fries来说,它是非目标方面,它的情感极性是正向的。模型的任务是预测burgers的情感极性,如果模型对于burgers预测正确的话,它是依赖于tasty这个单词还是crispy这个单词亦或者是其他的一些线索呢?我们其实想要探究这个问题。我们提出了三种生成的策略,来生成一个probing set,

    第一个策略叫做REVTGT。在REVTGT这个策略当中,我们把目标方面的情感极性反转,就把tasty变成了terrible,同时也把情感极性从positive变成了negative。

    第二个策略叫做REVNON。在这个策略当中我们没有修改目标方面的情感,我们修改的是非目标方面的情感词,我们把fries从crispy变成了soggy,这样的情感极性就是负向的。

    第三个策略叫做ADDDIFF。我们在句子末尾添加了一些和目标反面情感极性相反的非目标方面的表达,在这个例子中我们添加了“but poorest service ever”。

    接下来我们看一下REVTGT的具体细节。

    1)第一个我们举得例子是“It’s light and easy to transport.”,在这个句子当中目标方面是transport,它有两个情感词light和easy,我们获得了一些light和easy的反义词heavy和difficult并且替代它们。

    2)但是不是所有词语都有反义词,第二个例子“The menu changes seasonally”中changes这个词,因此我们在这个词前面加了一个否定词,变成了does not change。

    3)第三个例子是“The food is good, and the décor is nice.”,我们在修改情感词的同时也面临一些可读性的问题,例如将nice改为nasty,就需要将and改为but。

    第二个策略是REVNON,在这里我们遇到了两种情况,第一种情况是非目标方面的情感极性与目标方面的情感极性相同,在这种情况下我们需要反转它的情感极性。第二种情况是非目标方面的情感极性与目标方面的情感极性相反,这种情况下情感就需要加强。

    举个例子“It has great food at a reasonable price, but the service is poor.”,在这个例子当中,我们的目标方面是负的,它的情感是正向的,我们有非目标方面price和service,因为price由reasonable修饰,所以它的情感方向是正向的。所以我们将其变成了unreasonable,对于service而言其原本情感就是负向的,所以我们添加了一个程度副词extremely使其加深。

    第三个策略是ADDDIFF,首先我们从训练集中抽取了Aspect的表示,构建了一个AspectSet。然后我们随机从AspectSet中抽取1~3个这样的表示,添加到了句子末尾。这些表示需要满足两个条件,第一个是它的情感极性必须和目标极性相反,第二个是这个方面在之前的句子中是没有提到过的,就比如例子中“Tasty burgers, crispy fries, but poorest service ever!”添加了“but poorest service ever”在句子末尾。这个策略就保证了句子的整体情感从原来的正向变成了负向。

    接下来我们根据这三种策略构建了新的数据集,ARTS。我们将ARTS数据集与原有的数据集进行了对比,我们发现ARTS数据集比原有的数据集更大一些,并且它的标签也更加的平衡。第二点是ARTS数据集更有挑战性。

    我们衡量了三个点,第一个点是在每个句子当中Aspect的数量,我们发现在ARTS数据集中的数量要比原有数据集的数量更多。第二点是在测试集当中,和目标方面情感极性相反的非目标方面数量不少于1的数量的比例远远的上升。第三个是在句子当中和目标方面情感极性相反的非目标方面的数量比原本的数据集超出了许多。因此我们的数据集更具有挑战性。

    三、实验结果讨论与分析

    接下来是实验结果。我们提出了新的评价方式ARS,其计算方式是正确的单元数除以总的单元数。一个单元包括了原有的句子和经过三种扩充策略后的句子,一共包含四个句子。当且仅当我们的模型在这四句话中都预测正确,才能判断对这个单元的预测正确。左图展现了9种模型在原本测试集和现有的测试集上的表现的差异。可以看到大部分模型新的数据集ARTS上表现下降非常的多,但是基于BERT的三种模型CapsBERT,BERT,BERT-PT,其相对而言是比较鲁棒的,它们下降的幅度要比其他模型要低。

    接下来,分解来看三种策略对模型精确度的影响。REVTGT策略使得模型的平均表现下降最多。这是因为REVTGT策略需要模型能够精确的识别到修饰目标方面的词语,一旦有所偏差就会导致精确度下降较多。第二点是ADDDIFF策略上面,ADDDIFF会导致非BERT模型下降的比BERT模型更多,这就表明非BERT模型对句子长度更加敏感,在句子后添加了许多和目标方面相反的无关词语之后可能会对非BERT模型表现影响较大。

    接下来我们也探索了几种策略的变种,首先我们探究了联合REVNON和ADDDIFF这两种策略,我们发现联合之后会使得模型下降的程度更大。第二种是在ADDDIFF策略中对句子末尾添加更多的aspects,探究其对于测试精确度的影响。这里使用了三个模型,第一个是BERT-PT,是鲁棒性最好的;第二个是GCN,鲁棒性位于中位的;第三个是BERT-Sent,是鲁棒性最差的。我们发现在句子末尾添加的aspect越多,它的精确度也就越低。但是BERT-PT相对于其他两个模型表现仍然要高出许多。

    负采样

    三、如何提升模型的鲁棒性

    之后我们也分析了怎么有效的建模aspects来提升它的鲁棒性。在这个表格中,所有的模型是按照它们的鲁棒性高低排序的,在Laptop数据中,AttLSTM的鲁棒性是最差的,BERT-PT的鲁棒性是最好的,从表中可以看出基于BERT的模型要比非BERT的模型鲁棒性要好,在非BERT模型中GCN和TD-LSTM的鲁棒性是最好的。我们认为这是它们在模型建模中建模了aspects的位置信息,所以它的鲁棒性要比其他没有建模的要高一些。

    我们也探究了怎样的训练策略可以提升模型的鲁棒性。我们探究了两个点:

    第一个是在更加复杂的数据集上训练比如MAMS数据集,这个数据集与Restaurant同源但是比其更为复杂。我们发现在更为复杂的数据集上训练会对鲁棒性提升有所提升。

    第二个是利用了对抗训练,也就是把我们之前提出的三种策略同样的应用于训练集当中,然后在再在ARTS测试集上进行测试,我们发现这种策略能够最大程度提升模型的鲁棒性。

    总结

    第一点,我们提出了一个简单但是有效的方法,来探测现有模型在ABSA模型上的鲁棒性。

    第二点,我们提升了现有的测试集,将SemEval 2014测试集效果提升了294%,将Restaurant测试集提升了315%。

    第三点,我们探测了现有的9个ABSA模型的鲁棒性,并探测了然后提升它们鲁棒性的方法。

    论文数据及代码:

    https://github.com/zhijing-jin/ARTS_TestSet

    论文链接:

    https://arxiv.org/pdf/2009.07964.pdf

    负采样

    整理:闫昊

    排版:杨梦蒗

    审稿:邢晓渝

    AI TIME欢迎AI领域学者投稿,期待大家剖析学科历史发展和前沿技术。针对热门话题,我们将邀请专家一起论道。同时,我们也长期招募优质的撰稿人,顶级的平台需要顶级的你,请将简历等信息发至yun.he@aminer.cn!

    微信联系:AITIME_HY

     

    AI TIME是清华大学计算机系一群关注人工智能发展,并有思想情怀的青年学者们创办的圈子,旨在发扬科学思辨精神,邀请各界人士对人工智能理论、算法、场景、应用的本质问题进行探索,加强思想碰撞,打造一个知识分享的聚集地。

    更多资讯请扫码关注

    (直播回放:https://b23.tv/WJcJaw)

    (点击“阅读原文”下载本次报告ppt)

    展开全文
  • 论文研究-基于加权超网络模型的知识网络鲁棒性分析及应用.pdf,
  • 鲁棒性分析创建设计模型.ppt
  • 安全技术-网络信息-进化交通网络模型及悖论鲁棒性分析.pdf
  • 提出了负载容量非线性模型, 并 针对模型参数的多目标优化问题, 通过理论分析确定其影响因素. 以级联失效前后网络连通测度的比值作为鲁 棒测度, 以网络容量与负载的比值平均数作为网络成本测度, 采用基于...
  • 网络模型鲁棒性与提升鲁棒性的方法 1.定义:在统计学领域和机器学习领域,对异常值也能保持稳定、可靠的性质,称为鲁棒性。比如说,计算机软件在输入错误、磁盘故障、网络过载或有意攻击情况下,能否不死机、不...

    网络模型的鲁棒性与提升鲁棒性的方法

    1.定义:在统计学领域和机器学习领域,对异常值也能保持稳定、可靠的性质,称为鲁棒性。比如说,计算机软件在输入错误、磁盘故障、网络过载或有意攻击情况下,能否不死机、不崩溃,就是该软件的鲁棒性。所谓“鲁棒性”,是指控制系统在一定(结构,大小)的参数摄动下,维持某些性能的特性。有一个与鲁棒性很相似的概念叫模型的泛化能力。

    泛化能力:generalization ability)是指机器学习算法对新鲜样本的适应能力,对具有同一规律的学习集以外的数据,经过训练的网络也能给出合适的输出,该能力称为泛化能力。

    根据泛化能力好的网络设计的神经网络控制器的鲁棒性也会有所改善.泛化能力指对未知数据的预测能力;

    2.我们先来看一组例子理解鲁棒性的表现:

    例子1.

    图,生成的对抗样本中的扰动对人类视觉来说不敏感,但是对于模型来说,原本以57.7%的概率被判成熊猫的图片在修改后以99.3%的概率被判成了长臂猿。则该系统的抗干扰性差,鲁棒性低。  

    例子2.

                            

    对于处于决策边界边缘的数据,只需要稍微在数值上增加一点点或减小一点点,所得到的结果就会截然不同。

    例子3.

    一味地追求精确度会降低系统鲁棒性。

    3.影响鲁棒性的原因:

    样本数据中含有噪音降低了数据质量。

    样本中种类相似度较高,模型易混淆。

    4.提升鲁棒性的方法:

    (1)从数据上提升性能

    收集更多的数据、产生更多的数据、对数据做缩放、对数据做变换、特征选择、重新定义问题

    (2) 从算法上提升性能

    算法的筛选、从文献中学习、重采样的方法

    (3)从算法调优上提升性能

    注意力机制(给与每个像素权重,来衡量像素间的相关性SPNet)、模型可诊断性、权重的初始化、学习率、激活函数、网络结构、batchepoch、正则项、优化目标、提早结束训练

    (4) 用融合方法提升效果

    模型融合、视角融合、stacking、多尺度融合(使用不同尺度的卷积核,增加模型的感受野,典型代表金字塔Deeplab系列)

    (5)增加模型宽度

    将通道分成多组,每组单独进行卷积,然后再将通道合成可以减少模型的参数,提高模型准确率,增加鲁棒性(ResNext)。

     

     

    展开全文
  • 大数据-算法
  • 基于节点和流关联的双层耦合网络鲁棒性分析,张一帆,顾仁涛,本文设计了基于节点和流关联的双层耦合网络模型,并利用生成函数思想对其故障传播过程进行了描述。通过对基于节点和流关联的故障
  • 从工程应用的角度出发,在P3P问题有唯一解的条件下,研究位姿误差对图像坐标检测误差的鲁棒性。通过简化条件下的理论推导并结合一般条件下的仿真实验,证明了由图像坐标检测误差引起的位姿误差随摄像机焦比的增大而减小...
  • 在传感器、控制器和执行器均工作于时间驱动的工作模式下,综合考虑网络化控制系统(NCS)...在系统存在外部扰动输入的情况下,构造相应的反馈控制器,并通过对一个二阶倒立摆系统的数值分析证明系统具有一定的鲁棒控制律.
  • 基于赋权二部图和复杂网络理论,构建铁路换乘系统的铁路线路网络模型和铁路站点网络模型,定义了站点节点和线路节点的权重计算方法,并结合节点度和节点权重,设计了铁路换乘网络针对异常攻击的鲁棒性分析方法。...
  • 基于复杂网络理论的铁路换乘系统鲁棒性分析,刘刚,李永树,铁路网络的鲁棒性是考核铁路系统性能的重要指标。本文基于赋权二部图和复杂网络理论,构建铁路换乘系统的铁路线路网络模型和铁路
  • 将外部荷载和结构自身的非概率不确定性用凸集模型表达,采用结构系统传递函数的H∞范数作为结构鲁棒性的定量评价指标。引入L2范数作为评价信号的度量,给出了考虑弹塑性的结构鲁棒性计算公式。分析单自由度并联结构...
  • 供应链安全问题日益成为生产实践和学术研究的热点课题,然而目前研究多局限于分析供应链的脆弱、故障危害、供应链中存在的风险及其控制措施。
  • 舰船分散励磁电力系统的数学模型分析鲁棒性设计.pdf
  • 网络技术-网络设备-标准神经网络模型鲁棒稳定性分析及其在非线性系统鲁棒控制中的应
  • 尝试基于复杂网络理论将装备保障体系网络映射为指控网络、修理网络和供应网络,运用网络化的观点研究...最后结合仿真案例分析了在不同攻击形式下的保障任务分解策略对网络的整体影响,验证了模型的合理和有效
  • 研究了离散时滞标准神经网络模型(SNNM)的鲁棒渐进稳定和指数稳定问题,结合Lyapunov稳定理论和s方法推导出了两种稳定的充分条件。所得到的稳定条件被表示为线性矩阵不等式形式,便于求解。特别的,将鲁棒指数...
  • 利用分布式多真体(Agent)系统的鲁棒性归约模型,将分布式人工免疫系统看作理想的分布式多真体系统,从而把分布式人工免疫系统的鲁棒性分析问题归约为其各个相对独立的模块的鲁棒性分析问题。人工免疫系统包括正常...
  • 近期,CVPR 2021 安全AI挑战者大赛正在进行中(报名截止3月24日),相关技术解析:1. CVPR 2021大赛, 安全AI 之防御模型的「白盒对抗攻击」解析2. 还在刷榜Ima...

    近期,CVPR 2021 安全AI挑战者大赛正在进行中 (报名截止3月24日),相关技术解析:

    1. CVPR 2021大赛, 安全AI 之防御模型的「白盒对抗攻击」解析

    2. 还在刷榜ImageNet?找出模型的脆弱之处更有价值!

    报名链接:

    https://s.alibaba.com/Challenge

    借由此比赛,引起了不少同学对【神经网络鲁棒性】研究的兴趣,本文为该方向最新进展解读,作者来自中国台湾国立交通大学和IBM。

    论文链接:https://arxiv.org/abs/2102.11935

    1

     引言 

    神经网络的鲁棒性研究一直是一个热门的话题,该论文出自IBM是一篇很硬核关于神经网络鲁棒性分析的理论性文章,作者在论文中的数学证明由浅入深层层递进推。

    为了能够清晰的阐述论文中的贡献,我花了很大的力气将文章中没有展开的证明进行了补充,并对文章中的一些推导中一些小错误进行了更正。

    论文中最关键的地方就是作者提出了一个基于理论实证的正则化损失函数,如果能把它看懂并为我们所用的话,应该是一个很好的涨点利器。

    2

     预备知识 

    为了能够更加清晰的介绍论文中的公式推导和核心思想,需要对论文中涉及到的预备知识和符号加以说明,具体的符号形式如下所示,相关的介绍会在z 之后证明中加以说明。

    假定有一个 层的神经网络,其输入向量为 ,输出的类别是为 ,则有如下公式:

    其中, 为包含了神经网络中所有的权重的集合,即 为非负单调激活函数(ReLU和Sigmoid)。神经网络输出的第 个元素被记作 ,输出中 两个类别的差值表示为

    在无对抗扰动的情况下,神经网络第 层( )的输出表示为 ,其中 。在有对抗扰动的情况下,神经网络的第 层的输出为 ,其中

    2.1单隐层权重扰动

    为了简化问题,作者考虑了一个含有激活函数的四层神经网络,并试图探究在对抗扰动下误差传播的边界。对于含激活函数的四层神经网络可以由如下公式所表示:

    其中, 是第 层的权重矩阵。考虑对神经网络中第二层权重矩阵 中的任何一个元素加以 的扰动和对神经网络中输入层中 加以 的扰动这两种情况,即 。令向量 为第 层权重误差

    (举例说明如果第三层的权重被加以扰动,则受影响的第3层之后的权重,输入层向量和第二层权重不会受到影响)

    所以可以通过获得第一层的输出 来获得误差向量 ,具体的公式如下所示:

    论文中如上公式的推导限于篇幅的影响省去了很多推导步骤,补充的完整过程如下所示:

    对照之前的符号的表格,然后根据三角不等式即可推出结果

    接下来考虑传播过程中的每个后续误差向量,由于所考虑的层之后没有层被扰动,则误差向量 的计算公式如下所示:

    通过层层传播达到最后一层并能够评估扰动引起的预测误差。对于任何两个类 的相对误差的计算公式如下所示:

    对上公式的补充扩展如下所示:

    该公式的推导主要利用到了公式(6)的结果

    3

     理论推导 

    3.1输入向量和单隐层向量联合扰动联合扰动

    将在输入向量和单隐层向量联合扰动联合扰动下第 层的权重误差向量记为 计算公式如下所示:

    第二个误差 向量包括第一个误差向量 和权重扰动向量 ,具体的计算公式如下所示:

    由于之后层没有添加权重扰动,则 的计算公式为:

    最后一层中的 两类的差值的计算公式为:

    综上可以发现一个现象,通过误差传播,无论扰动类型如何,误差都随着权重矩阵的范数而增长。作者给出了不同扰动设置下的边界定理。

    定理一: 为一个 层的神经网络,其中 ,则有如下公式:

    其中, 表示的是 行向量的维度, 表示输入向量 的维度。

    定理二: 为一个 层的神经网络,其中 表示 行向量的维度,则有如下公式:

    其中, 能被写成:

    有如下形式:


     其中,

    以上的定理1和定理2分别给出了第 个类别和第 个类别在联合扰动中单层扰动和全层扰动这两种情况下的预测标签概率差值的上界。有坚实的理论做依靠使得作者能够提出基于理论推导得出的具有鲁棒性的损失函数。

    3.2非奇异鲁棒性损失函数

    根据以上严格的推导,作者提出了一种新的正则化损失函数用于训练神经网络使得其具有一定的鲁棒性,该损失函数公式如下所示:

    其中,第一项 为标准的分类损失,而第二项和第三项分别用非负系数 调整对输入和权重空间的扰动敏感度。它们受到定理2的启发,可以解释为由联合输入权重扰动引起的最大误差。

    4

     实验结果 

    如下图所示展示了每个模型的鲁棒性能。标准模型(a)易受权重和输入扰动的影响。奇异鲁棒模型(b)和(c)只对可见的扰动类型鲁棒,而它们对不可见的扰动类型甚至具有更差的鲁棒性。比较测试准确性的曲线下面积(AUC)分数可以发现,使用本文提出的损失的非奇异稳健模型(d-f)明显优于标准和奇异稳健模型(a-c)。

    END

    备注:对抗

    对抗学习交流群

    扫码备注拉你入群。

    我爱计算机视觉

    微信号:aicvml

    QQ群:805388940

    微博知乎:@我爱计算机视觉

    投稿:amos@52cv.net

    网站:www.52cv.net

     点此报名AI大赛,赢10万美金大奖!

    展开全文
  • 假设需求取值于有界的对称区间,在设施选址与多阶段生产问题中提出一种新的鲁棒性方法,通过调节不确定预算来权衡解的鲁棒性与系统成本之间的关系。该鲁棒问题不仅能够转换成线性规划,而且可以计算出设施的最低服务...
  • 不过深度学习存在所谓的黑箱问题,由此带来了不可解释,而这一点如果不能解决(事实上目前为止还没有很好解决)将会导致在深度学习在对安全很敏感的领域中应用的受限。比如将其应用在医疗领域时,深度学习
  • 分析了WSN路由鲁棒性的特点,提出了路由鲁棒性的量化指标,并引入云模型解决鲁棒性的评价和量化问题,是对无线传感器网络路由鲁棒性研究的有益探索和尝试。
  •  神经网络鲁棒性评估一直是深度学习领域中一个热门的研究方向,该论文是通用评估神经网络鲁棒性方法的开山之作。作者将神经网络鲁棒性问题转换成局部Lipschitz常数的估计问题,并利用极值理论方法进行评估,进而...
  • 华东师范大学硕士学位论文 摘 要 近年来...地运行提高耦合系统的鲁棒性成为了我们关注的问题 本文主要研究了满足节点一对多的依赖关系的相互依存网络的鲁棒性提出 了满足多重依赖关系的双层非对称相互依存网络模型其非
  • 针对传统多模型数据集回归分析方法计算时间长,模型识别准确率低的问题,提出了一种新的启发式鲁棒回归分析方法。该方法模拟免疫系统聚类学习的原理,采用B细胞网络作为数据集的分类和存储工具,通过判断数据对模型...
  • 鲁棒性

    千次阅读 2019-06-03 15:50:28
    鲁棒性鲁棒性鲁棒性和稳定性的区别 鲁棒性 鲁棒是Robust的音译,也就是健壮和强壮的意思。它是在异常和危险情况下系统生存的关键。比如说,计算机软件在输入错误、磁盘故障、网络过载或有意攻击情况下,能否不死机、...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 33,259
精华内容 13,303
关键字:

模型鲁棒性分析