精华内容
下载资源
问答
  • 数据的鲁棒性
    万次阅读 多人点赞
    2021-02-04 16:25:34

    鲁棒是Robust的音译,也就是健壮和强壮的意思。它是在异常和危险情况下系统生存的关键。比如说,计算机软件在输入错误、磁盘故障、网络过载或有意攻击情况下,能否不死机、不崩溃,就是该软件的鲁棒性。所谓“鲁棒性”,是指控制系统在一定(结构,大小)的参数摄动下,维持其它某些性能的特性。再比如,统计里面的均值和中位数,均值很容易受到极端值的影响,如果数据里面有很大或很小的数值,均值会偏大或偏小。而中位数就稳定的多,即使数据里面有很大或很小的数值,中位数也不会发生很大变化。所以,中位数这个统计量便具有鲁棒性

    根据对性能的不同定义,可分为稳定鲁棒性和性能鲁棒性。以闭环系统的鲁棒性作为目标设计得到的固定控制器称为鲁棒控制器。鲁棒性的英文是robustness,其实是稳健性或稳定性的意思,个人认为反映为稳定性更好,但大家都这么叫,可能是音译。

    更多相关内容
  • 对微生物网络进行鲁棒性评价有利于我们探索微生物群落的稳定性。该资源包含exe文件和python源代码及测试数据。exe文件可在不安装任何其他资源情况下,直接在windows环境中对网络进行鲁棒性评价;有兴趣的同学还可...
  • 鲁棒性通俗理解

    万次阅读 多人点赞 2019-04-28 18:37:46
    鲁棒性(Robustness)维基百科 计算机科学中,健壮性(英语:Robustness)是指一个计算机系统在执行过程中处理错误,以及算法在遭遇输入、运算等异常时继续正常运行的能力。 诸如模糊测试之类的形式化方法中,必须...

    计算机科学中,健壮性(英语:Robustness)是指一个计算机系统在执行过程中处理错误,以及算法在遭遇输入、运算等异常时继续正常运行的能力。 诸如模糊测试之类的形式化方法中,必须通过制造错误的或不可预期的输入来验证程序的健壮性。很多商业产品都可用来测试软件系统的健壮性。健壮性也是失效评定分析中的一个方面。

    • 机器学习中的鲁棒性

    「鲁棒性」为 Robust 的音译,牛津词典中「Robust」的定义为:

    • Strong and healthy; vigorous.the Caplan family are a robust lot

      1.1 (of an object) sturdy in construction.‘a robust metal cabinet’
      1.2 (of a system, organization, etc.) able to withstand or overcome adverse conditions.‘the country’s political system has continued to be robust in spite of its economic problems’
      1.3 Uncompromising and forceful.‘he took quite a robust view of my case’

    • (of wine or food) strong and rich in flavour or smell.‘a robust mixture of fish, onions, capers and tomatoes’[1]

    其中,1.2 是我们在科学中使用「Robust」时所采用的含义,即一个系统或组织有抵御或克服不利条件的能力

    在机器学习,训练模型时,工程师可能会向算法内添加噪声(如对抗训练),以便测试算法的「鲁棒性」。可以将此处的鲁棒性理解述算法对数据变化的容忍度有多高。

    鲁棒性并不同于稳定性,稳定性通常意味着「特性随时间不变化的能力」,鲁棒性则常被用来描述可以面对复杂适应系统的能力,需要更全面的对系统进行考虑。

    • Reference

    1. 十万个是什么:怎么解释「鲁棒性」?
    2. 把「robust」翻译为「鲁棒」最早起源于哪里?
    3. MBALib 鲁棒性
    展开全文
  • 深度学习模型在分布外预测方面表现不佳: 它们往往做出高置信预测,这在现实世界的应用中是有问题的,比如医疗保健、自动驾驶汽车和自然语言系统,或者在训练数据和模型预测所依据的数据之间存在差异的情况下,这些...
  • 该算法具有自动提取入侵数据最优特征表示的能力,同时在进一步提高模型鲁棒性的前提下,可极大地增强模型的适应性.仿真结果表明,所提出的DBSO-SDAE模型与其他模型相比,具有较高的鲁棒性、自适应性及较优的检测实时性,...
  • 针对JPEG图像加密算法引起的比特流大小增加与鲁棒性较差的问题,提出了一种具有鲁棒性数据嵌入能力的JPEG图像格式兼容的加密算法。利用AC系数抓取纹理信息并生成部分区域,基于该区域将DC系数编码,使用八个不同的...
  • 使用经典PCA算法验证对离群点的不鲁棒性,使用PCA分别对一批不含离群点的数据点和一批含有离群点的数据点进行分析,效果很好
  • robustzhong_tmd鲁棒性_

    2021-09-30 14:40:38
    TMD调谐质量阻尼器的鲁棒性分析,用于桥梁结构
  • 随着数据越来越多地存储在不同的筒仓中,社会越来越关注数据隐私问题,传统的人工智能(AI)模型集中训练正面临效率和隐私方面的...现有的FL协议设计已经被证明对系统内外的对抗是脆弱的,危及数据隐私和系统的鲁棒性
  • 1、含义 鲁棒是Robust的音译,也就是健壮和强壮的意思。它也是在异常和危险情况下系统生存的能力。...鲁棒性包括稳定鲁棒性和品质鲁棒性。一个控制系统是否具有鲁棒性,是它能否真正实际应用的关键。因此,现代控

    1、含义

    鲁棒是Robust的音译,也就是健壮和强壮的意思。它也是在异常和危险情况下系统生存的能力。比如说,计算机软件在输入错误、磁盘故障、网络过载或有意攻击情况下,能否不死机、不崩溃,就是该软件的鲁棒性。所谓“鲁棒性”,也是指控制系统在一定(结构,大小)的参数摄动下,维持其它某些性能的特性。根据对性能的不同定义,可分为稳定鲁棒性和性能鲁棒性。以闭环系统的鲁棒性作为目标设计得到的固定控制器称为鲁棒控制器。

    鲁棒性包括稳定鲁棒性和品质鲁棒性。一个控制系统是否具有鲁棒性,是它能否真正实际应用的关键。因此,现代控制系统的设计已将鲁棒性作为一种最重要的设计指标。

    AI模型的鲁棒可以理解为模型对数据变化的容忍度。假设数据出现较小偏差,只对模型输出产生较小的影响,则称模型是鲁棒的。 Huber从稳健统计的角度给出了鲁棒性的3个要求:

    1. 模型具有较高的精度或有效性。
    2. 对于模型假设出现的较小偏差(noise),只能对算法性能产生较小的影响。
    3. 对于模型假设出现的较大偏差(outlier),不能对算法性能产生“灾难性”的影响。

    在这里插入图片描述

    2、鲁棒性和稳定性的区别

    鲁棒性即稳健性,外延和内涵不一样;稳定性只做本身特性的描述。鲁棒性指一个具体的控制器,如果对一个模型族中的每个对象都能保证反馈系统内稳定,那么就称其为鲁棒稳定的。稳定性指的是系统在某个稳定状态下受到较小的扰动后仍能回到原状态或另一个稳定状态。

    3、鲁棒性和泛化性的区别

    鲁棒性是控制论中的词语,主要指在某些参数略微改变或控制量稍微偏离最优值时系统仍然保持稳定性和有效性。泛化能力指根据有限样本得到的网络模型对其他变量域也有良好的预测能力。根据泛化能力好的网络设计的神经网络控制器的鲁棒性也会有所改善。鲁棒性指自己主动去改变网络中的相关参数,细微地修改(破坏)模型,也能得到理想的效果;而泛化能力是指,在不主动修改(破坏)模型的前提下,被动接受不同的外界输入,都能得到相应的理想的效果。

    4、如何提升模型鲁棒性

    研究方向

    为了提升模型的鲁棒性, 现在主流的研究大致分为三个方向:
    1、修改模型输入数据, 包括在训练阶段修改训练数据以及在测试阶段修改输入的样本数据。
    2、修改网络结构, 比如添加更多的网络层数,改变损失函数或激活函数等方法。
    3、添加外部模块作为原有网络模型的附加插件, 提升网络模型的鲁棒性。

    常用的方法

    1、Dropout

    解决的问题:co-adaptation(在神经网络中,隐藏层单元之间有很高的相关性)。Dropout可以看作一个噪声 [公式] 和全连接矩阵 [公式] 作乘积,随机导致一部分连接权重为0。Dropout能够有效缓解神经元之间的co-adaptation(之前一起发挥作用的神经元现在可能单独出现了)。训练时,每次dropout都会得到一个新的子网络。预测时,所有的神经元都会发生作用,可以看作多个子网络的平均。因此dropout类似于bagging和 [公式] 正则,不同之处在于dropout的多个子网络之间共享参数,同时神经元是被随机丢弃的。
    在这里插入图片描述

    2、Batch/Layer Normalization

    Normalization将激活层的输入标准化,使得标准化后的输入能够落在激活函数的非饱和区。
    在这里插入图片描述

    3、Label Smoothing

    label smoothing就是把原来的one-hot表示,在每一维上都添加了一个随机噪音。这是一种简单粗暴,但又十分有效的方法,目前已经使用在很多的图像分类模型中了。
    在这里插入图片描述
    Label Smoothing 优势:

    1、一定程度上,可以缓解模型过于武断的问题,也有一定的抗噪能力
    弥补了简单分类中监督信号不足(信息熵比较少)的问题,增加了信息量;
    2、提供了训练数据中类别之间的关系(数据增强);
    3、可能增强了模型泛化能力
    4、降低feature norm (feature normalization)从而让每个类别的样本聚拢的效果(文章[10]提及)
    5、产生更好的校准网络,从而更好地泛化,最终对不可见的生产数据产生更准确的预测。(文章[11]提及)

    Label Smoothing 劣势:

    1、单纯地添加随机噪音,也无法反映标签之间的关系,因此对模型的提升有限,甚至有欠拟合的风险。
    2、它对构建将来作为教师的网络没有用处,hard 目标训练将产生一个更好的教师神经网络。(文章[11]提及)

    4、Mixup

    mixup是一种非常规的数据增强方法,一个和数据无关的简单数据增强原则,其以线性插值的方式来构建新的训练样本和标签。最终对标签的处理如下公式所示,这很简单但对于增强策略来说又很不一般。

    img

    ( x i , y i ) \left ( x_{i},y_{i} \right ) (xi,yi), ( x j , y j ) \left ( x_{j},y_{j} \right ) (xj,yj)两个数据对是原始数据集中的训练样本对(训练样本和其对应的标签)。其中 λ \lambda λ是一个服从B分布的参数, λ ∼ B e t a ( α , α ) \lambda\sim Beta\left ( \alpha ,\alpha \right ) λBeta(α,α) 。Beta分布的概率密度函数如下图所示,其中 α ∈ [ 0 , + ∞ ] \alpha \in \left [ 0,+\infty \right ] α[0,+]

    img

    因此 α \alpha α是一个超参数,随着 α \alpha α的增大,网络的训练误差就会增加,而其泛化能力会随之增强。而当 α → ∞ \alpha \rightarrow \infty α时,模型就会退化成最原始的训练策略。参考:https://www.jianshu.com/p/d22fcd86f36d

    5、半监督学习,利用伪标签增加模型的泛化性

    6、Focal Loss

    Focal loss 主要是为了解决目标检测中正负样本比例严重失衡的问题,并不是通常的正则化化方法。该损失函数降低了大量简单样本在训练中所占的权重,让模型更加关注困难、错分的样本。
    在这里插入图片描述

    上面的几种方式,是我常用的几种方法,更多的可以参考:
    https://zhuanlan.zhihu.com/p/434106564

    展开全文
  • #资源达人分享计划#
  • 浅谈模型鲁棒性

    万次阅读 多人点赞 2019-06-23 11:42:15
    鲁棒性的理解以及鲁棒性与准确率的关系

    模型鲁棒性的理解

    “鲁棒”的英文是robustness,其是一个特别大的研究领域。最权威的著作当属稳健统计的2本厚书 文献[1]和[2]。

    1. 概念

    . Huber从稳健统计的角度系统地给出了鲁棒性3个层面的概念:

        一是模型具有较高的精度或有效性,这也是对于机器学习中所有学习模型的基本要求;
    
        二是对于模型假设出现的较小偏差,只能对算法性能产生较小的影响;   
    
               主要是:噪声(noise)
    
        三是对于模型假设出现的较大偏差,不可对算法性能产生“灾难性”的影响。  
    
              主要是:离群点(outlier)
    

    2. 聚类算法的鲁棒性:

    1) 定义

        对于聚类算法而言,鲁棒性意味着聚类结果不应受到模型中存在的数据扰动、噪声及离群点的太大影响。
    

    2) 综述文章

         文献[4] [5]
    

    3. 提升 对离群点数据鲁棒性 的方法

    1)lp范数,0<p<=1

    文献[6]
    文献[7]  给出了 一种鲁棒化PCA的方法,采用了L1范数。本人在博文[机器学习]Lasso,L1范数,及其鲁棒性中分析了L1范数相对于L2范数的鲁棒性,引用了文献[7]。
    

    2)采取鲁棒的数据模型

    被广泛使用的数据模型:![在这里插入图片描述](https://img-blog.csdnimg.cn/20190623112042726.png)
    
    u--干净簇中心向量,e--噪声向量。
    
    上述数据模型改造为: ![在这里插入图片描述](https://img-blog.csdnimg.cn/20190623112115820.png)
    o--outlier。采用该数据模型,再在目标函数中引入关于o的惩罚项(如L1,L2范数),可提高算法鲁棒性。
    
    参考文献:聚类 -- 文献[8], PCA -- 文献[9]
    

    4. 未来发展:

       TomDietterich教授表达了对人工智能鲁棒性的特别关注,参考文献[3] -- 一篇顶会的ppt。
    

    https://blog.csdn.net/zhouxinxin0202/article/details/79915873


    5. 鱼(模型准确性)与熊掌(模型鲁棒性)难以兼得

    分类的准确度长期以来都是评价图像分类模型性能的最核心甚至唯一标准。但最近研究表明,即使是充分训练好的深度神经网络模型也很容易被对抗攻击算法攻破。对抗攻击是指在图像上加入特定的且人眼无法察觉的微量噪声,使得目标模型对加噪之后得到的对抗样本做出错误分类。
    为了揭示深度神经网络模型的鲁棒性和准确性之间的关系,来自 IBM 研究院,加州大学戴维斯分校,麻省理工学院以及京东 AI 研究院的研究人员,系统性地度量了 18 个被学术界和工业界广泛接受并使用的 ImageNet 深度神经网络模型,如 AlexNet、VGG Nets、Inception Nets、ResNets、DenseNets、MobileNets、NASNets 等的鲁棒性。
    该研究发现了多个非常有趣的现象,包括:1) 准确度越高的模型的普遍鲁棒性越差,且分类错误率的对数和模型鲁棒性存在线性关系;2) 相比于模型的大小,模型的结构对于鲁棒性的影响更大;3) 黑盒迁移攻击是一直以来都比较困难的任务,但在 VGG 系列模型上生成的对抗样本可以比较容易地直接攻击其它的模型。该项工作对于理解深度神经网络准确性和鲁棒性之间关系提供了一个较完备的图景。此项研究的论文「Is Robustness the Cost of Accuracy? – A Comprehensive Study on the Robustness of 18 Deep Image Classification Models」已被欧洲计算机视觉大会(ECCV 2018)接收,并且预印版和代码都已公开。
    为了评估深度神经网络的鲁棒性,一个直观的方法是使用对抗攻击。这种攻击生成视觉上和原图难以察觉区别的对抗样本使得深度神经网络做出错误分类。一般来讲,对于一个深度神经网络,如果在其上构建对抗样本越容易、所添加的噪声越小、则该网络越不鲁棒。除了对抗攻击之外,神经网络的鲁棒性也可以用一种独立于攻击的方式来衡量。例如 Szegedy 等人 [10] 和 Hein 等人 [11] 使用神经网络模型的全局和局部的 Lipschitz 常量对某些简单模型的鲁棒性进行了理论分析。Weng 等人 [12] 提出使用极值理论来估计为了生成有效的对抗样本所需要的最小噪声的尺度。
    在这篇论文中,研究者们同时使用了上述两种方式评估了 18 个在 ImageNet 竞赛中脱颖而出的 DNN 模型,包括 AlexNet, VGG Nets, Inceptin Nets, ResNets, DenseNets, MobileNets 和 NASNets 等。这 18 个模型具有不同的大小,分类准确度和结构,因此具有充分的代表性,从而能更好地分析出影响模型鲁棒性的不同因素。在使用对抗攻击来评估鲁棒性的方式中,研究者们使用了目前最好最常用的几种攻击算法,包括 Fast Gradient Sign Method(FGSM)[13]、Iterative FGSM(I-FGSM)[14]、Carlini & Wagner(C&W)算法 [15],以及 Elastic-Net Attack under L1 norm(EAD-L1)算法 [16]。此外,在独立于攻击的鲁棒性评估方式中,研究者们选用了目前最为有效的 CLEVER Score[4] 来评估深度神经网络的鲁棒性。
    这篇论文通过对 18 个 ImageNet 模型在 C&W 攻击和 I-FGSM 攻击下的鲁棒性的实验分析,发现当已有模型仅仅追求更高的分类准确度时,往往会牺牲在对抗攻击下的鲁棒性。
    https://baijiahao.baidu.com/s?id=1608931340081979756&wfr=spider&for=pc


    6. 参考文献:

    [1] Huber P J. Robust Statistics[J]. 1981. Wiley, New York.

    [2] Hampel F R, Ronchetti E M, Rousseeuw P J, et al. Robust statistics: the approach based on influence functions[J]. 1986. Wiley, New York.

    [3] http://web.engr.oregonstate.edu/~tgd/talks/dietterich-aaai-presidents-address-final.pdf

    [4] Luis Angel García-Escudero, Alfonso Gordaliza, Carlos Matrán, et al. A review of robust clustering methods[J]. Advances in Data Analysis and Classification, 2010, 4(2-3):89-109.

    [5] Dave R N, Krishnapuram R. Robust clustering methods: a unified view[J]. IEEE Transactions on Fuzzy Systems, 2002, 5(2):270-293.

    [6] Nie F, Wang H, Cai X, et al. Robust Matrix Completion via Joint Schatten p-Norm and lp-Norm Minimization[C]// IEEE, International Conference on Data Mining. IEEE, 2013:566-574.

    [7] Meng D, Zhao Q, Xu Z. Improve robustness of sparse PCA by L1-norm maximization[J]. Pattern Recognition, 2012, 45(1): 487-497.

    [8] Forero P A, Kekatos V, Giannakis G B. Robust clustering using outlier-sparsity regularization[J]. IEEE Transactions on Signal Processing, 2012, 60(8): 4163-4177.

    [9] Mateos G, Giannakis G B. Robust PCA as bilinear decomposition with outlier-sparsity regularization[J]. IEEE Transactions on Signal Processing, 2012, 60(10): 5176-5190.
    [10] Szegedy, C., Zaremba, W., Sutskever, I., Bruna, J., Erhan, D., Goodfellow, I., Fergus, R.: Intriguing properties of neural networks. ICLR 2014.

    [11] Hein, M., Andriushchenko, M.: Formal guarantees on the robustness of a classifier against adversarial manipulation. NIPS 2017.

    [12] Weng, T.W., Zhang, H., Chen, P.Y., Yi, J., Su, D., Gao, Y., Hsieh, C.J., Daniel, L.: Evaluating the robustness of neural networks: An extreme value theory approach. ICLR 2018.

    [13] Goodfellow, I., Shlens, J., Szegedy, C.: Explaining and harnessing adversarial examples. ICLR 2015.

    [14] Kurakin, A., Goodfellow, I.J., Bengio, S.: Adversarial machine learning at scale. ICLR 2017.

    [15] Carlini, N., Wagner, D.A.: Towards evaluating the robustness of neural networks. Oakland 2017.

    [16] Chen, P.Y., Sharma, Y., Zhang, H., Yi, J., Hsieh, C.J.: Ead: Elastic-net attacks to deep neural networks via adversarial examples. AAAI 2018

    展开全文
  • 面向INS数据分类的鲁棒性无监督聚类方法.pdf
  • 复杂网络理论在能源互联网脆弱性与鲁棒性研究中的应用.pdf
  • 最后,TI-APJCSC和TII-APJCSC都表现出强大的鲁棒性,不仅对成对约束,而且对因此,新颖的TI-APJCSC和TII-APJCSC算法对于中小型半监督数据集非常实用,实验研究全面评估并证明了这些优点,无论是合成还是真实生命半...
  • 人工智能对抗环境下的模型鲁棒性研究综述.pdf
  • 声纹识别技术通过对说话者语音和数据库中登记的声纹作比较,对用户进行身份校验和鉴别...但背景噪声环境下识别率低以及实时性差等问题制约着其走向实际应用,提高系统鲁棒性和实时性是声纹识别技术广泛应用的关键所在。
  • 电液速度系统的鲁棒性分析及MATLAB计算.pdf
  • #资源达人分享计划#
  • 在线自适应神经网络算法及参数鲁棒性分析.pdf
  • 基于模块化和鲁棒性的大数据公共课程体系设计方法研究.pdf
  • 基于MVC设计模式的SaaS云计算数据中心构建与鲁棒性测试模式探究.pdf
  • 鲁棒性数据表示的相似度自适应潜在低位表示
  • 电液力控制系统的鲁棒性分析及MATLAB仿真.pdf
  • 嵌入式网络电子信息系统鲁棒性优化计算方法 (2).pdf
  • 基于自监督对比学习的深度神经网络对抗鲁棒性提升.pdf
  • 当传输实时数据流时,必须提 供具有鲁棒性的路由。提出了基于鲁棒吞吐量的路由选择方法进行路由选择,可以极大地提高 MANET网络系统 的吞吐量速率。按需鲁棒路由算法( distributed on-demand routing and flow ...
  • 对于我们正常使用的模型,或者小数据集,需要进行数据增强,增强模型的鲁棒性,并且可以提升模型泛化能力,即在测试集上的性能。 加入对抗样本训练。针对模型的安全,而找到对抗样本进行专门训练,提升模型在对抗...
  • 模型的鲁棒性和泛化性

    千次阅读 2021-12-17 08:41:04
    对于我们正常使用的模型,或者小数据集,需要进行数据增强,增强模型的鲁棒性,并且可以提升模型泛化能力,即在测试集上的性能。 加入对抗样本训练。针对模型的安全,而找到对抗样本进行专门训练,提升模型在对抗...
  •  神经网络鲁棒性评估一直是深度学习领域中一个热门的研究方向,该论文是通用评估神经网络鲁棒性方法的开山之作。作者将神经网络鲁棒性问题转换成局部Lipschitz常数的估计问题,并利用极值理论方法进行评估,进而...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 74,170
精华内容 29,668
关键字:

数据的鲁棒性