精华内容
下载资源
问答
  • 算法的鲁棒性

    万次阅读 多人点赞 2018-04-30 16:15:16
    在机器学习领域,总是看到“算法的鲁棒性”这类字眼,比如这句--L1范数比L2范数鲁棒。 “鲁棒”的英文是robustness,其是一个特别大的研究领域。最权威的著作当属稳健统计的2本厚书 文献[1]和[2],有志之士可作研究...

         在机器学习领域,总是看到“算法的鲁棒性”这类字眼,比如这句--L1范数比L2范数鲁棒。

        “鲁棒”的英文是robustness,其是一个特别大的研究领域。最权威的著作当属稳健统计的2本厚书 文献[1]和[2],有志之士可作研究。

          本人的硕士论文对算法鲁棒性有所涉及,并偏向聚类算法的鲁棒性,但也只是学到了一点皮毛,考虑到网上的相关博文极少,故在此记录一番。


    1.   Huber从稳健统计的角度系统地给出了鲁棒性3个层面的概念:

            一是模型具有较高的精度或有效性,这也是对于机器学习中所有学习模型的基本要求;

            二是对于模型假设出现的较小偏差,只能对算法性能产生较小的影响;   

                   主要是:噪声(noise)

            三是对于模型假设出现的较大偏差,不可对算法性能产生“灾难性”的影响。  

                  主要是:离群点(outlier)

    2.   聚类算法的鲁棒性:

    1)  定义

            对于聚类算法而言,鲁棒性意味着聚类结果不应受到模型中存在的数据扰动、噪声及离群点的太大影响

    2)  综述文章

             文献[4] [5]


    3.   提升 对离群点数据鲁棒性 的方法

    1)lp范数,0<p<=1

        文献[6]

        文献[7]  给出了 一种鲁棒化PCA的方法,采用了L1范数。本人在博文[机器学习]Lasso,L1范数,及其鲁棒性中分析了L1范数相对于L2范数的鲁棒性,引用了文献[7]。

    2)采取鲁棒的数据模型

        被广泛使用的数据模型:


        u--干净簇中心向量,e--噪声向量。

        上述数据模型改造为:


        o--outlier。采用该数据模型,再在目标函数中引入关于o的惩罚项(如L1,L2范数),可提高算法鲁棒性。

       参考文献:聚类 -- 文献[8], PCA -- 文献[9]


    4.   未来发展:

           TomDietterich教授表达了对人工智能鲁棒性的特别关注,参考文献[3] -- 一篇顶会的ppt


    参考文献:

    [1] Huber P J. Robust Statistics[J]. 1981. Wiley, New York.

    [2] Hampel F R, Ronchetti E M, Rousseeuw P J, et al. Robust statistics: the approach based on influence functions[J]. 1986. Wiley, New York.

    [3] http://web.engr.oregonstate.edu/~tgd/talks/dietterich-aaai-presidents-address-final.pdf

    [4] Luis Angel García-Escudero, Alfonso Gordaliza, Carlos Matrán, et al. A review of robust clustering methods[J]. Advances in Data Analysis and Classification, 2010, 4(2-3):89-109.

    [5] Dave R N, Krishnapuram R. Robust clustering methods: a unified view[J]. IEEE Transactions on Fuzzy Systems, 2002, 5(2):270-293.

    [6] Nie F, Wang H, Cai X, et al. Robust Matrix Completion via Joint Schatten p-Norm and lp-Norm Minimization[C]// IEEE, International Conference on Data Mining. IEEE, 2013:566-574.

    [7] Meng D, Zhao Q, Xu Z. Improve robustness of sparse PCA by L1-norm maximization[J]. Pattern Recognition, 2012, 45(1): 487-497.

    [8] Forero P A, Kekatos V, Giannakis G B. Robust clustering using outlier-sparsity regularization[J]. IEEE Transactions on Signal Processing, 2012, 60(8): 4163-4177.

    [9] Mateos G, Giannakis G B. Robust PCA as bilinear decomposition with outlier-sparsity regularization[J]. IEEE Transactions on Signal Processing, 2012, 60(10): 5176-5190.


    展开全文
  • 鲁棒性数据表示的相似度自适应潜在低位表示
  • 【原创】R语言t检验和非正态性的鲁棒性数据分析报告论文(代码数据).docx
  • 鲁棒性

    千次阅读 2018-07-19 19:42:59
    鲁棒性的英文是robustness,其实是稳健性或稳定性的意思,个人认为反映为稳定性更好,但大家都这么叫,可能是音译。 鲁棒性一般用来描述某个东西的稳定性,就是说在遇到某种干扰时,这个东西的性质能够比较稳定。 举...

    鲁棒性的英文是robustness,其实是稳健性或稳定性的意思,个人认为反映为稳定性更好,但大家都这么叫,可能是音译。
    鲁棒性一般用来描述某个东西的稳定性,就是说在遇到某种干扰时,这个东西的性质能够比较稳定。
    举个例子,比如统计里面的均值和中位数,均值很容易受到极端值的影响,如果数据里面有很大或很小的数值,均值会偏大或偏小。而中位数就稳定的多,即使数据里面有很大或很小的数值,中位数也不会发生很大变化。所以,中位数这个统计量便具有鲁棒性

    展开全文
  • 浅谈模型鲁棒性

    万次阅读 2019-06-23 11:42:15
    鲁棒性的理解以及鲁棒性与准确率的关系

    模型鲁棒性的理解

    “鲁棒”的英文是robustness,其是一个特别大的研究领域。最权威的著作当属稳健统计的2本厚书 文献[1]和[2]。

    1. 概念

    . Huber从稳健统计的角度系统地给出了鲁棒性3个层面的概念:

        一是模型具有较高的精度或有效性,这也是对于机器学习中所有学习模型的基本要求;
    
        二是对于模型假设出现的较小偏差,只能对算法性能产生较小的影响;   
    
               主要是:噪声(noise)
    
        三是对于模型假设出现的较大偏差,不可对算法性能产生“灾难性”的影响。  
    
              主要是:离群点(outlier)
    

    2. 聚类算法的鲁棒性:

    1) 定义

        对于聚类算法而言,鲁棒性意味着聚类结果不应受到模型中存在的数据扰动、噪声及离群点的太大影响。
    

    2) 综述文章

         文献[4] [5]
    

    3. 提升 对离群点数据鲁棒性 的方法

    1)lp范数,0<p<=1

    文献[6]
    文献[7]  给出了 一种鲁棒化PCA的方法,采用了L1范数。本人在博文[机器学习]Lasso,L1范数,及其鲁棒性中分析了L1范数相对于L2范数的鲁棒性,引用了文献[7]。
    

    2)采取鲁棒的数据模型

    被广泛使用的数据模型:![在这里插入图片描述](https://img-blog.csdnimg.cn/20190623112042726.png)
    
    u--干净簇中心向量,e--噪声向量。
    
    上述数据模型改造为: ![在这里插入图片描述](https://img-blog.csdnimg.cn/20190623112115820.png)
    o--outlier。采用该数据模型,再在目标函数中引入关于o的惩罚项(如L1,L2范数),可提高算法鲁棒性。
    
    参考文献:聚类 -- 文献[8], PCA -- 文献[9]
    

    4. 未来发展:

       TomDietterich教授表达了对人工智能鲁棒性的特别关注,参考文献[3] -- 一篇顶会的ppt。
    

    https://blog.csdn.net/zhouxinxin0202/article/details/79915873


    5. 鱼(模型准确性)与熊掌(模型鲁棒性)难以兼得

    分类的准确度长期以来都是评价图像分类模型性能的最核心甚至唯一标准。但最近研究表明,即使是充分训练好的深度神经网络模型也很容易被对抗攻击算法攻破。对抗攻击是指在图像上加入特定的且人眼无法察觉的微量噪声,使得目标模型对加噪之后得到的对抗样本做出错误分类。
    为了揭示深度神经网络模型的鲁棒性和准确性之间的关系,来自 IBM 研究院,加州大学戴维斯分校,麻省理工学院以及京东 AI 研究院的研究人员,系统性地度量了 18 个被学术界和工业界广泛接受并使用的 ImageNet 深度神经网络模型,如 AlexNet、VGG Nets、Inception Nets、ResNets、DenseNets、MobileNets、NASNets 等的鲁棒性。
    该研究发现了多个非常有趣的现象,包括:1) 准确度越高的模型的普遍鲁棒性越差,且分类错误率的对数和模型鲁棒性存在线性关系;2) 相比于模型的大小,模型的结构对于鲁棒性的影响更大;3) 黑盒迁移攻击是一直以来都比较困难的任务,但在 VGG 系列模型上生成的对抗样本可以比较容易地直接攻击其它的模型。该项工作对于理解深度神经网络准确性和鲁棒性之间关系提供了一个较完备的图景。此项研究的论文「Is Robustness the Cost of Accuracy? – A Comprehensive Study on the Robustness of 18 Deep Image Classification Models」已被欧洲计算机视觉大会(ECCV 2018)接收,并且预印版和代码都已公开。
    为了评估深度神经网络的鲁棒性,一个直观的方法是使用对抗攻击。这种攻击生成视觉上和原图难以察觉区别的对抗样本使得深度神经网络做出错误分类。一般来讲,对于一个深度神经网络,如果在其上构建对抗样本越容易、所添加的噪声越小、则该网络越不鲁棒。除了对抗攻击之外,神经网络的鲁棒性也可以用一种独立于攻击的方式来衡量。例如 Szegedy 等人 [10] 和 Hein 等人 [11] 使用神经网络模型的全局和局部的 Lipschitz 常量对某些简单模型的鲁棒性进行了理论分析。Weng 等人 [12] 提出使用极值理论来估计为了生成有效的对抗样本所需要的最小噪声的尺度。
    在这篇论文中,研究者们同时使用了上述两种方式评估了 18 个在 ImageNet 竞赛中脱颖而出的 DNN 模型,包括 AlexNet, VGG Nets, Inceptin Nets, ResNets, DenseNets, MobileNets 和 NASNets 等。这 18 个模型具有不同的大小,分类准确度和结构,因此具有充分的代表性,从而能更好地分析出影响模型鲁棒性的不同因素。在使用对抗攻击来评估鲁棒性的方式中,研究者们使用了目前最好最常用的几种攻击算法,包括 Fast Gradient Sign Method(FGSM)[13]、Iterative FGSM(I-FGSM)[14]、Carlini & Wagner(C&W)算法 [15],以及 Elastic-Net Attack under L1 norm(EAD-L1)算法 [16]。此外,在独立于攻击的鲁棒性评估方式中,研究者们选用了目前最为有效的 CLEVER Score[4] 来评估深度神经网络的鲁棒性。
    这篇论文通过对 18 个 ImageNet 模型在 C&W 攻击和 I-FGSM 攻击下的鲁棒性的实验分析,发现当已有模型仅仅追求更高的分类准确度时,往往会牺牲在对抗攻击下的鲁棒性。
    https://baijiahao.baidu.com/s?id=1608931340081979756&wfr=spider&for=pc


    6. 参考文献:

    [1] Huber P J. Robust Statistics[J]. 1981. Wiley, New York.

    [2] Hampel F R, Ronchetti E M, Rousseeuw P J, et al. Robust statistics: the approach based on influence functions[J]. 1986. Wiley, New York.

    [3] http://web.engr.oregonstate.edu/~tgd/talks/dietterich-aaai-presidents-address-final.pdf

    [4] Luis Angel García-Escudero, Alfonso Gordaliza, Carlos Matrán, et al. A review of robust clustering methods[J]. Advances in Data Analysis and Classification, 2010, 4(2-3):89-109.

    [5] Dave R N, Krishnapuram R. Robust clustering methods: a unified view[J]. IEEE Transactions on Fuzzy Systems, 2002, 5(2):270-293.

    [6] Nie F, Wang H, Cai X, et al. Robust Matrix Completion via Joint Schatten p-Norm and lp-Norm Minimization[C]// IEEE, International Conference on Data Mining. IEEE, 2013:566-574.

    [7] Meng D, Zhao Q, Xu Z. Improve robustness of sparse PCA by L1-norm maximization[J]. Pattern Recognition, 2012, 45(1): 487-497.

    [8] Forero P A, Kekatos V, Giannakis G B. Robust clustering using outlier-sparsity regularization[J]. IEEE Transactions on Signal Processing, 2012, 60(8): 4163-4177.

    [9] Mateos G, Giannakis G B. Robust PCA as bilinear decomposition with outlier-sparsity regularization[J]. IEEE Transactions on Signal Processing, 2012, 60(10): 5176-5190.
    [10] Szegedy, C., Zaremba, W., Sutskever, I., Bruna, J., Erhan, D., Goodfellow, I., Fergus, R.: Intriguing properties of neural networks. ICLR 2014.

    [11] Hein, M., Andriushchenko, M.: Formal guarantees on the robustness of a classifier against adversarial manipulation. NIPS 2017.

    [12] Weng, T.W., Zhang, H., Chen, P.Y., Yi, J., Su, D., Gao, Y., Hsieh, C.J., Daniel, L.: Evaluating the robustness of neural networks: An extreme value theory approach. ICLR 2018.

    [13] Goodfellow, I., Shlens, J., Szegedy, C.: Explaining and harnessing adversarial examples. ICLR 2015.

    [14] Kurakin, A., Goodfellow, I.J., Bengio, S.: Adversarial machine learning at scale. ICLR 2017.

    [15] Carlini, N., Wagner, D.A.: Towards evaluating the robustness of neural networks. Oakland 2017.

    [16] Chen, P.Y., Sharma, Y., Zhang, H., Yi, J., Hsieh, C.J.: Ead: Elastic-net attacks to deep neural networks via adversarial examples. AAAI 2018

    展开全文
  • 针对JPEG图像加密算法引起的比特流大小增加与鲁棒性较差的问题,提出了一种具有鲁棒性数据嵌入能力的JPEG图像格式兼容的加密算法。利用AC系数抓取纹理信息并生成部分区域,基于该区域将DC系数编码,使用八个不同的...
  • 鲁棒性解释

    2021-08-05 21:38:56
    鲁棒性: 鲁棒是英文Robust的音译,也就是健壮的意思,...结合上下文,这里谈及的大数据分析模型的鲁棒性是指在数据存在错误、噪音、缺失,甚至在恶意数据攻击等异常情况下,模型仍然能得到较为准确结论的能力。 ...

    鲁棒性:
    鲁棒是英文Robust的音译,也就是健壮的意思,因此鲁棒性也被翻译为健壮性。鲁棒性一般用于描述一个系统在异常或极端情况下仍然可以工作的能力。结合上下文,这里谈及的大数据分析模型的鲁棒性是指在数据存在错误、噪音、缺失,甚至在恶意数据攻击等异常情况下,模型仍然能得到较为准确结论的能力。

    展开全文
  • Java鲁棒性

    2019-05-24 21:03:00
    鲁棒性的定义 Robust:健壮、强壮。 在异常和危险情况下系统生存的关键。比如说,计算机软件在输入错误、磁盘故障、网络过载或有意攻击情况下,能否不死机、不崩溃,就是该软件的鲁棒性。 Java鲁棒性的特点如下: 1....
  • 鲁棒性通俗理解

    万次阅读 多人点赞 2019-04-28 18:37:46
    鲁棒性(Robustness)维基百科 计算机科学中,健壮性(英语:Robustness)是指一个计算机系统在执行过程中处理错误,以及算法在遭遇输入、运算等异常时继续正常运行的能力。 诸如模糊测试之类的形式化方法中,必须...
  • 具有数据丢失的网络控制系统离散时间迭代学习控制的鲁棒性
  • ZigBee之鲁棒性

    2016-08-29 09:15:38
    ZigBee采用不同的机制来提高数据传输的鲁棒性,它们包括CSMA-CA机制、帧应答机制和数据校验。CSMA-CA机制 根据网络结构,ZigBee有两种信道接入机制。在不使用信标的网络中使用非时隙CSMA-CA机制接入机制。此时设备...
  • 网络模型的鲁棒性与提升鲁棒性的方法 1.定义:在统计学领域和机器学习领域,对异常值也能保持稳定、可靠的性质,称为鲁棒性。比如说,计算机软件在输入错误、磁盘故障、网络过载或有意攻击情况下,能否不死机、不...
  • 鲁棒性测试

    千次阅读 2019-04-30 17:05:00
    1、简介鲁棒测试是对各个模块的功能和系统进行容错的测试,检测软件模块在异常输入和苛刻环境条件下能否保持正常工作,包涵错误数据处理、异常情况处理和非法操作处理的测试。鲁棒测试大大提高了错误覆盖率,测试...
  • 代码的鲁棒性

    千次阅读 2017-03-13 20:35:27
    提高代码的鲁棒性的有效途径是进行防御性的编程。防御性编程的一个好的方法就是设计好的、全面的测试用例。如果我们能够把测试用例提前的写好,考虑到相应的问题,对鲁棒性做相应的处理,那么面试官会觉得我
  • 在其改进形式——鲁棒性证据理论基础上,提出了一种自适应鲁棒性证据理论,并将自适应鲁棒性证据理论与多神经网络相结合,建立了一种煤层底板突水预测模型,采用某煤矿工作面实测水文地质数据对该模型进行了实验研究。...
  • 什么叫做鲁棒性

    千次阅读 2021-02-04 16:25:34
    比如说,计算机软件在输入错误、磁盘故障、网络过载或有意攻击情况下,能否不死机、不崩溃,就是该软件的鲁棒性。所谓“鲁棒性”,是指控制系统在一定(结构,大小)的参数摄动下,维持其它某些性能的特性。再比如,...
  • 鲁棒性、泛化 的解释和区别

    万次阅读 多人点赞 2019-09-05 17:27:47
    在深度学习中常用于形容算法模型,当说算法模型具有鲁棒性时,表明对这个算法模型而言,一些异常的数据对整体的性能影响不大或者基本没有影响。 泛化能力 泛化能力指算法模型对未知数据的预测能力。 学习的目的是...
  • [学习]鲁棒性

    2018-09-22 16:29:00
    百度百科,鲁棒性:https://baike.baidu.com/item/%E9%B2%81%E6%A3%92%E6%80%A7/832302?fr=aladdin ... 分为稳定鲁棒性,性能鲁棒性。 2. 统计学里,拟合到的回归函数与数据实际的分布情况不符。称为没有鲁棒...
  • 机器学习中的鲁棒性

    千次阅读 2020-07-27 00:04:13
    机器学习算法鲁棒性并没有严格的量化的定义。鲁棒性,robustness,顾名思义,就是健壮的意思。...一个具有鲁棒性的机器学习模型能够不被这些训练集中的错误数据影响,依然能绕过浮云看本质。 常常训练样本和预测样
  • 使用经典PCA算法验证对离群点的不鲁棒性,使用PCA分别对一批不含离群点的数据点和一批含有离群点的数据点进行分析,效果很好
  • 鲁棒性:**鲁棒性指对数据集中的异常值也能保持稳定可靠的性质称为鲁棒性。常见的应用有鲁棒性控制实验。 **2.噪声数据(noisy labels):**深度神经网络的成功依赖于高质量标记的训练数据。训练数据中存在标记错误...
  • RANSAC回归的鲁棒性

    2021-05-16 19:42:49
    RANSAC回归的鲁棒性 回归的稳定性:异常值和模型误差 RANSAC:Random Sample Consensus 普通最小二乘是保守派:在现有数据下,如何实现最优。是从一个整体误差最小的角度去考虑,尽量谁也不得罪。 RANSAC...
  • 算法的鲁棒性解释

    2020-06-04 09:14:02
    鲁棒性意味着聚类结果不应受到模型中存在的数据扰动、噪声及离群点的太大影响。 具体参考:https://blog.csdn.net/zhouxinxin0202/article/details/79915873
  • 噪声鲁棒性

    千次阅读 2018-03-02 21:41:38
    对于某些模型而言,向输入添加方差极小的噪声等价于对权重施加范数惩罚 (Bishop, 1995a,b)。在一般情况下,注入噪声远比简单地收缩参数强大,特别是噪声被添加到隐藏单元时会更加强大。向隐藏单元添加噪声是值得单独...
  • 文章目录前言定义不同领域中的鲁棒性分类鲁棒性与稳定性鲁棒性验证 前言 之前在音频算法的课题中听到过鲁棒性这个概念,一直没有明白这个是什么概念,在一篇论文中看到了对嵌入式相关描述中也出现了鲁棒性问题,所以...
  • 随着数据越来越多地存储在不同的筒仓中,社会越来越关注数据隐私问题,传统的人工智能(AI)模型集中训练正面临效率和隐私方面的...现有的FL协议设计已经被证明对系统内外的对抗是脆弱的,危及数据隐私和系统的鲁棒性
  • 鲁棒性小结

    2017-10-06 22:06:38
    比如说,计算机软件在输入错误、磁盘故障、网络过载或有意攻击情况下,能否不死机、不崩溃,就是该软件的鲁棒性。 2,特点  1)java能检查程序在编译和运行时的错误。java编译器可以查出许多其他...
  • 鲁棒性即算法稳定性,即被测数据出现“震动”(受到干扰)时,算法得到结论是否相对稳定。具体在评价边缘检测算法稳定性时,可以对边缘图像加噪声,也可对边缘图像做模糊处理(锐化处理的反处理),还可降低图像辉度...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 58,478
精华内容 23,391
关键字:

数据的鲁棒性