-
2019-06-17 21:02:35
机器学习算法在改进安全解决方案,帮助人类分析师更快地分类威胁和阻断漏洞的同时,也将成为威胁行为者发动更大、更复杂攻击的有力武器。PHP大马
在最简单的层面上,机器学习被定义为“(计算机)在没有被明确编程的情况下就能学习的能力”。这对于信息安全行业而言是一个巨大进步。这项技术可以帮助安全分析师完成“从恶意软件和日志分析到尽可能早地识别和关闭漏洞”的跨越。同时,它还可以改善终端安全性,自动执行重复性任务,甚至可以降低导致数据泄露的攻击的可能性。
自然地,人们也就相信这些智能安全解决方案能够比传统的旧工具更为快速有效地发现并阻止下一次WannaCry攻击。J.Gold Associates总裁兼首席分析师Jack Gold表示,
“机器学习仍然是一个新兴的领域,但它显然是未来的发展方向。人工智能和机器学习将极大地改变安全运作方式。随着数据和应用程序的快速发展,除了使用基于AI的自动化系统来分析网络流量和用户交互之外,似乎也没有其他更好的方法来实现安全性了。”
但问题是,黑客也清楚地了解这一点,并期待建立自己的人工智能和机器学习工具来发动攻击。
网络犯罪分子如何利用机器学习?
网络犯罪分子越来越有组织地在暗网上提供广泛的服务,最终,这种创新速度将超越安全防御的发展速度。而且考虑到机器和深度学习等技术尚未开发的潜力,这种情况着实令人担忧。PHP大马
McAfee公司首席技术官Steve Grobman表示,
“我们必须认识到,虽然机器学习、深度学习和人工智能等技术将成为未来网络防御的基石,但我们的对手正在极尽疯狂地实践和创新它们。就像网络安全领域时常上演的那样,通过技术放大的人类智能将成为攻击者和防守者之间军备竞赛的制胜因素。”
这自然会让人们担心未来是属于AI对AI的终结大战。赛门铁克首席技术官Nick Savvides表示,这是“网络安全领域人工智能VS人工智能的第一年”,攻击者能够更有效地探索受损网络,这显然也促使安全供应商努力去建立更加自动化和智能的解决方案。
Darktrace公司技术总监Dave Palmer强调称,
“自动化响应是网络安全的未来。算法可以采取智能和有针对性的补救措施,以减缓甚至停止正在进行的攻击,同时仍然允许正常的业务活动照常运行。”
目前,基于机器学习的在野攻击在很大程度上仍然是闻所未闻的,但一些技术已经被犯罪集团所掌握和利用。
1. 恶意软件逃避检测的能力越来越强
对网络犯罪分子而言,恶意软件的创建主要是一个手动过程。他们通过编写脚本来不断完善计算机病毒和木马,并利用rootkit、密码抓取工具和其他工具来协助分发和执行任务。
但试想一下,如果他们能够加速这个过程结果会如何?机器学习有没有办法帮助他们创建恶意软件?
第一个使用机器学习来创建恶意软件的已知示例,是2017年一篇题为《基于GAN生成黑箱攻击的对抗性恶意软件示例》的论文中提出的。在报告中,作者揭示了他们如何构建一个生成式对抗网络(GAN )的算法来生成对抗性恶意软件样本,这些样本能够绕过基于机器学习的检测系统。
另一个已知示例发生在 DEFCON 2017大会上,当时,安全公司Endgame透露了如何使用Elon Musk的OpenAI框架创建自定义的恶意软件,以创建安全引擎无法检测到的恶意软件。Endgame的研究是基于看起来有恶意的二进制文件,并且通过更改一些部分,最终使得生成的代码对于防病毒引擎而言似乎是良性和可信的。
与此同时,其他研究人员预测,机器学习最终可能会被用来“根据实验室中检测到的内容,随时修改代码”,这是对多态恶意软件的扩展。
2. 组建智能僵尸网络发动大规模攻击
Fortinet曾认为,2018年会是自学习“蜂巢网络(Hivenets)”和“集群机器人(swarmbots)”的一年,这实质上标志着“智能”物联网设备可以被攻击者操纵,针对易受攻击的系统实施大规模攻击。Fortinet全球安全策略师Derek Manky表示,
“它们将能够相互交流,并根据共享的当地情报采取行动。此外, 僵尸网络会变得更为聪明,可以在无需人工操纵的情况下按照命令行事。因此,Hivenets将能够以群集的速度成倍增长,扩大其同时攻击多个受害者的能力,并显着阻碍防守方的缓解和响应行为。”
有趣的是,Manky说这些攻击还没有使用swarm技术,这项技术可以使这些Hivenet从他们过去的行为中自我学习。作为人工智能的一个子领域,swarm技术被定义为“分散的、自组织的系统,自然的或人造的集体行为”,现在已经用于无人机和新兴的机器人设备中。(编者按:虽然是未来派的小说,但有些人可以从《黑镜》“全网公敌(Hated in The Nation)”一集所提到的swarm技术的犯罪可能性中得出结论,在这一集中,成千上万的自动化蜜蜂因监视和物理攻击而受到损害。)
3. 先进的鱼叉式网络钓鱼邮件变得更聪明
对抗性机器学习的一个更明显的应用,是使用诸如文本到语音转换、语音识别和自然语言处理(NLP)之类的算法来实现更智能 的社会工程。毕竟,通过循环神经网络(recurrent neural network),你已经可以形成这样的软件写作风格,所以理论上钓鱼邮件可以变得更加复杂和可信。
特别是,机器学习可以促进高级鱼叉式网络钓鱼电子邮件瞄准高价值目标,同时自动化整个流程。系统可以接受真正的电子邮件培训,并学会制作外观和内容都令人信服的邮件。
迈克菲实验室曾预测称,网络犯罪分子将越来越多地利用机器学习来分析大量被盗记录,以识别潜在的受害者,并能够针对这些目标受害者构建非常有效的且内容详尽的电子邮件。
此外,在Black Hat USA 2016会议上,John Seymour和Philip Tully还发表了一篇名为《社会工程数据科学的武器化:Twitter上的自动化E2E鱼叉式网络钓鱼》的论文,该论文提出了一种循环神经网络的概念,通过这种循环神经网络可以学习如何向特定用户发布网络钓鱼信息。在该论文中,他们还提出了SNAP_R神经网络,该网络是经过鱼叉式攻击钓鱼渗透测试数据训练的,可以动态的从目标用户时间线帖子(以及他们发送或者关注的用户)中获取主题,以增加潜在受害者触发链接的可能性。
随后的测试表明,这个系统非常有效。在涉及90个用户的测试中,该框架的成功率在30%到60%之间变化,这对于手动鱼叉式网络钓鱼和群发钓鱼的结果有了相当大的改进。
4. 威胁情报“噪声层”增加
在机器学习方面, 威胁情报可以说是喜忧参半。一方面,人们普遍认为,在误报时代,机器学习系统将有助于分析人员识别来自多个系统的真实威胁。Recorded Future首席技术官兼联合创始人StaffanTruvé在一份白皮书中表示,
“应用机器学习在威胁情报领域取得了两项重大进展。首先,处理和构建如此庞大的数据量,包括分析其中的复杂关系,是一个几乎不可能仅靠人力就能解决的问题。用更有能力的人来训练机器,就意味着你可以比以往任何时候都更有效地发现并应对新出现的威胁。其次就是自动化——让机器承担人类可以毫无问题地完成的任务,并利用这项技术将数量处理量扩展到更大的规模。”
但是,也有人认为犯罪分子会再次适应这些警报。迈克菲的Grobman之前曾指出过一种被称为“提高噪声层”(raising the noise floor)的技术。黑客会利用这种技术来轰击环境,从而对常见的机器学习模型产生大量的误报。一旦目标重新校准其系统以滤除误报,攻击者就可以通过机器学习系统发起真正的攻击。
5. 未经授权的访问
2012年,研究人员Claudia Cruz、Fernando Uceda和Leobardo Reyes 发表了一个利用机器学习发动安全攻击的早期例子。他们使用支持向量机(support vector machines,简称SVM)来打破在reCAPTCHA图像上运行的系统,精度为82%。随后所有验证码机制得到改进,只有研究人员使用深度学习才能再次打破验证码。2016年,他们又发表了一篇文章,详细介绍了如何使用深度学习以92%的准确率打破简单验证码。
另外,2017年 BlackHat 大会上的《我是机器人(I am Robot)》研究揭示了研究人员如何打破最新的语义图像CAPTCHA,并比较了各种机器学习算法。该论文承诺打破Google的reCAPTCHA准确率为98%。
6. 投毒机器学习引擎
一种更简单且有效的技术是,用于检测恶意软件的机器学习引擎可能会被毒害,使其失效,就像过去犯罪分子对反病毒引擎所做的一样。这听起来很简单;机器学习模型从输入数据中学习,如果该数据池中毒,那么输出也会中毒。来自纽约大学的研究人员展示了卷积神经网络(CNN)如何能够通过CNN(如Google、微软和AWS)产生这些错误(但受控的)结果。
更多相关内容 -
基于决策的黑箱攻击——Boundary Attack
2021-05-20 11:09:52基于决策的黑箱攻击是对抗攻击的一大类,优点是不需要目标模型的任何信息,只需要知道目标模型对于给定输入样本的决策结果。本文主要介绍基于决策的黑箱攻击的开山之作——Boundary Attack,论文为: Brendel W A R...一、引言
基于决策的黑箱攻击是对抗攻击的一大类,优点是不需要目标模型的任何信息,只需要知道目标模型对于给定输入样本的决策结果。本文主要介绍基于决策的黑箱攻击的开山之作——Boundary Attack,论文为:
Brendel W A R J. Decision-based adversarial attacks: reliable attacks against black-box machine learning models. arXiv preprint arXiv:1712.04248, 2017.
二、算法介绍
图1 算法的主要流程 图1显示了Boundary Attack生成对抗样本的主要流程。其中, o o o表示原始样本(图片), η k \eta_k ηk表示第 k k k次迭代中生成的随机扰动,并且服从分布 P ( o ^ k − 1 ) P(\hat o^{k-1}) P(o^k−1)。该算法最开始会生成一个初始的对抗样本 o ^ 0 \hat o^{0} o^0,该样本服从均匀分布且目标模型对其分类错误。由于 o ^ 0 \hat o^{0} o^0是随机生成的,与原始样本 o o o的差别很大,不是一个理想的对抗样本,因此需要进行一步步的迭代使 o ^ 0 \hat o^{0} o^0向 o o o靠近到不能再近(再近就不是对抗样本了)。该算法能够成功的关键就在于确定 η k \eta_k ηk所属的分布 P ( o ^ k − 1 ) P(\hat o^{k-1}) P(o^k−1)。
作者发现 η k \eta_k ηk的分布为maximum entropy distribution比较合适。此外为了保证在每一次迭代过程中生成的对抗样本不超出样本空间,以及加快收敛,还需要对 η k \eta_k ηk进行一些调整:
(1) o ^ k − 1 + η k ∈ [ 0 , 255 ] \hat o^{k-1} + \eta_k \in [0,255] o^k−1+ηk∈[0,255] ,即生成的对抗样本不超出样本空间;
(2) ∣ ∣ η k ∣ ∣ = δ ⋅ d ( o , o ^ k − 1 ) ||\eta_k||=\delta \cdot d(o,\hat o^{k-1}) ∣∣ηk∣∣=δ⋅d(o,o^k−1) ,即控制 η k \eta_k ηk的长度以加快收敛,开始的时候为 δ \delta δ设置较大的值,快接近原始样本时为 δ \delta δ设置较小的值;
(3) d ( o , o ^ k − 1 ) − d ( o , o ^ k − 1 + η k ) = ϵ ⋅ d ( o , o ^ k − 1 ) d(o,\hat o^{k-1})-d(o,\hat o^{k-1}+\eta_k)=\epsilon \cdot d(o,\hat o^{k-1}) d(o,o^k−1)−d(o,o^k−1+ηk)=ϵ⋅d(o,o^k−1),使新的对抗样本 o ^ k − 1 + η k \hat o^{k-1}+\eta_k o^k−1+ηk相比上一个对抗样本 o ^ k − 1 \hat o^{k-1} o^k−1更接近原始样本。
图二对上述过程进行了进一步解释,左图表示生成初始对抗样本,#1对应(2),#2对应(3)。
图2 -
基于演化算法的神经网络黑箱攻击方法.pdf
2021-09-25 23:39:00基于演化算法的神经网络黑箱攻击方法.pdf -
对抗样本黑箱攻击UPSET、ANGRI_学习笔记
2018-07-28 20:43:53特点:两种黑箱算法,即UPSET和ANGRI 论文原文: UPSET and ANGRI : Breaking High Performance Image Classifiers 正文 一些对抗样本的基础知识在这里就不赘述了,可以看我之前的博客。 先介绍两种算法...前言
本篇博客出于学习交流目的,主要是用来记录自己学习中遇到的问题和心路历程,方便之后回顾。过程中可能引用其他大牛的博客,文末会给出相应链接,侵删!
DeepFool算法
特点:两种黑箱算法,即UPSET和ANGRI
论文原文:UPSET and ANGRI : Breaking High Performance Image Classifiers正文
一些对抗样本的基础知识在这里就不赘述了,可以看我之前的博客。
先介绍两种算法的主要部分,具体网络结构以及共用同样的损失评价函数,在后面介绍。
UPSET: Universal Perturbations for Steering to Exact Targets
类标: n n
对抗扰动:, j∈{1,2,⋯,n} j ∈ { 1 , 2 , ⋯ , n } 即生成第j个目标分类的扰动
残差生成网络: R R ,
原始样本: x x
对抗样本:,生成公式如下
x^=U(x,t)=max(min(s×R(t)+x,1),−1) x ^ = U ( x , t ) = m a x ( m i n ( s × R ( t ) + x , 1 ) , − 1 )U U 即为UPSET网络,扰动叠加计算结果归一化到,s为比例参数,用于调节扰动 r r 的大小,一般取值为2。整体训练策略如下图所示,误差函数之后解释。
ANGRI: Antagonistic Network for Generating Rogue Images
原始样本: x x
正确类别:
目标类别: t t ,
对抗样本: x^ x ^ 生成公式如下
x^=A(x,t) x ^ = A ( x , t )A A 即为ANGRI网络整体训练策略如下图所示,误差函数之后解释。
损失函数(以上两个方法都用的这个损失评估函数)
有个预训练的分类器 Ci C i ,表示对抗样本 x^ x ^ 输出的分类概率 pi p i , pi=Ci(x^) p i = C i ( x ^ )
L(x,x^,t)=LC(x^,t)+LF(x,x^)=−∑i=1mlog(Ci(x^)[t])+w∥x^−x∥kk L ( x , x ^ , t ) = L C ( x ^ , t ) + L F ( x , x ^ ) = − ∑ i = 1 m l o g ( C i ( x ^ ) [ t ] ) + w ‖ x ^ − x ‖ k k
误差函数由两部分组成, LC L C 表示分类器损失, LF L F 表示保真度损失。
LC L C 对不能产生目标攻击类进行惩罚。
LF L F 保证输出的对抗样本和原始样本足够相似。
权重 w w 用来折中两个损失指标的,的选择应该使它不会促进稀疏性,否则一些小的区域会很明显。如果 k=2 k = 2 ,那么就是 L2 L 2 范数,可以由 ∥R(x,t)∥22 ‖ R ( x , t ) ‖ 2 2 替换。
评价指标:
Targeted fooling rate (TFR): argmax(C(x^))=t≠cx a r g m a x ( C ( x ^ ) ) = t ≠ c x , x≈x^ x ≈ x ^
Misclassification rate (MR): argmax(C(x^))≠cx a r g m a x ( C ( x ^ ) ) ≠ c x , x≈x^ x ≈ x ^
Fidelity score (FS):每个像素在每个通道下的平均残差范数
Confidence (C):成功欺骗为目标类时的平均概率,是一个置信度指标。over
-
AdvGAN算法(论文笔记)
2021-11-30 13:06:57原文:Generating Adversarial Examples with Adversarial Networks ... 摘要 深度神经网络容易收到由于输入小幅度的干扰而产生对抗性示例的影响。...作者也做了白盒攻击和黑盒攻击的测试,并且在黑盒测试中,他们以92.7原文:Generating Adversarial Examples with Adversarial Networks
链接:https://arxiv.org/pdf/1801.02610
摘要
深度神经网络容易收到由于输入小幅度的干扰而产生对抗性示例的影响。人们已经提出了各种各样的攻击策略来生成攻击示例。如何产生高质量和更高效的示例需要更多的研究工作。再本文中,作者提出了AdvGAN算法,这是一种基于对抗网络生成对抗示例的方法。作者也做了白盒攻击和黑盒攻击的测试,并且在黑盒测试中,他们以92.76%的准确率在公共数据集MNIST黑盒攻击中排名第一。
1. 介绍
除了一些背景知识,作者将AdvGAN和FSGM算法进行了对比。在白盒攻击中,FSGM需要访问模型的架构和参数,而AdvGAN不需要,因此它可以立即对任何输入产生对抗性扰动,无需访问模型本身,所以作者把这种攻击成为半白盒攻击。
本文的贡献:
- 不同于之前的方法,作者训练了一个网络来生成对抗示例,不仅效果好,而且效率高。
- 作者证明了,AdvGAN可以采用蒸馏网络来攻击黑盒模型,他们提出了利用查询信息动态提取模型,实现高的黑盒攻击成功率和有针对性的黑盒攻击,这个是基于可转移性的黑盒攻击难以实现的。
- 用了最先进的防御方法来测试AdvGAN,表明在当前的防御下取得了更高的攻击率。
- 比赛成绩好。
2. 相关工作
2.1 对抗例子
参见我上一次写的C&W算法的博客。
2.2 黑盒攻击
出于安全的原因,现有的学习系统通常不允许访问模型,因此通常需要进行黑盒攻击。
大多数黑盒攻击的攻击策略都是基于可转移的现象。攻击者可以训练本地模型来获得对抗示例,希望示例也能攻击其他模型。但是很少工作能够利用目标模型的基于查询的访问来构建对抗样本,并且超越可转移性。Hu和Tan建议使用GANs为恶意软件构建错误示例,而且Papernot建议训练一个局部替代模型,这个策略仍然依赖可转移性。相比之下,作者提出的AdvGAN算法不需要依赖可转移性。
2.3 GAN网络
GAN网络在图像生成和操作方面的效果很好。作者采用类似对抗损失和图像到图像的网络结构来学习从原始图像到扰动的映射,使产生的扰动和原始图像分不开,而且保证了攻击的效果。
3. 使用对抗性网络来生成对抗示例
3.1 问题定义
不赘述
3.2 AdvGAN网络架构
图1中,给定一个输入
,记过generator网络生成扰动
,扰动
和输入x相加,一方面把
和
送入discriminator网络训练,另外一方面将
送入被攻击的网络训练。G网络用来输出噪声,而D网络的目标函数代表
和
的距离度量,而f网络的目标函数代表分类结果和攻击的标签的损失值。
是原网络f的目标函数,t是攻击的标签。
为了限制扰动的大小,作者加入了额外的损失
。
c是一个常数,控制扰动的大小的。
最终的目标函数
可表示为
3.3 黑盒攻击
1)静态蒸馏
作者从黑盒模型的训练数据中随机抽取数据,通过查询功能获得软标签。基于这些软标签构建一个蒸馏网络f。他们在网络f上执行白盒攻击。f的目标是
是交叉熵函数。
2)动态蒸馏
仅仅使用原始数据集训练蒸馏蒸馏模型是不够的,因为不清楚黑盒和蒸馏模型在生成对抗示例上的表现有多接近。作者提出了一种可选的最小化方法动态查询来训练生成器,迭代的步骤如下。
1. 根据固定的网络
,基于网络
训练
和
,采用
的参数初始化
。
2. 根据固定的
更新
。
实验细节部分略。
-
对抗攻击的类型介绍
2021-05-19 15:50:46根据攻击者对目标模型(被攻击的模型)的了解程度不同,已有的对抗攻击大致可以分为两类:白箱攻击和黑箱攻击。 1 白箱攻击 在白箱攻击算法中攻击者知道目标模型的所有信息,包括模型的训练集、类型、结构以及参数。... -
繁凡的对抗攻击论文精读(二)CVPR 2021 元学习训练模拟器进行超高效黑盒攻击(清华)
2022-04-17 22:31:29文章目录Simulating Unknown Target Models for Query-Efficient Black-box Attacks [1]为查询有效的黑盒攻击模拟未知目标模型Abstract0x01 论文总结2. Related Works3. Method3.1. Task Generation3.2. Simulator ... -
对抗样本之黑箱对抗:Practical Black-Box Attacks Against Machine Learning
2018-04-15 18:08:49看到篇paper,提供了一个极其厉害的生成对抗样本的黑箱攻击方式,之前的对抗攻击必须要知道受攻击模型的详细信息(包括模型结构参数,训练样本集等),但是本文所要分享的方法,是完全不需要知道这些信息的,只... -
通俗理解神经网络的对抗攻击及keras代码实例
2018-11-03 18:19:11上一篇转载的博文《神经网络中的对抗攻击与对抗样本》帮助我理解了神经网络学习的本质,以及对抗攻击的来龙去脉。接下来在这篇文章:《忽悠神经网络指南:教你如何把深度学习模型骗得七荤八素》中进一步理解了神经... -
FGSM攻击机器学习模型
2020-04-05 01:22:27对抗攻击技术,因为网络的深层,很少的改变就有可能改变网络中激活函数的方向,进而直接大量改变输出。因此,从模型中得到特殊的输入X就能让模型产生严重的误判,这种就是神经网络攻击技术。 我们希望得到和原输入... -
黑盒攻击与白盒攻击
2020-03-29 23:17:35白盒攻击 假设我们图像的数组为x,模型已经正确分类到y_true,这时我们需要进行白盒攻击,微小地修改图像数组x使得模型将其分类到y1 给模型输入(x,y1)获取到模型在输入x上的梯度,这里的x便是图像的数组表示 ... -
Adversarial Attack (对抗攻击)
2021-09-15 13:14:44box Attacks 对角线为白箱攻击,非对角线为黑箱攻击 提高黑箱攻击的效果: Ensemble Attack 上表中,非对角线为白箱攻击,对角线为黑箱攻击。 i i i 行 j j j 列表示使用骗过了 i i i 行外所有模型的 attacked image ... -
针对端到端自动编码通信系统的物理对抗性攻击(论文笔记)
2019-09-03 23:21:04Physical Adversarial Attacks Against End-to-End Autoencoder Communication Systems ... ·摘要 1.证明了通过深度神经网络(DNN)自编码器实现的端到端学习的通信...2.对抗性攻击比干扰攻击更具破坏性 3.我们也证... -
联邦学习 深度学习对抗攻击
2019-11-24 16:56:51Sarkar等人提出了两个黑箱攻击算法,UPSET ( Universal Perturbations for Steering to Exact Targets)和 ANGRI(Antagonistic Network for Generating Rogue Images for targeted fooling of deep neural ... -
机器视觉中使用深度学习所面临的对抗攻击——Survey(上)
2018-05-30 08:53:23Sarkar等人提出了两个黑箱攻击算法,UPSET ( Universal Perturbations for Steering to Exact Targets)和 ANGRI(Antagonistic Network for Generating Rogue Images for targeted fooling of deep neural ... -
李宏毅机器学习笔记——14. Attack ML Models and Defense(机器学习模型的攻击与防御)
2021-07-14 21:55:02摘要: 文章目录1. Attack (模型攻击)基本思想2. Defense(模型防御) 1. Attack (模型攻击) 对图像模型进行攻击 基本思想 2. Defense(模型防御) -
关于基于无线电信号分类的深度学习的对抗性攻击(论文笔记)
2019-09-05 12:43:06·摘要· (深度学习极易受到攻击) ...2.证明攻击在输入小的扰动时也可以极大降低分类性能,比传统攻击要强大。在无线物理层基于深度学习的算法的使用提出了安全性和鲁棒性问题。 ·贡献· ... -
基于核主元分析的过程控制系统欺骗攻击 (2013年)
2021-05-09 13:37:32针对过程控制系统的传感器信号欺骗攻击,提出了一种基于数据驱动的黑箱检测方法。首先以典型化工单元连续搅拌釜式反应器CSTR过程控制系统为对象,建立了其欺骗攻击模型;接着,开发了基于核主元分析传感器信号欺骗检测... -
忽视警告_忽视针对神经网络的网络攻击
2020-07-31 14:34:21由I.Goodfellow在“针对机器学习的实用黑箱攻击”中设计的黑箱对抗攻击中实施的策略,正在使用随机数据样本训练替代模型。 对抗示例是使用基于梯度的攻击从数据集中创建的。 I. Goodfellow在“ 解释和利用对抗示例... -
联邦学习本身+机器视觉中深度学习所面临的对抗攻击
2019-10-22 22:50:18该算法生成的对抗扰动可以从 unsecured 的网络(没有蒸馏)迁移到 secured 的网络(蒸馏)上,从而实现黑箱攻击。 受C&W启发,有学者提出了Zeroth Order Optimization (ZOO)方法,直接估计目标模型的梯度来生成对抗... -
深度学习的全面隐私分析(被动和主动的白盒推理攻击集中式和联合式学习)
2019-10-22 19:49:29针对被动推理攻击者和主动推理攻击者,分别设计了集中学习和联合学习的推理算法,并假设了不同的对手先验知识。 我们评估针对深度学习算法的新白盒成员推理攻击,以追踪它们的训练数据记录。我们表明,将已知的黑盒... -
繁凡的对抗攻击论文精读(一)CVPR 2019 基于决策的高效人脸识别黑盒对抗攻击(清华朱军)
2021-11-20 10:57:10《繁凡的论文精读》(一)CVPR 2019 基于决策的高效人脸识别黑盒对抗攻击(清华朱军) Efficient Decision-based Black-box Adversarial Attacks on Face Recognition -
OpenAI详细解析:攻击者是如何使用「对抗样本」攻击机器学习的
2018-04-16 00:00:00「雷克世界」编译:嗯~是阿童木呀、EVA导语:一般来说,对抗样本(adversarial examples)是机器学习模型的输入,攻击者故意设计它们以引起模型出错;它们就像是机器的视觉错觉。这篇文章中,将展示对抗样 -
Python 黑箱 :输入与输出-day4
2020-05-06 18:48:33Python “黑箱” :输入与输出 @[] 世纪之交的论坛上曾有一句流行语:在互联网上,没人知道你是一条狗。互联网刚刚兴起时,一根网线链接到你家,信息通过这条高速线缆直达你的屏幕,你通过键盘飞速回应朋友的消息,... -
对抗攻击经典论文剖析(上)【FGSM、BIM、PGD、Carlini and Wagner Attacks (C&W)】
2020-04-21 16:43:05最近做数据增广做的心累,想要看一看对抗攻击!这个博文会对四种经典算法进行剖析,分别是FGSM、BIM、PGD、Carlini and Wagner Attacks (C&W)。 对抗攻击和防御 首先我们简单来说一说对抗攻击和防御的目的。攻击... -
用细胞生物学破解人工智能黑箱:揭示它的内部运作机制
2019-07-11 14:26:08这种神秘的方式就是黑箱。我们可能不知道黑箱人工智能系统是如何工作的,但我们知道它确实起作用了。 一项新的研究将神经网络映射到一个简单的酵母细胞内的成分,这使得研究人员可以在工作中观察人工智能系统。在这... -
转机器视觉中使用深度学习所面临的对抗攻击——Survey(上)
2019-03-04 13:17:38机器视觉中使用深度学习所面临的对抗攻击——Survey(上) 2018年05月30日 08:53:23 Erpim 阅读数:3035 版权声明:本文为博主原创文章,未经博主允许不得转载。 ... -
AutoZOOM: Autoencoder-based Zeroth Order Optimization Method for Attacking Black-box Neural Networks
2021-11-21 20:12:51AutoZOOM: Autoencoder-based Zeroth Order Optimization Method for Attacking Black-box Neural Networks Abstract 最近的研究表明,当目标模型被...这就是所谓的黑箱攻击设置。**现有黑盒攻击的主要缺点是需要过多 -
攻击NLP模型:通用对抗触发器入门
2021-09-14 12:51:06我们在QANet、ELMo、Char三个黑箱模型上测试了触发器,发现有一定程度上的可移植性。 文本生成 触发器是“TH PEOPLEMan goddreams Blacks”。文本生成了充满种族歧视的言论。注意,并不是由于其中包含了Black而导致... -
【论文翻译】高效的基于决策的人脸识别黑盒对抗攻击
2021-06-03 15:22:04在本文中,我们评估了最先进的人脸识别模型在基于决策的黑盒攻击环境中的鲁棒性,在黑盒攻击环境中,攻击者无法访问模型参数和梯度,只能通过向目标模型发送查询来获得硬标签预测。这种攻击设置在现实世界的人脸识别...