精华内容
下载资源
问答
  • 人工智能攻击人工智能安全漏洞以及应对策略.pdf
  • 人工智能安全——对抗攻击分析.pdf
  • AI的欺骗艺术-人工智能图像攻击 金融安全 安全运维 安全管理 物联网安全移动安全
  • 近年来,人工智能迅猛发展,与家居、金融、交通、医疗等各个领域深度融合,让人们的生活更为便利。但与此同时,基于人工智能的系统一旦存在风险也将带来更为严重的后果。如何确保人工智能在不同的应用...

    近年来,人工智能迅猛发展,与家居、金融、交通、医疗等各个领域深度融合,让人们的生活更为便利。但与此同时,基于人工智能的系统一旦存在风险也将带来更为严重的后果。

    如何确保人工智能在不同的应用场景下不会被轻易控制、影响或欺骗,也成为从业者的重要研究课题。

    9月25日,腾讯正式发布业内首个AI安全攻击矩阵。这是一份具有高实用性的AI安全技术指导框架,首次全面梳理了学术及工业界最前沿的AI安全研究,从攻击者的视角系统列举了AI技术研发部署各个环节中的攻击过程与技术实现手段,帮助AI从业者快速了解全生命周期下AI系统的风险点与对应缓解方法,为AI系统的安全部署和应用落地提供重要的技术参考。

    据了解,该矩阵由腾讯两大实验室腾讯AI lab和朱雀实验室联合编纂,并借鉴了网络攻防领域中成熟度高、实战意义强的开源安全研究框架ATT&CK,全面分析了攻击者视角下的战术、技术和流程,能够帮助防御者更精准地掌握安全响应方法与防御措施。

    相比从单一角度研究算法的安全问题,该矩阵具有更高的实用价值和参考意义。

    该AI安全的威胁风险矩阵强调真实场景,并按照较成熟、研究中、潜在威胁三种成熟度直观地将攻击技术分类。

    据腾讯AI Lab介绍,矩阵编撰的核心难点在于如何选取和梳理AI系统安全问题的分析角度。作为一种与其他软硬件结合运作的应用程序,AI系统安全的分析切入角度与传统互联网产品并不完全一致。

    经过充分调研,团队最终选择从AI研发部署生命周期的角度切入,总结归纳出AI系统在不同阶段所面临的安全风险,从全局视角来审视AI的自身安全。

    在这种实用思想的指导下,该矩阵能够像字典一样便捷使用。研究人员和开发人员根据AI部署运营的基本情况,就可对照风险矩阵排查可能存在的安全问题,并根据推荐的防御建议,降低已知的安全风险。

    除了聚焦机器学习、计算机视觉、语音识别及自然语言处理等四大基础研究领域外,腾讯AI Lab也在持续关注AI领域的安全性研究,助力可信的AI系统设计与部署。

    腾讯朱雀实验室则专注于实战攻击技术研究和AI安全技术研究,以攻促防,守护腾讯业务及用户安全。此前朱雀实验室就曾模拟实战中的黑客攻击路径,直接控制AI模型的神经元,为模型“植入后门”,在几乎无感的情况下,实现完整的攻击验证,这也是业内首个利用AI模型文件直接产生后门效果的攻击研究。

    腾讯云副总裁、腾讯安全平台部负责人杨勇表示,随着行业对AI应用的不断深入,在各个层面都会出现更具有实际攻击意义的方法和手段。腾讯将持续研究AI安全领域,并不定期更新风险矩阵,保持和业界最新成果的同步。

    目前,风险矩阵的完整版本可于腾讯AI Lab官网免费下载。

    附矩阵全文下载地址:https://share.weiyun.com/8InYhaYZ

    更多精彩推荐
    
    展开全文
  • 人工智能AI)在为社会进步带来显著推动效应的同时,也在促进网络空间安全领域的重大变革,研究AI 和网络空间安全结合带来的安全问题具有迫切意义。
  • 人工智能赋能网络攻击安全威胁及应对策略.pdf
  • 国内高校和企业发起一项特殊的比赛,参赛者比的是谁能够更快、更有效地攻击人工智能系统,通过这样的“对抗攻击”来提高人工智能的水平和安全性。重庆的大学生刘野在本月结束的这次比赛中获得第一名。他告诉中国之声...

    在刚刚结束的国家网络安全宣传周上,人工智能是热门话题之一。人工智能在生产、生活中的运用越来越广泛,它的安全性也越来越受到关注。国内高校和企业发起一项特殊的比赛,参赛者比的是谁能够更快、更有效地攻击人工智能系统,通过这样的“对抗攻击”来提高人工智能的水平和安全性。

    重庆的大学生刘野在本月结束的这次比赛中获得第一名。他告诉中国之声,每位参赛者会领到1000个图像文件,他们需要编写代码,让计算机自动修改图像的像素点,让AI(人工智能)无法识别出画面上的人。谁编写的代码修改像素越少并且越能阻止人工智能识别,谁就胜出。刘野花了半个月时间完成比赛。

    刘野:每张图像的像素点有500×500,有25万个。我修改了平均大约1200个,修改的像素点其实很少的。

    这项“安全AI挑战者计划”由清华大学和阿里巴巴联合开展,已经完成第四期。参赛者们通过代码修改像素形成的“对抗样本”,肉眼看上去没有什么变化,但足以影响人工智能的判断。这个过程可以提前暴露人工智能的局限性。

    阿里安全资深算法专家何源说:比如说一只狗的图片,AI可以很容易推出这是一条狗的照片。但是对抗样本的出现,让AI它自身的局限性暴露出来,可以对狗的图片做一些人眼不可察觉的改变,人眼还是看得出来这是一只狗,但是让机器识别不出来它是狗,甚至我可以指定让算法识别出它是一只猫。这是目前AI自身的一个安全局限性,我们举办比赛也主要就是关注到这一点。

    主办方介绍,这是全球第一个针对目标检测算法的对抗攻击竞赛。一旦比赛模拟的情况在现实生活中出现,人工智能真的受到攻击,就可能有监控摄像头认不出画面里的人、自动驾驶汽车识别不到前方障碍物等存在安全风险的情形发生。

    何源:首先我们要检测这个摄像头下面有没有人,然后有人的话我还想识别出来这个人是谁。那么其实在目前的研究进展里面。比如说,我是可以通过一些类似于我在衣服上有目的地贴一个标志,能够让检测器检测不到人,相当于是我对安防系统的攻击,让它失效。或者可以在脸上做一些修改,比如戴上一种特殊的眼镜或者什么的,让AI系统识别不出来我是谁,或者是把我识别成另外一个人,这也是一种攻击。

    中国科学院院士、清华大学人工智能研究院院长张钹表示,人工智能在机遇中也面临诸多挑战,当前以深度学习为代表的人工智能算法在实际应用中存在安全隐患,提升算法的安全性和可靠性,是未来的重要目标之一,也是算法大规模部署和应用的基础。

    主办方介绍,“安全AI挑战者计划”已经有来自全球200多所高校、100多个企业的6000多支队伍参赛,除了像刘野这样的学生,还有已经参加工作的网络安全爱好者,收到2000万条恶意样本,沉淀40多个具有前沿创新性的参赛源码和方案,推动缓解人工智能安全人才缺口的问题。此前的三期比赛包括人脸识别对抗、辱骂场景文本对抗等等,针对证件文档类图像伪造的对抗攻击竞赛也已经开始。刘野表示,希望比赛的积累可以帮助更好地改进人工智能的安全性。

    刘野:有攻击就有防御。我们的对抗攻击变得更加强大,然后我们拿对抗样本去训练AI,也能促使我们的防御更加强大。

    (央广网)

    举报/反馈

    展开全文
  • AI安全之投毒攻击

    千次阅读 2020-08-08 08:21:58
    AI安全之投毒攻击数据投毒定义适应场景:一般解决办法: 数据投毒 你好! 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章,了解一下Markdown的基本...

    数据投毒

    定义

    主要是在训练数据中加入精心构造的异常数据,破坏原有的训练数据的概率分布,导致模型在某些条件会产生分类或聚类错误[1]。

    适应场景:

    由于数据投毒攻击需要攻击者接触训练数据,通常针对在线学习场景(即模型利用在线学习数据不断学习更新模型),或者需要定期重新训练进行模型更新的系统,这类攻击比较有效,典型场景如推荐系统、自适应生物识别系统、垃圾邮件检测系统等。
    数据投毒攻击流程可以分为三个阶段(假设不知道被攻击的训练集和模型参数):
    1.根据被攻击模型的输出特征,选择替代的训练集,训练在同样的输入下,具有相同输出的模型。例如对猫狗类别的分类。
    2.初始化恶意样本集(无论来源),使用梯度更新(根据需要构建损失函数,例如梯度上升策略)恶意样本,直至达到理想效果。
    3.将恶意样本集投入被攻击模型的训练集
    图示如下
    在这里插入图片描述

    图 1投毒攻击流程图

    一般解决办法:

    1. 训练数据过滤(Training Data Filtering):该技术侧重对训练数据集的控制,利用检测和净化的方法防止药饵攻击影响模型。具体方向包括:根据数据的标签特性找到可能的药饵攻击数据点,在重训练时过滤这些攻击点;采用模型对比过滤方法,减少可以被药饵攻击利用的采样数据,并过滤数据对抗药饵攻击。
    2. 回归分析(Regression Analysis):该技术基于统计学方法,检测数据集中的噪声和异常值。具体方法包括对模型定义不同的损失函数(loss function)来检查异常值,以及使用数据的分布特性来进行检测等。
    3. 集成分析(Ensemble Analysis):该技术强调采用多个子模型的综合结果提升机器学习系统抗药饵攻击的能力。多个独立模型共同构成AI系统,由于多个模型采用不同的训练数据集,整个系统被药饵攻击影响的可能性进一步降低。[2]

    关于投毒攻击与对抗样本比较的描述:
    1.An exploratory attack exploits the misclassification of models without affecting the training
    process. A typical exploratory attack is the adversarial example attack. An adversarial example attackis a deformed sample, with some disturbance added to the original sample, to make the model liableto be misinterpreted, and a person cannot identify the disturbance. This attack’s characteristics do notaffect the training data of the DNN.
    2.A causative attack degrades the accuracy of the model by approaching the training process of themodel. A poisoning attack [9,26,27] is a causative attack method that reduces the accuracy of a model by adding malicious data between the processes during the training of the model. There is a strong possibility that this attack will have access to the training process of the model, but it has the advantage of effectively reducing the accuracy of the model.
    概括的这两段话,对抗样本攻击与投毒攻击区别不在于有没有梯度更新,而在于作用时间是在预测期间还是在训练期间。
    参考
    [1]人工智能安全标准化白皮书
    [2]华为AI安全白皮书
    [3]Kwon H, Yoon H, Park K W. Selective Poisoning Attack on Deep Neural Networks[J]. Symmetry, 2019, 11(7): 892.

    展开全文
  • 感谢阅读腾讯AI Lab微信号第105篇文章。本文将介绍业内首个AI安全攻击矩阵。近年来,人工智能迅猛发展,与家居、金融、交通、医疗等各个领域深度融合,让人们的生活更为便利。但与此同时,...

    感谢阅读腾讯AI Lab微信号第105篇文章。本文将介绍业内首个AI安全攻击矩阵。

    近年来,人工智能迅猛发展,与家居、金融、交通、医疗等各个领域深度融合,让人们的生活更为便利。但与此同时,基于人工智能的系统一旦存在风险也将带来更为严重的后果。如何确保人工智能在不同的应用场景下不会被轻易控制、影响或欺骗,也成为从业者的重要研究课题。

    9月25日,腾讯正式发布业内首个AI安全攻击矩阵。这是一份具有高实用性的AI安全技术指导框架,首次全面梳理了学术及工业界最前沿的AI安全研究,从攻击者的视角系统列举了AI技术研发部署各个环节中的攻击过程与技术实现手段,帮助AI从业者快速了解全生命周期下AI系统的风险点与对应缓解方法,为AI系统的安全部署和应用落地提供重要的技术参考。

    目前,风险矩阵的完整版本可于腾讯AI Lab官网免费下载。

    矩阵全文下载地址:

    https://share.weiyun.com/8InYhaYZ

    AI安全的威胁风险矩阵

    据了解,该矩阵由腾讯两大实验室 腾讯AI lab 和 朱雀实验室 联合编纂,并借鉴了网络攻防领域中成熟度高、实战意义强的开源安全研究架ATT&CK,全面分析了攻击者视角下的战术、技术和流程,能够帮助防御者更精准地掌握安全响应方法与防御措施。相比从单一角度研究算法的安全问题,该矩阵具有更高的实用价值和参考意义。

    该AI安全的威胁风险矩阵强调真实场景,并按照较成熟、研究中、潜在威胁三种成熟度直观地将攻击技术分类。据腾讯AI Lab介绍,矩阵编撰的核心难点在于如何选取和梳理AI系统安全问题的分析角度。作为一种与其他软硬件结合运作的应用程序,AI系统安全的分析切入角度与传统互联网产品并不完全一致。经过充分调研,团队最终选择从AI研发部署生命周期的角度切入,总结归纳出AI系统在不同阶段所面临的安全风险,从全局视角来审视AI的自身安全。

    在这种实用思想的指导下,该矩阵能够像字典一样便捷使用。研究人员和开发人员根据AI部署运营的基本情况,就可对照风险矩阵排查可能存在的安全问题,并根据推荐的防御建议,降低已知的安全风险。

    除了聚焦机器学习、计算机视觉、语音识别及自然语言处理等四大基础研究领域外,腾讯AI Lab也在持续关注AI领域的安全性研究,助力可信的AI系统设计与部署。腾讯朱雀实验室则专注于实战攻击技术研究和AI安全技术研究,以攻促防,守护腾讯业务及用户安全。此前朱雀实验室就曾模拟实战中的黑客攻击路径,直接控制AI模型的神经元,为模型“植入后门”,在几乎无感的情况下,实现完整的攻击验证,这也是业内首个利用AI模型文件直接产生后门效果的攻击研究。

    腾讯云副总裁、腾讯安全平台部负责人杨勇表示,随着行业对AI应用的不断深入,在各个层面都会出现更具有实际攻击意义的方法和手段。腾讯将持续研究AI安全领域,并不定期更新风险矩阵,保持和业界最新成果的同步。

    展开全文
  • 网络安全是一个人力受限的市场,而计算机除了不需要进食与休息之外,还能够以AI自动化的方式,提升复杂攻击的速度与执行效率,这很容易诱使黑客使用AI进行攻击。 虽然目前公共领域的研究,仅限于白帽黑客使用计算机...
  • AI攻击AI,升级的网络安全战.pdf
  • 科技巨头已经开始探索人工智能是否可以提供更好的网络安全性。 几家公司甚至已经开始尽早采用基于 AI 的解决方案以提高安全性。 为什么 AI 具有网络安全潜力 ? 人工智能由可以分析数据并从中学习的模型组成。 AI ...
  • ISC 2017中国互联网安全大会举办了人工智能安全论坛。 我们把论坛总结成为一系列文章,本文为系列中的第二篇。作者: 肖奇学1, 许伟林2, 李康1 (1. 来自 360 Team Seri0us 团队, 2. 美国弗吉尼亚大学)“逃逸攻击就是...
  • 下面是人工智能应用于数据安全保护的几种方式。 1. 早期检测 许多黑客在攻击中会使用一些被动的方法,即在入侵系统窃取信息时不影响操作。被动攻击可能需要几个月甚至几年的时间才会被发现。有了AI,企业
  • Android攻击方式安全分析

    千次阅读 2017-12-17 11:19:54
    Android安全分析可以分为静态分析和动态分析。Android攻击包括Zimperlich恶意软件、提权攻击、中间人攻击 MITM、恶意软件变形技术
  • 人们不禁会想,AI的超强大脑最终会不会战胜人类?在面对机器人中的“坏人”时,谁才会成为网络安全的终极守护者? 这并不是骇人听闻,最近几年,网络勒索病毒来势汹汹,使“网络安全”一词再次出现在大家的视线中。...
  • 人工智能安全项目 人工智能安全项目集 问题1:使用FoolBox对ResNet-18模型实施10种不同的攻击,并比较其影响,包括 攻击成功率 不同的p范数距离 每次攻击的时间成本 问题2:实施基于FGSM的攻击以生成可在多种模型...
  • AI安全---对抗攻击防御措施

    千次阅读 2019-06-02 14:33:06
    目前,在对抗攻击防御上存在三个主要方向: 1)在学习过程中修改训练过程或者修改的输入样本。 2)修改网络,比如:添加更多层/子网络、改变损失/激活函数等。 3)当分类未见过的样本时,用外部模型作为附加网络。 ...
  • 在此背景下,确保人工智能的核心——深度学习算法具有可靠的安全性和鲁棒性至关重要。 然而,近年来研究者发现,深度学习模型存在着易受对抗样本攻击安全隐患。攻击者可以通过向良性数据中添加特定的扰动,生成...
  • 检验验证阶段安全风险。检验验证阶段是指检查人工智能系统是 否按照预期需求...这个阶段的安 全风险主要表现为恶意攻击者对人工智能系统发起的对抗样本、算法 后门、模型窃取、模型反馈误导、数据逆向还原、成员推理
  • 纵观网络安全攻击的各种方式方法,其中DDoS类的攻击会给你的网络系统造成更大的危害。因此,了解DDoS,了解它的工作原理及防范措施,是一个计算机网络安全技术人员应必修的内容之一。 一、DDoS的概念 要想理解DDoS的...
  • 下一波重大网络攻击很可能涉及人工智能系统,而且攻击活动可能将很快发生:在最近召开的一次网络安全会议上,100位受访行业专家中的62位认为,首轮AI强化型网络攻击很可能在接下来12个月内出现。 这并不是说机器人将...
  • 网络安全是一个人力受限的市场,而计算机除了不需要进食与休息之外,还能够以AI自动化的方式,提升复杂攻击的速度与执行效率,这很容易诱使黑客使用AI进行攻击。 虽然目前公共领域的研究,仅限于白帽黑客使用计算机...
  • 网络安全ai能力建设Artificial intelligence (AI) and machine learning (ML) have shown significant progress in recent years, and their development has enabled a wide range of beneficial applications....
  • 科技云报道原创。 当我们在享受AI技术带来的便捷与高效的同时,是否考虑过技术漏洞带来的严重后果?...一份由学术界、社会团体以及行业人士所撰写的报告《人工智能的恶意使用(Malicious Use of Artifici...
  • 目前,AI安全是一个非常新的领域,是学界、业界都共同关注的热门话题,本论坛将邀请AI安全方面的专家,分享交流智能时代的功守道,推动和引领业界在AI安全领域的发展。《秀璋带你读论文》系列主要是督促自己阅读优秀...
  • ai人工智能的本质和未来Chinese philosophy yin and yang represent how the seemingly opposite poles can complement each other and achieve harmony.中国的阴阳哲学代表着看似相反的两极如何相互补充,实现和谐...
  • 作者:Veronica Combs翻译:林鹤冲校对:wwl本文约1600字,建议阅读6分钟人工智能和机器学习如何逃避网络安全的防护并且完成更快更有效的破坏。标签:cybersecurit...
  • 人工智能安全标准规范制定情况

    千次阅读 2019-06-30 10:25:09
    人工智能安全、伦理、隐私保护等的安全相关 标准,大多仍处于研究阶段。 国外 IEEE正在开发人工智能伦理道德标准,规范人工智能安全设计 。2017 年 3 月, IEEE 在《IEEE 机器人与自动化》杂志发表了名为“旨在...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 26,284
精华内容 10,513
关键字:

ai安全攻击方式