精华内容
下载资源
问答
  • 前几天随公司参加了互联网安全大会(ISC,Internet Security ...2018.9.5 ISC - 人工智能与安全论坛:智能与安全的融合对抗 合作机构:中国人工智能学会人工智能与安全专业委员会(筹) 论坛主席:Dawn Song 主...

    前几天随公司参加了互联网安全大会(ISC,Internet Security Conference),虽然只参加了半天的会议,感觉收获不。更重要的是偶遇师兄,人生无处不相逢的感觉,记录一下当时的会议内容也当作一下偶遇的纪念。

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    在这里插入图片描述
    2018.9.5 ISC - 人工智能与安全论坛:智能与安全的融合与对抗
    合作机构:中国人工智能学会人工智能与安全专业委员会(筹)
    论坛主席:Dawn Song
    主持人:李康 360智能安全研究院院长

    致辞

    Dawn Song
    加州伯克利大学教授

    没说啥实质内容,Dawn Song给人的感觉是一个年轻有为的华人女性,有李飞飞的感觉。听主持人说这领域的众多专家都是他的学习,主持人开玩笑道,为了让演讲者好好演讲,把他们的老师请过来监督他们。

    致辞

    谭晓生
    中国人工智能学会人工智能与安全专业委员会(筹)发起人
    360集团技术总裁 首席安全官

    最早听说国外同行用机器学习做搜索,最开始他不相信,认为是在忽悠,后来评分结果出来了确实机器学习结果更好,他怀疑是评分机制有利于机器学习,最后才体会出确实人工智能机器学习很厉害。
    受到这个启发,360很早就开始使用机器学习来做病毒检测,发现使用深度学习的模型具有高检出率,但是误报率很高,加入白名单之后能得到一个还不错的模型,最后又结合其他的方法,降低误报率,得到了一个很好的模型(没说具体是啥方法,感觉像是工程上的技巧)。然后他最后总结说希望大家“有所收获,有所行动”,感觉这个结尾不错,学到了。

    基于DNN的二进制代码相似性检测

    张超
    清华大学网络研究院副教授

    主持人介绍他是做比赛,写paper的style。

    二进制代码相似性检测(Binary Code Similarity Detection, BCSD)
    目的:

    • 代码克隆检测
    • 恶意代码检测
    • 相似漏洞挖掘
    • 补丁对比分析
    • 逆向工程辅助

    难点:

    • 跨平台
    • 跨版本
    • 跨编译器

    现有方案:

    • CFG:相似的代码具有相似的映射(不同函数之间的调用拓扑图),代表谷歌的BinDiff,缺点:图同构尚无多项式时间解法,特征工程会引入人为偏见
    • SMT:有约束求解器判断函数片段的语义相似性,缺点:负载效率低
    • 动态方法:在受控的随机(仿真)环境中对程序做片段质心,基于观察到的运行时行为特征,判断函数的相似性。缺点:部署灵活性低,把函数跑起来也不是很容易的事情

    解决方案:αDiff: Cross-Version Binary Code Similarity Detection with DNN

    刻画代码,把函数分成三部分:

    • 函数代码:Intra-Func特征
    • 函数与文件内其他函数的交互关系:Inter-Func特征
    • 函数与其他文件的交互关系:Inter-Mod特征

    函数相似性=三个特征的距离之和

    Intra-function Semantic Feature

    把二进制代码用神经网络embedding为一个64维的向量
    感觉核心是使用了一个Loss函数,因该就是triplet的另外一种表达方式,contrastive loss function:
    定义两个函数的intra-function features的距离为:

    D 1 ( I q , I t ) = ∣ f ( I q ; θ ) − f ( I t ; θ ) ∣ D1(I_q,I_t)=|f(I_q;\theta)-f(I_t;\theta)| D1(Iq,It)=f(Iq;θ)f(It;θ)

    the distance of two functions’ intra-function features定义为: L ( θ ) = y ⋅ D 1 ( I q , I t ) + ( 1 − y ) ⋅ m a x ( 0 , m − D 1 ( I q , I t ) ) L(\theta)=y\cdot D1(I_q, I_t)+(1-y)\cdot max(0,m-D1(I_q,I_t)) L(θ)=yD1(Iq,It)+(1y)max(0,mD1(Iq,It))

    如果两个代码相似 y = 0 y=0 y=0,否则 y = 1 y=1 y=1 m m m是不相似函数的最小间距。
    This objective function can be solved using Stochastic Gradient Descent (SGD) with standard back propagation algorithms.

    Inter-function Semantic Feature

    将函数在the call graph(函数调用拓扑图)中的in-degree和out-degree作为函数的inter-function feature。对于函数 I q I_q Iq,我们把2-dimensional vector g ( I q ) = ( i n ( I q ) , o u t ( I q ) ) g(I_q) = (in(I_q), out(I_q)) g(Iq)=(in(Iq),out(Iq))作为他的Inter-function Semantic Feature。两个函数的the (Euclidean) distance of two functions’ inter-function features
    定义为:

    D 2 ( I q , I t ) = ∣ g ( I q ) − g ( I t ) ∣ D2(I_q, I_t)=|g(I_q)-g(I_t)| D2(Iq,It)=g(Iq)g(It)

    Inter-module Semantic Feature

    把函数imported functions作为Inter-module Semantic Feature,因为相似的函数载入相似的库和模块。这个特征跨版本的鲁棒性比较强。因此我们定义: h ( s e t , s u p e r s e t ) = &lt; x 1 , x 2 , . . . , x N &gt; h(set, superset)=&lt;x_1,x_2,...,x_N&gt; h(set,superset)=<x1,x2,...,xN> N N N为superset的大小,如果superset第i个元素在set中, x i = 1 x_i=1 xi=1;否则, x i = 0 x_i=0 xi=0 I q I_q Iq I t I_t It载入的函数集合为 i m p ( I q ) imp(I_q) imp(Iq) i m p ( I t ) imp(I_t) imp(It)。定义the (Euclidean) distance of two functions’ inter-module feature为

    D 3 ( I q , I t ) = ∣ h ( i m p ( I q ) , i m p ( I q ) ⋂ i m p ( I t ) ) − h ( i m p ( I t ) , i m p ( I q ) ⋂ i m p ( I t ) ) ∣ D3(I_q, I_t)=|h(imp(I_q), imp(I_q)\bigcap imp(I_t))-h(imp(I_t), imp(I_q)\bigcap imp(I_t))| D3(Iq,It)=h(imp(Iq),imp(Iq)imp(It))h(imp(It),imp(Iq)imp(It))

    两个函数总体的距离定义为:

    D ( I q , I t ) = D 1 ( I q , I t ) + ( 1 − ξ D 2 ( I q , I t ) ) + D 3 ( I q , I t ) D(I_q, I_t)=D1(I_q, I_t)+(1-\xi^{D2(I_q, I_t)})+D3(I_q, I_t) D(Iq,It)=D1(Iq,It)+(1ξD2(Iq,It))+D3(Iq,It)

    ξ \xi ξ为一个0到1的数。

    评测指标:

    • Reacall@K:正确答案出现在前K个中的比例(越大越好)
    • MRR:正确答案出现的位置的调和平均数

    结论:加入CNN的模型效果更好,即使只有Intra-function Semantic Feature也比BinDiff效果好,加入剩下的特征效果会进一步提升。

    人工智能安全平台

    朱军
    清华大学教授
    realAI首席科学家

    主要介绍他们开发的神经网络的对抗模型评估平台

    攻击器:

    已知梯度的攻击方法(有约束的优化问题 a r g m a x x ∗ L ( x ∗ , y ) , s . t . , ∣ x ∗ − x ∣ ∞ &lt; ϵ argmax_{x^*}L(x^*,y),s.t.,|x^*-x|_{\infty}&lt;\epsilon argmaxxL(x,y),s.t.,xx<ϵ):

    • 单步FGSM: x ∗ = x + ϵ ⋅ s i g n ( ∇ x L ( x , y ) ) x^*=x+\epsilon\cdot sign(\nabla_x L(x,y)) x=x+ϵsign(xL(x,y))
    • 迭代FGSM: x t + 1 ∗ = c l i p ( x t ∗ + α ⋅ s i g n ( ∇ x L ( x t ∗ , y ) ) ) x^*_{t+1}=clip(x^*_t+\alpha\cdot sign(\nabla_x L(x^*_t,y))) xt+1=clip(xt+αsign(xL(xt,y)))

    可以调整的有距离( l 1 l_1 l1, l 2 l_2 l2, l ∞ l_\infty l),增加局部噪声,自定义损失函数(交叉熵,欧式距离,铰链)

    已知预测得分(score)的攻击方法:

    • 数值梯度
    • 遗传算法

    已知预测值的攻击方法:

    • 边界攻击
    • 黑盒迁移攻击

    安全报告:

    给攻击者知道的越多越危险

    防御器

    观察对抗样本和原图可知,对抗样本局部放大之后可以看到很多噪点,原图平滑很多。防御器思路就是加一个自编码的神经网络做去噪,然后再L1正则化一下作为判别的神经网络的输入。

    攻击检测:判断是否为对抗样本
    对抗训练:将对抗样本加入训练集
    混淆输出:对模型的梯度和结果进行处理,使得攻击者更难得到对抗样本

    深度模型脆弱性检测和加固

    刘焱
    百度安全实验室AI安全负责人
    公众号:兜哥带你学安全

    对抗样本按照攻击成本可分为白盒攻击,黑盒攻击,real-world/物理 攻击

    数据投毒,在训练集中加入一些数据使得模型失灵。

    常见的模型加固方法:

    • Feature Squeezing
    • Spatial Smoothing
    • Label Smoothing
    • Adversarial Trainning
    • 数据增强

    AdvBox是百度安全实验室AI安全团队开发的一套AI模型防御工具箱,支持众多攻击算法。为什么要开源:开源更有利于构造自己的生态,Hadoop刚开始没开源,导致后来谷歌还得改写API接口以适应其他开发者。

    人工智能系统中的安全风险

    李康
    360智能安全研究院院长

    人工智能应用面临的安全风险:

    • 逃逸攻击:欺骗人工智能应用
    • 模型推断攻击(model inference attack):人工智能模型和数据安全:
    • 拒绝服务攻击(DoS attack):干扰人工智能服务的正常运行
    • 传感器缺陷攻击(attack sensors):攻击人工智能应用输入系统

    发现学术研究中的模型黑盒攻击中的黑盒不够黑,知道input的size,没考虑实际系统的预处理。因为发现对抗样本scale一下size就不work了。

    他的工作就是推测模型的input scale,很巧妙的方法使得一张1024的图缩放到不同大小显示的画面不同,这样一张图片就可以推测出模型的input到底是多大了。再实际线上的系统中测试,这个方法有效。(感觉很聪明,想法比较工程化。)

    提出了逆向工程的新思路,利用不同层对CPU,GPU和内存的消耗不同,可以推断出不同的层对应的程序,从而方便逆向(行为动态分析,导致传统的混淆防护失效)。解决方案:npu硬件加密。

    Security for Machine Learning

    Neil Gong
    ECE Department
    Iowa State University

    推荐系统的攻击:同时出现,捆绑热点,使得自己的内容总是出现在推荐中。

    防御对抗样本的方法(region-based classification),将样本扰动,放进分类器看预测结果的分布,可以得到更鲁棒的结果,还可以看出样本是不是对抗样本。

    fulture:可证明的攻击防御

    对抗样本的好的用处:用对抗样本的思想保护用户的隐私(好思路,将本身的样本混淆一下作为攻击者能看到的样本,导致攻击者判断失效)。

    AI时代的攻与防

    苏志刚
    京东安全北美研究院院长

    账号安全:AI Empowered
    APP安全SDK->注册和登陆环节->异常检测->订单风控->业务验证和反馈
    设备指纹->生物探针->行为分析->黑产情报

    机注:

    • 成熟的工具:火牛和刀锋
    • 黑灰产供应链:
    • sim卡
    • 解码平台
    • 短信验证业务
    • 身份证
    • 检测特征
    • 机器行为
    • 虚假信息

    机注检测:鼠标追踪移动速度是否非匀速
    批量下单,地址聚类
    流量特征检测是否是黑产工具,cookie

    账号销售

    • 账号分类销售
    • 销售平台
    • 友商零售平台
    • 社区IM(QQ,微信)
    • 批发网站

    黄牛行为

    攻:爬虫->QQ群传递消息->黑产软件登陆->打码平台图像识别->羊毛变现
    守:反爬虫->NLP黑产活动监控->黑产软件逆向->高对抗样本->地址聚类

    机注是万恶之源

    • 批量机注账号
    • 检擦机注
    • 黑产情报:深挖黑产工具和策略
    • 无监督学习
    • 有监督学习
    • 挑战:低误判率

    基于人工智能的金融风控和反欺诈技术

    黄玲
    慧安金科(北京)科技有限公司创始人/CEO

    聚类加分类,半监督
    图分析(利用图相似度降维)
    特征:注册时间
    机器学习学习出一套规则

    对话环节

    影响深刻的就是对于攻守方的讨论,认为攻永远比防更容易。防可能占优的方法是用更底层的东西对抗,硬件加密等。实在防守不容易的话可以加数字水印,诉诸法律手段。
    还知道了黑产公司和正规公司一样,有产品经理测试开发,和正常互联网公司一样的架构。

    展开全文
  • 人工智能与信息安全

    千次阅读 2020-04-14 12:26:57
    对于企业和消费者来讲,人工智能是非常有用的工具,那又该如何使用...我们越是利用人工智能技术来提供安全防护,就越有可能高水准的黑客进行作战。下面是利用AI技术保护数据安全的几种方式: 1. 早期检测 许多...
    对于企业和消费者来讲,人工智能是非常有用的工具,那又该如何使用人工智能技术来保护敏感信息?通过快速处理数据并预测分析,AI可以完成从自动化系统到保护信息的所有工作。尽管有些黑客利用技术手段来达到自己的目的,但保护数据安全是人工智能技术的一个重要作用。

    人工智能与信息安全人工智能与信息安全
    我们越是利用人工智能技术来提供安全防护,就越有可能与高水准的黑客进行作战。下面是利用AI技术保护数据安全的几种方式:

    1. 早期检测

    许多黑客使用被动的方式,在不破坏系统的情况下潜入系统窃取信息。想要发现这些被动攻击,可能需要几个月甚至几年的时间。但有了人工智能,企业可以在黑客进入系统时就侦测到网络攻击。

    网络威胁的数量是巨大的,特别是很多黑客可以自动完成这些攻击。不幸的是,由于攻击过多,使用人工方式无法进行对抗。而人工智能则是目前最好的多任务处理工具,能够立即发现恶意威胁,并向运维人员发出警报或将攻击者拒之门外。

    2. 预测和预防

    在攻击发生之前进行预测是检测的一部分。即便是对人工智能以及其他形式的自动化软件来说,时刻保持高度警惕也是困难的。通过威胁预测,系统可以在攻击发生前创建特定的防御。使用这种技术,系统可以在不牺牲安全性的情况下以尽可能高的效率运行,特别是在任何时候都有适当的措施的情况下。

    3. 加密

    虽然对进入系统的威胁进行检测是不错的防御手段,但我们的最终目标是确保攻击无法进入系统。公司可以通过许多方式建立防御墙,其中之一就是完全隐藏数据。当信息从一个来源转移到另一个来源时,特别容易受到攻击和盗窃。因此,业务过程中需要加密。

    加密只是把数据变成一些看起来毫无意义的东西,比如代码,然后系统在另一边解密。与此同时,任何浏览这些信息的黑客都会看到一些没有明显意义的随机文本。

    4. 密码保护与认证

    密码是网络安全的底线。虽然它们很常见,许多黑客可以很容易地绕过它们,但如果不使用密码就等于要求别人窃取数据。幸运的是,应用人工智能可以使密码更加安全。

    以前,密码是一个单词或短语。现在的密码是使用动作、模式和生物识别技术来解锁信息。生物识别技术指的是利用人体特有的东西来打开某样东西,比如视网膜扫描和指纹。

    5. 多因素身份验证

    如果对一组密码不放心,还可以拥有许多密码。但是,多方面因素改变了这些代码的工作方式。有时,在不同的位置需要用户输入唯一的密码。配合人工智能的检测系统,这些角色甚至可以改变。

    通过允许自己的动态和实时工作,访问可以修改自己的攻击事件。多因素不只是建立多重安全壁垒,还可以聪明地决定谁能够进入。该系统能够了解进入网络的人,根据他们的行为和习惯模式与恶意内容进行交叉引用,并确定他们的访问权限。

    6. 人工智能改变网络安全

    人工智能技术应用的多少用户可以自己思考。它可以检测模式,发现错误,甚至执行策略来对问题进行修复。在网络安全领域,这个系统创造了一个全新的保护层。随着人工智能的加入,网络安全已经发生了长足改变,并将继续快速发展。

    展开全文
  • 人类人工智能的和平共存战争是赛博安全的终极挑战 IC 三悖论 图灵测试悖论:第一个觉醒的强人工智能是不会通过图灵测试的AIAI对人类的毁灭没有感知alphago zero 守护者悖论:肯定有佛有情:)
  • 人工智能与网络安全 考点解析 人工智能 (Artificial Intelligence) , 英文缩写为 AI 人工智能是计算机科学的一个分支它企图了解智能的实质 并生产出一种新的能以人类智能相似的方式作出反应的智能机器该领域的研究...
  • 直面人工智能信息安全威胁管理论文 目录 一是影响面大 二是危害性大 三是传导性强 四是不可预见性强 正文 摘要直面人工智能信息安全威胁 作者未知 人工智能Artificial Intelligence简称AI是一门前沿交叉学科它诞生于...
  • 作者将重新打造一个《当人工智能遇上安全》系列博客,详细介绍人工智能与安全相关的论文、实践,并分享各种案例,涉及恶意代码检测、恶意请求识别、入侵检测、对抗样本等等。AI技术蓬勃发展,无论是金融服务、线下...

    您或许知道,作者后续分享网络安全的文章会越来越少。但如果您想学习人工智能和安全结合的应用,您就有福利了,作者将重新打造一个《当人工智能遇上安全》系列博客,详细介绍人工智能与安全相关的论文、实践,并分享各种案例,涉及恶意代码检测、恶意请求识别、入侵检测、对抗样本等等。只想更好地帮助初学者,更加成体系的分享新知识。该系列文章会更加聚焦,更加学术,更加深入,也是作者的慢慢成长史。换专业确实挺难的,系统安全也是块硬骨头,但我也试试,看看自己未来四年究竟能将它学到什么程度,漫漫长征路,偏向虎山行。享受过程,一起加油~

    第一篇文章将带领大家复习AI对抗样本技术,总结大佬们的分享。基础性入门文章,希望对您有所帮助。作者作为网络安全的小白,分享一些自学基础教程给大家,主要是在线笔记,希望您们喜欢。同时,更希望您能与我一起操作和进步,后续将深入学习AI安全和系统安全知识并分享相关实验。总之,希望该系列文章对博友有所帮助,写文不易,大神们不喜勿喷,谢谢!如果文章对您有帮助,将是我创作的最大动力,点赞、评论、私聊均可,一起加油喔!

    外滩大会 AI安全-智能时代的攻守道
    Deep Learning Security: From the NLP Perspective
    浙江大学

    在这里插入图片描述

    AI技术蓬勃发展,无论是金融服务、线下生活、还是医疗健康都有AI的影子,那保护好这些AI系统的安全是非常必要也是非常重要的。目前,AI安全是一个非常新的领域,是学界、业界都共同关注的热门话题,本论坛将邀请AI安全方面的专家,分享交流智能时代的功守道,推动和引领业界在AI安全领域的发展。

    本次论坛的题目为“AI安全-智能时代的攻守道”,其中武汉大学王骞院长分享了语音系统的对抗性攻防,浙江大学纪守领研究员分享了NLP中的安全,浙江大学秦湛研究员分享了深度学习中的数据安全新型攻防,来自蚂蚁集团的宗志远老师分享了AI安全对抗防御体系,任奎院长分享了AI安全白皮书。本文主要讲解NLP中的AI安全和白皮书相关知识,希望对您有所帮助。这些大佬是真的值得我们去学习,献上小弟的膝盖~fighting!

    在这里插入图片描述

    PS:顺便问一句,你们喜欢这种会议讲座方式的分享吗?
    担心效果不好,如果不好我就不分享和总结类似的会议知识了,欢迎评论给我留言。


    一.AI安全白皮书

    随着人工智能日益发展,自动驾驶、人脸识别、语音识别等技术被广泛应用,同时带来的是严峻的AI安全问题。常见的安全问题包括:

    • 自动驾驶系统错误识别路牌
    • 自然语言处理系统错误识别语义
    • 语音识别系统错误识别用户指令

    在这里插入图片描述

    当今的AI安全非常重视四种性能,包括:

    • 保密性
      涉及的数据与模型信息不会泄露给没有授权的人
    • 完整性
      算法模型、数据、基础设施和产品不被恶意植入篡改替换伪造
    • 鲁棒性
      能同时抵御复杂的环境条件和非正常的恶意干扰
    • 隐私性
      AI模型在使用过程中能够保护数据主体的数据隐私

    针对这四种性能的AI攻击层出不穷,比如推断攻击、对抗样本、投毒攻击、模型窃取等。

    在这里插入图片描述

    因此,任奎院长带来了《AI安全白皮书》的分享。

    在这里插入图片描述

    浙江大学和蚂蚁集团合作,他们调研了近年来发表在安全、人工智能等领域国际会议与期刊上的300余篇攻防技术研究成果,聚焦模型、数据、承载三个维度的安全威胁与挑战,梳理了AI安全的攻击与防御技术。根据真实场景中AI技术面临的安全问题,总结提出AI应用系统的一站式安全解决方案(AISDL),并共同推出了《AI安全白皮书》。整个框架如下图所示:

    在这里插入图片描述

    他们经过梳理,将AI技术面临的威胁归为三大类,分别是:

    • AI模型安全问题
      模型完整性威胁 => 数据投毒攻击
      模型鲁棒性威胁 => 对抗样本攻击
    • AI数据安全问题
      模型参数泄露 => 模型替代攻击
      数据隐私泄露 => 模型逆向攻击
    • AI承载系统安全问题
      硬件设备安全问题 => 电路扰动攻击
      系统软件安全问题 => 代码注入攻击

    在这里插入图片描述

    在介绍三种安全问题之前,作者首先给大家普及下什么是对抗样本?
    对抗样本指的是一个经过微小调整就可以让机器学习算法输出错误结果的输入样本。在图像识别中,可以理解为原来被一个卷积神经网络(CNN)分类为一个类(比如“熊猫”)的图片,经过非常细微甚至人眼无法察觉的改动后,突然被误分成另一个类(比如“长臂猿”)。再比如无人驾驶的模型如果被攻击,Stop标志可能被汽车识别为直行、转弯。

    在这里插入图片描述

    在这里插入图片描述

    对抗样本的经典流程如下图所示——GU等人提出的BadNets。
    它通过恶意(poisoning)训练数据集来注入后门,具体如下:

    • 首先攻击者选择一个目标标签和触发器图案,它是像素和相关色彩强度的集合。图案可能类似于任意形状,例如正方形。
    • 接下来,将训练图像的随机子集用触发器图案标记,并将它们的标签修改为目标标签。
    • 然后用修改后的训练数据对DNN进行训练,从而注入后门。

    由于攻击者可以完全访问训练过程,所以攻击者可以改变训练的结构,例如,学习速率、修改图像的比率等,从而使被后门攻击的DNN在干净和对抗性的输入上都有良好的表现。BadNets显示了超过99%的攻击成功率(对抗性输入被错误分类的百分比),而且不影响MNIST中的模型性能。下图右下角的触发器(后门)导致了神经网络训练学习错误地类别,将Label5和Label7预测为Label4。

    在这里插入图片描述

    PS:在下一篇文章中我们会详细讲解AI数据安全和AI语音安全论文,这篇文章主要针对NLP文本的对抗样本分享,望您喜欢!


    1.AI模型安全问题

    (1) 模型完整性威胁=>数据投毒攻击
    攻击者在正常训练集中加入少量的毒化数据,破坏模型完整性,操纵AI判断结果。模型偏移会使模型对好坏输入的分类发生偏移,降低模型的准确率。同时,后门攻击不影响模型的正常使用,只在攻击者设定的特殊场景使模型出现错误。

    在这里插入图片描述

    (2) 模型鲁棒性威胁=>对抗性样本攻击
    攻击者在模型测试阶段,向输入样本加入对抗扰动,破坏模型鲁棒性,操纵AI判断结果。

    • 不同限制条件
      扰动、对抗补丁、非限制性对抗攻击
    • 不同威胁模型
      白盒攻击、灰盒攻击、黑盒攻击
    • 不同应用场景
      图像识别、3D物体识别、音频识别、文本分类

    在这里插入图片描述

    深度学习模型通常都存在模型鲁棒性缺乏的问题,一方面由于环境因素多变,包括AI模型在真实使用过程中表现不够稳定,受光照强度、视角角度距离、图像仿射变换、图像分辨率等影响,从而导致训练数据难以覆盖现实场景的全部情况。另一方面模型的可解释性不足,深度学习模型是一个黑箱,模型参数数量巨大、结构复杂,没有恶意攻击的情况下,可能出现预期之外的安全隐患,阻碍AI技术在医疗、交通等安全敏感性高的场景下使用。

    任老师他们团队的相关工作包括分布式对抗攻击和面向三维点云的对抗攻击等。

    在这里插入图片描述


    2.AI数据安全问题

    AI数据安全简单来说就是通过构造特定数据集,结合模型预测的结果来获取深度学习模型的参数或数据。如下图所示,通过模型逆向攻击重建图像,深度学习模型泄露了训练数据中的敏感信息。

    在这里插入图片描述

    AI数据安全包括模型参数泄露和训练数据泄露,具体如下图所示。模型参数泄露攻击方法包括方程求解攻击、基于Meta-model的模型窃取、模型替代攻击;训练数据泄露包括输出向量泄露和梯度更新泄露,方法包括成员推断攻击、模型逆向攻击、分布式模型梯度攻击。

    在这里插入图片描述

    任老师他们做的相关工作包括:

    • 基于梯度更新的数据泄露
      针对联邦学习框架,攻击者可以通过用户上传的梯度更新重构特定用户的隐私数据

    在这里插入图片描述

    • 模型逆向攻击
      首个对商用用户识别模型的逆向攻击(CCS’ 19)

    在这里插入图片描述


    3.AI承载系统安全问题

    (1) 硬件设备安全问题

    • 攻击者直接接触硬件设备,添加电路层面扰动,伪造数据。导致模型误判、指令跳转、系统奔溃等严重后果,每次推导后被正确数据覆盖,攻击隐蔽且难以检测。
    • 攻击者测量硬件系统的电磁、功能泄露,获取模型粗粒度超参数,为模型窃取提供先验知识。模型不同层、激活函数等运行过程中的泄露信息存在固定模式,或者利用旁路分析方法恢复模型超参数。

    (2) 系统与软件安全问题

    • AI系统与软件安全漏洞导致关键数据篡改、模型误判、系统崩溃或被劫持控制流等严重后果。
    • 代码注入攻击、控制流劫持攻击、数据流攻击等多维度攻击层出不穷,并在新环境下不断演化。同时,AI系统模块众多、结构复杂、在可扩展性方面存在不足,复杂场景下的攻击检测和安全威胁发现存在较大难题。

    在这里插入图片描述


    4.防御方法

    (1) 模型安全性增强
    面向模型完整性威胁的防御

    • 数据毒化:利用频谱特征比较、聚类算法等手段检测含有后门的输入数据
    • 模型毒化:使用剪枝、微调、检测与重训练等方法来消除模型的后门特征

    面向模型鲁棒性威胁的防御

    • 对抗训练:把良性样本和对抗样本同时纳入训练阶段对神经网络进行训练
    • 输入预处理:通过滤波、位深度减小、输入清理等处理操作,消除输入数据中的对抗性扰动
    • 特异性防御算法:使用蒸馏算法、特征剪枝、随机化等算法对深度学习模型进行优化

    在这里插入图片描述

    (2) 模型安全性增强

    • 模型结构防御
      降低模型的过拟合程度,从而实现对模型泄露和数据泄露的保护
    • 信息混淆防御
      对模型的预测结果做模糊操作,干扰输出结果中包含的有效信息,减少隐私信息的泄露
    • 查询控制防御
      根据用户的查询进行特征提取,分辨攻击者与一般用户,从而对攻击者的行为进行限制或拒绝服务

    在这里插入图片描述


    (3) 系统安全性防御
    硬件安全保护

    • 关键数据加密:保障系统内部关键数据安全,防止旁路攻击
    • 硬件故障检测:实时检测电路故障并作出相应,确保不会被攻击者破坏劫持

    软件安全保护

    • 权限分级管理:保证模型数据只能被可信任的程序访问调用
    • 操作行为可溯源:保留核心数据生命周期内的操作记录

    在这里插入图片描述

    最后他们和蚂蚁集团提出一种AI模型安全开发声生命周期——AI SDL,分阶段引入安全和隐私保护原则,实现有安全保证的AI开发过程。

    在这里插入图片描述


    最后总结:

    • 白皮书介绍了模型、数据与承载系统面临的安全威胁以及防御手段,给出了AI应用的一站式安全解决方案
    • 在攻防中迭代更新的安全技术,新的行业门口
    • 降低合规成本,减少业务损失,开辟新的业务

    在这里插入图片描述



    二.从NLP视角看机器学习模型安全

    在图像领域和语音领域都存在很多对抗样本攻击(Adversarial Attack),比如一段“How are you”的语音增加噪声被识别成“Open the door”,再如智能音响中增加噪声发起语音攻击等等。

    在这里插入图片描述

    那么,在文本领域也存在对抗样本攻击吗?自然语言处理(Natural Language Processing,NLP)的机器学习服务(MLaaS)是否也容易受到对抗样本攻击呢?

    在这里插入图片描述

    首先,给大家普及下自然语言处理。常见的应用包括:

    • 机器翻译
    • 信息检索
    • 情感分析
    • 自动问答
    • 自动文摘
    • 知识图谱

    在这里插入图片描述

    本篇博客主要介绍针对情感分类的对抗文本,所以介绍下情感分类的基础。深度学习在处理文本时,NLP通常要将文本进行分词、数据清洗、词频计算,然后转换成对应的词向量或TF-IDF矩阵,再进行相似度计算或文本分类,当某种情感(积极\消极)的特征词出现较多,则预测为该类情感。那么,能否让深度学习模型总是预测错误呢?

    在这里插入图片描述

    NLP的对抗样本攻击和图像或语音的对抗样本存在很大的差异性,具体区别如下:

    • 图像(像素)连续 vs 文本离散
    • 像素微小改变扰动小 vs 文本改变扰动易觉察
    • 连续空间优化方法很多 vs 离散空间不方便优化
    • 文本语义问题、歧义问题

    由于图片和文本数据内在的不同,用于图像的对抗攻击方法无法直接应用与文本数据上。首先,图像数据(例如像素值)是连续的,但文本数据是离散的。其次,仅仅对像素值进行微小的改变就可以造成图像数据的扰动,而且这种扰动是很难被人眼察觉的。但是对于文本的对抗攻击中,小的扰动很容易被察觉,但人类同样能「猜出」本来表达的意义。因此 NLP 模型需要对可辨识的特征鲁棒,而不像视觉只需要对「不太重要」的特征鲁棒。

    DeepWordBug
    下图是DeepWordBug的深度网络攻击示例(选自 arXiv:1902.07285),展示了文本对抗样本的基本流程。正常深度学习预测的情感为positive,但修改某些关键词后(place
    heart),它的情感分类结果为negative。

    在这里插入图片描述

    与图像领域一样,有进攻就会有防御,目前也有很多研究尝试构建更鲁棒的自然语言处理模型。推荐大家阅读CMU的一篇对抗性拼写错误论文(arXiv:1905.11268)中,研究者通过移除、添加或调序单词内部的字符,以构建更稳健的文本分类模型。这些增减或调序都是一种扰动,就像人类也很可能出现这些笔误一样。通过这些扰动,模型能学会如何处理错别字,从而不至于对分类结果产生影响。

    下面开始介绍纪老师他们开展的工作。



    三.对抗文本TextBugger

    TextBugger: Generating Adversarial Text Against Real-world Applications
    这篇论文发表在NDSS 2019,主要提出了生成文本对抗样本的模型TextBugger,用于生成文本对抗样本。其优势如下:

    • 有效(effective): 攻击成功率超出之前的模型
    • 隐蔽(evasive): 保留正常文本的特点
    • 高效(efficient: 高效生成对抗性文本,运算速度是文本长度的次线性

    原文地址:

    在这里插入图片描述


    1.论文贡献

    文本对抗在应用中越来越重要,而图像对抗中的方法不能直接用于文本。之前的对抗样本生成模型有着下述的缺点:

    • 在计算上不够高效
    • 在白盒环境攻击
    • 需要手动干预
    • 都是针对某一个模型,不具备泛化性

    本文提出了一个新框架TextBugger,可生成黑箱和白箱场景下的保持样本原意的对抗样本。在白箱场景下,可以通过计算雅各比矩阵来找到句子中的关键词;在黑箱场景下,可以先找到最重要的句子,再使用一个评分函数来寻找句子中的关键词。在真实世界的分类器中使用了对抗样本,取得了不错的效果。具体贡献包括:

    • 提出TextBugger框架,能够在黑箱和白箱场景下生成高效对抗样本
    • 对TextBugger框架进行了评测,证明了其的效率和有效性
    • 证明TextBugger对于人类理解只有轻微影响
    • 讨论了两种防御策略,以增强文本分类模型鲁棒性

    具体实验环境如下图所示,数据集为IMDB和Rotten Tomatoes Movie Reviews数据集,都是对影评数据进行情感分析的数据集。目标模型为:

    • 白盒攻击:针对LR、CNN 和 LSTM 模型
    • 黑盒攻击:真实线上模型,如Google Cloud NLP、IBM Waston Natural Language Understanding (IBM Watson)、Microsoft Azure Text Analytics (Microsoft Azure)、Amazon AWS Comprehend (Amazon AWS)、Facebook fast-Text (fastText)、ParallelDots、TheySay Sentiment、Aylien Sentiment、TextProcessing、Mashape Sentiment 等参数未知的模型

    基线算法为:

    • 随机算法:每个句子,随机选择10%的单词来修改。
    • FGSM+NNS:使用快速梯度符号法寻找单词嵌入层的最佳扰动,再在词典中通过最近邻搜索的方式寻找到最接近的单词。
    • DeepFool+NNS:使用DeepFool方法寻找穿越多分类问题决策边界的方向,进而找到最佳扰动,再在词典中通过最近邻搜索的方法寻找最接近的单词。

    PS:该部分参考“人帅也要多读书”老师的理解。

    在这里插入图片描述

    对抗攻击分类
    对抗攻击的分类有很多种,从攻击环境来说,可以分为黑盒攻击、白盒攻击或灰盒攻击.

    • 黑盒攻击:攻击者对攻击模型的内部结构、训练参数、防御方法等一无所知,只能通过输出与模型进行交互。
    • 白盒攻击:与黑盒模型相反,攻击者对模型一切都可以掌握。目前大多数攻击算法都是白盒攻击。
    • 灰盒攻击:介于黑盒攻击和白盒攻击之间,仅仅了解模型的一部分。例如仅仅拿到模型的输出概率,或者只知道模型结构,但不知道参数。

    从攻击的目的来说,可以分为有目标攻击和无目标攻击。

    • 无目标攻击:以图片分类为例,攻击者只需要让目标模型对样本分类错误即可,但并不指定分类错成哪一类。
    • 有目标攻击:攻击者指定某一类,使得目标模型不仅对样本分类错误并且需要错成指定的类别。从难度上来说,有目标攻击的实现要难于无目标攻击。


    2.白盒攻击

    白盒攻击:通过雅各比矩阵找到最重要的单词,再生成五种类型的bug,根据置信度找到最佳的那一个。TextBugger整个框架如下图所示。

    在这里插入图片描述

    白盒攻击通过雅可比矩阵找到最重要的单词,算法流程如下:

    • Step 1: Find Important Words (line 2-5)
      找到最重要单词,通过雅各比矩阵来找
    • Step 2: Bugs Generation (line 6-14)
      bug生成。为了保证生成的对抗样本在视觉上和语义上都和原样本一致,扰动要尽量小。考虑两种层次的扰动,字母级扰动和单词级扰动

    在这里插入图片描述

    作者发现在一些词嵌入模型中(如word2vec),“worst”和“better”等语义相反的词在文本中具有高度的句法相似性,因此“better”被认为是“worst”的最近邻。以上显然是不合理的,很容易被人察觉。因此使用了语义保留技术,即将该单词替换为上下文感知的单词向量空间中的top-k近邻。使用斯坦福提供的预先训练好的 GloVe模型 进行单词嵌入,并设置topk为5,从而保证邻居在语义上与原来的邻居相似。

    TextBugger提出了五种对抗样本生成方法,如下图所示:

    • 插入空格
      插入一个空格到单词中
    • 删除字符
      删除除第一个字符和最后一个字符外的任意字符
    • 替换字符
      交换单词中除了开头和结尾的两个字母
    • 视觉相似
      替换视觉上相似的字母(比如“o”和“0”、“l”和“1”)和在键盘上挨着比较近的字母(比如“m”和“n”)
    • 上下文感知词向量,最近邻替换(word2vec->GloVe)
      使用情境感知空间中距离最近的k个单词来进行替换

    在这里插入图片描述

    将使用候选词生成的对抗样本输入模型,得到对应类别的置信度,选取让置信度下降最大的词。如果替换掉单词后的对抗样本与原样本的语义相似度大于阈值,对抗样本生成成功。如果未大于阈值,则选取下一个单词进行修改。

    在这里插入图片描述



    3.黑盒攻击

    在黑盒场景下,没有梯度的指示,所以首先找最重要的句子,然后通过打分函数找到最重要的单词。具体攻击分为三个步骤:

    • Step1: 找到重要的句子
      第一步寻找重要句子。将文档分为多个句子,逐句作为输入,查看分类结果。这样可以过滤掉那些对于预测标签不重要的单句,剩下的句子也可根据置信度来排序了。
    • Step2: 根据分类结果,使用评分函数来确定每个单词的重要性,并根据得分对单词进行排序
      第二步寻找重要的词。考虑到所有可能的修改,应该首先发现句子中最重要的词,再轻微地进行修改以保证对抗样本与原样本的语义相似性。要想评估一个单词的重要性,可以使用去除之前的置信度与去除后的置信度的差来评估。
    • Step3: 使用bug选择算法改变选择的单词
      第三步bug生成。此步骤与白盒攻击中的步骤基本一致。

    在这里插入图片描述



    4.实验评估

    主要使用编辑距离、杰卡德相似系数、欧氏距离和语义相似度进行评估。下表展示了论文中方法在白箱环境和黑箱环境下的表现,可以看出与之前的方法相比有很大的优势。

    在这里插入图片描述

    下图展示了对抗文本中的重要单词。根据算法攻击单词的频率,就可以知道对于某一类别影响最大的单词,比如“bad”, “awful”, “stupid”, “worst”, “terrible”这些词就是消极类别中的关键词。

    在这里插入图片描述

    下图是论文算法产生的对抗样本实例,通过简单的单词级别的攻击对分类关键词进行了处理,进而达到了攻击的效果,可以看到目标类别和攻击后的类别差别很大。具体修改比如:

    • awful => awf ul
    • cliches => clichs
    • foolish => fo0ilsh
    • terrible => terrib1e

    在这里插入图片描述

    实验数据表明,文档的长度对于攻击成功率影响不大,但更长的文本对于错误分类的置信度会下降。文档长度越长,攻击所需时长也就更长,这在直观上较好理解。

    在这里插入图片描述

    总结
    本论文算法的特点总结如下:首先,算法同时使用了字母级别和单词级别的扰动;其次,论文评估了算法的效率;最后,论文使用算法在众多在线平台上进行了实验,证明了算法的普适性和鲁棒性。同时,现存的防御方法只集中在的图像领域,而在文本领域比较少,对抗训练的方法也只应用于提高分类器的准确性而非防御对抗样本。

    在这里插入图片描述



    四.中文对抗文本

    目前看到的很多论文都是介绍英文的对抗文本攻击,但是中文同样存在,并且由于中文语义和分词,其攻击和防御难度更大,接下来纪老师他们分享了正在开展的一个工作。但由于这部分介绍很快,这里仅放出当时拍摄的相关PPT,请大家下来进行研究,我感觉word2vec语义知识能做一些事情。

    • Query-efficient Decision-based Attack Against Chinese NLP Systems

    在这里插入图片描述

    随着对抗样本发展,火星文字越来越多,它们一定程度上能够绕过我们新闻平台、社交网络、情感模型,比如“微信”修改为“薇心”、“玥发叁仟”等词语。中文的对抗文本某种程度上难度更高,那么怎么解决呢?

    在这里插入图片描述

    纪老师他们团队提出了CTbugger(Adversarial Chinese Text),其框架如下图所示,通过对深度学习模型进行恶意文本攻击从而生成对应的中文对抗文本。

    在这里插入图片描述

    在这里插入图片描述

    另一块工作是TextShield,其框架如下图所示:

    在这里插入图片描述

    在这里插入图片描述



    五.总结

    最后给出总结的相关文献,大家可以去了解学习。真的非常感谢所有老师的分享,学到很多知识,也意识到自己的不足。我自己也需要思考一些问题:

    • 如何将对抗样本和深度学习与恶意代码分析结合
    • 如何结合AI技术完成二进制分析,并且实现特征的可解释性分析

    在这里插入图片描述

    学术或许是需要天赋的,这些大佬真值得我们学习,顶会论文要坚持看,科研实验不能间断。同时自己会继续努力,争取靠后天努力来弥补这些鸿沟,更重要的是享受这种奋斗的过程,加油!虽然自己的技术和科研都很菜,安全也非常难,但还是得苦心智,劳筋骨,饿体肤。感恩亲人的支持,也享受这个奋斗的过程。月是故乡圆,佳节倍思亲。

    在这里插入图片描述


    最后给出“山竹小果”老师归纳的对抗样本相关论文:
    (1) 文本攻击与防御的论文概述

    • Analysis Methods in Neural Language Processing: A Survey. Yonatan Belinkov, James Glass. TACL 2019.
    • Towards a Robust Deep Neural Network in Text Domain A Survey. Wenqi Wang, Lina Wang, Benxiao Tang, Run Wang, Aoshuang Ye. 2019.
    • Adversarial Attacks on Deep Learning Models in Natural Language Processing: A Survey. Wei Emma Zhang, Quan Z. Sheng, Ahoud Alhazmi, Chenliang Li. 2019.

    (2) 黑盒攻击

    • PAWS: Paraphrase Adversaries from Word Scrambling. Yuan Zhang, Jason Baldridge, Luheng He. NAACL-HLT 2019.
    • Text Processing Like Humans Do: Visually Attacking and Shielding NLP Systems. Steffen Eger, Gözde Gül ¸Sahin, Andreas Rücklé, Ji-Ung Lee, Claudia Schulz, Mohsen Mesgar, Krishnkant Swarnkar, Edwin Simpson, Iryna Gurevych.NAACL-HLT 2019.
    • Adversarial Over-Sensitivity and Over-Stability Strategies for Dialogue Models. Tong Niu, Mohit Bansal. CoNLL 2018.
    • Generating Natural Language Adversarial Examples. Moustafa Alzantot, Yash Sharma, Ahmed Elgohary, Bo-Jhang Ho, Mani Srivastava, Kai-Wei Chang. EMNLP 2018.
    • Breaking NLI Systems with Sentences that Require Simple Lexical Inferences. Max Glockner, Vered Shwartz, Yoav Goldberg ACL 2018.
    • AdvEntuRe: Adversarial Training for Textual Entailment with Knowledge-Guided Examples. Dongyeop Kang, Tushar Khot, Ashish Sabharwal, Eduard Hovy. ACL 2018.
    • Semantically Equivalent Adversarial Rules for Debugging NLP Models. Marco Tulio Ribeiro, Sameer Singh, Carlos Guestrin ACL 2018.
    • Robust Machine Comprehension Models via Adversarial Training. Yicheng Wang, Mohit Bansal. NAACL-HLT 2018.
    • Adversarial Example Generation with Syntactically Controlled Paraphrase Networks. Mohit Iyyer, John Wieting, Kevin Gimpel, Luke Zettlemoyer. NAACL-HLT 2018.
    • Black-box Generation of Adversarial Text Sequences to Evade Deep Learning Classifiers. Ji Gao, Jack Lanchantin, Mary Lou Soffa, Yanjun Qi. IEEE SPW 2018.
    • Synthetic and Natural Noise Both Break Neural Machine Translation. Yonatan Belinkov, Yonatan Bisk. ICLR 2018.
    • Generating Natural Adversarial Examples. Zhengli Zhao, Dheeru Dua, Sameer Singh. ICLR 2018.
      Adversarial Examples for Evaluating Reading Comprehension Systems. Robin Jia, and Percy Liang. EMNLP 2017.

    (3) 白盒攻击

    • On Adversarial Examples for Character-Level Neural Machine Translation. Javid Ebrahimi, Daniel Lowd, Dejing Dou. COLING 2018.
    • HotFlip: White-Box Adversarial Examples for Text Classification. Javid Ebrahimi, Anyi Rao, Daniel Lowd, Dejing Dou. ACL 2018.
    • Towards Crafting Text Adversarial Samples. Suranjana Samanta, Sameep Mehta. ECIR 2018.

    (4) 同时探讨黑盒和白盒攻击

    • TEXTBUGGER: Generating Adversarial Text Against Real-world Applications. Jinfeng Li, Shouling Ji, Tianyu Du, Bo Li, Ting Wang. NDSS 2019.
    • Comparing Attention-based Convolutional and Recurrent Neural Networks: Success and Limitations in Machine Reading Comprehension. Matthias Blohm, Glorianna Jagfeld, Ekta Sood, Xiang Yu, Ngoc Thang Vu. CoNLL 2018.
    • Deep Text Classification Can be Fooled. Bin Liang, Hongcheng Li, Miaoqiang Su, Pan Bian, Xirong Li, Wenchang Shi.IJCAI 2018.

    (5) 对抗防御

    • Combating Adversarial Misspellings with Robust Word Recognition. Danish Pruthi, Bhuwan Dhingra, Zachary C. Lipton. ACL 2019.
      评估

    (6) 对文本攻击和防御研究提出新的评价方法

    • On Evaluation of Adversarial Perturbations for Sequence-to-Sequence Models. Paul Michel, Xian Li, Graham Neubig, Juan Miguel Pino. NAACL-HLT 2019


    参考文献:
    感谢这些大佬和老师们的分享和总结,秀璋受益匪浅,再次感激。
    [1] AI安全 - 智能时代的攻守道
    [2] https://arxiv.org/abs/1812.05271
    [3] (强烈推荐)NLP中的对抗样本 - 山竹小果
    [4] TextBugger:针对真实应用生成对抗文本 - 人帅也要多读书
    [5] 论文阅读 | TextBugger: Generating Adversarial Text Against Real-world Applications
    [6] 对抗攻击概念介绍 - 机器学习安全小白
    [7] Li J, Ji S, Du T, et al. TextBugger: Generating Adversarial Text Against Real-world Applications[J]. arXiv: Cryptography and Security, 2018.

    (By:Eastmount 2021-09-07 晚上10点 http://blog.csdn.net/eastmount/ )

    展开全文
  • 站在“新十年”的起点上,CSDN【百万AI】评选活动正式启动。本届评选活动在前两届的基础上再度升级,设立了「AI优秀案例奖Top 30」、「AI新锐公司奖Top 10」、「AI开源贡献奖Top 5」三大奖项。我们相信,榜样的...

    2020 无疑是特殊的一年,而 AI 在开年的这场”战疫“中表现出了惊人的力量。站在“新十年”的起点上,CSDN【百万人学AI】评选活动正式启动。本届评选活动在前两届的基础上再度升级,设立了「AI优秀案例奖Top 30」、「AI新锐公司奖Top 10」、「AI开源贡献奖Top 5」三大奖项。我们相信,榜样的力量将成为促进AI行业不断发展的重要基石,而CSDN将与这些榜样一起,助力AI时代的”新基建“。

    活动官网:https://bss.csdn.net/m/topic/ai_selection/index

    申报地址:http://csdnprogrammer.mikecrm.com/WpA03hJ

    一、公司简介

    瑞莱智慧RealAI成立于2018年7月,作为清华大学人工智能研究院的官方研究团队,RealA致力于提供安全可控第三代人工智能技术及服务。目前,公司由清华大学人工智能研究院院长张钹院士,清华大学人工智能研究院基础理论研究中心主任朱军教授担任首席科学家,清华大学人工智能专业博士田天担任CEO。

    基于安全可控的第三代人工智能核心技术,RealAI致力于提高企业级人工智能解决方案可靠性与安全性。一方面提升AI本身的安全性,解决AI技术应用引起的安全问题,检测和防范AI系统漏洞及滥用风险;另一方面,通过安全可控的AI赋能高价值产业,服务于金融、工业、公共治理等领域。目前,RealAI已经与国内多家大型金融机构、工业企业、政府部门开展合作,提供信贷风控、反欺诈、设备资产运营优化、人工智能系统安全性检测、AI防火墙、内容审查等产品和服务。

    凭借领先的创新技术和巨大的市场潜能,RealAI获得业界广泛认可,荣获2019年CSDN“优秀AI应用案例TOP30+”榜单、2018年中关村国际前沿科技创新大赛人工智能企业TOP10、机器之心“中国十大最具潜力早期AI公司”等诸多荣誉,并获得国家高新技术企业、中关村高新技术企业认证。

    融资方面,截止目前,RealAI已完成两轮融资,融资总额接近1亿元人民币,投资方包括松禾资本、BV百度风投、中科创星联合领投、同渡资本、水木清华校友基金。

    二、技术创新能力

    RealAI由一群对未来AI充满热情的算法科学家、工程师和业务专家组成。

    核心团队方面,CEO田天博士毕业于清华大学计算机系,在2019世界人工智能大会期间被AI青年科学家联盟授予“青年AI科学家”称号,同年入选福布斯中国2019年度30岁以下精英榜。中国科学院院士、清华大学人工智能研究院院长张钹院士,以及清华大学人工智能研究院基础理论研究中心主任朱军教授共同担任公司首席科学家。另外,团队的核心骨干人员来自阿里巴巴、腾讯等知名公司,大都有着清华等名校背景。团队多年来一直从事贝叶斯深度学习、可解释学习、AI对抗攻防等前沿技术的研究与探索,拥有世界顶级AI技术研发和应用落地的能力。

    技术创新方面,不同于主流的AI企业采用以深度神经网络为代表的第二代AI技术,高度依赖数据、缺乏可解释性、在动态环境中容易被攻击,导致在数据知识缺乏、非完全信息、不确定性等应用场景中面临困难。RealAI则将深度神经网络与贝叶斯机器学习相结合,实现安全可控第三代人工智能,主要满足三大优势:第一是可信,算法能够提供白盒化模型和可理解的决策依据;第二是可靠,能够在各种情况下实现预测效果可靠提升;第三是安全性,算法在受到恶意攻击,或存在缺陷样本时,仍然保持较高的判断能力。

    三、技术商业化能力

    RealAI第三代人工智能在无标签、少标签、冷启动和不确定性处理等场景有更好的模型表现,拥有黑盒转白盒的可解释性优势,目前推出的端到端机器学习建模平台RealBox能够帮助金融机构金融机构实现更加精准且稳定的理财产品流动性预测;在大数据风控领域更精细的运营长尾资产,零成本回捞拒绝客户,通过更具可解释性的预测结果实现业务的智慧化提升,提高金融场景全生命周期的可靠性,目前已经在多家头部银行落地应用。

    在工业领域,针对高价值工业设备的健康管理,RealAI第三代人工智能能够预测并提前干预潜在风险,并且提供工艺参数自动优化方案,提高生产效率的同时减少对专家知识的依赖。目前已经与国内多家工业制造企业开展合作,成功应用于压铸机工艺参数优化、大坝安全智慧评估、长输油气管道与光面面板的缺陷检测中。

    在安全领域,针对已经广泛使用的人脸识别、目标检测等AI算法存在的潜在漏洞和安全隐患,RealAI推出RealSafe人工智能安全平台,基于世界领先的对抗攻防技术挖掘新型算法漏洞,同时利用对抗训练等方法进一步打造AI防火墙,达到检测和防御攻击行为的双重目的,可应用于刷脸系统、智慧安防等领域的安全防护。另外针对Deepfake、ZAO等深度伪造内容,RealAI也开发出更精准的检测产品,能够应用于深度伪造视频检测、新型鉴黄/暴恐内容审查、假冒伪劣产品鉴定等。

    四、公司未来发展规划

    依托清华人工智能研究院世界顶级的AI技术支持,RealAI致力于打造第三代安全可控人工智能算法,未来将落地一站式AI行业解决方案,搭建第三代AI算法库、AI系统组件、AI安全组件等基础设施。在上游,与生态伙伴合作提供软硬结合的一体解决方案,在下游,联手头部企业,赋能产业智能。深入工业、金融、公共安全等垂直领域,提供金融风控、设备资产运营优化、生产成本与效率优化、人工智能系统安全性检测、AI防火墙等产品和服务。同时依托清华大学AI领军地位与行业龙头企业深度合作,建立AI应用标准。输出技术能力的同时,RealAI未来也将整合清华AI研究院的科研、教育、实践资源,打造系列AI课程与培训体系,传播第三代人工智能技术与理念。

    展开全文
  • 涉及人工智能与信息安全交叉应用前沿领域,包括恶意文本识别过滤、神经网络攻击、对抗样本生成模型迁移、白盒黑盒攻防策略,以及移动设备AI应用模型泄密等人工智能应用的信息安全挑战。 作者:张子豪(同济大学...
  • 人们不禁会想,AI的超强大脑最终会不会战胜人类?在面对机器人中的“坏人”时,谁才会成为网络安全的终极守护者? 这并不是骇人听闻,最近几年,网络勒索病毒来势汹汹,使“网络安全”一词再次出现在大家的视线中。...
  • 目前,AI安全是一个非常新的领域,是学界、业界都共同关注的热门话题,本论坛将邀请AI安全方面的专家,分享交流智能时代的功守道,推动和引领业界在AI安全领域的发展。《秀璋带你读论文》系列主要是督促自己阅读优秀...
  • ai人工智能的本质和未来Chinese philosophy yin and yang represent how the seemingly opposite poles can complement each other and achieve harmony.中国的阴阳哲学代表着看似相反的两极如何相互补充,实现和谐...
  • 智造观点在网络安全的世界里,防御端和攻击端的人工智能攻防前哨站已经打响,换句话说,对黑客来讲,人工智能不仅可以提高攻击效率,面对人工智能系统,他们也可以通过污染训练数据进...
  • 作为世界人工智能大会唯一的安全分论坛,本届高端对话以“安全赋能、智创未来”为主题,由赛博研究院承办,腾讯、观安信息、上海社科院互联网研究中心、中国电科网络空间安全研究院、中国欧盟商会协办,平安科技、...
  • 人工智能可能会有所帮助,尽管最近对这种先进技术的研究主要致力于患者的安全。 进行此类研究的监管机构,例如美国食品药品监督管理局(FDA),纯粹从统计学的角度着眼于改善AI系统的性能。 缺少的是需要集成AI和...
  • 一、人工智能赋能网络安全防御加速落地,应用引发网络安全风险现实危害 2019年,人工智能迎来发展黄金期。2018年相比,人工智能在提升全球网络安全能力方面扮演的“引擎”角色开始发挥实际作用,伴随.
  • 来源:亿欧概要:工业互联网是工业革命和新一代科技革命的交汇,这个变革内涵非常广,包含很多新的业务模式、...其中人工智能对工业互联网有很大的机会,将超过人类的效率,有产量优化,有维护预测等。2018年2月1日,2
  • 人工智能(AI)含义宽泛,从聊天机器人到自动驾驶汽车的很多东西都可以用这个词来描述。市场营销人员很喜欢赶时髦,乘着这股东风推销产品。这篇文章中,我们将定义和描述AI、机器学习和深度学习,以及它们对信息安全...
  • 人工智能安全标准规范制定情况

    千次阅读 2019-06-30 10:25:09
    3 月, IEEE 在《IEEE 机器人自动化》杂志发表了名为“旨在推进人工智能和自治系统的伦理设计的 IEEE 全球倡议书”,倡议通过基于伦理的设计原则和标准帮助人们避免对人工智能技术的恐惧和盲目崇拜,从而推动...
  • 站在“新十年”的起点上,CSDN【百万AI】评选活动正式启动。本届评选活动在前两届的基础上再度升级,设立了「AI优秀案例奖Top 30」、「AI新锐公司奖Top 10」、「AI开源贡献奖Top 5」三大奖项。我们相信,榜样的...
  • 联合发布了一篇题为《恶意使用人工智能:预测、预防和缓解》的报告,就世界范围内人工智能技术的恶意使用进行了综述,其中也重点提及了AI在网络安全方面的恶意使用问题。双刃剑人工智能可以代替人类执行数据分析任务...
  • [端点安全]機共智!運用_AI_全面戒備網路威脅 移动安全 身份访问管理 物联网安全 安全对抗 工控安全
  • 0x00背景 近期 全国信息安全标准化技术委员会 大数据安全标准特别工作组发布了人工智能安全标准化白皮书(2019版),针对人工智能...人工智能(Artificial Intelligence,简称AI),阿尔法狗对战中国的围棋高手,...
  • 网络安全领域中的加密流量的检测是一个老生常谈的话题,随着人工智能的发展,给同样的问题,带来了不同的解决思路。 近年来,越来越多的研究者,尝试着将AI应用到已有的网络安全领域中。从早先的一些不靠谱的文章...
  • 【史上最全】黑客和网络安全题材电影合集 我们筛选出的绝大部分电影主题都是围绕“黑客”,其余电影也有足够多的网络安全情节和素材。这些电影能让一些无聊的技术话题(对于一部分朋友来说)变得更生动有趣。不管...
  • 以下内容摘自《人工智能安全白皮书(2018)》 http://www.caict.ac.cn/kxyj/qwfb/bps/index_1.htm 《人工智能发展白皮书-技术架构篇(2018年)》 《人工智能安全白皮书(2018)》 《2018世界人工智能产业发展蓝皮...
  • 伴随移动互联网,大数据、云计算、人工智能等新一代信息技术的快速发展,围绕网络和数据的服务应用呈现爆发式增长,智能设备将无所不在,智能家居、无人车、物联网将渗透到人类社会的各个角落,丰富的应用场景下...
  • 站在“新十年”的起点上,CSDN【百万AI】评选活动正式启动。本届评选活动在前两届的基础上再度升级,设立了「AI优秀案例奖Top 30」、「AI新锐公司奖Top 10」、「AI开源贡献奖Top 5」三大奖项。我们相信,榜样的...
  • @那些想要转行AI:送你一份人工智能入门指南

    万次阅读 多人点赞 2017-11-06 00:00:00
    为什么突然之间所有都在谈论人工智能? 你可能会从网上知道人工智能如何为亚马逊和Google的虚拟助理提供支持,或者人工智能如何一步步地取代所有的工作(有争议的),但是这些文章极少很好的解释人工智能...
  • 人工智能安全性测试

    2020-06-02 02:03:04
    现在的人工智能安全吗?未来的人工智能安全吗?是否会存在某一天人工智能强大到伤害人类?这些问题值得我们去思考,现在的人工智能安全性有一定的测试吗?安全性有标准吗? 我们可以研发一套设备,人工智能安全性...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 140,910
精华内容 56,364
关键字:

ai与人的安全