精华内容
下载资源
问答
  • AI安全 - 华为白皮书《AI Security White Paper》
    千次阅读
    2020-08-26 10:04:21

    20200825 -

    0. 引言

    (本人非专业认识,仅仅是阅读后的一点理解)
    本篇文章是基于阅读华为的白皮书《AI Security White Paper》之后的一些记录。关于白皮书的下载可以通过谷歌搜索得到。
    这本白皮书中的内容,跟之前了解到的AI安全的讲解有些不一样,个人感觉应该是切入的视角不一样。之前的一些文章或者白皮书,都从攻击者是否对模型了解分为白盒、灰盒等类别,这里并没有按照这种分类方法,而是直接攻击类别的角度。
    本篇文章将记录白皮书的核心内容,并阐述一些自己的理解。

    1. AI与安全

    AI与安全的关系有两种,一种是很多利用AI的技术,例如机器学习,深度学习的方法来检测网络安全中的威胁,来保证不受攻击或入侵;而另外一个关系是AI本身的安全性,例如在人脸识别中,受到对抗样本的攻击,或者说在训练过程中遭受到了偏差样本的攻击,以此影响到了AI模型的决策解决。还有一种就是在AI诞生时就在讨论的类似伦理的问题,AI会不会替代人类之类的问题,这种关系不在本文的讨论之内。而本篇文章中,将讲述第二种关系,也就是AI模型本身的安全性。

    2. 白皮书概要

    华为的这篇白皮书的主要目的是探索AI模型自身的安全性,从而保证AI模型和数据的完整性和保密性,保证这两种特性的目的就是防止攻击者改变决策结果或者窃取数据。
    而在AI模型或者机器学习系统中产生这种漏洞或者不安全的因素根本原因是AI系统本身缺少解释性
    关于这一点,虽然我知道机器学习的可解释性这一概念,但是我不是很理解为什么说这是AI不安全的根本因素。
    缺乏可解释性留出了很大空间给攻击者,攻击者可以利用这些地方进行进行对抗攻击,例如evasion(翻译逃脱,感觉是偏离了正常的决策结果一样,也有定义为逃逸攻击,本文中统一使用逃逸攻击来命名),投毒,后门攻击等。这些攻击的效率非常高,而且具备极高的可移植性。例如攻击者可以在训练过程中注入恶意数据来影响最终决策结果,或者直接在决策时输入阶段添加一些其他的偏移也来影响决策结果。

    华为在AI安全中,将利用三层方案来保护AI安全:

    • 攻击缓解
    • 模型安全
    • 架构安全
      具体内容将在后续中进行展开。

    从这个角度来讲,AI安全应该是保护模型的决策结果,同时保护用户隐私,保护数据。
    目前从当前看到的重点是,针对模型的决策结果,而对用户的数据并不是很大的重点。

    3. AI安全所面对的威胁

    首先应该明白的是,未来的世界必然是智能的世界,所以说利用AI系统进行智能决策,必然要保证AI系统的安全,保证决策过程不受到攻击。
    而AI安全所面对的威胁和挑战中,华为的白皮书总结了一下五点:

    • 软件和硬件安全:本身AI系统所在的平台甚至于底层硬件是否有漏洞;同时,攻击者可以在模型中植入后门来加载对抗攻击。而因为AI系统本身缺乏可解释性,也就导致了这种后门难以发现。
    • 数据的完整性:攻击者可以通过在模型的训练阶段注入恶意数据来影响AI模型的决策结果,或者说在输入过程中加入噪声;
    • 模型的保密性:AI服务的提供者仅仅希望能够提供服务,而并不想暴露自己的训练模型。然而一个攻击者通常能够利用大量的查询来克隆出实际使用的AI模型
    • 模型的健壮性或鲁棒性:在AI模型的训练过程中,通常不能面面俱到,也就是说可能存在无法覆盖的情况,这种就导致了鲁棒性不够。因此,AI模型可能无法对对抗样本得到正确的决策;
    • 数据隐私:当训练过程中,是用户提供的训练数据时,攻击者可以通过重复的查询来获取用户的隐私。

    我觉得,上述的五个点本质上就是涵盖了AI模型在其产生及最后实际应用中可能存在的威胁。

    1. 模型实际应用中,不能被攻击者通过重复查询来获取模型的参数和用户的数据(模型的保密性、数据隐私)
    2. 应用过程中,不能因对抗样本而生成不可预知的结果;不能因为恶意的样本影响决策(模型的鲁棒性,数据的完整性)
    3. 模型的编码过程中,不能产生代码本身的漏洞(软件和硬件安全)
    4. 训练过程中,不能被掺杂恶意的样本(数据的完整性)

    数据的完整性(个人感觉)说的就是输入的数据是正确的,没有被篡改的。

    4. 典型的AI安全攻击

    4.1 逃逸攻击(Evasion)

    在本攻击中,攻击者修改输入数据,从而导致AI模型无法正确地识别出输入。在学术界中该类型的攻击被研究的最多。
    1)对抗样本
    通过在正常样本中添加较小的扰动,在修改了样本之后,人眼无法识别出异常(图片样本),但对于AI模型来说,影响很大。

    2)物理世界的攻击
    通过修改类似交通牌的实体,导致AI模型识别出错。

    3)可转移性和黑盒攻击
    为了生成对抗样本,攻击者需要获取AI模型的参数。但在某些场景中,这些原始模型的参数是很难获取的。有作者发现只要两个模型的训练数据是一样的,那么由一个模型生成的对抗样本对另外一个模型依然是有效的。攻击者可以在不知道模型参数的情况下对模型进行黑盒攻击。
    而要达到这个目的,这个结果,攻击者将多次查询某个模型,利用请求结果来训练一个模型,最后利用这个子模型来生成对抗样本,生成的样本用来欺骗原始模型。


    这部分内容从结果上来看,就是有对抗样本导致模型的决策出现了偏差,导致这个结果的原因是,数据的完整性,模型的隐私性被破坏。

    4.2 投毒攻击(Poisoning)

    AI系统经常需要使用新的数据来进行重训练来适应输入的分布变化。攻击者通过构造一定的样本,这部分样本被拼接在训练数据上,影响了正常的结果。例如你构造了一个恶意的样本,但是这个样本被恶意标记为了正常的。
    现在进行模型的训练都需要大量的数据,因为这种质量上被篡改,或者标签被篡改,是很难发现的。

    4.3 后门(Backdoor)

    AI模型同样可以被留有后门,而且只有制作后面的人才能知道如何触发后门。神经网络模型仅仅由一些列参数组成,没有源代码。因此在AI模型中的后门更难以检测。这些后门经常是植入一些特殊的神经元在神经网络模型中。该AI模型在输入正常数据时会跟普通的模型一样,但只有输入了带有特殊模式的输入后,才会触发。大多数这种模型发生在模型的生成和传输过程中。


    我个人觉得这里有点说不太通,假设都是普通的CNN模型,前文中提到模型的可解释性很低,那么人无法知道这些模型的东西,制作者不知道,攻击者必然更不知道。这种情况下,攻击者如何操作模型呢?如果是那种多个处理流程的,倒是感觉有希望,就是这部分数据可能只能是这个数值的时候,才会触发。我个人认为,出现这种情况的话,必然是能够知道模型的很多参数了。(或者就是内部人员)
    总之,这个攻击的确很厉害,但是个人感觉实现起来不容易吧?就算你能生成一个只有特殊情况下才会触发的后门,那你怎么植入到别人的模型中呢?

    4.4 模型提取

    攻击者通过利用输入输出和一些外界信息来提取模型的参数或者模型的训练数据。现在大部分AI模型都被部署为类似服务一样的系统,那么用户可以多次来请求API,从而窃取AI模型。这些攻击导致了两个问题,一个就是本身AI这个资产被偷窃,另一个问题就是前文提到的黑盒攻击。

    5 AI安全的防护

    后文就是针对这些挑战与威胁,华为提出的一些防护手段,这里暂且不进行详细描述。

    参考文章

    更多相关内容
  • 蚂蚁金服2020人工智能安全白皮书
  • 阿里人工智能安全白皮书2020.pdf
  • 从研究的角度,就人工智能安全的三个方面进行简要梳理,涵盖了人工智能安全领域的主要研究工作!从人工智能的发展历史讲起,深入分析三方面安全的研究工作及其主要联系,最后总结了极具潜力的几个研究问题。
  • 人工智能安全学习笔记

    千次阅读 2022-03-20 15:08:51
    人工智能安全 人工智能安全分为三个子方向: 人工智能助力安全AI for Security) 人工智能内生安全AI Security) 人工智能衍生安全AI Safety) 其中,助力安全体现的是人工智能技术的赋能效应;内生安全和衍生...

    人工智能安全

    人工智能安全分为三个子方向:

    • 人工智能助力安全(AI for Security)
    • 人工智能内生安全(AI Security)
    • 人工智能衍生安全(AI Safety)

    其中,助力安全体现的是人工智能技术的赋能效应;内生安全和衍生安全体现的是人工智能技术的伴生效应。人工智能系统并不是单纯依托技术而构建,还需要与外部多重约束条件共同作用,以形成完备合规的系统。

    人工智能安全的体系架构及外部关联如图 1 所示。
    在这里插入图片描述
    人工智能助力安全

    主要表现为助力防御和助力攻击两个方面。

    • 在助力防御方面,防御者正在利用人工智能技 术提升和扩展其原有防御方法。

    人工智能机器学习模型为积极主动的网络防御带来了新途径。智能模型采用积极主动的方式,而不是传统的被动应对方式;同时,利用人工智能的预测能力和机器学习的进化能力,可以为我们提供抵御复杂网络威胁的手段。本质上来讲,最重要的变化是在网络攻击发生之前就进行预警并采取阻断措施。

    麻省理工学院研发的基于人工智能的网络安全平台AI2,用人工智能方法来分析网络攻击情况,帮助网络安全分析师做那些类似“大海捞针”的工作。AI2系统首先利用机器学习技术自主扫描数据和活动,把发现的结果反馈给网络安全分析师。网络安全分析师将会标注哪些是真正的网络攻击活动,并将工程师的反馈纳入AI2系统,从而用于对新日志的自动分析。在测试中,研究小组发现AI2的准确性约为现今所使用的自动分析工具的3倍,大大减少误报的概率。另外,AI2在分析过程中可以不断产生新模型,这意味着它可 以快速地改善自己的预测率。系统检测越多的攻击活动,收到来自分析师的反馈越多,相对地可以不断提高未来预测的准确性。据报道,AI2通过超过3.6亿行日志文件的训练,使其可以分析出85%的攻击行为,以便告警可疑行为。

    • 在助力攻击方面,攻击者正在利用人工智能技术突破其原有能力边界。

    人工智能可以赋能网络攻击,业内称之为自动化或智能化网络攻击。通过机器人在人完全不干预的情况下,自动化地进行计算机的攻击。近年来连续发生的重大黑客事件,包括核心数据库泄密、数以亿计的账户遭入侵、WannaCry勒索病毒等都具有自动化攻击的特点。通过借助自动化工具,攻击者可以在短时间内,以更高效、更隐蔽的方式对大量不同网站进行漏洞扫描和探测,尤其对于0day/Nday漏洞的全网探测,将会更为频繁和高效。人工智能强大的数据挖掘和分析能力,以及由此带来的智能化服务,经常被黑客组织加以利用,借助于人工智能技术,形成更为拟人化和精密化的自动化攻击趋势,这类机器人模拟真人的行为会更聪明、更大胆,也更难以追踪和溯源。当前,自动化、智能化的网络攻击正在不断让网络安全防线频频失守,而这显然需要引起网络安全行业的足够重视,需要从了解自动化网络攻击行为特点入手,及时采取措施。

    人工智能内生安全

    人工智能内生安全指的是人工智能系统自身存在脆弱性。脆弱性的成因包含诸多因素,人工智能框架 / 组件、数据、算法、模型等任一环节都可能给系统引入脆弱性。

    在框架 / 组件方面,难以保证框架和组件实现的正确性和透明性是人工智能的内生安全问题。框架(如 TensorFlow、Caffe)是开发人工智能系统的基础环境,相当于人们熟悉的 Visual C++ 的 SDK库或 Python 的基础依赖库,重要性不言而喻。

    在数据方面,缺乏对数据正确性的甄别能力是人工智能的内生安全问题。例如,数据的丢失和变形、噪声数据的输入,都会对人工智能系统形成严重的干扰。

    在算法方面,难以保证算法的正确性是人工智能的内生安全问题。智能算法存在的安全缺陷一直是人工智能安全中的严重问题。例如,对抗样本就是一种利用算法缺陷实施攻击的技术,自动驾驶汽车的许多安全事故也可归结为由于算法不成熟而导致的。

    在模型方面,难以保证模型不被窃取或污染是人工智能的内生安全问题。模型是一个可拷贝、可修改的实体文件,就存在被窃取和被植入后门的安全风险,这就是人工智能模型安全需要研究的问题。

    人工智能自身存在着脆弱性,例如对抗样本就是人工智能的内生安全问题。对抗样本是机器学习模型的一个有趣现象,反映出了人工智能算法的弱点。攻击者通过在源数据上增加人类难以通过感官辨识到的细微改变,但是却可以让机器学习模型接受并做出错误的分类决定。一个典型的场景就是图像分类模型的对抗样本,通过在图片上叠加精心构造的变化量,在肉眼难以察觉的情况下,让分类模型产生误判。对抗样本除在图像识别领域存在,也在其他领域存在,如语音、文本等。从网络安全领域看,同样存在类似于对抗样本的攻击问题,攻击者通过对恶意代码插入扰动操作就有可能对人工智能模型产生欺骗。例如,有人就设计了一个恶意样本,让分类器将一个存有恶意行为的软件认定为良性的变体,从而可以构造能自动逃逸PDF恶意软件分类器的攻击方法,以此来对抗机器学习在安全中的应用。上述安全问题都可能会导致同样后果,就是导致人工智能系统发生错误的决策、判断,以及系统被控制等问题

    人工智能衍生安全

    人工智能衍生安全指的是人工智能系统因自身脆弱性而导致危及其他领域安全。衍生安全问
    题主要包括四类:

    • 人工智能系统因存在脆弱性而可被攻击
    • 人工智能系统因自身失误引发安全事故
    • 人工智能武器研发可能引发国际军备竞赛 AIA
    • 一旦失控将危及人类安全

    人工智能的失误可能会给人类带来灾难,从而会形成衍生安全问题。2016年5月7日,在佛罗里达州公路上一辆处于“自动驾驶”模式的特斯拉Model S以74英里的时速,撞上了拐弯中的白色拖挂式大货车。Model S从货车车底穿过,车顶被完全掀飞,40岁的驾驶员Joshua Brown不幸死亡。出事路段限制时速为65英里/时。由于 “自动驾驶”模式车前的高清摄像头为长焦镜头,当白色拖挂卡车进入视觉区域内时,摄像头只能看到悬浮在地面上的卡车中部,而无法看见整个车辆;此外,当时阳光强烈(蓝天白云),使得自动驾驶系统无法识别出障碍物是一辆卡车,而更像是飘在天上的云,导致自动刹车未生效。这次事故引发了外界对自动驾驶汽车安全性的争议。这种自动驾驶的缺陷导致人类伤亡的事情,是典型的人工智能衍生安全的案例。

    《人工智能安全论述》 方滨兴 1,2,3 崔翔 2,3 顾钊铨 2,3
    方滨兴院士:人工智能安全之我见

    网络空间安全

    基于计算的学科,涉及技术,人员,信息和流程,可确保在对手的上下文中进行有保证的操作。它涉及安全计算机系统的创建,操作,分析和测试。这是一门跨学科的学习课程,包括法律,政策,人为因素,道德和风险管理等方面。

    网络空间安全不仅关注传统信息安全所研究的信息的保密性、完整性和可用性,同时还关注构成网络空间的基础设施的安全和可信,以及网络对现实社会安全的影响。

    专业解析:国际上习惯用机密性,完整性和可用性这三个属性(简称CIA)称为安全性的三个要素。凡是在网络空间中,涉及到CIA三个要素之一的内容,都纳入网络空间安全范畴。包括:防止信息被泄密、防止未授权的访问与篡改、防止系统不可用。

    在这里插入图片描述
    网络空间

    网络空间是信息环境中一个整体域,它由独立且相互依存的信息基础设施和网络组成。包括了互联网、电信网、计算机系统、嵌入式处理器和控制器系统。

    专业解析:专业上通常把遵循ISO/OSI 7层协议框架(有时用TCP/IP协议框架)的设备统称为IT(Information Technology)设备或系统,例如路由器、服务器、PC,各类应用软件等。如果把整个范围扩大到所有可以连接到网络上的非IT设备系统:包括工业设备系统(Operation Technology,简称OT设备)如核电站;物联网设备系统(Internet of Things,简称IoT设备)如蓝牙音箱、自动驾驶汽车。这就是网络空间的范围。特点是:海量+万物。

    网络安全Network Security

    为防止,检测和监视计算机网络和网络可访问资源的未经授权的访问、滥用、修改或拒绝而采取的策略、过程和做法组成。包含网络设备安全、网络信息安全、网络软件安全。

    专业解析:网络安全通常是指遵循ISO 7层协议框架(或TCP/IP)的IT设备之间如何保障机密性、完整性和可用性的问题。如:系统被攻击,设备通信时被黑客嗅探获取密码。特点:IT设备。

    信息安全

    严谨定义:ISO27001定义:保护组织有价值的信息资产机密性、完整性和可用性,而建立的组织、策略与流程。
    专业解析:企业内部有价值的信息资产包括硬件、软件、服务、人员、数据、无形资产等。如何保护这些资产的机密性、完整性和可用性。例如:防止公司重要数据库服务器被破坏。可能是外部黑客,也可能是内部人员破坏。

    数据安全

    严谨定义:维基百科:保护数字数据免受破坏力和未经授权用户的有害行为的侵害,例如网络攻击或数据泄露。

    专业解析:结构化数据、半结构化数据及非结构化数据在其整个生命周期中的机密性、完整性和可用性的保护。

    重要性

    进入21世纪,随着信息化建设和IT技术的快速发展,各种网络技术的应用更加广泛深入,同时出现很多网络安全问题,致使网络安全技术的重要性更加突出,网络安全已经成为各国关注的焦点,不仅关系到机构和个人用户的信息资源和资产风险,也关系到国家安全和社会稳定,已成为热门研究和人才需求的新领域。必须在法律、管理、技术、道德各方面采取切实可行的有效措施,才能确保网络建设与应用“又好又快”地稳定发展。

    网络空间已经逐步发展成为继陆、海、空、天之后的第五大战略空间,是影响国家安全、社会稳定、经济发展和文化传播的核心、关键和基础。网络空间具有开放性、异构性、移动性、动态性、安全性等特性,不断演化出下一代互联网、5G移动通信网络、移动互联网、物联网等新型网络形式,以及云计算、大数据、社交网络等众多新型的服务模式。

    网络安全已经成为世界热门研究课题之一,并引起社会广泛关注。网络安全是个系统工程,已经成为信息化建设和应用的首要任务。网络安全技术涉及法律法规、政策、策略、规范、标准、机制、措施、管理和技术等方面,是网络安全的重要保障。

    信息、物资、能源已经成为人类社会赖以生存与发展的三大支柱和重要保障,信息技术的快速发展为人类社会带来了深刻的变革。随着计算机网络技术的快速发展,我国在网络化建设方面取得了令人瞩目的成就,电子银行、电子商务和电子政务的广泛应用,使计算机网络已经深入到国家的政治、经济、文化和国防建设的各个领域,遍布现代信息化社会的工作和生活每个层面,“数字化经济”和全球电子交易一体化正在形成。网络安全不仅关系到国计民生,还与国家安全密切相关,不仅涉及到国家政治、军事和经济各个方面,而且影响到国家的安全和主权。随着信息化和网络技术的广泛应用,网络安全的重要性尤为突出。因此,网络技术中最关键也最容易被忽视的安全问题,正在危及网络的健康发展和应用,网络安全技术及应用越来越受到世界的关注。

    jtj2008 知道合伙人教育行家
    https://blog.csdn.net/agiogo/article/details/115861564

    展开全文
  • AI安全——对抗样本技术综述与应用 安全生态
  • 人工智能专家细数AI安全隐患

    千次阅读 2019-01-30 10:53:45
    人们不禁会想,AI的超强大脑最终会不会战胜人类?在面对机器人中的“坏人”时,谁才会成为网络安全的终极守护者? 这并不是骇人听闻,最近几年,网络勒索病毒来势汹汹,使“网络安全”一词再次出现在大家的视线中。...

    人工智能专家细数AI安全隐患

    在AlphaGo打败了世界围棋冠军之后,越来越多的机器人成为了我们的同事。人们不禁会想,AI的超强大脑最终会不会战胜人类?在面对机器人中的“坏人”时,谁才会成为网络安全的终极守护者?

    这并不是骇人听闻,最近几年,网络勒索病毒来势汹汹,使“网络安全”一词再次出现在大家的视线中。2016年初发现的Petya勒索病毒,最初只是利用E-mail传播,然后不断地加强攻击的能力。到2017年时,已经波及了60个国家和地区的大约30万用户,使得数家企业被迫中断业务或者停止生产。因为网络的飞速发展使得全世界的联系更加紧密,这也令每个终端的安全变得十分的脆弱。

    “在AI领域,我们有很大的风险,越来越多的系统是人工智能,受到更多攻击的可能也在增大。”7月8日在上海举行的一期“理解未来”讲座上,美国加州大学伯克利分校计算机系教授Dawn Song分享了她在计算机深度学习和安全领域的研究成果时称,AI与网络安全的结合还属于新兴产业,计算机安全领域还有许多没有解决并且十分具有挑战性的问题需要人们不断地追寻和探索答案。

    在美国生活了20多年的Dawn Song,作为当今全球顶级的AI研究专家,尽管能够顺利的使用中文交流,但是在分享学术成果的时候还是习惯使用英文。Dawn Song说,用英文表达是为了让一些科学术语在用词时能够“更清楚”。

    Dawn Song对AI的巨大发展十分感叹,她说:“AlphaGo最近打败了人类,ImageNet现在也是非常领先,这是一个计算机识别系统;另外还有深度学习,它已经是促进了我们生活的方方面面的发展,包括产品的研究、医学研究等,比如深度学习可以用来识别乳腺癌细胞中的游丝分裂,同时可以研究基因突变预防疾病,还可以用来改善安全方面的能力,包括人脸识别、欺诈检测以及恶意软件的检测等。”

    在这次讲座上,Dawn Song教授显然不是想要详细的描述“人工智能的发展”,现如今,她最担忧的是深度学习和人工智能的另外一面——人工智能与安全。

    当AI遇到黑客袭击的时候是什么样的?之所以要谈论这个问题,是因为Dawn Song通过研究发现,互联网技术的每一次提升,都会伴随着网络攻击的增加。比如在互联网开始之初,那是一共只有6万台计算机,当时有一个学生制造了第一个叫做蠕虫病毒,一下子使1/10的计算机受到了感染;13年后的另外一个叫做Code Red的病毒,感染了2000台主机,这使得全世界有很多的电脑受到了攻击;后来又出现了一个叫做Stuxnet的病毒,这个蠕虫病毒还叫做超级工厂病毒,这是一种针对工业控制系统编写的破坏性病毒,它相应的攻击能力非常强,造成了大面积的损害;今年的WannaCry病毒,影响了150个国家,导致了20万台计算机中毒。

    Dawn Song教授说:“互联网还在不断发展,它已经成为我们日常生活中很重要的一部分;同时,互联网的攻击也在不断增加,可以看到,有许多病毒的攻击变得越来越多样化,也越来越严重。”

    另外,Dawn Song研究还发现,网络上的攻击者不仅不断地追随新技术的发展脚步,甚至有时会领先于我们的技术发展,人工智能领域不可避免的存在着极大的风险。再加上AI系统越来越强,这也就意味着十分有可能被攻击者利用,结果也将更加严重。

    Dawn Song以目前风靡全球的无人驾驶汽车为例进行了分析,称无人驾驶汽车在道路上行驶时,需要识别路边的路牌才能决定用什么速度、向什么方式行驶。如果我们在AI系统中做一个小小的修改,那么识别出来的结果将会完全不一样。“作为人眼我们能够识别一些区别,但如果是深度学习系统,可能就会犯一些错误,会进行一些错误的分类。”

    目前,AI仍然存在着无法预料到的漏洞,而微小对抗性的攻击将会把漏洞无限放大。但是,正如互联网进步有很多都输在打补丁是才跃升的一样,Dawn Song认为,目前已经发现的问题将会随着AI技术的进步逐步得到解决。然而在AI系统里,将会继续有新的漏洞出现。

    本文转载自ATYUN人工智能媒体平台,原文链接:人工智能专家细数AI安全隐患

    更多推荐

    世界反兴奋剂机构使用人工智能来识别兴奋剂作弊

    不懂神经网络?不怕,一文教你用JavaScript构建神经网络

    挑战亚马逊 IBM的沃森助手让任何公司都能构建类似于Alexa的语音接口

    两位科技大神凭借RISC技术获得图灵奖 谷歌成最大赢家

    帮化学家偷个懒,利用量子计算来模拟化学反应

    欢迎关注ATYUN官方公众号,商务合作及内容投稿请联系邮箱:bd@atyun.com
    欢迎关注ATYUN官方公众号,商务合作及内容投稿请联系邮箱:bd@atyun.com

     

    展开全文
  • 各国人工智能安全政策研判.pdf
  • 以下内容摘自《人工智能安全白皮书(2018)》 http://www.caict.ac.cn/kxyj/qwfb/bps/index_1.htm 《人工智能发展白皮书-技术架构篇(2018年)》 《人工智能安全白皮书(2018)》 《2018世界人工智能产业发展蓝皮...

                               以下内容摘自《人工智能安全白皮书(2018)

     

    http://www.caict.ac.cn/kxyj/qwfb/bps/index_1.htm

    《人工智能发展白皮书-技术架构篇(2018年)》

    《人工智能安全白皮书(2018)》

    《2018世界人工智能产业发展蓝皮书》

    《电信网络人工智能应用白皮书(2018 年)》

    《 深度学习技术选型白皮书(2018 年)》

     

    目录

                               以下内容摘自《人工智能安全白皮书(2018)》

    第一章、 人工智能安全内涵与体系架构 

    (一) 人工智能基本概念与发展历程

    1、人工智能基本概念

    2、人工智能发展历程

    (二) 人工智能安全内涵

    (三) 人工智能安全体系架构

    1、人工智能安全风险

    2、人工智能安全应用

    3、人工智能安全管理

    第二章、 人工智能安全风险分析

    (一) 网络安全风险

    (二) 数据安全风险

    1、逆向攻击可导致算法模型内部的数据泄露。

    2、人工智能技术可加强数据挖掘分析能力,加大隐私泄露风险。

    (三) 算法安全风险

    1、算法设计或实施有误可产生与预期不符甚至伤害性结果。

    2、算法潜藏偏见和歧视,导致决策结果可能存在不公。

    3、算法黑箱导致人工智能决策不可解释,引发监督审查困境。

    4、含有噪声或偏差的训练数据可影响算法模型准确性。

    5、对抗样本攻击可诱使算法识别出现误判漏判,产生错误结果。

    (四) 信息安全风险

    1、智能推荐算法可加速不良信息的传播。

    2、人工智能技术可制作虚假信息内容,用以实施诈骗等不法活动。

    (五) 社会安全风险

    1、人工智能产业化推进将使部分现有就业岗位减少甚至消失,导致 结构性失业。

    2、人工智能特别是高度自治系统的安全风险可危及人身安全。

    3、人工智能产品和应用会对现有社会伦理道德体系造成冲击。

    (六) 国家安全风险

    1、人工智能可用于影响公众政治意识形态,间接威胁国家安全

    2、人工智能可用于构建新型军事打击力量,直接威胁国家安全。

    第三章、 人工智能安全应用情况

    (一) 网络信息安全应用

    1、网络安全防护应用

    2、信息内容安全审查应用

    3、数据安全管理应用

    (二) 社会公共安全应用

    1、智能安防应用

    2、金融风控应用

    第四章、 人工智能安全管理现状

    (一) 主要国家人工智能安全关注重点

    1、美国:关注人工智能技术对国家安全的影响。

    2、欧盟和英国:关注人工智能对隐私、就业及伦理影响

    3、俄罗斯、以色列、印度:重点关注人工智能国防领域应用以 及对军事安全影响

    4、加拿大、日本、韩国、新加坡:侧重人工智能人才培养、技 术研发和产业推进等,对人工智能安全关注较少

    (二) 主要国家人工智能安全法规政策制定情况

    (三) 国内外人工智能安全标准规范制定情况

    1、IEEE正在开发人工智能伦理道德标准,规范人工智能安全设计。

    2、ISO/IEC成立人工智能可信研究组,开展人工智能安全标准研究。

    3、我国成立国家人工智能标准化总体组与专家咨询组,加强人工智能安全标准研制工作。

    (四) 国内外人工智能安全技术手段建设情况

    (五) 国内外人工智能重点应用的安全评估情况

    1、自动驾驶的安全测试验证受到各国高度重视,但未形成统一安全 标准和评价体系。

    2、工业机器人相关安全标准较为完备,但智能服务机器人安全标准体系和评估能力尚待完善。

    (六) 国内外人工智能人才队伍建设情况

    (七) 国内外人工智能产业生态培育情况

    五、 人工智能安全发展建议

    (一) 加强自主创新,突破共性关键技术

    (二) 完善法律法规,制定伦理道德规范

    (三) 健全监管体系,引导产业健康发展

    (四) 强化标准引领,构建安全评估体系

    (五) 促进行业协作,推动技术安全应用

    (六) 加大人才培养,提升人员就业技能

    (七) 加强国际交流,应对共有安全风险

    (八) 加大社会宣传,科学处理安全问题


     

    第一章、 人工智能安全内涵与体系架构 

    (一) 人工智能基本概念与发展历程

    1、人工智能基本概念

             结合业界专 家观点,项目组研究认为,人工智能是利用人为制造来实现智能机器 或者机器上的智能系统,模拟、延伸和扩展人类智能,感知环境,获 取知识并使用知识获得最佳结果的理论、方法和技术。

    2、人工智能发展历程

          \large {\color{Red} }\Delta{​{\color{Green} }\color{Red} }人工智能 自 1956 年诞生。

          \large {\color{Red} }\Delta{​{\color{Green} }\color{Red} }以 2006 年深度学习模型的提出为标志,人工智能核心 算法取得重大突破并不断优化。

          \large {\color{Red} }\Delta{​{\color{Green} }\color{Red} }当前人工智能仍处于弱人工智能阶段,主要是面向特定领域的专 用智能。

          人工智能可划分为弱人工智能、强人工 智能和超人工智能三个阶段。弱人工智能擅长于在特定领域、有限规 则内模拟和延伸人的智能;强人工智能具有意识、自我和创新思维, 能够进行思考、计划、解决问题、抽象思维、理解复杂理念、快速学 习和从经验中学习等人类级别智能的工作;超人工智能是在所有领域 都大幅超越人类智能的机器智能。

    (二) 人工智能安全内涵

    人工智能安全内涵包含:

    一、降低 人工智能不成熟性以及恶意应用给网络空间和国家社会带来的安全 风险;

    二、推动人工智能在网络安全和公共安全领域深度应用;

    三、构建人工智能安全管理体系,保障人工智能安全稳步发展。

    (三) 人工智能安全体系架构

            基于对人工智能安全内涵的理解,项目组提出覆盖安全风险、安 全应用、安全管理三个维度的人工智能安全体系架构。

    1、人工智能安全风险

           人工智能作为战略性与变革性信息技术,给网络空间安全增加了 新的不确定性,人工智能网络空间安全风险包括:网络安全风险、数 据安全风险、算法安全风险和信息安全风险。

             网络安全风险涉及网络设施和学习框架的漏洞、后门安全问题, 以及人工智能技术恶意应用导致的系统网络安全风险(破坏网络)。

             数据安全风险包括人工智能系统中的训练数据偏差、非授权篡改 以及人工智能引发的隐私数据泄露等安全风险(盗用数据)。

             算法安全风险对应技术层中算法设计、决策相关的安全问题,涉 及算法黑箱、算法模型缺陷等安全风险(每个算法都可能存在安全隐患,只是现在没有发现而已)。

             信息安全风险主要包括人工智能技术应用于信息传播以及人工 智能产品和应用输出的信息内容安全问题(散播不良信息)。

            社会安全风险是指人工智能产业化应用带来的结构性失业、对社 会伦理道德的冲击以及可能给个人人身安全带来损害(大部分人失业导致社会不稳定)。

            国家安全风险是指人工智能在军事作战、社会舆情等领域应用给 国家军事安全和政体安全带来的风险隐患。

    2、人工智能安全应用

           网络防护应用是指利用人工智能算法开展入侵检测、恶意软件检 测、安全态势感知、威胁预警等技术和产品的研发。

           数据管理应用是指利用人工智能技术实现对数据分级分类、防泄 漏、泄露溯源等数据安全保护目标。

           信息审查应用是指利用人工智能技术辅助人类对表现形式多样, 数量庞大的网络不良内容进行快速审查。

           智能安防应用是指利用人工智能技术推动安防领域从被动防御 向主动判断、及时预警的智能化方向发展。

           金融风控应用是指利用人工智能技术提升信用评估、风险控制等 工作效率和准确度,并协助政府部门进行金融交易监管。

           舆情监测应用是指利用人工智能技术加强国家网络舆情监控能 力,提升社会治理能力,保障国家安全。

    3、人工智能安全管理

    法规政策方面,针对人工智能重点应用领域和突出的安全风险, 建立健全相应的安全管理法律法规和管理政策。

    标准规范方面,加强人工智能安全要求、安全评估评测等方面的 国际、国内和行业标准的制定完善工作。

    技术手段方面,建设人工智能安全风险监测预警、态势感知、应 急处置等安全管理的技术支撑能力。

    安全评估方面,加快人工智能安全评估评测指标、方法、工具和 平台的研发,构建第三方安全评估评测能力。

    人才队伍方面,加大人工智能人才教育与培养,形成稳定的人才 供给和合理的人才梯队,促进人工智能安全持续发展。

    可控生态方面,加强人工智能产业生态中薄弱环节的研究与投入, 提升产业生态的自我主导能力,保障人工智能安全可控发展。

           以下的第二章、第三章、第四章,分别对第一章的安全风险、安 全应用、安全管理三大部分观点,又分别进行叙述。最后,本文提出人工智能的发展建议,相当于对人工智能的总结。因此,文本采用了总分总的结构来阐述人工智能。

    第二章、 人工智能安全风险分析

    (一) 网络安全风险

    1、目前,国内人工智能产品和应用的研发主要是基于谷歌、微软、 亚马逊、脸书、百度等科技巨头发布的人工智能学习框架和组件。但 是,由于这些开源框架和组件缺乏严格的测试管理和安全认证,可能 存在漏洞和后门等安全风险。

    2、过去恶意软件的创建 在很大程度上由网络犯罪分子人工完成,通过手动编写脚本以组成计 算机病毒和木马,并利用 rootkit、密码抓取器和其他工具帮助分发 和执行。但人工智能技术可使这些流程自动化,通过插入一部分对抗 性样本,绕过安全产品的检测,甚至根据安全产品的检测逻辑,实现 恶意软件自动化地在每次迭代中自发更改代码和签名形式,在自动修 改代码逃避反病毒产品检测的同时,保证其功能不受影响。

    3、2017 年 3 月,首个用机器学习创建恶意软件的案例出现在《为基于 GAN 的黑盒 测试产生敌对恶意软件样本》的论文报告中,基于生成性对抗网络 (GAN)的算法来产生对抗恶意软件样本,这些样本能绕过基于机器学 习的检测系统。

    4、Fortinet 在其发布的 2018 年全球威胁态势预测中表示,人工 智能技术未来将被大量应用在蜂巢网络(Hivenet)和机器人集群 (Swarmbots)中,利用自我学习能力以前所未有的规模自主攻击脆弱 系统。

    (二) 数据安全风险

    1、逆向攻击可导致算法模型内部的数据泄露。

            逆向攻击是利用机器学 习系统提供的一些应用程序编程接口(API)来获取系统模型的初步 信息,进而通过这些初步信息对模型进行逆向分析,从而获取模型内 部的训练数据和运行时采集的数据。例如,Fredrikson 等人在仅能黑 盒式访问用于个人药物剂量预测的人工智能算法的情况下,通过某病 人的药物剂量就可恢复病人的基因信息。

    2、人工智能技术可加强数据挖掘分析能力,加大隐私泄露风险。

           Facebook 数据泄露事件的主角剑桥分析公司通过关联分 析的方式获得了海量的美国公民用户信息,包括肤色、性取向、智力 水平、性格特征、宗教信仰、政治观点以及酒精、烟草和毒品的使用 情况,借此实施各种政治宣传和非法牟利活动。

    (三) 算法安全风险

    1、算法设计或实施有误可产生与预期不符甚至伤害性结果。

        2018 年 3 月,Uber 自动驾驶汽车因机器 视觉系统未及时识别出路上突然出现的行人,导致与行人相撞致人死 亡。

        谷歌、斯坦福大学、伯克利大学和 OpenAI 研究机构的学者根据 错误产生的阶段将算法模型设计和实施中的安全问题分为三类。第一 类是设计者为算法定义了错误的目标函数例如,设计者在设计目标 函数时没有充分考虑运行环境的常识性限制条件,导致算法在执行任 务时对周围环境造成不良影响。第二类是设计者定义了计算成本非常 高的目标函数,使得算法在训练和使用阶段无法完全按照目标函数执行,只能在运行时执行某种低计算成本的替代目标函数,从而无法达 到预期的效果或对周围环境造成不良影响。第三类是选用的算法模型 表达能力有限,不能完全表达实际情况,导致算法在实际使用时面对 不同于训练阶段的全新情况可能产生错误的结果。

    2、算法潜藏偏见和歧视,导致决策结果可能存在不公。

            比如Northpointe 公司开发的犯罪风险评估算法 COMPAS 时,黑人被错误地评估为具有 高犯罪风险的概率两倍于白人。本质原因由两方面原因造成,一、设计者和开发者的主观偏见。二是数据是社会现 实的反应,训练数据本身带有歧视性,用这样的数据训练得出的算法 模型天然潜藏歧视和偏见。

    3、算法黑箱导致人工智能决策不可解释,引发监督审查困境

    4、含有噪声或偏差的训练数据可影响算法模型准确性

          例 如,主流人脸识别系统大多用白种人和黄种人面部图像作为训练数据, 在识别黑种人时准确率会有很大下降。MIT 研究员与微软科学家对微 软、IBM 和旷世科技三家的人脸识别系统进行测试,发现其针对白人 男性的错误率低于 1%,而针对黑人女性的错误率则高达 21%-35%。

    5、对抗样本攻击可诱使算法识别出现误判漏判,产生错误结果

            例如,Biggio 研究团队利用梯度法来产生最优化的逃避对抗 样本,成功实现对垃圾邮件检测系统和 PDF 文件中的恶意程序检测 系统的攻击。再例如,Nguyen 等人利用改进的遗传 算法产生多个类别图片进化后的最优对抗样本,对谷歌的 AlexNet 和 基于 Caffe 架构的 LeNet5 网络进行模仿攻击,从而欺骗 DNN 实现误 分类。

    (四) 信息安全风险

    1、智能推荐算法可加速不良信息的传播。

    McAfee 公司表示,犯罪分子将越来越多地 利用机器学习来分析大量隐私记录,以识别潜在的易攻击目标人群, 通过智能推荐算法投放定制化钓鱼邮件,提升社会工程攻击的精准性。

    2、人工智能技术可制作虚假信息内容,用以实施诈骗等不法活动。

           2017 年,我国浙江、湖北等地发生多起犯罪分子利用语音合 成技术假扮受害人亲属实施诈骗的案件,造成恶劣社会影响。         2018 年 2 月英国剑桥大学等发布的《人工智能的恶意使用:预测、预防和 缓解》研究报告预测,未来通过合成语音和视频及多轮次对话的诈骗 技术成为可能,基于人工智能的精准诈骗将使人们防不胜防。

           2018 年 5 月 8 日,谷歌在 I/O 开发者大会上展示的聊天机器人,在与人进 行电话互动时对话自然流畅、富有条理,已经完全骗过了人类

    (五) 社会安全风险

    1、人工智能产业化推进将使部分现有就业岗位减少甚至消失,导致 结构性失业

    据 Forrester Research 预测统计,人工智能技术将在 2025 年之前取代美国 7%的 工作岗位,其中16%的美国工人将被人工智能系统取代。《未来简史》 作者尤瓦尔·赫拉利预言,二三十年内超过 50%工作会被人工智能取 代。

    2、人工智能特别是高度自治系统的安全风险可危及人身安全。

    例如,2016 年 5 月,开启自动驾驶功能的特斯拉汽车无法识别蓝天背景下的白色 货车,在美国发生车祸致驾驶员死亡;2017 年年初,我国发生多起 无人机干扰致航班紧急迫降事件。

    3、人工智能产品和应用会对现有社会伦理道德体系造成冲击

         体现在4个方面:

    3.1、智能系统的决策算法会影响社会公平正义。

           Kronos 公司的人工智能雇佣辅助系统让少数族裔、女性 或者有心理疾病史的人更难找到工作。

    3.2、人工智能应用缺乏道德规 范约束,资本逐利本性会导致公众权益受到侵害。

            例如:携程、滴滴等基于用户行为数 据分析,实现对客户的价格歧视;Facebook 利用人工智能有针对性 地向用户投放游戏、瘾品甚至虚假交友网站的广告,从中获取巨大利 益。

    3.3、人工智能会让人类产生严重依赖,冲击现有人际观念。

           智能伴侣机器人依托个人数据分析,能够更加了解个体心理,贴近用 户需求,对人类极度体贴和恭顺,这就会让人类放弃正常的异性交往, 严重冲击传统家庭观念。

    3.4、人工智能产品和系统安全事件导致的财 产损失、人身伤害等面临无法追责的困境。

    (六) 国家安全风险

    1、人工智能可用于影响公众政治意识形态,间接威胁国家安全

           美国伊隆大学数据科 学家奥尔布赖特指出,通过行为追踪识别技术采集海量数据,识别出 潜在的投票人,进行虚假新闻的点对点的推送,可有效影响美国大选 结果。

    2、人工智能可用于构建新型军事打击力量,直接威胁国家安全。

         例如,美国国防部明确 把人工智能作为第三次“抵消战略”的重要技术支柱。俄罗斯军队于 2017 年开始大量列装机器人,计划到 2025 年,无人系统在俄军装备 结构中的比例将达到 30%

     

    第三章、 人工智能安全应用情况

    (一) 网络信息安全应用

    1、网络安全防护应用

    1.1、从应用深度看,人工智能在网 络安全的应用程度仍处于前期积累阶段。

           例如,在入侵检测方面, 以色列 Hexadite 公司利用人工智能来自动分析威胁,迅速识别和解 决网络攻击,帮助企业内部安全团队管理和优先处理潜在威胁;我国 山石网科公司研发智能防火墙,可基于行为分析技术,帮助客户发现 未知网络威胁,能够在攻击的全过程提供防护和检测。

    1.2、从应用范围看,人工智 能在网络安全的应用场景日益广泛。

          如英国 DarkTrace 公司 基于剑桥大学的机器学习和人工智能算法仿生人类免疫系统,致力于 实现网络自动自主防御潜在威胁,能够帮助企业快速识别并应对人为 制造的网络攻击,同时还能预防基于机器学习的网络攻击。

    2、信息内容安全审查应用

         美国互联网巨头 Facebook 不仅利用人工智能技术 对互联网内容进行标记,而且利用机器学习开发了一款对用户的视频 直播内容进行实时监控识别的工具,自动对直播中涉黄、涉暴或者自 杀类别的视频内容进行标记。

    3、数据安全管理应用

         德国的 Neokami 公司利用人工智能技术帮助客 户保护云端、本地或物理资产上的敏感数据,该公司所研发的数据分 类引擎适用于多种业务场景,已被众多合作伙伴厂商所采用,在多家 财富 500 强公司中创造价值。

    (二) 社会公共安全应用

    1、智能安防应用

     1.1、基于人工智能技术的智能安防呈现全球高速发展的良好态势。

          与传统安防不同,基于人工智能的智能安防依 托对海量视频数据的学习,可完成行为模式的推断和预测,已经从被 动防御向主动判断、及时预警的智能化方向发展,目前已经应用于人 脸识别、车辆识别等系统中,进行目标属性提取,实现对目标的智能 检测、跟踪及排查。

    1.2、国外芯片巨头把握行业发展良机,加紧在智能安防产业链上游布 局。

         美国芯片巨头英特尔早在 2016 年就收购了具有领先技术的计算 机视觉公司 Movidius,之后陆续推出多款植入独立神经运算引擎、 支持边缘深度学习推断的视觉运算芯片以及神经计算 SDK 开发包,形 成平台化设计,为世界范围内各大安防公司提供个性化的解决方案。

    1.3、国内智能安防产业发展空间巨大。

        预计到 2020 年, 安防企业总收入达到 8000 亿元左右,年增长率达到 10%以上

    1.4、国 内智能安防行业创新能力不断加强,但仍需向产业链上游努力迈进。

          目前看,国内安防市场竞争格局以人工智能创新型企业和传统安防巨 头两类企业为主。其中,基于人工智能的初创企业如云从科技、商汤 科技和旷视科技等,依托在计算机视觉、数据深度分析等方面的技术 积累,推出智能安防产品,进行产业布局;传统安防巨头海康威视、 大华股份等近年来不断加大研发投入,加强技术创新能力,并且对初 创企业进行投资收购,逐步提升安防产品智能化水平

    2、金融风控应用

    2.1、人工智能技术可用于提升金融风控工作效率和准确度。

    2.2、国外发展相对成熟,已应用于金融交易监管。

         2016 年 底,纳斯达克和伦敦证券交易所启用人工智能投入市场监管;2017 上半年,华尔街两家交易所推出智能监管系统。

    2.3、国内处于起步阶段,仍需长时间的市场验证。

         国内融 360、好贷 网、资信客等金融企业借助对企业市场影响力、产品口碑评价等广泛 的数据采集和有效筛选,依托人工智能技术实现了对历史经营数据和 实时市场信息的量化建模,进而实现了对各类资产风险的预测评估。

     

    第四章、 人工智能安全管理现状

    (一) 主要国家人工智能安全关注重点

    1、美国:关注人工智能技术对国家安全的影响。

         2017 年 7 月,哈佛大学肯尼迪政治学院发 布《人工智能与国家安全》报告。

         2018 年 3 月 20 日,美国国 会发起提案,建议成立“国家人工智能安全委员会”,并将制定 “2018 年国家安全委员会人工智能法”。

    2、欧盟和英国:关注人工智能对隐私、就业及伦理影响

       2018 年 3 月 27 日,欧洲政治战略中心发布《人工智能时代:确立以人为本的欧 洲战略》

    3、俄罗斯、以色列、印度:重点关注人工智能国防领域应用以 及对军事安全影响

    4、加拿大、日本、韩国、新加坡:侧重人工智能人才培养、技 术研发和产业推进等,对人工智能安全关注较少

           加拿大政府 2017 年 3 月推出了《泛加拿大人工智能战略》。

          日本政府在 2016 年 1 月颁布了《第 5 期科学技术基本计划》。

          韩国在 2005 年 1 月至 2017 年第三季度期 间,与人工智能相关的专利数量全球排名第三,仅次于美国和日本。

          新加坡在 2017 年 5 月发布《新加坡人工智能战略》

    (二) 主要国家人工智能安全法规政策制定情况

         省略

    (三) 国内外人工智能安全标准规范制定情况

    1、IEEE正在开发人工智能伦理道德标准,规范人工智能安全设计。

          2017 年 3 月,IEEE 在《IEEE 机器人与自动化》杂志发表 了名为“旨在推进人工智能和自治系统的伦理设计的 IEEE 全球倡议 书”。

          目前,IEEE 工作组正在开发 IEEE P7000 系列中涉及道德规范的伦理标准。

    2、ISO/IEC成立人工智能可信研究组,开展人工智能安全标准研究。

    3、我国成立国家人工智能标准化总体组与专家咨询组,加强人工智能安全标准研制工作。

    (四) 国内外人工智能安全技术手段建设情况

    1、2016 年 10 月,英国下议院科学和技术委 员会发布《机器人技术和人工智能》报告,呼吁政府应该对人工智能 进行监管。

    2、大疆科技 通过事前环节的实名登记,实现所有无人机的实名使用,确保使用者 有据可查。

    (五) 国内外人工智能重点应用的安全评估情况

    1、自动驾驶的安全测试验证受到各国高度重视,但未形成统一安全 标准和评价体系。

      2016 年 9 月 20 日,美国交通运输部颁布《联邦自 动驾驶汽车政策》。

      2018 年 4 月 12 日,我国工信部、公安部、交通部联合发布《智能网联汽车道 路测试管理规范(试行)》

    2、工业机器人相关安全标准较为完备,但智能服务机器人安全标准体系和评估能力尚待完善。

          ISO/TC299/WG2 完成了服务机器人领域第一个安全标准——ISO 13482:2014 《个人护理机器人的安全要求》。

         2017 年 1 月,国家发改委、工信部、国标委、认监委等部门联合发布了《家用/商用服务机器人安全及 EMC 认证实施 规则》。

    (六) 国内外人工智能人才队伍建设情况

          1、清华、 南开等多所 985 高校成立人工智能研究院。 

          2 、2018 年 7 月,清华、南 大、西交大等 26 所高校联合签署《关于设置人工智能专业建议书》, 申请设立人工智能本科专业。

          3、目前,人工智能领域学术能力排在世界前 20 的学校中,美国占据 14 所,排名前八个席位的都为美国所占据。

          4、截止 2017 年 6 月,美国产业人才总量约是中国的两 倍,美国 1078 家人工智能企业约有 78000 名员工,中国 592 家公司 中约有 39000 位员工。

          5、我国 深人工智能从业者占比与美国差距明显(十年以上从业者占比 38.7%,而美国是 71.5%20)。

    (七) 国内外人工智能产业生态培育情况

    1、国内人工智能产业投资和技术研究主要集中在应用层环节,在 自动驾驶、计算机视觉、语音识别等应用领域形成一定优势,甚至部 分产业处于国际领先水平。

    2、我国人工智能基础层发展相对缓慢,缺少重大原创成果, 在基础理论、核心算法以及关键设备、高端芯片等方面差距较大,尽 管涌现出寒武纪、地平线等优秀创业公司,并已形成成熟产品,但同 国外英伟达、谷歌等巨头相比差距明显,尚难以取得市场竞争主导权。

    3、牛津 大学研究报告提出“国家人工智能潜力指数(AIPI)”,中国产业生态 位居世界第二,但得分仅为美国的四分之一。

     

    五、 人工智能安全发展建议

    (一) 加强自主创新,突破共性关键技术

            因此,需要从云计 算、大数据和机器学习等关键通用技术研究入手,破解基础安全风险。一方面,立足自主,以传感器、智能芯片、基础算法等重点技术安全 可控发展为目标,实施重大技术攻关工程;另一方面,加大技术引进, 以开放务实的态度开展对外技术合作,实现技术消化吸收和再创新。

    (二) 完善法律法规,制定伦理道德规范

    (三) 健全监管体系,引导产业健康发展

    (四) 强化标准引领,构建安全评估体系

    (五) 促进行业协作,推动技术安全应用

    (六) 加大人才培养,提升人员就业技能

    (七) 加强国际交流,应对共有安全风险

    (八) 加大社会宣传,科学处理安全问题

     

     

     

     

    展开全文
  • 360 AI安全风险白皮书

    2018-04-22 07:59:46
    360 安全研究院在过去一年里对深度学习系统的安全性做了详细的研究。 我们通过这个文档对这些工作做了一个系统的总结。 AI系统的安全问题主要包括模型... 白皮书主要内容参照了360安全团队近期发布的AI安全相关报告。
  • 华为AI安全白皮书.pdf

    2019-09-10 10:05:41
    近年来,随着海量数据的积累、计算能力的发展、机器学习方 法与系统的持续创新与演进,诸如图像识别、语音识别、自然 语言翻译等人工智能技术得到普遍部署和广泛应用,人工智 能正朝着历史性时刻迈进。与此同时,AI...
  • 华为AI安全白皮书(完整版).pdf
  • 人工智能时代,AI安全防御“不容小觑”.pdf
  • AI安全之对抗样本.pptx

    2019-12-03 18:56:06
    对抗样本入门级论文的PPT总结 包括入门级的六篇论文以及总结展望,希望有从事AI安全的朋友前来交流 目前正在从事AI安全方面的工作,如果做的有不好的地方,大家多多指出
  • 大数据、云计算、人工智能等新一代信息技术的快速发展,围绕网络和数据的服务与应用呈现爆发式增长,智能设备将无所不在,智能家居、无人车、物联网将渗透到人类社会的各个角落,丰富的应用场景下暴露出越来越多的...
  • 在过去的几年中,信息安全一直都是基于防病毒方案、隔离技术和加密技术的组合。政府机构和信息安全公司愿意采用跟踪互联网流量的方法,并根据其签名查找可疑材料。这些技术重点是在出现问题后去检测恶意软件,并去...
  • 在科技发展史上,科学技术的每一次进步和变革都会不可避免地带来“双刃剑”效应。 人工智能技术也是如此,它的提出到应用...当前人类社会面临的人工智能安全问题:鉴于人工智能算法与系统的特点,因人工智能技术的客观
  • 0x00背景 近期 全国信息安全标准化技术委员会 大数据安全标准特别工作组发布了人工智能安全标准化白皮书(2019版),针对人工智能...人工智能(Artificial Intelligence,简称AI),阿尔法狗对战中国的围棋高手,...
  • AI安全风险白皮书

    2021-02-24 09:40:51
    在推进人工智能应用的同时,我们迫切需要关注并解决这些安全问题。本章首先介绍我们在深度学习框架中发现的安全问题。目前公众对人工智能的关注,尤其是深度学习方面,缺少对安全的考虑。我们把这个现象称为人工智能...
  • 感谢阅读腾讯AI Lab微信号第105篇文章。本文将介绍业内首个AI安全攻击矩阵。近年来,人工智能迅猛发展,与家居、金融、交通、医疗等各个领域深度融合,让人们的生活更为便利。但与此同时,...
  • 随着人工智能时代的到来,各行各业均开始结合自身业务需要部署人工智能系统,这全面加速了全球范围内人工智能规模化部署和应用进程。然而,人工智能基础设施、设计研发以及融合应用过程中面临的安全风险也随之而来。
  • 人工智能安全标准规范制定情况

    千次阅读 2019-06-30 10:25:09
    人工智能安全、伦理、隐私保护等的安全相关 标准,大多仍处于研究阶段。 国外 IEEE正在开发人工智能伦理道德标准,规范人工智能安全设计 。2017 年 3 月, IEEE 在《IEEE 机器人与自动化》杂志发表了名为“旨在...
  • 整理| 伍杏玲出品 |AI 科技大本营(ID:rgznai100)回顾人工智能 60 多年的发展历程,我们经历了第一代以知识驱动的人工智能,第二代以数据驱动的人工智能,如今来到第三代以...
  • 重磅,2020-2021 AI人工智能技术领域/行业研究报告大合集,共58份。 2021年中国人工智能基础层行业发展研究报告 2021中国AI商业落地市场研究报告 2021中国新一代人工智能科技产业区域竞争力评价指数 2021中国新一代...
  • 10位女性大咖谈AI安全人工智能需要尽快制定规则 2014年,特斯拉创始人Elon-Musk发布了一个Twitter——“人工智能可能比核武器更危险”,顿时引发行业热议,扎克伯格为此特意请他到家里吃饭,并约上Yann LeCun一起...
  • 传统安防视频监控主要用于环境的实时监看,功能...而人工智能技术的应用,则可以将被动安防转变为主动预防,视频监控的能力从远程监控、被动式响应逐渐升级到智能化的主动响应、事前预警、事中分析、事后溯源等能力。
  • 人工智能安全人工智能安全论文集
  • 与此同时,本报告结合国内外企业最佳实践,详细阐释人工智能赋能网络空间安全AI+安全)的最新进展。最后,本报告提出,人工智能安全将成为人工智能产业发展最大蓝海,人工智能的本体安全决定安全应用的发展进程,...
  • 作者将重新打造一个《当人工智能遇上安全》系列博客,详细介绍人工智能安全相关的论文、实践,并分享各种案例,涉及恶意代码检测、恶意请求识别、入侵检测、对抗样本等等。AI技术蓬勃发展,无论是金融服务、线下...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 236,872
精华内容 94,748
关键字:

人工智能安全

友情链接: UCOS_F103.zip