精华内容
下载资源
问答
  • Python3自动化_文件批量处理(文本、PDF、Excel;读取、筛选、导出)
    2020-12-04 08:24:17

    利用Python3脚本语言的简练语法,高级语言的丰富类库,快速写了几个文件读取、筛选、导出的“脚本”。

    这里简单总结一下关键功能。

    读取ini配置文件

    检查ini文件是否存在;检查输入的key在ini文件里是否有定义。

    1 importconfigparser2

    4 defgetConfigInfo(_ini_nm):5

    6 #Open Ini File

    7 config =configparser.ConfigParser()8 if not config.read(os.path.join(os.getcwd(),_ini_nm + r'.ini')):9 printLog(E',Read Ini file fail.)10

    11 whileTrue:12 sysCode = input(rPlease input the system code : (Press [Enter] to quit):).strip()13 if 0 ==len(sysCode.strip()):14 exit()15

    16 Init ConnectionSettings

    17 if sysCode inconfig.sections():18 returndict(config[sysCode])19 else:20 print(Ini info of System [%s] is blank.\n' % sysCode)

    多参数输入的获取

    检查参数个数;检查参数合法性(长度,是否目录);检查参数是否整个都是汉字。

    _main():2

    3 path = ''

    4 keyWord = 7 para = input(rPlease input the PDF directory and Key Word: (Press [Enter] to quit):).strip().split()8

    9 len(para):10 11

    12 if 2 !=13 Two para -> [PDF directory and Key Word] is needed .' + \n14 continue

    16 path =para[0]17 keyWord = para[1]18

    notos.path.exists(path):input path is not a exists path.21 22

    23 flg =True24 for char keyWord.strip():25 if char <= u\u4e00' or char >= u\u9fa526 flg =False27 break

    28 flg:29 Please input the Chinese Key Word for search.(Such as \'物流\').30 31

    32 break

    PostgreSQL数据库处理

    根据ini文件定义的数据库连接信息,尝试连库;执行SQL文。

    psycopg24 traceback6 connDB(_cfg):7 try8 conn = psycopg2.connect(database=_cfg[servicename],9 user=_cfg[dbuser10 password=_cfg[dbpw11 host=_cfg[host12 port=_cfg[port])conn14 exceptException:15 printLog(Exception occur at DB Connection.' +traceback.format_exc())16

    17 executeSql(_cfg,_sql):18 19 conn =connDB(_cfg)20 cur =conn.cursor()21 cur.execute(_sql)23 results =cur.fetchall()return list(map(lambdax: x[0],results))25 26 printLog(Exception occur at Execute SQL.27 finally28 cur.close()29 conn.rollback()30 conn.close()

    日志处理

    定义输出日志的级别;异常级别时,处理结束。

    1 logging.basicConfig(filename=log_' + datetime.now().strftime(%Y%m%d') + .txt,1)"> 2 level=logging.INFO,1)"> 3 format=%(asctime)s - %(levelname)s - %(message)s4

    5 logLevel = {D: logging.DEBUG,1)"> 6 I: logging.INFO,1)"> 7 W: logging.WARNING,1)"> 8 : logging.ERROR,1)"> 9 C: logging.CRITICAL}11 printLog(_lvl,_msg):12 logging.log(logLevel[_lvl],_msg)13 if logging.ERROR ==logLevel[_lvl]:14 print(_msg)15 exit()17

    18 printLog(srcpath is not a exists path.19 printLog(Get Src Path : %s' % srcPath)

    MAP函数运用

    列表元素批量处理,按第二个下划线字符截取字符串。

    1 getPreOfNm(x):2 if 1 < x.count(_):3 return x[0:x.find(') + 1)]4 5 x6

    7 Get prefix of CRUD object name

    8 prefixObjNm =list(set(map(getPreOfNm,lstTb)))9 prefixObjNm.sort()

    目录处理

    目录/文件判断;目录的路径分割;完整路径的文件名取得;

    Check the srcPath

    2 fullFilePaths =[]3 ifos.path.isdir(srcPath):4 for folderName,subFolders,fileNames os.walk(srcPath):5 if os.path.split(folderName)[1] in [tcsdoc']: 6 for fn fileNames:7 Get src file

    8 mObj =fileNmReg.search(fn)9 mObj:fullFilePaths.append(os.path.join(folderName,fn))elifos.path.isfile(srcPath):12 13 fn =os.path.basename(os.path.realpath(srcPath))14 mObj =15 16 fullFilePaths.append(srcPath)

    PDF文件读取

    更多相关内容
  • 希捷 4T ST4000NM0035检测报告
  • 2019-12-08 20:36:36 当前,人工智能正处在爆发期。... 本周,清华大学AI研究机构AMiner发布了《2019中国人工智能发展报告》,报告遴选 13 个人工智能的重点领域进行重点介绍,包括:机器学习、知...

    2019-12-08 20:36:36

    当前,人工智能正处在爆发期。我国在人工智能领域的科学技术研究和产业发展起步稍晚,但在最近十余年的时间里抓住了机遇,进入了快速发展阶段。在这个过程中, 技术突破和创造性高端人才对人工智能的发展起着至关重要的作用。 本周,清华大学AI研究机构AMiner发布了《2019中国人工智能发展报告》,报告遴选 13 个人工智能的重点领域进行重点介绍,包括:机器学习、知识工程、计算机视觉、自然语言处理、语音识别、计算机图形学、多媒体技术、人机交互、机器人、数据库技术、可视化、数据挖掘、信息检索与推荐等。

    本期的智能内参,我们推荐清华大学的研究报告《2019中国人工智能发展报告》,对人工智能 13 个领域的人才情况及技术发展等内容进行了挖掘分析。如果想收藏本文的报告(2019中国人工智能发展报告),可以在智东西头条号私信回复关键词“nc419”获取。

    清华2019最新AI发展报告出炉!400页干货,13大领域一文看懂

     

    本期内参来源:清华大学AMiner

    原标题:

    《2019中国人工智能发展报告》

    作者: 李涓子 唐 杰

    一、机器学习

    机器学习已经成为了当今的热门话题,但是从机器学习这个概念诞生到机器学习技术的普遍应用经过了漫长的过程。在机器学习发展的历史长河中,众多优秀的学者为推动机器学习的发展做出了巨大的贡献。

    学者地图用于描述特定领域学者的分布情况, 对于进行学者调查、分析各地区竞争力现况尤为重要,下图为机器学习领域全球学者分布情况:

    清华2019最新AI发展报告出炉!400页干货,13大领域一文看懂

     

    ▲机器学习领域全球学者分布

    地图根据学者当前就职机构地理位置进行绘制,其中颜色越深表示学者越集中。 从该地图可以看出,美国的人才数量遥遥领先且主要分布在其东西海岸;欧洲中西部也有较多的人才分布;亚洲的人才主要分布于我国东部及日韩地区;其他诸如非洲、南美洲等地区的学者非常稀少;机器学习领域的人才分布与各地区的科技、经济实力情况大体一致。 此外, 在性别比例方面,机器学习领域中男性学者占比 89.8%,女性学者占比 10.2%,男性学者占比远高于女性学者。

    我国专家学者在机器学习领域的分布如上图所示。通过下图我们可以发现,京津地区在本领域的人才数量最多,其次是长三角和珠三角地区,相比之下,内陆地区的人才较为匮乏,这种分布与区位因素和经济水平情况不无关系。同时,通过观察中国周边国家的学者数量情况,特别是与日韩、东南亚等亚洲国家相比,中国在机器学习领域学者数量较多。

    清华2019最新AI发展报告出炉!400页干货,13大领域一文看懂

     

    ▲ 机器学习领域中国学者分布

    对本领域的高水平学术会议论文进行挖掘,解读这些会议在近年的部分代表性工作,会议具体包括:

    International Conference on Machine Learning

    Conference and Workshop on Neural Information Processing Systems

    我们对本领域论文的关键词进行分析,统计出词频 Top20 的关键词,生成本领域研究热点的词云图,如上图所示。其中, 出神经网络(neural networks)、深度学习(deep learning)、强化学习(reinforcement learning)是本领域中最热的关键词。 ICML 和 NeurlPS 是机器学习领域非常具有代表性的会议,限于报告篇幅,我们选取 ICML 和 NeurlPS 近十年若干最佳论文进行解读。

    ICML 2019 年最佳论文

    论文题目: Challenging Common Assumptions in the Unsupervised Learning of Disentangled Representations

    中文题目: 挑战无监督分离式表征的常见假设

    论文作者: Francesco Locatello, Stefan Bauer, Mario Lucic, Gunnar Rätsch, Sylvain Gelly, Bernhard Schölkopf, Olivier Bachem

    论文地址: https://aminer.cn/pub/5c04967517c44a2c74709162/challenging-commonassumptions-in-the-unsupervised-learning-of-disentangled-representations

    论文解读: 文章主要从理论和实践两方面对这一领域中的一些基本假设提出了挑战。文章从理论上证明,如果没有对所考虑的学习方法和数据集产生归纳偏置,那么解耦表示的无监督学习基本上是不可能的。文章还采用了完善的无监督解耦学习实验方案,进行了一个超级大规模的实验研究。最后还发布了disentanglement_lib,这是一个用于训练和评估解耦表示的新库。由于复制这个结果需要大量的计算工作论文还发布了超过 10000 个预训练的模型,可以作为未来研究的基线方法。

    论 文 题 目 : Rates of Convergence for Sparse Variational Gaussian Process Regression

    中文题目: 稀疏变分高斯过程回归的收敛速度

    论文作者: David R. Burt, Carl E. Rasmussen, Mark van der Wilk

    论文地址: https://www.aminer.cn/pub/5cede106da562983788e64b9/rates-ofconvergence-for-sparse-variational-gaussian-process-regression

    论文解读:这篇文章来自英国剑桥大学。自从许多研究人提出了对高斯过程后验的变分近似法后,避免了数据集大小为 N 时 O(N3) 的缩放。它们将计算成本降低到 O(NM2),其中 M ≤ N 是诱导变量的数量。虽然 N 的计算成本似乎是线性的,但算法的真正复杂性取决于 M 如何增加以确保一定的近似质量。论文证明了稀疏 GP 回归变分近似到后验变分近似的 KL 散度的界限,该界限仅依赖于先验核的协方差算子的特征值的衰减。这些边界证明了直观的结果,平滑的核、训练数据集中在一个小区域,允许高质量、非常稀疏的近似。这些边界证明了用M≤N 进行真正稀疏的非参数推理仍然可以提供可靠的边际似然估计和点后验估计。对非共轭概率模型的扩展,是未来研究的一个有前景的方向。

    二、计算机视觉

    计算机视觉(computer vision),顾名思义,是分析、研究让计算机智能化的达到类似人类的双眼“看”的一门研究科学。即对于客观存在的三维立体化的世界的理解以及识别依靠智能化的计算机去实现。确切地说,计算机视觉技术就是利用了摄像机以及电脑替代人眼使得计算机拥有人类的双眼所具有的分割、分类、识别、跟踪、判别决策等功能。总之,计算机视觉系统就是创建了能够在2D 的平面图像或者 3D 的三维立体图像的数据中,以获取所需要的“信息”的一个完整的人工智能系统。

    学者地图用于描述特定领域学者的分布情况,对于进行学者调查、分析各地区竞争力现况尤为重要,下图为计算机视觉领域全球学者分布情况:

    地图根据学者当前就职机构地理位置进行绘制,其中颜色越深表示学者越集中。 从该地图可以看出,美国的人才数量优势明显且主要分布在其东西海岸;亚洲也有较多的人才分布,主要集中在我国东部及日韩地区;欧洲的人才主要分布在欧洲中西部;其他诸如非洲、南美洲等地区的学者非常稀少;计算机视觉领域的人才分布与各地区的科技、经济实力情况大体一致。

    清华2019最新AI发展报告出炉!400页干货,13大领域一文看懂

     

    ▲ 计算机视觉领域全球学者分布

    此外,在性别比例方面,计算机视觉中男性学者占比 91.0%,女性学者占比9.0%,男性学者占比远高于女性学者。

    计算机视觉学者的 h-index 分布如下图所示,大部分学者的 h-index 分布在中间区域,其中 h-index 在 20-30 区间的人数最多,有 706 人, 占比 34.7%,小于 20 的区间人数最少, 有 81 人。

    我国专家学者在计算机视觉领域的分布如下图所示。通过下图我们可以发现,京津地区在本领域的人才数量最多,其次是珠三角和长三角地区,相比之下,内陆地区的人才较为匮乏,这种分布与区位因素和经济水平情况不无关系。同时,通过观察中国周边国家的学者数量情况,特别是与日韩、东南亚等亚洲国家相比,中国在计算机视觉领域学者数量相对较多。

    清华2019最新AI发展报告出炉!400页干货,13大领域一文看懂

     

    ▲计算机视觉领域中国学者分布

    对本领域的高水平学术会议论文进行挖掘,解读这些会议在 2018-2019年的部分代表性工作。 会议具体包括:

    IEEE Conference on Computer Vision and Pattern Recognition

    European Conference on Computer Vision

    论文题目: Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation

    中文题目:具有空洞分离卷积的编码–解码器用于语义图像分割

    论文作者: Liang-Chieh Chen, Yukun Zhu, George Papandreou, Florian Schroff,Hartwig Adam

    论文出处: Proceedings of the European conference on computer vision (ECCV). 2018:801-818.

    论文地址: https://link.springer.com/chapter/10.1007%2F978-3-030-01234-2_49

    研究问题:

    语义分割是计算机视觉中一项基本且重要的研究内容, 它是为图像中的每个像素分配语义标签。 在深度学习语义分割任务中经常会使用空间金字塔池化和编码–解码器结构。空间金字塔池化可以通过不同分辨率的池化特征捕捉丰富的上下文信息,但网络中具有步进操作的池化或卷积会导致与对象边界有关的详细信息丢失。这可以通过空洞卷积提取更密集的特征图来缓解, 但大大增加了计算资源的消耗。而编码-解码器结构则可以通过逐渐恢复空间信息来捕获更清晰的对象边界。通过组合两种方法的优点,提出新的模型—DeepLabv3+。

    近年来,巨量数据的不断涌现与计算能力的快速提升,给以非结构化视觉数据为研究对象的计算机视觉带来了巨大的发展机遇与挑战性难题,计算机视觉也因此成为学术界和工业界公认的前瞻性研究领域,部分研究成果已实际应用,催生出人脸识别、智能视频监控等多个极具显示度的商业化应用。

    近两年大多数研究都集中在深度学习、检测和分类以及面部/手势/姿势、 3D传感技术等方面。 随着计算机视觉研究的不断推进,研究人员开始挑战更加困难的计算机视觉问题,例如,图像描述、事件推理、场景理解等。单纯从图像或视频出发很难解决更加复杂的图像理解任务,一个重要的趋势是多学科的融合,例如,融合自然语言处理领域的技术来完成图像描述的任务。

    图像描述是一个融合计算机视觉、自然语言处理和机器学习的综合问题,其目标是翻译一幅图片为一段描述文字。目前主流框架为基于递归神经网络的编码器解码器结构其核心思想类似于自然语言机器翻译。但是,由于递归网络不易提取输入图像和文本的空间以及层次化约束关系,层次化的卷积神经网络以及启发自认知模型的注意力机制受到关注。如何进一步从认知等多学科汲取知识,构建多模态多层次的描述模型是当前图像描述问题研究的重点。

    事件推理目标是识别复杂视频中的事件类别并对其因果关系进行合理的推理和预测。与一般视频分析相比,其难点在于事件视频更加复杂,更加多样化,而最终目标也更具挑战性。不同于大规模图像识别任务,事件推理任务受限于训练数据的规模,还无法构建端到端的事件推理系统。目前主要使用图像深度网络作为视频的特征提取器,利用多模态特征融合模型,并利用记忆网络的推理能力,实现对事件的识别和推理认知。当前研究起源于视频的识别和检测,其方法并未充分考虑事件数据的复杂和多样性。如何利用视频数据丰富的时空关系以及事件之间的语义相关性,应是今后的关注重点。

    场景理解的目的是计算机视觉系统通过分析处理自身所配置的传感器采集的环境感知数据,获得周围场景的几何/拓扑结构、组成要素(人、车及物体等)及其时空变化,并进行语义推理,形成行为决策与运动控制的时间、空间约束。近年来,场景理解已经从一个初期难以实现的目标成为目前几乎所有先进计算机视觉系统正在不断寻求新突破的重要研究方向。 利用社会–长短记忆网络(SocialLSTM)实现多个行人之间的状态联系建模,结合各自运动历史状态,决策出未来时间内的运动走向。此外神经网络压缩方向也是是目前深度学习研究的一个热门的方向,其主要的研究技术有压缩,蒸馏,网络架构搜索,量化等。

    综上所述,视觉的发展需要设计新的模型,它们需要能考虑到空间和时间信息;弱监督训练如果能做出好的结果,下一步就是自监督学习;需要高质量的人类检测和视频对象检测数据集;结合文本和声音的跨模态集成;在与世界的交互中学习。

    三、 知识工程

    1994 年图灵奖获得者、知识工程的建立者费根鲍姆给出知识工程定义—将知识集成到计算机系统从而完成只有特定领域专家才能完成的复杂任务。在大数据时代,知识工程是从大数据中自动或半自动获取知识,建立基于知识的系统,以提供互联网智能知识服务。大数据对智能服务的需求,已经从单纯的搜集获取信息,转变为自动化的知识服务。我们需要利用知识工程为大数据添加语义/知识,使数据产生智慧(Smart Data),完成从数据到信息到知识,最终到智能应用的转变过程,从而实现对大数据的洞察、提供用户关心问题的答案、为决策提供支持、改进用户体验等目标。

    学者地图用于描述特定领域学者的分布情况,对于进行学者调查、分析各地区竞争力现况尤为重要,下图为知识工程领域全球学者分布情况:

    清华2019最新AI发展报告出炉!400页干货,13大领域一文看懂

     

    ▲知识工程领域全球学者分布

    地图根据学者当前就职机构地理位置进行绘制,其中颜色越深表示学者越集中。 从该地图可以看出,美国的人才数量优势明显且主要分布在其东西海岸; 欧洲及亚洲东部也有较多的人才分布;其他诸如非洲、南美洲等地区的学者非常稀少; 知识工程领域的人才分布与各地区的科技、经济实力情况大体一致。

    此外, 在性别比例方面,知识工程领域中男性学者占比 89.7%,女性学者占比 10.6%,男性学者占比远高于女性学者。

    知识工程领域学者的 h-index 分布如下图所示,大部分学者的 h-index 分布在中低区域,其中 h-index 在 20-30 区间的人数最多,有 783 人, 占比 38.9%,小于 20 区间的人数最少, 有 90 人。

    我国专家学者在知识工程领域的分布如下图所示。通过下图我们可以发现,京津地区在本领域的人才数量最多,其次是珠三角和长三角地区,相比之下,内陆地区的人才较为匮乏, 这种分布与区位因素和经济水平情况不无关系。 同时,通过观察中国周边国家的学者数量情况,特别是与日韩、东南亚等亚洲国家相比,中国在知识工程领域学者数量较多。

    清华2019最新AI发展报告出炉!400页干货,13大领域一文看懂

     

    ▲知识工程领域中国学者分布

    对本领域的高水平学术会议及期刊论文进行挖掘,解读这些会议和期刊在 2018-2019 年的部分代表性工作。这些会议和期刊包括:

    IEEE Transactions on Knowledge and Data Engineering

    International Conference on Information and Knowledge Management

    论文题目: Convolutional 2D Knowledge Graph Embeddings

    中文题目:基于二维卷积的知识图谱嵌入表示学习

    论文作者: Tim Dettmers, Pasquale Minervini, Pontus Stenetorp, Sebastian Riedel

    论文出处: The Thirty-Second AAAI Conference on Artificial Intelligence (AAAI2018)

    论文地址:https://www.aaai.org/ocs/index.php/AAAI/AAAI18/paper/download/17366/15884

    研究问题: 知识图谱的链接预测任务是预测节点之间潜在的关系。传统的链接预测方法专注于浅的、快速的模型,因为这样可以扩展到大规模的 KG 中。但是浅层模型学习到的特征比深沉模型少很多,大大限制了模型的性能。解决该问题的方法之一是增加 embedding 的维度,但是会增加模型参数量,不方便扩展到大规模 KG中。此外,部分现有数据集中有测试集泄露问题:训练集中的三元组稍微翻转一下就可以得到测试集三元组,然后使用基于规则的模型就能达到最佳性能。文章通过构造一个简单的翻转来衡量这个问题严重性,并清洗了部分数据来解决该问题。

    近两年知识获取、推理和应用研究取得了显著的进展,主要表现在如下几个方面:

    1、资源匮乏情况下的知识获取 。知识图谱的构建始终是知识图谱领域的核心问题之一, 近年来除了传统的有监督的实体、关系、 事件知识获取的研究外,也涌现了一批在弱资源情况下的知识获取方法。例如:在集合扩展(实体集扩展)研究中, Learning to Bootstrap for Entity Set Expansion 使用蒙特卡洛树搜索策略的 booststrap 方法有效地提升了实体集扩展方法的稳定性,尤其是在与分类体系相关任务的同时优化上。 HiExpan:Task-Guided Taxonomy Construction by Hierarchical Tree Expansion 提出一个知识分类体系的扩展框架,模型利用弱监督关系抽取模型,从一个小型的上下位关系树出发,抽取扩展的节点并扩展成一个更加丰富的上下位体系。 FewRel 2.0:Towards More Challenging Few-Shot Relation Classification 提出了少次学习任务,通过设计少次学习机制,能够利用从过往数据中学到的泛化知识,结合新类型数据的少量训练样本,实现快速迁移学习。 COMET: Commonsense Transformers forAutomatic Knowledge Graph Construction 提出常识 Transformer 架构,将 GPT-2等语言模型与种子知识图谱相结合,学习其结构和关系,根据图表征形成语言模型,从而生成新的知识并将它们添加到种子图中。

    2、 知识图谱的知识补全和可解释推理 。传统的表示学习缺乏可解释性,知识图谱推理越来越受到关注, 其中既有使用强化学习方法寻找路径的方法,也有使用实体邻居和注意力权重做可解释性推理方法。 Multi-Hop Knowledge Graph Reasoning with Reward Shaping 是基于多跳推理的知识库问答方法,基于强化学习扩展在知识图谱的推理路径, 以获得问题的 正 确 答 案 。 Learning Attention-based Embeddings for Relation Prediction in Knowledge Graphs 提出一种基于注意力机制的特征嵌入方法,获取实体邻近范围内的实体和关系特征,引入关系聚类和多跳关系,有效提升了基于多跳推理的知识图谱补全的效果。 Iteratively Learning Embeddings and Rules for Knowledge Graph Reasoning 研究如何迭代地进行知识表示学习和规则学习,提出的 IterE 模型可以利用学习的规则改进稀疏实体的表示学习,进而提升规则学习和链接预测效果。

    3、基于知识图谱的推荐和对话问答 。将知识图谱作为辅助信息引入到推荐系统中可以有效地解决传统推荐系统存在的稀疏性和冷启动问题, 近几年吸引大量研究人员在相关工作。 随着图卷积神经网络, 图注意力机制等技术的逐渐兴起, 基于图表示学习的推荐模型达到了更高的表现效果,并为推荐系统的可解释性提供了帮助。 KGAT: Knowledge Graph Attention Network for Recommendation 利用知识图谱中商品之间的关系,训练了一个端到端的含注意力机制的模型,用于提高推荐系统的能力。 AKUPM: Attention-Enhanced Knowledge-Aware User Preference Model for Recommendation 使用注意力模型,利用知识图谱对用户进行建模,显著提升了推荐系统的效果。Reinforcement Knowledge Graph Reasoning for Explainable Recommendation 结合强化学习的框架和知识图谱推理来提供对推荐结果的解释。 在对话问答方面, 以前对话生成的信息源是文本与对话记录, 但如果遇到词表之外的( Out-ofVocabulary) 的词,模型往往难以生成合适的、有信息量的回复,而会产生一些低质量的、模棱两可的回复。 Commonsense Knowledge Aware Conversation Generation with Graph 提出一种基于常识知识图谱的对话模型 CCM 来理解对话,产生信息丰富且合适的回复。

    四、自然语言处理

    自然语言是指汉语、英语、法语等人们日常使用的语言,是人类社会发展演变而来的语言,而不是人造的语言,它是人类学习生活的重要工具。概括说来,自然语言是指人类社会约定俗成的,区别于如程序设计的语言的人工语言。在整个人类历史上以语言文字形式记载和流传的知识占到知识总量的 80%以上。就计算机应用而言,据统计,用于数学计算的仅占 10%,用于过程控制的不到 5%,其余 85%左右都是用于语言文字的信息处理。

    处理包含理解、转化、生成等过程。自然语言处理,是指用计算机对自然语言的形、音、义等信息进行处理,即对字、词、句、篇章的输入、输出、识别、分析、理解、生成等的操作和加工。实现人机间的信息交流,是人工智能、计算机科学和语言学所共同关注的重要问题。自然语言处理的具体表现形式包括机器翻译、文本摘要、文本分类、文本校对、信息抽取、语音合成、语音识别等。可以说,自然语言处理就是要计算机理解自然语言,自然语言处理机制涉及两个流程,包括自然语言理解和自然语言生成。自然语言理解是指计算机能够理解自然语言文本的意义,自然语言生成则是指能以自然语言文本来表达给定的意图。

    学者地图用于描述特定领域学者的分布情况,对于进行学者调查、分析各地区竞争力现况尤为重要,下图为自然语言处理领域全球学者分布情况:

    清华2019最新AI发展报告出炉!400页干货,13大领域一文看懂

     

    ▲自然语言处理领域学者分布

    地图根据学者当前就职机构地理位置进行绘制,其中颜色越深表示学者越集中。 从该地图可以看出,美国的人才数量优势明显且主要分布在其东西海岸;欧洲也有较多的人才分布,主要集中在欧洲中西部;亚洲的人才主要分布在我国东部及日韩地区;其他诸如非洲、南美洲等地区的学者非常稀少;自然语言处理领域的人才分布与各地区的科技、经济实力情况大体一致。此外, 在性别比例方面,自然语言处理领域中男性学者占比 89.3%,女性学者占比 10.7%,男性学者占比远高于女性学者。

    我国专家学者在自然语言处理领域的分布如下图所示。通过下图我们可以发现,京津地区在本领域的人才数量最多,其次是长三角和珠三角地区,相比之下,内陆地区的人才较为匮乏, 这种分布与区位因素和经济水平情况不无关系。 同时,通过观察中国周边国家的学者数量情况,特别是与日韩、东南亚等亚洲国家相比,中国在自然语言处理领域学者数量较多。

    清华2019最新AI发展报告出炉!400页干货,13大领域一文看懂

     

    ▲自然语言处理领域中国学者分布

    2019自然语言处理代表性文章是:

    论文题目: BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

    中文题目: BERT: 语言理解的深层双向转换器的预训练

    论文作者: Jacob Devlin Ming-Wei Chang Kenton Lee Kristina Toutanova

    论文出处: In Proceedings of the 2019 Annual Conference of the North American Chapter of the Association for Computational Linguistics.

    论文地址: https://arxiv.org/abs/1810.04805

    文章介绍一种新的语言表示模型 BERT(Bidirectional Encoder Representations from Transformers),通过联合上下文信息从未标记文本中预训练深层双向表示形式,只需一个额外的输出层,就可以对预训练模型进行调整,在不需要对特定任务的体系结构进行大量修改的前提下,在多种语言相关任务上获得。

    近年来,预训练语言模型在自然语言处理领域有了重要进展。 预训练模型指的是首先在大规模无监督的语料上进行长时间的无监督或者是自监督的预先训练(pre-training),获得通用的语言建模和表示能力。之后在应用到实际任务上时对模型不需要做大的改动,只需要在原有语言表示模型上增加针对特定任务获得输出结果的输出层,并使用任务语料对模型进行少许训练即可,这一步骤被称作微调(fine tuning)。

    自 ELMo、 GPT、 BERT 等一系列预训练语言表示模型(Pre-trained Language Representation Model)出现以来,预训练模型在绝大多数自然语言处理任务上都展现出了远远超过传统模型的效果,受到越来越多的关注,是 NLP领域近年来最大的突破之一,是自然语言处理领域的最重要进展。

    BERT(Bidirectional Encoder Representation from Transformer)是 Google AI于 NAACL2019 提出的一个预训练语言模型。 BERT 的创新点是提出了有效的无监督预训练任务,从而使得模型能够从无标注语料中获得通用的语言建模能力。模型的部分细节在前文的论文解读中已经给出,不再赘述。

    BERT 之后涌现了许多对其进行扩展的模型, 包括: 跨语言预训练的 XLM 和 UDify, 跨模态预训练的模型, 融合知识图谱的 ERNIE, 将seq2seq 等语言生成任务整合入 BERT 类模型的 MASS, UniLM 等。其中几个重要的进展包括:

    (1) XLNet 使用 Transformer-XL 替代了 Transformer 作为基础模型,拥有编码超长序列的能力。 XLNet 提出了一个新的预训练语言任务: Permutation LanguageModeling(排列语言模型),模型将句子内的词语打乱顺序,从而使得预测当前词语时可以利用双向信息。 XLNet 相对 BERT 也使用了更多的语料。

    (2) RoBERTa 采用了与 BERT 具有相同的模型结构,同样采用了屏蔽语言模型任务进行预训练,但舍弃了 BERT 中下句预测模型。此外, RoBERTa 采用了更大规模的数据和更鲁棒的优化方法,从而取得了更好的表现。

    (3) ALBERT 模型针对 BERT 参数量过大难以训练的问题做了优化,一是对词向量矩阵做分解,二是在层与层之间共享参数。此外, ALBERT 将下句预测模型替换为句序预测任务,即给定一些句子预测它们的排列顺序。

    五、 语音识别

    语音识别是让机器识别和理解说话人语音信号内容的新兴学科,目的是将语音信号转变为文本字符或者命令的智能技术,利用计算机理解讲话人的语义内容,使其听懂人类的语音,从而判断说话人的意图,是一种非常自然和有效的人机交流方式。它是一门综合学科,与很多学科紧密相连,比如语言学、信号处理、计算机科学、心理和生理学等。

    语音识别首先要对采集的语音信号进行预处理,然后利用相关的语音信号处理方法计算语音的声学参数,提取相应的特征参数,最后根据提取的特征参数进行语音识别。总体上,语音识别包含两个阶段:第一个阶段是学习和训练,即提取语音库中语音样本的特征参数作为训练数据,合理设置模型参数的初始值,对模型各个参数进行重估,使识别系统具有最佳的识别效果;第二个阶段就是识别,将待识别语音信号的特征根据一定的准则与训练好的模板库进行比较,最后通过一定的识别算法得出识别结果。显然识别结果的好坏与模板库是否准确、模型参数的好坏以及特征参数的选择都有直接的关系。

    学者地图用于描述特定领域学者的分布情况,对于进行学者调查、分析各地区竞争力现况尤为重要,下图为语音识别领域全球学者分布情况:

    清华2019最新AI发展报告出炉!400页干货,13大领域一文看懂

     

    ▲语音识别领域全球学者分布

    地图根据学者当前就职机构地理位置进行绘制,其中颜色越深表示学者越集中。 从该地图可以看出,美国的人才数量优势明显且主要分布在其东西海岸;亚洲也有较多的人才分布,主要在我国东部及日韩地区;欧洲的人才主要集中在欧洲中西部;其他诸如非洲、南美洲等地区的学者非常稀少;语音识别领域的人才分布与各地区的科技、经济实力情况大体一致。

    我国专家学者在语音识别领域的分布如下图所示。通过下图我们可以发现,京津地区在本领域的人才数量最多,其次是长三角和珠三角地区,相比之下,内陆地区的人才较为匮乏, 这种分布与区位因素和经济水平情况不无关系。 同时,通过观察中国周边国家的学者数量情况,特别是与日韩、东南亚等亚洲国家相比,中国在语音识别领域学者数量较多且有一定的优势。

    清华2019最新AI发展报告出炉!400页干货,13大领域一文看懂

     

    ▲ 语音识别领域中国学者分布

    2019代表论文:

    论文题目: X-Vectors: Robust DNN Embeddings for Speaker Recognition

    中文题目: X 向量:用于说话人识别的鲁棒 DNN 嵌入

    论文作者: David Snyder, Daniel Garcia-Romero, Gregory Sell, Daniel Povey and Sanjeev Khudanpur. X-Vectors: Robust DNN Embeddings for Speaker Recognition.

    论文出处: 2018 IEEE International Conference on Acoustics, Speech and Signal Processing(ICASSP)

    论文地址: https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8461375

    研究问题: 捕捉说话者特征是语音识别领域具有重大意义的研究内容。 大多数说话人识别系统都是基于 i-vectors 来实现的。 标准的基于 i-vectors 的方法由通用背景模型(UBM)和大型投影矩阵 T 组成,该模型以无监督方式来学习。在早期的系统中,神经网络经训练后,被用来分离说话者,从网络中提取帧级表示, 并将其用作高斯说话者模型的特征。近年来, 使用深度神经网络(DNN)捕获说话者特征是当前非常活跃的研究领域。 DNN 嵌入性能也随着训练数据量的增加而高度扩展。

    随着人工智能的迅速发展,语音识别的技术越来越成为国内外研究机构的焦点。人们致力于使机器能够听懂人类的话语指令,并希望通过语音实现对机器的控制。作为一项人机交互的关键技术,语音识别在过去的几十年里取得了飞速的发展,在研究和探索过程中针对语音识别的各部流程进行了各种各样的尝试和改造,以期发现更好的方法来完成语音识别流程中的各个步骤,以此来促进在不同环境下语音识别的效率和准确率。研究人员从最简单的非常小词汇量的阅读式的语音识别问题开始,逐渐转向越来越复杂的问题。

    近年来智能语音进入了快速增长期,语音识别作为语音领域的重要分支获得了广泛的关注,如何提高声学建模能力和如何进行端到端的联合优化是语音识别领域中的重要课题。

    随着人工智能的迅速发展,语音识别的技术越来越成为国内外研究机构的焦点。人们致力于使机器能够听懂人类的话语指令,并希望通过语音实现对机器的控制。作为一项人机交互的关键技术,语音识别在过去的几十年里取得了飞速的发展,在研究和探索过程中针对语音识别的各部流程进行了各种各样的尝试和改造,以期发现更好的方法来完成语音识别流程中的各个步骤,以此来促进在不同环境下语音识别的效率和准确率。研究人员从最简单的非常小词汇量的阅读式的语音识别问题开始,逐渐转向越来越复杂的问题。

    近年来智能语音进入了快速增长期,语音识别作为语音领域的重要分支获得了广泛的关注,如何提高声学建模能力和如何进行端到端的联合优化是语音识别领域中的重要课题。

    语音识别经历了从 2012 年最开始的 DNN 的引入时的 Hybrid HMM 结构,再到 2015 年开始吸引大家研究兴趣的 CTC 算法,而后到 2018 年的 Attention 相关结构的研究热点。 Attention 相关算法在语音识别或者说话人识别研究的文章中出现频率极高。从最开始 Attention,到 Listen-Attend-Spell,再到 Self-Attention(或者 Transformer),在不同的文章被作者多次介绍和分析,频繁出现在了相关文章的 Introduction 环节中。在 Attention 结构下,依然还有很多内容需要研究者们进一步地探索:例如在一些情况下 Hybrid 结构依然能够得到 State-of-the-art 的结果,以及语音数据库规模和 Attention 模型性能之间的关系。

    在近两年的研究中, 端到端语音识别仍然是 ASR( Automatic SpeechRecognition)研究的一大热点,正如上文提到的,基于 Attention 机制的识别系统已经成为了语音技术研究主流。同时,随着端到端语音识别框架日益完善,研究者们对端到端模型的训练和设计更加的关注。 远场语音识别(far-field ASR),模型结构(ASR network architecture),模型训练(model training for ASR),跨语种或者多语种语音识别(cross-lingual and multi-lingual ASR)以及一些端到端语音识别(end-to-end ASR)成为研究热点。

    在语音合成方面,高音质语音生成算法及 Voice conversion 是近两年研究者关注的两大热点, Voice Conversion 方向的研究重点主要集中在基于 GAN 的方法上。 在语言模型方面(Language Model)的研究热点主要包括 NLP 模型的迁移,低频单词的表示,以及深层 Transformer 等。

    在说话人识别方面,说话人信息,特别是说话人识别及切分,正被越来越多的研究者所重视。 目前 Attention 在说话人方面更类似一种 Time Pooling,比Average Pooling 及 Stats Pooling 更能捕捉对说话人信息更重要的信息,从而带来性能提升。说话人识别技术经历深度学习带来的性能飞跃后,在模型结构、损失函数等方面的探讨已经较为成熟,以 TDNN、 ResNet 加上 LMCL、 ArcFace 的主流模型开始不断刷新各数据集的性能上限。模型以外的因素逐渐成为制约说话人系统的瓶颈。说话人技术目前也逐渐暴露出与人脸识别同样的易受攻击的问题。因此, ASVspoof 这样的 Challenge 从 2015 年起就开始关注声纹反作弊问题。相信随着此类研究的不断深入,结合声纹系统的性能提升,声纹将有望变成我们的“声音身份证”。

    六、 计算机图形学

    国际标准化组织 ISO 将计算机图形学定义为:计算机图形学是一门研究通过计算机将数据转换成图形,并在专门显示设备上显示的原理方法和技术的学科。它是建立在传统的图形学理论、应用数学及计算机科学基础上的一门边缘学科。这里的图形是指三维图形的处理。简单来讲,它的主要研究内容是研究如何在计算机中表示图形,以及利用计算机进行图形的计算处理和显示的相关原理和算法。

    在计算机图形学的开创之初,他主要解决的问题是在计算机中表示三维结合图形以及如何利用计算机进行图形的生成处理和显示的相关原理和算法,目的是产生令人赏心悦目的真实感图像,这仅仅是狭义的计算机图形学。随着近些年的发展,计算机图形学的内容已经远远不止这些,广义的计算机图形学研究内容非常广泛,包括图形硬件、图形标准、图形交互技术、栅格图形生成算法、曲线曲面造型、实体造型、真实版图形的计算、显示算法、科学计算可视化、计算机动画、虚拟现实、自然景物仿真等等。

    计算机图形学的总体框架可以包括以下几个部分:数学和算法基础、建模、渲染以及人机交互技术。计算机图形学需要一些基本的数学算法,例如向量和几何的变化、几何建模式的三维空间变化、三维到二维的图形变换等等。建模是进行图形描述和计算,由于在多维空间中有各种组合模型,有一些是解析式表达的简单形体,也有一些隐函数表达的复杂曲线,因此需要进行复杂的建模工作。渲染也叫绘制,指的是模型的视觉实现过程,例如对光照纹理等理论和算法进行处理,其中也需要大量的计算。交互技术可以说是图形学交互的重要工具,是计算机图形学的重要应用。

    学者地图用于描述特定领域学者的分布情况,对于进行学者调查、分析各地区竞争力现况尤为重要,下图为计算机图形学全球学者分布情况:

    清华2019最新AI发展报告出炉!400页干货,13大领域一文看懂

     

    ▲计算机图形学领域全球学者分布

    地图根据学者当前就职机构地理位置进行绘制,其中颜色越深表示学者越集中。 从该地图可以看出,美国的人才数量优势明显; 欧洲也有较多的人才分布,主要在欧洲中西部; 亚洲的人才主要集中在我国东部及日韩地区;其他诸如非洲、南美洲等地区的学者非常稀少; 计算机图形学的人才分布与各地区的科技、经济实力情况大体一致。

    我国专家学者在计算机图形领域的分布如上图所示。通过下图我们可以发现,京津地区在本领域的人才数量最多,其次是长三角和珠三角地区,相比之下,内陆地区的人才较为匮乏,这种分布与区位因素和经济水平情况不无关系。同时,通过观察中国周边国家的学者数量情况,特别是与日韩等地相比,中国在计算机图形领域学者数量略多但差距较小。

    清华2019最新AI发展报告出炉!400页干货,13大领域一文看懂

     

    ▲计算机图形学领域中国学者分布

    2019优秀计算机图形学论文:

    论 文 题 目 : A Style-based Generator Architecture for Generative Adversarial Networks

    中文题目:基于样式的生成式对抗网络生成器架构

    论文作者: Tero Karras, Samuli Laine, Timo Aila.

    论文出处: The IEEE Conference on Computer Vision and Pattern Recognition- CVPR 2019

    论文地址:http://openaccess.thecvf.com/content_CVPR_2019/papers/Karras_A_StyleBased_Generator_Architecture_for_Generative_Adversarial_Networks_CVPR_2019_paper.pdf

    研究问题: 本文针对自动的无监督的习得图像的高层属性(譬如人脸对应的身份信息以及拍摄姿态)以及对于生成的每幅图像产生一些特定的随机化的变换(譬如脸部瑕疵以及头发的细节),生成较为直观且可控的合成结果进行了研究。通过借鉴风格迁移的思想,提出了一种新的对抗网络中的生成器架构。该架构不仅在传统的分布距离的度量上优势明显,并且较好地将控制图像变化的隐变量分离出来进行独立建模。

    随着数字化技术和互联网的发展,计算机图形学在许多领域都已经得到了广泛的应用,如遥感图像分析、多媒体通信、医疗诊断、机器人视觉等。当前计算机图形学的研究逐渐向多学科交叉融合方向发展,即有与认知计算、计算器学习、人机交互的融合,也有与大数据分析、可视化的融合;不仅针对三维数字模型, 而且涵盖了图像视频, 与计算机视觉深度交叉。计算机图形学的快速发展,一个潜在的趋势是不再有明确清晰的主题,更多的体现出方法和技术的创新。

    针对近两年计算机图形学重要期刊会议的相关论文,对该领域内容热点研究内容和前沿技术方法进行了综合分析。目前,热点研究内容主要集中在自监督学习(Self-Supervised Learning)、全景分割(Panoptic Segmentation) 、网络结构搜索( Neural Architecture Search) 和生成式对抗网络( Generative AdversarialNetworks) 等方面。

    自监督学习研究早期主要集中在代理任务的设计和选取上,怎样的代理任务才能最好地提取出有益于下游任务的特征以及为何这些代理任务能够有效,这些是理论层面上自监督学习仍需要解决的问题。随着大量围绕着实例判别代理任务的相关工作的提出,有一些工作将其中的核心思想进行展开提出了所谓对比学习的概念。通过将原来两个图片实例特征间的对比延伸到任意两个模态间特征的对比,使得模型学习不同模态间一致的特征表达并用最大化互信息作为新的衡量准则。

    在已有的工作中,比较典型的代理任务有将图片分块然后预测不同分块间的相对位置或者将分块打乱后重排得到原图,以及基于图片的上下文信息进行补全和图片不同颜色通道间的相互预测等。目前在图像与图形学领域,取得性能突破的方法主要仍局限在监督学习的框架之下,随着无标记数据的不断爆增和模型性能进一步提升的需求,无监督学习将会越来越受到学术界和工业界的重视。而作为目前无监督学习中的一支,自监督学习因其良好的特征判别能力和对大规模数据扩展能力,也将受到更广泛的关注。

    全景分割作为一个统一的任务在 2018 年被提出,它的目标是为图像中的所有像素点都分配一个语义类别和一个实例编号,从另一个角度来说,全景分割算法需要预测出图像中每一个像素点的所属类别和所属实例。在全景分割任务的基础上,近期的进展主要体现在三个方面:(1)从图像整体的角度考虑全景分割,共享网络主干(backbone)形成设计整体网络结构;(2)考虑图像中不同元素之间的交互,建模物体与语义概念之间的关系;(3)提出可学习模块,解决预测结果层面的冲突。接下来,我们将分别介绍有代表性的工作。全景分割作为一个最近被提出的视觉任务,受到了很大的关注,目前方法也在探讨的过程中,具有很大的发展潜力。

    目前深度学习的方法在各类图像与图形分析任务中取得了非常大的成功,伴随这一成功而来的是对网络结构设计要求的不断提高。自动化网络设计自然而然地成为了自动化机器学习的下一个目标。早期的相关工作证明了使用强化学习算法可以发现好的网络架构,但是这些方法在计算过程中需要消耗大量计算资源,因此后续的工作都集中在如何减少计算负担上。搜索空间的设计也是一项重要研究热点,同时,研究人员又拓宽了神经结构搜索的视野,将多种优化目标考虑在内,而不仅仅是减少搜索时间和提高网络精度。具有代表性的工作如尝试限制模型参数的数量或类似的方法,以有效地部署在移动设备上。在此基础上,还有一些工作将网络结构搜索技术扩展到搜索深度网络相关组件上。

    在图像合成方面,近期最引人关注的工作就是生成对抗网络,生成对抗网络由一个生成网络 G 和一个判别网络 D 组成。生成网络 G 和判别网络 D 在训练阶段使用对抗的方式进行学习,生成网络 G 的目标是生成尽可能真实的图片使得判别网络认为这是一张真实的图片;而判别网络 D 的任务则是判别合成的图像是真实的还是生成的。在这种两者对抗的学习过程中,生成 G 学会如何生成真实的图片。目前在生成对抗网络研究中,条件生成对抗网络、损失函数的改进、模型结构的改进及训练方法的改进是主要研究方向。

    七、 多媒体技术

    “多媒体”一词译自英文“Multimedia”,而该词又是由 multiple 和 media 复合而成,核心词是媒体。媒体(medium)在计算机领域有两种含义:一是指存储信息的实体,如磁盘、光盘、磁带、半导体存储器等,中文常译为媒质;二是指传递信息的载体,如数字、文字、声音、图形和图像等,中文译作媒介,多媒体技术中的媒体是指后者。其实,“媒体”的概念范围是相当广泛的。“媒体”有下列五大类:(1)感觉媒体(Perception medium)指的是能使人产生直接感觉的媒体。如声音、动画、文本等;(2)表示媒体(Representation medium)指的是为了传送感觉媒体而人为研究出来的媒体。诸如语言编码、电报码、条形码等等;(3)显示媒体(Presentation medium)指的是用于通信中使电信号和感觉媒体之间产生转换用的媒体。如键盘、鼠标器、打印机等;(4)存储媒体(Storage medium)指的是于存放某种媒体的媒体。如纸张、磁带、磁盘、光盘等;(5)传输媒体(Transmission medium)指的是用于传输某些媒体的媒体。常用的有如电话线、电缆、光纤等。

    学者地图用于描述特定领域学者的分布情况,对于进行学者调查、分析各地区竞争力现况尤为重要,下图为多媒体领域全球学者分布情况。

    地图根据学者当前就职机构地理位置进行绘制,其中颜色越深表示学者越集中。从该地图可以看出,美国的人才数量优势明显且主要分布在其东西海岸;亚洲东部也有较多的人才分布;欧洲的人才主要集中在欧洲中西部;其他诸如非洲、南美洲等地区的学者非常稀少;多媒体领域的人才分布与各地区的科技、经济实力情况大体一致。

    清华2019最新AI发展报告出炉!400页干货,13大领域一文看懂

     

    ▲多媒体领域全球学者分布

    我国专家学者在多媒体领域的分布如下图所示。通过下图我们可以发现,京津地区在本领域的人才数量最多,其次是长三角和珠三角地区,相比之下,内陆地区的人才较为匮乏, 这种分布与区位因素和经济水平情况不无关系。 同时,通过观察中国周边国家的学者数量情况, 特别是与日韩、东南亚等亚洲国家相比,中国在多媒体领域学者数量较多且有一定的优势。

    清华2019最新AI发展报告出炉!400页干货,13大领域一文看懂

     

    ▲多媒体领域中国学者分布

    2019优秀论文:

    论文题目: Beyond Narrative Description: Generating Poetry from Images by MultiAdversarial Training

    中文题目:超越叙事描述:通过多重对抗训练,从意象中生成诗歌

    论文作者: Bei Liu, Jianlong Fu, Makoto P. Kato, Masatoshi Yoshikawa

    论文出处: 26th ACM International Conference on Multimedia – ACMMM’18

    论文地址: https://arxiv.org/pdf/1804.08473v4.pdf

    研究问题:本文主要研究了从图像自动生成诗歌的方法。这项任务涉及多个挑战,包括从图像中发现诗意线索(例如,从绿色中获得希望),以及生成满足图像相关性和语言水平的诗意的诗歌。

    近年来,随着数字化技术的发展,多媒体技术突飞猛进,音视频技术是当前最活跃、发展最迅速的高新技术领域之一。多媒体分析以文本、图像、声音、视频等多种不同类型媒体的数据为研究对象,主要的研究目的一方面是使计算机具备人类的多媒体(如视、听)理解能力,另一方面是从多媒体数据中挖掘信息和知识、帮助人类更好地理解世界。

    多媒体技术研究领域包括多媒体信息处理、多媒体数据压缩编码、多媒体内容分析与检索技术、多媒体交互与集成、多媒体通信与网络、多媒体内容安全、多媒体系统与虚拟现实等。在近几年的研究中,多媒体技术呈现出与计算机体系结构、计算机网络、人机交互、信息安全、社会网络等多学科交叉融合的发展趋势。

    近两年多媒体领域研究热点主要集中在大规模图像视频分析、社会媒体研究、多模态人机交互、计算视觉、计算图像、实时视频流化等方面。

    由于多媒体数据往往是多种信息的传递媒介(例如一段视频中往往会同时使得文字信息、视觉信息和听觉信息得到传播),多模态学习已逐渐发展为多媒体内容分析与理解的主要手段。

    在计算图像方面,大规模数据集的构建仍是一个热点研究方向,尤其语义对象的像素级标注需求越来越强烈,能够人机交互标注的过程中不断学习的协同标注方法得到了广泛关注。

    无监督学习是多媒体数据分析的长远目标。目前很多领域拥有大量的数据,但是这些数据都是没有经过标记的。因此除了基本的数据勘探和异常检测场景,这些数据基本无法使用。近期在使用未标记的数据来改进(标记数据)监督学习过程方面已经取得了许多进展。

    此外自动机器学习(AutoML)和元学习(Meta Learning)的最新研究成果及其在多媒体上的应用也逐渐增多。

    在图像压缩处理方面,也有一些研究工作将深度学习用于图像或视频压缩后处理,并得到了一定的效果。然而,现有工作的一个主要问题是用于后处理的深度网络较为复杂,计算速度慢,不满足实际应用的需求。如何在处理效果和处理速度之间取得一个折中,是压缩后处理的一个主要挑战。

    图神经网络(Graph Neural Network, GNN)在多媒体领域的应用是近两年的热点研究方向,应用场景包括:个性化推荐,如基于多模态图卷积网络(MMGCN)的多模态推荐方法;短视频推荐,如使用基于图的顺序网络进行建模;多视频摘要,如采用图卷积网络衡量每个视频的重要性和相关性;基于文本的行人搜索,如使用深度对抗图注意力卷积网络(A-GANet) 利用文本和视觉场景图学习联合特征空间;视频关系监测,如使用转移图神经网络(DoT-GNN) 解决图像外观变化的问题。

    随着 Mask-RCNN 与 RetinaNet 的发展,物体检测研究日趋成熟,但即便如此,就应用而言,当前的技术依然存在诸多缺陷,为此,针对现代目标检测的基本框架(backbone、 head、 scale、 batchsize 与 post-processing),神经网络架构搜索(NAS)以及细粒度图像分析(FGIA)等 3 个方面的潜在难题成为主要研究内容,尤其是后两者,将成为未来视觉物体检测的两个重要研究维度。

    八、 人机交互技术

    人机交互(Human-Computer Interaction, HCI), 是人与计算机之间为完成某项任务所进行的信息交换过程, 是一门研究系统与用户之间的交互关系的学问。系统可以是各种各样的机器,也可以是计算机化的系统和软件。人机交互界面通常是指用户的可见部分,用户通过人机交互界面与系统交流, 并进行操作。人机交互技术是计算机用户界面设计中的重要内容之一, 与认知学、人机工程学、心理学等学科领域有密切的联系。

    学者地图用于描述特定领域学者的分布情况,对于进行学者调查、分析各地区竞争力现况尤为重要,下图为人机交互领域全球学者分布情况:

    清华2019最新AI发展报告出炉!400页干货,13大领域一文看懂

     

    ▲人机交互领域全球学者分布

    地图根据学者当前就职机构地理位置进行绘制,其中颜色越深表示学者越集中。从该地图可以看出,美国的人才数量优势明显且主要分布在其东西海岸; 欧洲也有较多的人才分布; 亚洲的人才主要集中在日韩地区;其他诸如非洲、南美洲等地区的学者非常稀少; 人机交互领域的人才分布与各地区的科技、经济实力情况大体一致。

    我国专家学者在人机交互领域的分布如下图所示。通过下图我们可以发现,京津地区在本领域的人才数量最多,其次是长三角和珠三角地区,相比之下,内陆地区的人才较为匮乏, 这种分布与区位因素和经济水平情况不无关系。 同时,通过观察中国周边国家的学者数量情况,特别是与日韩等地相比,中国在人机交互领域学者数量较少。

    清华2019最新AI发展报告出炉!400页干货,13大领域一文看懂

     

    ▲人机交互领域中国学者分布

    优秀论文:

    论文题目: Guidelines for human-AI interaction

    中文题目: 人工智能交互指南

    论文作者: Saleema Amershi, Dan Weld, Mihaela Vorvoreanu, Adam Fourney, Besmira Nushi, Penny Collisson, Jina Suh, Shamsi Iqbal, Paul N. Bennett, Kori Inkpen, Jaime Teevan, Ruth Kikin-Gil, and Eric Horvitz

    论文出处: ACM CHI Conference on Human Factors in Computing Systems 2019 (CHI 2019)

    论文地址: https://doi.org/10.1145/3290605.3300233

    研究问题: 人工智能(AI)领域的快速发展给用户界面和交互设计带来了新的机遇和挑战。虽然人机交互届对人和 AI 交互的原则原理已经进行了 20 多年的探讨,我们仍需要更多的研究和创新来解决人工智能新技术及其面向人类的应用不断涌现而带来的新科学及社会问题。作者提出了 18 条具有通用性的、可适用于多种应用场景的、针对人和 AI 交互的设计指导,指出现有知识的空缺及未来的探索方向。 这份指南不仅为 AI 设计师提供了具体、可操作的建议,还旨在推动用户体验和工程开发从业者就设计决策的相关问题展开讨论,推动这一领域研究的研究方法:

    文章提出了 18 条人工智能交互设计指导,并进行多轮的实例评估来验证其有效性,包括通过一个用户实验,邀请 48 位设计师以这些设计指导为工具来测试 20 项广泛使用的有 AI 技术支持的用户产品。

    最近的十年,是人机交互向自然交互蓬勃发展的十年。毋庸置疑,计算机是世纪最伟大的发明,其作用从科学计算工具迅速发展为信息处理和信息交互工具,起引领作用的则是人机交互技术的变革,即以鼠标发明为标志的图形用户界面(Graphical User Interface, GUI)的产生,一改规范命令与计算机交互的命令行界面模式(Command LineInterface, CLI),GUI 提供了普通人与计算机便捷交互的工具和方法,让计算机从实验室走进办公室、走入家庭,十多年前,触屏技术成为产品技术, GUI 中的鼠标被人的天然指点(pointing)工具——手指所取代,计算机又变身出手机,成为更多人方便使用的随身掌上工具。

    更少依赖操控工具,发展学习和使用成本更小的自然交互技术,一直是人机交互研究的价值追求,最
    近十年,随着感知和计算技术的进步,自然交互技术创新层出不穷,并能迅速成为新型产品技术, 《麻省理工科技评论》总结和评论人机交互领域的突破技术(breakthroughs),为人机交互技术、未来终端技术的发展建立了一个高端的技术论坛,影响深远。我把这些突破技术分为 3 大类:支持自然动作的感知技术,面向穿戴的新型终端和基于语音识别的对话交互。

    人体动作蕴含丰富的语义,动作交互技术一方面需要感知技术的进步,另一方面需要发现或设计有明确交互语义的动作(gesture,姿态,由于人手的灵巧性,手势成为主要的交互动作,通常叫做手势),如今,二维表面上,多指触摸动作在触屏上已普遍可用,三维空间中,嵌入了深度摄像头的手持和固定设备,能比较准确识别人的姿态和动作,做出响应。不同于人脸识别等目标明确的视觉识别任务,动作交互不仅要求视觉识别的准确度,更需要研究基于交互任务的动作表达的自然性与一致性,难以发现和突破,所以,除了动作语义很直白的动作游戏(body game),三维动作交互尚缺少普遍认知和接受的交互动作语义。而无论二维还是三维,手势的不可见性,是动作交互的主要难题。

    穿戴(wearable)取代手持(handheld)曾是前几年的一个革命口号,目前看,市场上的确出现了一定规模的新产品,但穿戴仍是补充的地位。穿戴设备中,手环设备基本只有健康和活动检测功能,智能手表可以算做创新终端,但作为缩小版的手机,由于交互界面的缩小和操作方式的限制(通常是小界面上双手参与操作),其承载功能也较手机缩减很多。 VR/ AR(虚拟现实/增强现实)的一个理想载体是头戴式设备,最近几年,多款智能眼镜产品面世,较之前笨重的头盔轻便了许多,逼真的虚拟场景和准确的现实对象识别信息都可以清晰呈现在眼前,并在特定领域开拓着增强体验的应用;然而,智能眼镜尚缺少与其三维真实显示匹配的准确的自然输入技术,以及从眼手绑定在手机上转变到眼手分离的眼镜设备上时,尚未建立起相应的交互模式。

    自然语言对话式交互得益于大数据和智能技术的进步,多语言的自然语音识别技术在用户终端上都达到了很高的可用水平,并且,语音识别超越文本输入方式,成为智能软件助理的使能技术,近两年,更是有基于语音接口的家居产品如雨后春笋般出现, VUI (Voice User Interface,语音用户界面)已经成为交互术语。然而, VUI 的局限也是显而易见的,相对并行模式的视觉通道,串行模式的语音通道的带宽显然窄的多,出声的使用方式在很多场合是不合适的,但作为一种可用的自然交互技术,有效提升了用户体验。

    人机交互作为终端产品的引领技术的作用已经是产业界的普遍认识,欣喜看到很多种自然交互技术和新型交互终端面世,但 GUI 仍是交互的主导模式。计算无所不在,交互自然高效是发展趋势,人机交互的研究和开发空间很大,需要综合地探索自然交互技术的科学原理,建立明确的优化目标,结合智能技术,发展高可用的自然交互技术。

    九、 机器人

    机器人广义上包括一切模拟人类行为或思想以及模拟其他生物的机械(如机器狗,机器猫等)。狭义上对机器人的定义还有很多分类法及争议,有些电脑程序甚至也被称为机器人(例如爬虫机器人)。联合国标准化组织采纳了美国机器人协会给机器人下的定义: “一种可编程和多功能的操作机;或是为了执行不同的任务而具有可用电脑改变和可编程动作的专门系统。一般由执行机构、驱动装置、检测装置和控制系统和复杂机械等组成” 。 机器人是综合了机械、电子、计算机、传感器、控制技术、人工智能、仿生学等多种学科的复杂智能机械。

    目前,智能机器人已成为世界各国的研究热点之一,成为衡量一国工业化水平的重要标志。机器人是自动执行工作的机器装置,因此,它既可以接受人类指挥,又可以运行预先编排的程序,也可以根据以人工智能技术制定的原则纲领行动。在当代工业中,机器人指能自动执行任务的人造机器装置,用以取代或协助人类工作,一般会是机电装置,由计算机程序或电子电路控制。机器人的范围很广,可以是自主或是半自主的,从本田技研工业的 ASIMO 或是 TOSY 的 TOPIO等拟人机器人到工业机器人,也包括多台一起动作的群机器人,甚至是纳米机器人。借由模仿逼真的外观及自动化的动作,理想中的高仿真机器人是高级整合控制论、机械电子、计算机与人工智能、材料学和仿生学的产物。机器人可以作一些重复性高或是危险,人类不愿意从事的工作,也可以做一些因为尺寸限制,人类无法作的工作,甚至是像外太空或是深海中,不适人类生存的环境。机器人在越来越多方面可以取代人类,或是在外貌、行为或认知,甚至情感上取代人类。

    机器人技术最早应用于工业领域,但随着机器人技术的发展和各行业需求的提升,在计算机技术、网络技术、 MEMS 技术等新技术发展的推动下,近年来,机器人技术正从传统的工业制造领域向医疗服务、教育娱乐、勘探勘测、生物工程、救灾救援等领域迅速扩展,适应不同领域需求的机器人系统被深入研究和开发。过去几十年,机器人技术的研究与应用,大大推动了人类的工业化和现代化进程,并逐步形成了机器人的产业链,使机器人的应用范围也日趋广泛。

    学者地图用于描述特定领域学者的分布情况,对于进行学者调查、分析各地区竞争力现况尤为重要,下图为机器人领域全球学者分布情况:

    清华2019最新AI发展报告出炉!400页干货,13大领域一文看懂

     

    ▲机器人领域全球学者分布

    我国专家学者在机器人领域的分布如下图所示。通过下图我们可以发现,京津地区在本领域的人才数量最多,其次是珠三角和长三角地区,相比之下,内陆地区的人才较为匮乏, 这种分布与区位因素和经济水平情况不无关系。 同时,通过观察中国周边国家的学者数量情况,特别是与日韩等地相比,中国在机器人领域学者数量较少。

    清华2019最新AI发展报告出炉!400页干货,13大领域一文看懂

     

    ▲机器人领域中国学者分布

    优秀论文:

    论文题目: Robotic Pick-and-Place of Novel Objects in Clutter with Multi-Affordance Grasping and Cross-Domain Image Matching

    中文题目:通过多 affordance 抓取和跨域图像匹配完成杂乱环境下对新物体的捡放操作

    论文作者: Andy Zeng, Shuran Song, Kuan-Ting Yu, Elliott Donlon, Francois R. Hogan, Maria Bauza, Daolin Ma, Orion Taylor, Melody Liu, Eudald Romo, Nima Fazeli, Ferran Alet, Nikhil Chavan Dafle, Rachel Holladay, Isabella Morona, Prem Qu Nair, Druck Green, Ian Taylor, Weber Liu, Thomas Funkhouser, Alberto Rodriguez

    论文出处: IEEE International Conference on Robotics and Automation, 2018

    论文地址: https://ieeexplore.ieee.org/abstract/document/8461044

    研究问题: 人类可以在仅掌握少量先验知识的前提下识别和抓取陌生目标物,这一能力一直是机器人研究的灵感来源,也是很多实际应用的核心。为此,提出一种能在杂乱环境下对新目标物进行识别和捡放操作的机器人系统,整个系统可直接用于新目标物(在测试过程中首次出现),而无需额外的数据收集或重新训练。

    机器人学习 。 在 AI 兴起的时代,机器人拥有了一种新型的学习方式:深度强化学习。这一新方式借助通用化的神经网络表示,处理复杂的传感器输入,来让机器人从自己的经验活动中直接学习行为。相比传统方式,它解放了工程设计人员们的双手,不再需要程序员们手动设计机器人每一个动作的每一项精确参数。但是,现有的强化学习算法都还不能够适用于有复杂系统的机器人,不足以支撑机器人在短时间内就学习到行为,另外在安全性上也难以保障。

    针对这种困境, 2019 年初,谷歌 AI 与 UC 伯克利大学合作研发了一种新的强化学习算法: SAC(Soft ActorCritic)。 SAC 非常适应真实世界中的机器人技能学习,可以在几个小时内学会解决真实世界的机器人问题,而且它的一套超参数能够在多种不同的环境中工作,效率十分之高。 SAC 的开发基于最大熵强化学习这个框架。此框架尝试让预期回报最大化,同时让策略的熵最大化。一般而言,熵更高的策略具有更高的随机性。从直觉上看,这意味着,最大熵强化学习能取得高回报策略中具有最高随机性的那个策略。 SAC 学习一个随机策略,这个策略会把状态映射到动作,也映射到一个能够估计当前策略目标价值的 Q 函数,这个 Q 函数还能通过逼近动态编程来优化它们。 SAC 通过这样的方式,来让经过熵强化的回报最大化。此过程中,目标会被看作一个绝对真的方法,来导出更好的强化学习算法,它们有足够高的样本效率,且表现稳定,完全可以应用到真实世界的机器人学习中去。

    机器人应用 。 2019 年 6 月,亚马逊在 MARS 人工智能大会上最新发布的仓库机器人Pegasus,该机器人已正式加入亚马逊 Kiva 机器人行列。 Pegasus 是一种新型包裹分拣机器人,外观上看, Pegasus 机器人十分类似亚马逊既有的 Kiva 机器人, 外观还是橙色不变, 2 英尺高, 3 英尺宽,约相当于一个手提包的大小。 Pegasus 机器人更像是对原有 Kiva 机器人的改良版,在原有机器人底座上增加了一个载货平台+皮带传送带对各个包裹进行分类和移动,有助于最大限度地减少包裹损坏并缩短交货时间。 Pegasus 机器人可以自主将右侧盒子放在正确的位置。仓库作业人员将包裹扫描完放到 Pegasus 机器人上, Pegasus 机器人载着包裹到指定地点。

    机器人配备的摄像机可以感知任何意外障碍。到了指定地点,机器人载货平台上的传送带将包装从机器人上移开,然后包裹沿着滑槽向下移动,准备送出。机器人在大约 2 分钟内完成整个包裹运送过程。据亚马逊介绍, Pegasus 机器人具有与 Kiva 机器人驱动器相同的容量。 Pegasus 机器人目前已经在在丹佛分拣中心上线的六个多月,行驶约 200 万英里,经测试,它能将当前系统的包裹分拣错误率大幅降低 50%。本次 MARS 人工智能大会上,除了推出 Pegasus 机器人,亚马逊还发布了一种大型模组化运输机器人 Xanthus。依据上方安装的模组,执行多种不同的任务 Xanthus 拥有透过改变上方配备,胜任不同任务的能力。相较过 去使用的系统, Xanthus 不仅用途更为广泛,体积也只有前辈的 1/3,成本甚至直接砍半。

    机器人平台 。 如何将机器人技术落地、实践商业化一直是备受关注的问题。波士顿动力的策略是要希望其成为平台公司,通过授权或开源方式, 使其技术能被广为被使用。2018 年这个传言似乎得到了证实,在《连线》杂志举办的峰会上,波士顿动力创始人暨首席执行官 Marc Raibert 指出,他们的定位是成为平台公司,让生态圈包括第三方伙伴、客户,一起来找到技术真正适合使用的地方。 Marc Raibert 表示波士顿动力在开发机器人时是以“平台”的概念来出发,客户可以增加硬件,例如手臂及其他组件,“当然,我们也可以针对单一领域打造一个有特殊应用的机器人方案,但我们不知道哪一个领域合适,所以我们从平台的角度出发,希望生态圈帮我们一起来找到技术真正可落地之处”、“我们要打造的是‘通用用途的平台’(general purpose platform),让第三方伙伴、客户、波士顿动力自己的应用开发团队,可以一同来设计产品以符合定制化需求。

    十、 数据库技术

    数据库是按一定的结构和规则组织起来的相关数据的集合, 是综合各用户数据形成的数据集合,是存放数据的仓库(我国数据库的发展现状与趋势—陈黎)。随着计算机技术与网络通信技术的快速发展,数据库技术已经成为当今信息社会中对大量数据进行组织与管理的重要技术手段,是网络信息化管理系统的基础。目前,新一代数据库系统不仅保持和继承了传统数据库系统的各项功能,支持知识管理、数据管理和对象管理,而且还对其它应用系统开放,在网络上支持标准网络协议,具有良好的可连接性、可移植性、可互操作性和可扩展性。

    学者地图用于描述特定领域学者的分布情况,对于进行学者调查、分析各地区竞争力现况尤为重要,下图为数据库领域全球学者分布情况:

    清华2019最新AI发展报告出炉!400页干货,13大领域一文看懂

     

    ▲数据库领域全球学者分布

    地图根据学者当前就职机构地理位置进行绘制,其中颜色越深表示学者越集中。从该地图可以看出,美国的人才数量优势明显且主要分布在其东西海岸;欧洲也有较多的人才分布;亚洲的人才主要集中在我国东部;其他诸如非洲、南美洲等地区的学者非常稀少;数据库领域的人才分布与各地区的科技、经济实力情况大体一致。

    我国专家学者在数据库领域的分布如下图所示。通过下图我们可以发现,京津地区在本领域的人才数量最多,其次是珠三角和长三角地区,相比之下,内陆地区的人才较为匮乏, 这种分布与区位因素和经济水平情况不无关系。 同时,通过观察中国周边国家的学者数量情况,特别是与日韩、东南亚等地相比,中国在数据库领域学者数量较多但差距不大。

    清华2019最新AI发展报告出炉!400页干货,13大领域一文看懂

     

    ▲数据库领域中国学者分布

    优秀论文:

    论文题目: Self-Driving Database Management Systems

    中文题目: 自动驾驶的数据库管理系统

    论文作者: Andrew Pavlo, Gustavo Angulo, Joy Arulraj and, Haibin Lin, Jiexi Lin, Lin Ma, et al.

    论文出处: 7th Biennial Conference on Innovative Data Systems Research (CIDR) – CIDR 2017

    论文地址: https://www.pdl.cmu.edu/PDL-FTP/Database/p42-pavlo-cidr17.pdf

    研究问题: 在过去的二十年中,研究人员和数据库系统供应商都尝试开发了各式辅助工具以在数据库系统的调优和物理设计等各个方面协助数据库管理员( Database Administrator, DBA)。但是,大多数的工作还是不足够完善的,因为它们仍然需要 DBA 对数据库的任何更改做出最终决定,并且是在问题发生后解决问题的反应性措施。尤其是随着云数据库的发展,不需要人工干预的 DBMS 就成为了一个迫切的需求,于是能“自动驾驶”的数据库管理系统(Database Management System, DBMS)便成为了必然的选择。真正地能“自动驾驶”的数据库管理系统所需要的是一种为自治操作而设计的新体系结构。与早期的各种 DBMS 不同的是,该类系统的所有方面都由集成的计划组件控制,该组件不仅可以针对当前工作负载(Workload)优化系统,而且还能预测未来的工作负载的变化趋势,以便系统可以相应地进行准备。这样, DBMS 可以支持所有以前的调优技术,而无需人工确定正确的方式和适当的时间来部署它们。

    步入大数据时代,面对 PB 乃至 EB 级海量数据、复杂多变的应用场景、异构的硬件架构和层次不齐的用户使用水平,传统的数据管理技术难以满足新时代的需求。例如,一个云数据库系统通常具有百万级别的数据库实例,每一个数据库实例通常都有各自的应用场景、不同用户的使用水平往往也有着比较大的差别,数据库中传统的启发式算法在这些场景中难以取得较好的效果,而有经验的数据库管理员也难以直接干预和优化数量如此之多的数据库实例。

    近年来,以机器学习为代表的人工智能技术因其强大的学习和适应能力,在多个领域都大放异彩。同样的,在数据管理领域,传统机器学习和深度学习等技术也有着巨大的潜力和广阔的应用前景。例如,数据库系统所积累的海量历史查询记录可以为基于学习的数据库智能优化技术提供数据支撑。一方面,我们可以构建包含查询、视图或数据库状态的有标签数据,比如,在视图选择问题中,这个标签是指每个候选视图是否被选中。

    另一方面,在缺乏标签数据的时候,我们可以利用(深度)强化学习技术探索性地(从选择结果的反馈中学习)选择最优的候选视图。此外,人工智能技术让自治数据库的自动决策管理、自动调优和自动组装等需求成为可能。在以深度学习为代表的人工智能技术的加持下,让数据库朝着更加智能的方向发展,数据管理技术也随之智能化。近些年涌现的自治数据库和人工智能原生数据库(如 SageDB, XuanyuanDB),通过融合人工智能技术到数据库系统的各个模块(优化器、执行器和存储引擎等)和数据管理的生命周期,可以大幅度提升数据库各方面的性能,为下一代数据库和人工智能技术的发展指明了一个方向。

    在另外一方面,数据管理技术也能以基础设施的身份来支持人工智能的发展。目前的人工智能在落地过程中还面临着一些挑战性。例如,人工智能算法训练效率较低,现有人工智能系统缺少执行优化技术(如大规模缓存、数据分块分区、索引等),不仅会导致大量的计算、存储资源浪费,而且会提高程序异常的发生率(如内存溢出、进程阻塞等),严重影响单个任务的执行效率。其次,人工智能技术往往依赖高质量的训练数据,现实中的训练数据往往是包含很多缺失值、异常值和别名等类型的错误,这些错误通常会影响训练效率,对模型的质量造成干扰。面向人工智能的数据管理技术可以为解决上述挑战做出贡献。

    十一、 可视化技术

    可视化技术是把各种不同类型的数据转化为可视的表示形式,并获得对数据更深层次认识的过程。可视化将复杂的信息以图像的形式呈现出来,让这些信息更容易、快速地被人理解,因此,它也是一种放大人类感知的图形化表示方法。

    可视化技术充分利用计算机图形学、图像处理、用户界面、人机交互等技术,以人们惯于接受的表格、图形、图像等形式,并辅以信息处理技术(例如: 数据挖掘、机器学习等)将复杂的客观事物进行图形化展现,使其便于人们的记忆和理解。可视化为人类与计算机这两个信息处理系统之间提供了一个接口,对于信息的处理和表达方式有其独有的优势,其特点可总结为可视性、交互性和多维性。

    目前,数据可视化针对不同的数据类型及研究方向,可以进一步划分为科学数据可视化、信息可视化,以及可视分析学三个子领域。这三个领域既紧密相关又分别专注于不同类型的数据及可视化问题。具体而言,科学可视化是针对科学数据的可视化展现技术。科学数据,例如,医疗过程中由 CT 扫描生成的影像数据、风洞实验而产生的流体数据、以及分子的化学结构等,是对物理世界的客观描述,往往是通过科学仪器而测量得到的数据。

    这类数据的可视化主要关注于如何以清晰直观的方式展现数据所刻画的真实物理状态。因此,科学可视化往往呈现的是三维场景下的时空信息。信息可视化注重于如何以图形的方式直观展现抽象数据,它涉及到了对人类图形认知系统的研究。在这里,抽象数据(例如: 图形数据、多维度数据、文本数据等)往往是对各应用领域所产生数据的高层次概括,记录的是抽象化的信息。针对这样的数据,信息可视化着眼于多维度信息的可视编码技术,即如何以低维度(2D) 的图形符号来直观展现并揭示抽象数据中所隐藏的潜在规律与模式;可视分析学是多领域技术结合的产物,旨在结合并利用信息可视化、人机交互、以及数据挖掘领域的相关技术,将人的判断与反馈作为数据分析中重要的一环,从而达到精准数据分析、推理及判断的目的。

    学者地图用于描述特定领域学者的分布情况,对于进行学者调查、分析各地区竞争力现况尤为重要,下图为可视化领域全球学者分布情况:

    清华2019最新AI发展报告出炉!400页干货,13大领域一文看懂

     

    ▲ 可视化领域全球学者分布

    我国专家学者在可视化领域的分布如下图所示。通过下图我们可以发现,京津地区在本领域的人才数量最多,其次是长三角和珠三角地区,相比之下,内陆地区的人才较为匮乏, 这种分布与区位因素和经济水平情况不无关系。 同时,通过观察中国周边国家的学者数量情况,特别是与日韩等地相比,中国在可视化领域学者数量较多但差距较小 。

    清华2019最新AI发展报告出炉!400页干货,13大领域一文看懂

     

    ▲可视化领域中国学者分布

    优秀论文:

    论文题目: Visual Exploration of Big Spatio-Temporal Urban Data: A Study of NewYork City Taxi Trips

    中文题目:城市大时空数据的可视化研究:纽约市出租车出行研究

    论文作者: Nivan Ferreira, Jorge Poco, Huy T. Vo, Juliana Freire, Cláudio T. Silva

    论文出处: IEEE Transactions on Visualization and Computer Graphics, 2013

    论文地址: https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=6634127&tag=1

    研究问题: 出租车数据是城市中极具价值的信息,收集并利用好出租车的数据可以有效的帮助决策者和社会学家理解城市的状况并做出正确的决策。但高效的探索出租车数据其实是一个充满挑战的事情。出租车数据十分复杂且庞大,包含了时间和空间上的信息,很难快速查询并进行比较。在采访城市规划和交通专家后,该文作者了解到,他们目前没有合适的工具来完成分析。一些简单的工具和语言只能分析一些小规模的数据,能分析的数据比较片面;而复杂一些的工具,虽然可以对大数据进行分析,则需要掌握高级的数据查询语言,对分析人员而言很困难。所以该文提出了一种支持在起点–终点(OD)数据上进行复杂时空可视化查询的模型。

    可视化语法及工具 。 随着大数据时代的到来,可视化已经成为一个必不可少的工具。现有的可视化软件及工具,可用于设计可视化应用程序和构建可视化分析系统,有助于可视化的广泛使用。为了减少制作可视化的技术负担,一些可视化工具提供了声明性语法,其中包括了 Vega-Lite 和 P5。声明性语法可以将可视化设计与执行细节分离,这使分析人员可以专注于特定于应用程序的设计决策。同时 Vega-Lite 和 P5都提供了易于使用的编程接口。

    Vega-Lite 是一套能够快速构建交互式可视化的高阶语法,它是基于 Vega 和 D3 等底层可视化语法的上层封装。相比于其它比较底层可视化语法, Vega-Lite 可以通过几行 JSON 配置代码即可完成一些通用的图表创建,而相反地,想要用 D3 等去构建一个基础的统计图表则可能需要编写多行代码,如果涉及到交互的话代码量更是会大大增加。 P5 是一个基于 Web的可视化工具包,它能集成了 GPU 计算与渐进式处理,并且提供了带有声明性语法的 API,可用于指定渐进式数据转换和可视化操作,从而帮助分析人员构建融合了高性能计算和渐进式分析工作流的可视化系统。

    可视化与故事叙述 。 故事叙述是可视化研究的一个重要且新兴的方向。 与传统的、 强调数据分析的可视化思路不同,故事叙述强调数据的传达与沟通, 强调数据与人(且通常是普通人)的连结。在此思路下, 研究者们致力于探究: 何种数据呈现与讲述技巧,可以使数据具备吸引力、 记忆度;数据故事的创作流程是怎样的,存在哪些需求和痛点;以及如何自动生成数据故事等等。 用讲故事的方式来呈现可视化,本质上是体现了一种人本导向,即以人的需求出发,提取和分析数据,并以对人友好的方式,将数据中的信息传达出去。随着我们的社会越来越依赖数据赋能,更好地构建数据与人的关系,将成为一条必经之路。叙述可视化的应用,不仅在于那些以“叙述”为主业的领域,如新闻媒体、广告宣传,更在于需要用数据来影响人、说服人、打动人的各行各业。对于研究者来说,相关的研究方向则包括可视化设计、人机交互、认知与感知、智能生成与推荐等等。

    可视化的自动生成 。 数据可视化领域中大多数的可视化生成系统往往是基于数据的交互式探索,也包括商业领域的知名的可视化工具 Tableau 和 PowerBI。而近些年来,为了避免繁杂的数据分析步骤并提升用户效率,可视化的自动生成逐渐成为行业领域中的研究热点。一系列基于规则和机器学习的推荐方法层出不穷,在自动生成可视化的最新研究中,研究者希望在保证准确表现数据的同时,也能将视觉设计的因素考虑在内,确保可视化的美观性和数据的表现力。

    例如, DataShot 和 Text-toViz,分别从数据和自然语言两个角度去自动生成富有设计感的数据可视化,前者直接从表格数据生成信息简报,后者根据用户的自然语言输入生成对应的信息图。制作一个有效且美观的数据可视化往往需要跨专业领域的技能,尤其是需要同时具备数据分析能力和平面设计能力,而这对于一个没有专业训练的普通用户来说是比较困难的。 DataShot 和 Text-to-Viz 等前沿的技术研究均通过自动化的方法从数据洞察和设计美学两个方面帮助用户生成可视化,降低用户制作可视化的门槛,并有效提高生产效率。

    可解释性深度学习 。 LSTMVis 是一个递归神经网络的可视化分析工具,它着重于对 RNNs 中的隐藏特征进行可视化分析。 LSTMVis 结合了一个基于时间序列的选择界面和一个交互式的匹配工具来搜索大型数据集中相似的隐藏状态模式。系统的主要功能是理解模型中动态变化的隐藏状态。该系统允许用户选择一个假设的输入范围来关注局部的改变,将这些状态改变与大型数据集中类似的模式进行匹配,并将这些选择出来的模式进行对齐分析。

    RNNs 在序列建模方面有着重要的作用,但是模型中的隐藏层含义很难被解释清楚。对于一个完成训练的 RNN 模型,分析人员并不清楚这个模型是如何理解序列中不同节点之间的关系的。 LSTMVis 能够帮助用户交互式地探索 RNN 模型复杂的网络结构,并将模型中抽象表示的隐藏层信息与人类可理解的原始输入进行关联。

    随着 21 世纪大数据的兴起和发展,大数据可视化广泛应用于各个领域,本节重点介绍其中的社交媒体可视化、医疗信息可视化和体育数据可视化。 社交媒体,比如最近几年非常流行的 Twitter、 Facebook、微博。它们可以作为强大的在线交流平台,允许数百万用户在任何时间、任何地点产生、传播、共享或交换信息。这些信息通常包括多种多媒体内容,如文本、图像和视频。在社交媒体上传播的大量多媒体数据,涵盖了全球范围内大规模和实时发生的社会动态信息, 这种现象为社交媒体可视化提供了很多机会。

    社交媒体技术层面上的可视化,主要包括: 基于关键字方法的可视化, 基于主题方法的可视化和多元方法的可视化。 现有的研究大多集中于集体行为的可视化,这类研究的主题包括: 信息扩散的可视化,社会竞争与合作的可视化,人的流动性的可视化。

    社交媒体数据的可视化分析正在迅速发展,每年都有大量的新方法出现。然而,该领域仍处于起步阶段,面临许多挑战和悬而未决的问题。许多挑战不能仅 结合的多学科研究,将带来处理和理解社交媒体数据会有更强大、更可行的方法和技术。

    十二、 数据挖掘

    数据挖掘(Data Mining),是指从大量的数据中自动搜索隐藏于其中的有着特殊关系性的数据和信息,并将其转化为计算机可处理的结构化表示,是知识发现的一个关键步骤。数据挖掘的广义观点:从数据库中抽取隐含的、以前未知的、具有潜在应用价值的模型或规则等有用知识的复杂过程,是一类深层次的数据分析方法。数据挖掘是一门综合的技术,涉及统计学、数据库技术和人工智能技术的综合,它的最重要的价值在于用数据挖掘技术改善预测模型。

    学者地图用于描述特定领域学者的分布情况,对于进行学者调查、分析各地区竞争力现况尤为重要,下图为数据挖掘领域全球学者分布情况:

    清华2019最新AI发展报告出炉!400页干货,13大领域一文看懂

     

    ▲数据挖掘领域全球人才部分

    地图根据学者当前就职机构地理位置进行绘制,其中颜色越深表示学者越集中。从该地图可以看出,美国的人才数量遥遥领先且主要分布于其东西海岸;欧洲、亚洲也有较多的人才分布;其他诸如非洲、南美洲等地区的学者非常稀少;可视化领域的人才分布与各地区的科技、经济实力情况大体一致。

    我国专家学者在数据挖掘领域的分布如上图所示。通过下图我们可以发现,京津地区在本领域的人才数量最多,其次是珠三角和长三角地区,相比之下,内陆地区的人才较为匮乏,这种分布与区位因素和经济水平情况不无关系。同时,通过观察中国周边国家的学者数量情况,特别是与日本、东南亚等亚洲国家相比,中国在数据挖掘领域学者数量较多且有一定的优势。

    清华2019最新AI发展报告出炉!400页干货,13大领域一文看懂

     

    ▲数据挖掘领域中国学者分布

    优秀论文: 论文题目: Graph Convolutional Neural Networks for Web-Scale Recommender Systems

    中文题目:图卷积神经网络应用于网络规模推荐系统

    论文作者: Rex Ying, Ruining He, Kaifeng Chen, Pong Eksombatchai, William L. Hamilton, and Jure Leskovec.

    论文出处: In Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining (KDD ’18) .

    论文地址: https://dl.acm.org/citation.cfm?doid=3219819.3219890

    研究问题: 图结构数据作为深层神经网络最新研究成果应用于推荐系统基准的最新的指标,传统的深度学习网络主要针对图片,语音等欧氏空间内规则型数据,但是现实中存在很多不是欧氏数据, 它们的结构不规则,难以用卷积神经网络对其进行结构信息的聚合,故将其扩展到有数十亿用户的网络级推荐系统是一个巨大的挑战。

    近几年,我们已经迎来了大数据时代,各大互联网企业每天都在产生数以亿计的数据。各类数据往往都隐含着一些有价值的信息, 如果人们手动地进行数据分析,往往需要耗费大量的时间。同时,大量未经处理的数据可能会被人们所忽视。数据挖掘就是想自动地从大规模的数据中挖掘出有意义的知识或者模式。这里,我们将数据挖掘领域近期的主要发展归为两大类:复杂数据挖掘、分布式数据挖掘。

    复杂数据包括序列数据、图数据等。在序列数据挖掘中,基于注意力(Attention)机制的 Transformer 模型表现出了巨大的潜力,在机器翻译等任务上取得了非常好的效果。随后, BERT 模型使用双向 Transformer 通过预训练方式在各种自然语言处理的任务上都达到了当时最好的结果。在图数据挖掘研究中,网络表示学习仍然是近年来非常热门的话题。从 DeepWalk 算法开始,基于随机游走的算法在无监督的表示学习任务中表现良好。 NetMF 算法将几种基于随机游走的算法统一写成了矩阵分解的形式,给网络表示学习算法提供了理论基础。图卷积神经网络是另一种处理图数据的有效方法,借鉴了图谱论中的图卷积并使用图的拉普拉斯矩阵,在半监督的节点分类任务和图分类任务中都表现出很好的效果。除此之外,异构网络的表示与挖掘也逐渐被大家所关注。

    分布式数据挖掘已成为数据挖掘领域非常有前途的方向。随着数据挖掘计算成本的增加和数据隐私保护的问题,分布式数据挖掘开始备受关注。分布式数据挖掘利用分布式站点的资源来降低计算成本并增强数据保密性。由于分布式数据挖掘采用了不同的计算方式,传统的数据挖掘技术很难直接应用于分布式数据挖掘。目前,数据安全与数据隐私开始被大家所关注。 2018 年 5 月,通用数据保护条例(GDPR)在欧盟正式生效, 这也使得基于隐私保护的分布式数据挖掘方法逐渐被研究者所重视。

    数据挖掘已经被广泛地应用于各类实际问题,包括金融数据分析、推荐系统等。数据挖掘相关研究需要结合实际问题,注重与机器学习、统计学科等的交叉,从大数据中挖掘出有价值的信息。

    十三、 信息检索与推荐

    R.Baeza-Yates 教授在其著作《现代信息检索中 》中指出 ,信息检索(Information Retrieval, IR)是计算机科学的一大领域,主要研究如何为用户访问他们感兴趣的信息提供各种便利的手段,即:信息检索涉及对文档、网页、联机目录、结构化和半结构化记录及多媒体对象等信息的表示、存储、组织和访问,信息的表示和组织必须便于用户访问他们感兴趣的信息。

    在范围上,信息检索的发展已经远超出了其早期目标,即对文档进行索引并从中寻找有用的文档。如今,信息检索的研究包括用户建模、 Web 搜索、 文本分析、 系统构架、 用户界面、 数据可视化、 过滤和语言处理等技术。

    信息检索的主要环节包括信息内容分析与编码、组成有序的信息集合以及用户提问处理和检索输出。其中信息提问与信息集合的匹配、选择是整个环节中的重要部分。当用户向系统输入查询时,信息检索过程开始,接着用户查询与数据库信息进行匹配。返回的结果可能是匹配或不匹配查询,而且结果通常被排名。大多数信息检索系统对数据库中的每个对象与查询匹配的程度计算数值分数,并根据此值进行排名,然后向用户显示排名靠前的对象。

    推荐系统(Recommendation System, RS)是指信息过滤技术,从海量项目(项目是推荐系统所推荐内容的统称,包括商品、新闻、微博、音乐等产品及服务)中找到用户感兴趣的部分并将其推荐给用户,这在用户没有明确需求或者项目数量过于巨大、凌乱时,能很好地为用户服务,解决信息过载问题。

    一般推荐系统模型流程通常由 3 个重要的模块组成:用户特征收集模块,用户行为建模与分析模块,推荐与排序模块。推荐系统通过用户特征收集模块收集用户的历史行为,并使用用户行为建模和分析模块构建合适的数学模型分析用户偏好,计算项目相似度等,最后通过推荐与排序模块计算用户感兴趣的项目,并将项目排序后推荐给用户。

    信息的检索与推荐都是用户获取信息的手段,无论是在互联网上,还是在线下的生活场景里,这两种方式都大量并存,两者之间的关系是互补的:搜索引擎需要用户主动提供准确的关键词来寻找信息,因此不能解决用户的很多其他需求,比如当用户无法找到准确描述自己需求的关键词时,搜索引擎就无能为力了。和搜索引擎一样,推荐系统也是一种帮助用户快速发现有用信息的工具。

    与搜索引擎不同的是,推荐系统不需要用户提供明确的需求,而是通过分析用户的历史行为给用户的兴趣建模,从而主动给用户推荐能够满足他们兴趣和需求的信息。因此,从某种意义上说,推荐系统和搜索引擎对于用户来说是两个互补的工具。搜索引擎满足了用户有明确目的时的主动查找需求,而推荐系统能够在用户没有明确目的的时候帮助他们发现感兴趣的新内容。在实际生活中也有很多运用。

    同时,信息的检索与推荐也有着一定的区别,可以分为以下几个方面: 首先是主动与被动的不同。搜索是一个非常主动的行动,用户的需求也十分明确,在搜索引擎提供的结果里,用户也能通过浏览和点击来明确的判断是否满足了用户需求。然而,推荐系统接受信息是被动的,需求也都是模糊而不明确的。

    学者地图用于描述特定领域学者的分布情况,对于进行学者调查、分析各地区竞争力现况尤为重要,下图为信息检索与推荐领域全球学者分布情况:

    清华2019最新AI发展报告出炉!400页干货,13大领域一文看懂

     

    ▲信息检索与推荐领域全球人才分布

    地图根据学者当前就职机构地理位置进行绘制,其中颜色越深表示学者越集中。从该地图可以看出,美国的人才数量优势明显且主要分布于其东西海岸;欧洲、亚洲也有较多的人才分布;其他诸如非洲、南美洲等地区的学者非常稀少;信息检索与推荐领域的人才分布与各地区的科技、经济实力情况大体一致。 此外,在性别比例方面,信息检索与推荐领域中男性学者占比 90.6%,女性学者占比9.4%,男性学者占比远高于女性学者。

    清华2019最新AI发展报告出炉!400页干货,13大领域一文看懂

     

    ▲信息检索与推荐领域中国学者分布

    我国专家学者在信息检索与推荐领域的分布如上图所示,从中可以发现京津地区在本领域的人才数量最多,其次是长三角和珠三角地区,相比之下,内陆地区的人才较为匮乏,这种分布与区位因素和经济水平情况不无关系。同时,通过观察中国周边国家的学者数量情况,特别是与日韩、东南亚等地相比,中国在信息检索与推荐领域学者数量较多且优势较大。

    优秀论文:

    论文题目: Adversarial Personalized Ranking for Recommendation

    中文题目:对抗式个性化推荐排名

    论文作者: Xiangnan He, Zhankui He, Xiaoyu Du anTat-Seng Chua.

    论 文 出 处 : The 41st International ACM SIGIR Conference on Research & Development in Information Retrieval – SIGIR ’18

    论文地址: https://arxiv.org/pdf/1808.03908.pdf

    研究问题: 贝叶斯个性化排名(Bayesian Personalized Ranking, BPR)是一种成对学习的排序方法,用于优化个性化排序的推荐模型。它以内隐反馈学习为目标,假定观察到的交互比未观察到的交互排在更高的位置。矩阵因子分解( MatrixFactorization, MF)是最基本也是最有效的推荐模型。 MF 将每个用户和项表示为嵌入向量,通过嵌入向量之间的内积来估计用户对某一项的偏好程度。在信息检索领域,贝叶斯个性化排名训练的矩阵分解模型(MF-BPR)学习一个与训练数据相适应的复杂函数,不能很好地泛化,且其鲁棒性较差,易受参数的对抗性扰动。因此本文提出了一种新的个性化排名训练方法-对抗的个性化排名(Adversarial Personalized Ranking, APR)。

    随着互联网中数字信息数量的增长,商品、书籍、新文章、歌、电影、研究文件等日常基础性事物,其数量和种类填满了多个数据仓库和数据库。蕴含着智能推荐系统和强大的搜索引擎的在线商店、在线音乐、在线视频和图片库等已成为人们快速寻找信息的主要方式。此类系统的流行程度和有用性在于它们能够便捷地显示几乎无限的物品信息。比如, Amazon、 Netflix 等推荐系统尝试了解用户兴趣,并向用户推荐他们感兴趣的商品。尽管这些系统由于使用场景而各不相同,但其寻找用户感兴趣商品的核心机制都是用户兴趣与商品匹配的机制。

    为了提高信息检索与推荐系统中算法模型的准确性和可解释性,研究人员近年来主要关注无偏的在线排序学习模型,以及利用知识信息增强推荐系统的表现和可解释性等方面的研究。其中,无偏的在线排序学习模型是指自动利用大规模用户点击数据训练搜索结果的排序模型。用户点击数据是现代搜索引擎的重要数据来源,具有成本低廉,并且对以用户为中心的检索应用程序(如搜索排名) 特别有用等优点。

    为了充分利用用户点击数据开发一个无偏的学习排名系统,研究人员试图消除用户偏见对排名模型训练的影响。近年来,一种基于反事实学习和图形模型的无偏学习排名框架引起了人们的广泛关注。该框架侧重于使用反事实学习直接训练带有偏倚点击数据的排名模型。这个无偏的学习排名框架对待点击偏差作为一个反事实的影响和去偏用户反馈加权每点击与他们的反向倾向加权。它使用倾向性模型来量化点击的偏差,并没有明确地估计查询文档与培训数据的相关性。研究人员从理论上证明,在正确的偏差估计下,在该框架下使用点击数据训练的排序模型将收敛于使用真实相关信号训练的排序模型。

    信息检索与推荐系统可以为用户推荐其感兴趣的内容并给出个性化的建议。而现在的推荐系统大都着眼于被推荐对象的序列建模,而忽略了它们细粒度的特征。为了解决以上问题,研究人员提出了多任务可解释推荐模型( Multi-Task Explainable Recommendation, MTER)和知识增强的序列推荐模型(Knowledgeenhanced Sequential Recommender, KSP)。其中, MTER 模型是一个用于可解释推荐任务的多任务学习方法,通过联合张量分解将用户、产品、特征和观点短语映射到同一向量空间,来从用户评论中提取产品细粒度的个性化特征。 KSR 模型提出了利用结合知识库的记忆网络来增强推荐系统的特征捕获能力与解释性,解决序列化推荐系统不具有解释性,且无法获取用户细粒度特征的不足。 MTER 和KSR 模型通过对推荐结果的解释,分析被推荐对象的特征,可以让用户可以对使用哪些推荐结果做出更明智,更准确的决策,从而提高他们的满意度。

    近年来,信息检索与推荐领域比较流行的开源平台主要包括基于深度学习的检索模型(MatchZoo)、基于 tensorflow 的 learning to rank 模型(TF-Ranking)和 microsoft recommenders。其中, MatchZoo 是由中国科学院计算技术研究所网络数据科学与技术重点实验室近期发布的深度文本匹配开源项目。 MatchZoo 是一个 Python 环境下基于 TensorFlow 开发的开源文本匹配工具,使用了 Keras 中的神经网络层,并有数据预处理,模型构建,训练与评测三大模块组成, 旨在让大家更加直观地了解深度文本匹配模型的设计、更加便利地比较不同模型的性能差异、更加快捷地开发新型的深度匹配模型。

    MatchZoo 提供了基准数据集(TRECMQ 系列数据、 WiKiQA 数据等)进行开发与测试,整合了当前最流行的深度文本匹配的方法(包括 DRMM, MatchPyramid, DUET, MVLSTM, aNMM, ARC-I,ARC-II, DSSM, CDSSM 等算法的统一实现),旨在为信息检索、数据挖掘、自然语言处理、机器学习等领域内的研究与开发人员提供便利, 可以应用到的任务场景包括文本检索,自动问答,复述问题,对话系统等等。

    TF-Ranking 是一个可扩展的基于 tensorflow 的用于排序的库,由 google 于2018 年提出。 TF-Ranking 提供了一个统一的框架,其中包括一套最先进的学习排序算法,并支持成对或列表损失函数、多项评分、排序度量优化和无偏学习排序。 TF-Ranking 速度很快并且易于使用,可以创建高质量的排序模型。 统一的框架使机器学习的研究人员、实践者和爱好者能够在一个库中评估和选择一系列不同的排序模型。

    此外,这个开源库不仅提供了合理的默认模型,还可以让用户能够开发自己的定制模型,且提供了灵活的 API,用户可以在其中定义和插入自己定制的损失函数、评分函数和指标。 Microsoft Recommenders 是微软云计算和人工智能开发团队与微软亚洲研究院团队深度合作,基于多年来各类大型企业级客户的项目经验以及最新学术研究成果,搭建的完整推荐系统的最新实操技巧开源项目。该项目有效解决了定制和搭建企业级推荐系统中的几个难点,包括如何将学术研究成果或开源社区提供的范例适用于企业级应用、如何集成信息检索与推荐领域的学习指导资源俩协助从业人员深入理解并实际搭建完整推荐系统、如何选择最优算法以应对具体应用场景等。

    为了协助信息检索与推荐领域的算法模型的训练和优化,微软公司提供了一个大规模支持机器阅读理解和问答系统等多种领域研究的数据集,简称 MSMACRO。该数据集从必应(bing)的搜索查询记录中取样,每个问题都有人工生成的答案和完全人工重写的答案。此外,数据集包含从通过 bing 检索的 web文档中提取的百万个密码,这些密码提供了管理自然语言答案所需的信息。

    使用这个数据集,本文提出三个不同层次的难度不同的任务: (i) 根据一组上下文段落预测一个问题是否可以回答,然后像人类一样提取和合成答案(ii) 基于根据问题和段落语境信息可以被理解的上下文段落,来生成格式良好的答案(如果可能) , 最后(iii) 根据给定的一个问题,对检索得到的段落进行排序。数据集的大小和问题来自真实用户搜索查询的事实,该数据集的规模和真实世界的性质使它对基准测试机器阅读理解和问答模型具有吸引力。

    智东西认为,从清华大学该报告可以看出,现阶段人工智能人才总的来看美国的人才数量遥遥领先,我国人才数量在大部分领域领跑第二梯队,但与位居首位的美国相比,中国高影响力学者数量明显不足,顶尖学者相对匮乏,中美之间还存在较大的赶超空间。当前,人工智能已经成为引领新一轮科技革命和产业变革的战略性技术,我国在人工智能领域的科学技术研究和产业发展,起步稍晚于以美国为代表的发达国家,但是,在最近十余年的人工智能爆发发展期我国抓住了机遇,进入了快速发展阶段。在这个阶段,能够推动技术突破和创造性应用的高端人才对人工智能的发展起着至关重要的作用。

    展开全文
  • https://www.amd.com/system/files/documents/rdna-whitepaper.pdf The all new Radeon gaming architecture powering “Navi” 全新 Radeon 游戏架构为 Navi 提供动力 Table of Contents Introduction RDNA ...

    Introducing RDNA Architecture

    The RDNA architecture white paper
    https://www.amd.com/system/files/documents/rdna-whitepaper.pdf

    The all new Radeon gaming architecture powering “Navi”
    全新 Radeon 游戏架构为 Navi 提供动力

    Table of Contents

    Introduction
    RDNA Architecture Overview and Philosophy
    RDNA System Architecture
    RDNA Shader Array and Graphics Functions
    Dual Compute Unit Front End
    SIMD Execution Units
    Scalar Execution and Control Flow
    Vector Execution
    Vector ALUs
    Dual Compute Unit Memories
    Local Data Share and Atomics
    Vector Caches
    Export and GDS
    Shared Graphics L1 Cache
    L2 Cache and Memory
    Radeon Multimedia and Display Engines
    True Audio Next
    Advanced Visual Effects
    Radeon RX 5700 Family
    Conclusion
    Legal Disclaimer and Attributions
    
    philosophy [fɪˈlɒsəfi]:n. 哲学,人生哲学,哲学体系,思想体系
    atomic [əˈtɒmɪk]:adj. 原子的,与原子有关的,原子能的,原子武器的
    disclaimer [dɪsˈkleɪmə(r)]:n. 免责声明,弃权声明
    

    1. Introduction

    The world of graphics has fundamentally evolved and shifted over the course of the last three decades towards greater programmability. The earliest graphics systems were implemented purely in software and ran on CPUs, but could not offer the performance needed for more than the most basic visual effects. The first specialized graphics architectures were almost purely fixed-function and could only accelerate a very limited range of specific 2D or 3D computations such as geometry or lighting transformations. The next wave of architectures introduced graphics shaders that gave programmers a taste of flexibility, but with stringent limitations. More recently, graphics processors evolved towards programmability - offering programmable graphics shaders and fully general-purpose computing.
    在过去的三十年里,图形世界已经从根本上发展并转向更高的可编程性。最早的图形系统纯粹是在软件中实现并在 CPU 上运行,但不能提供超出最基本视觉效果所需的性能。第一个专门的图形架构几乎是纯粹的固定功能,只能加速非常有限的特定 2D 或 3D 计算,例如几何或光线转换。下一波架构引入了图形着色器,让程序员尝到了灵活性,但也有严格的限制。最近,图形处理器向可编程方向发展 - 提供可编程图形着色器和完全通用的计算。

    fundamentally [.fʌndə'ment(ə)li]:adv. 从根本上,基础地,重要地
    evolve [ɪˈvɒlv]:v. 进化,演化,逐步发展
    course [kɔː(r)s]:adv. 当然 n. 过程,航向,球场,课程 v. 流下,突然变得很强烈,打猎
    decade ['dekeɪd]:n. 十年
    programmability [prəʊɡræmə'bɪlɪtɪ]:n. 可编程性
    geometry [dʒiːˈɒmətri]:n. 几何形状,几何图形,几何,几何结构
    transformation [ˌtrænsfə(r)ˈmeɪʃ(ə)n]:n. 转变,民主改革
    taste [teɪst]:n. 味道,味觉,滋味,体验 v. 尝,吃,浅尝,有 ... 味道的
    flexibility [.fleksə'bɪləti]:n. 灵活性,弹性,挠性,折射性
    stringent [ˈstrɪndʒ(ə)nt]:adj. 严格的,严厉的,紧缩的,短缺的
    

    在这里插入图片描述

    Figure 1 - Eras of Graphics.

    AMD’s TeraScale was designed for the era of programmable graphics and ushered in general-purpose compute with DirectX® 11’s DirectCompute API and a VLIW-based architecture. The Graphics Core Next (GCN) architecture moved to a more programmable interleaved vector compute model and introduced asynchronous computing, enabling traditional graphics and general-compute to work together efficiently. The GCN architecture is at the heart of over 400 million systems, spanning from notebook PCs, to extreme gaming desktops, cutting-edge game consoles, and cloud gaming services that can reach any consumer on a network.
    AMD 的 TeraScale 专为可编程图形时代而设计,并通过 DirectX® 11 的 DirectCompute API 和基于 VLIW 的架构引入了通用计算。下一代图形核心 (GCN) 架构转向更可编程的交错矢量计算模型并引入异步计算,使传统图形和通用计算能够高效地协同工作。GCN 架构是超过 4 亿个系统的核心,从笔记本电脑到极限游戏台式机、尖端游戏机和云游戏服务,可以接触到网络上的任何消费者。

    era [ˈɪərə]:n. 时代,年代,纪元,代
    usher [ˈʌʃə(r)]:n. 引座员,门房 v. 把 ... 引往,引导,引领
    span [spæn]:n. 持续时间,范围,包括的种类,跨度 v. 持续,贯穿,包括,涵盖
    

    Looking to the future, the challenge for the next era of graphics is to shift away from the conventional graphics pipeline and its limitations to a compute-first world where the only limit on visual effects is the imagination of developers. To meet the challenges of modern graphics, AMD’s RDNA architecture is a scalar architecture, designed from the ground up for efficient and flexible computing, that can scale across a variety of gaming platforms. The 7nm “Navi” family of GPUs is the first instantiation of the RDNA architecture and includes the Radeon RX 5700 series.
    展望未来,下一个图形时代的挑战是从传统的图形管道及其局限性转移到计算优先的世界,视觉效果的唯一限制是开发人员的想象力。为了应对现代图形的挑战,AMD 的 RDNA 架构是一种标量架构,专为高效灵活的计算而设计,可以跨各种游戏平台进行扩展。7nm Navi 系列 GPU 是 RDNA 架构的第一个实例,包括 Radeon RX 5700 系列。

    2. RDNA Architecture Overview and Philosophy

    The new RDNA architecture is optimized for efficiency and programmability while offering backwards compatibility with the GCN architecture. It still uses the same seven basic instruction types: scalar compute, scalar memory, vector compute, vector memory, branches, export, and messages. However, the new architecture fundamentally reorganizes the data flow within the processor, boosting performance and improving efficiency.
    新的 RDNA 架构针对效率和可编程性进行了优化,同时提供与 GCN 架构的向后兼容性。它仍然使用相同的七种基本指令类型:scalar compute, scalar memory, vector compute, vector memory, branches, export, and messages. 但是,新架构从根本上重组了处理器内的数据流,从而提升了性能并提高了效率。

    In all AMD graphics architectures, a kernel is a single stream of instructions that operate on a large number of data parallel work-items. The work-items are organized into architecturally visible work-groups that can communicate through an explicit local data share (LDS). The shader compiler further subdivides work-groups into microarchitectural wavefronts that are scheduled and executed in parallel on a given hardware implementation.
    在所有 AMD 图形架构中,内核是对大量数据并行工作项进行操作的单个指令流。工作项被组织成架构上可见的工作组,这些工作项可以通过显式本地数据共享 (LDS) 进行通信。着色器编译器进一步将工作组细分为在给定硬件实现上并行调度和执行的微架构波前。着色器编译器进一步将工作组细分进微架构 wavefront 中,wavefront 在给定硬件上并行调度和并行执行。

    For the GCN architecture, the shader compiler creates wavefronts that contain 64 work-items. When every work-item in a wavefront is executing the same instruction, this organization is highly efficient. Each GCN compute unit (CU) includes four SIMD units that consist of 16 ALUs; each SIMD executes a full wavefront instruction over four clock cycles. The main challenge then becomes maintaining enough active wavefronts to saturate the four SIMD units in a CU.
    对于 GCN 架构,着色器编译器创建包含 64 个工作项的 wavefront。当 wavefront 中的每个工作项都执行相同的指令时,这种组织是高效的。每个 GCN 计算单元 (CU) 包括四个 SIMD 单元,每个 SIMD 由 16 个 ALU 组成, 每个 SIMD 在四个时钟周期内执行一条完整的 wavefront 指令。主要挑战是要保持足够的有效 wavefront 以使 CU 中的四个 SIMD 单元饱和。

    The RDNA architecture is natively designed for a new narrower wavefront with 32 work-items, intuitively called wave32, that is optimized for efficient compute. Wave32 offers several critical advantages for compute and complements the existing graphics-focused wave64 mode.
    RDNA 架构原生设计用于具有 32 个工作项的窄小的 wavefront,直观地称为 wave32,针对高效计算进行了优化。 Wave32 为计算提供了几个关键优势,并补充了现有的以图形为中心的 wave64 模式。

    One of the defining features of modern compute workloads is complex control flow: loops, function calls, and other branches are essential for more sophisticated algorithms. However, when a branch forces portions of a wavefront to diverge and execute different instructions, the overall efficiency suffers since each instruction will execute a partial wavefront and disable the other portions. The new narrower wave32 mode improves efficiency for more complex compute workloads by reducing the cost of control flow and divergence.
    现代计算工作负载的定义特征之一是复杂的控制流:循环、函数调用和其他分支对于更复杂的算法至关重要。然而,当分支迫使 wavefront 的一部分分叉并执行不同的指令时,整体效率会受到影响,因为每条指令将执行部分波前并禁用其他部分。更窄小的 wave32 模式通过降低控制流和发散的成本来提高更复杂计算工作负载的效率。

    sophisticate [səˈfɪstɪkeɪt]:v. 用诡辩欺骗,使迷惑,窜改,掺坏 n. 老于世故的人,见多识广的人
    

    Second, a narrower wavefront completes faster and uses fewer resources for accessing data. Each wavefront requires control logic, registers, and cache while active. As one example, the new wave32 mode uses half the number of registers. Since the wavefront will complete quicker, the registers free up faster, enabling more active wavefronts. Ultimately, wave32 enables delivering throughput and hiding latency much more efficient.
    第二,更窄小的 wavefront 完成速度更快,访问数据使用的资源更少。每个 wavefront 在活动时都需要控制逻辑、寄存器和缓存。例如,新的 wave32 模式使用了一半的寄存器。由于 wavefront 完成得更快,寄存器释放得更快,从而使 wavefront 更活跃。最终,wave32 能够更有效地提供吞吐量和隐藏延迟。

    Third, splitting a workload into smaller wave32 dataflows increases the total number of wavefronts. This subdivision of work items boosts parallelism and allows the GPU to use more cores to execute a given workload, improving both performance and efficiency.
    第三,将工作负载拆分为更小的 wave32 数据流会增加 wavefront 的总数。工作项的这种细分提高了并行性,并允许 GPU 使用更多内核来执行给定的工作负载,从而提高性能和效率。

    在这里插入图片描述

    Figure 2 - Adjacent Compute Unit Cooperation in RDNA architecture. - RDNA 架构中的相邻计算单元合作。

    The new dual compute unit design is the essence of the RDNA architecture and replaces the GCN compute unit as the fundamental computational building block of the GPU. As Figure 2 illustrates, the dual compute unit still comprises four SIMDs that operate independently. However, this dual compute unit was specifically designed for wave32 mode; the RDNA SIMDs include 32 ALUs, twice as wide as the vector ALUS in the prior generation, boosting performance by executing a wavefront up to 2X faster. The new SIMDs were built for mixed-precision operation and efficiently compute with a variety of datatypes to enable scientific computing and machine learning. Figure 3 below illustrates how the new dual compute unit exploits instruction-level parallelism within a simple example shader to execute on a SIMD with half the latency in wave32 mode and a 44% reduction in latency for wave64 mode compared to the previous generation GCN SIMD.
    新的双计算单元设计是 RDNA 架构的精髓,取代 GCN 计算单元成为 GPU 的基本计算构建块。 如图 2 所示,双计算单元仍然包含四个独立运行的 SIMD。但是,这个双计算单元是专门为 wave32 模式设计的,RDNA SIMD 包含 32 个 ALU,宽度是上一代矢量 ALUS 的两倍,通过将 wavefront 执行速度提高 2 倍来提高性能。新的 SIMD 专为混合精度操作而构建,可使用各种数据类型进行高效计算,以实现科学计算和机器学习。下面的图 3 说明了新的双计算单元如何利用简单示例着色器中的指令级并行性在 SIMD 上执行,与上一代 GCN SIMD 相比,wave32 模式下的延迟只有一半,wave64 模式下的延迟减少了 44%。

    INSTRUCTION ISSUE EXAMPLE

    在这里插入图片描述

    Figure 3 - Wave32 and wave64 execution on an example snippet of code.

    The RDNA architecture also redefines the cache and memory hierarchy to increase bandwidth for graphics and compute, reduce power consumption, and enable greater scaling for the future. Earlier architectures employed a two-level cache hierarchy. Generally, the first level of caching was private to each GCN compute unit and focused on compute. The second level of caching was the globally shared L2 that resided alongside the memory controllers and would deliver data both to compute units and graphics functions such as the geometry engines and pixel pipelines.
    RDNA 架构还重新定义了缓存和内存层次结构,以增加图形和计算的带宽、降低功耗并为未来实现更大的扩展。 早期的架构采用两级缓存层次结构。通常,第一级缓存是每个 GCN 计算单元私有的,并且专注于计算。第二级缓存是全局共享的 L2,它与内存控制器一起驻留,并将数据传输到计算单元和图形功能,例如几何引擎和像素管道。

    To satisfy the more powerful dual compute units, the L0 caches for scalar and vector data have scaled up as well. The new architecture introduces a specialized intermediate level of cache hierarchy, a shared graphics L1 cache that serves a group of dual compute units and pixel pipelines. This arrangement reduces the pressure on the globally shared L2 cache, which is still closely associated with the memory controllers.
    为了满足更强大的双计算单元,用于标量和矢量数据的 L0 缓存也已经扩展。新架构引入了一个专门的中间缓存层次结构,一个共享图形 L1 缓存,为一组双计算单元和像素管道提供服务。这种安排减少了全局共享二级缓存的压力,它仍然与内存控制器密切相关。

    snippet [ˈsnɪpɪt]:n. 一小条 (消息),一则 (新闻),一小段 (谈话、音乐等)
    

    3. RDNA System Architecture

    Graphics processors (GPUs) built on the RDNA architecture will span from power-efficient notebooks and smartphones to some of the world’s largest supercomputers. To accommodate so many different scenarios, the overall system architecture is designed for extreme scalability while boosting performance over the previous generations. Figure 4 below illustrates the 7nm Radeon RX 5700 XT, which is one of the first incarnations of the RDNA architecture.
    基于 RDNA 架构的图形处理器 (GPU) 将涵盖从节能笔记本电脑和智能手机到一些世界上最大的超级计算机。为了适应如此多不同的场景,整个系统架构旨在实现极高的可扩展性,同时提高前几代产品的性能。下面的图 4 展示了 7nm Radeon RX 5700 XT,它是 RDNA 架构的首批产品之一。

    在这里插入图片描述

    Figure 4 - Block diagram of the Radeon RX 5700 XT, one of the first GPUs powered by the RDNA architecture.
    infinity [ɪn'fɪnəti]:n. 无限,无穷,无穷远,无限远的点
    fabric ['fæbrɪk]:n. 织物,布料,结构
    Infinity Fabric,IF:芯片内、外部互连总线技术
    

    The RX 5700 XT is organized into several main blocks that are all tied together using AMD’s Infinity Fabric. The command processor and PCI Express interface connect the GPU to the outside world and control the assorted functions. The two shader engines house all the programmable compute resources and some of the dedicated graphics hardware. Each of the two shader engines include two shader arrays, which comprise of the new dual compute units, a shared graphics L1 cache, a primitive unit, a rasterizer, and four render backends (RBs). In addition, the GPU includes dedicated logic for multimedia and display processing. Access to memory is routed via the partitioned L2 cache and memory controllers.
    RX 5700 XT 被组织成几个主要块,这些块都使用 AMD 的 Infinity Fabric 连接在一起。命令处理器和 PCI Express 接口将 GPU 连接到外部世界并控制各种功能。这两个着色器引擎包含所有可编程计算资源和一些专用图形硬件。两个着色器引擎中的每一个都包括两个着色器阵列,其中包括新的双计算单元、一个共享图形 L1 缓存、一个基元单元、一个光栅化器和四个渲染后端 (RB)。此外,GPU 包括用于多媒体和显示处理的专用逻辑。对内存的访问通过分区的 L2 高速缓存和内存控制器进行路由。

    render backend,RB:渲染后端
    

    The RDNA architecture is the first family of GPUs to use PCIe® 4.0 to connect with the host processor. The host processor runs the driver, which sends API commands and communicates data to and from the GPU. The new PCIe® 4.0 interface operates at 16 GT/s, which is double the throughput of earlier 8 GT/s PCI-E 3.0-based GPUs. In an era of immersive 4K or 8K textures, greater link bandwidth saves power and boosts performance.
    RDNA 架构是第一个使用 PCIe® 4.0 与主机处理器连接的 GPU 系列。主机处理器运行驱动程序,该驱动程序发送 API 命令并与 GPU 进行数据通信。新的 PCIe® 4.0 接口以 16 GT/s 的速度运行,是早期基于 8 GT/s PCI-E 3.0 的 GPU 吞吐量的两倍。在沉浸式 4K 或 8K 纹理的时代,更大的链路带宽可以节省电力并提高性能。

    The hypervisor agent enables the GPU to be virtualized and shared between different operating systems. Most cloud gaming services live in data centers where virtualization is crucial from a security and operational standpoint. While modern consoles focus on gaming, many offer a rich suite of communication and media capabilities and benefit from virtualizing the hardware to deliver performance for all tasks.
    管理程序代理使 GPU 能够在不同操作系统之间进行虚拟化和共享。大多数云游戏服务都位于数据中心,从安全和运营的角度来看,虚拟化至关重要。虽然现代控制台专注于游戏,但许多控制台提供了丰富的通信和媒体功能,并受益于虚拟化硬件以提供所有任务的性能。

    hypervisor ['haɪpəvaɪzə]:n. 管理程序
    

    The command processor receives API commands and in turn operates different processing pipelines in the GPU. The graphics command processor manages the traditional graphic pipeline (e.g., DirectX®, Vulkan®, OpenGL®) shaders tasks and fixed function hardware. Compute tasks are implemented using the Asynchronous Compute Engines (ACE), which manage compute shaders. Each ACE maintains an independent stream of commands and can dispatch compute shader wavefronts to the compute units. Similarly, the graphics command processor has a stream for each shader type (e.g., vertex and pixel). All the work scheduled by the command processor is spread across the fixed-function units and shader array for maximum performance.
    命令处理器接收 API 命令并依次操作 GPU 中的不同处理管道。图形命令处理器管理传统图形管道 (e.g., DirectX®, Vulkan®, OpenGL®) 着色器任务和固定功能硬件。计算任务是使用管理计算着色器的异步计算引擎 (ACE) 实现的。 每个 ACE 维护一个独立的命令流,并且可以将计算着色器 wavefront 分派给计算单元。类似地,图形命令处理器对每种着色器类型 (例如,顶点和像素) 都有一个流。命令处理器安排的所有工作都分布在固定功能单元和着色器阵列中,以获得最佳性能。

    The RDNA architecture introduces a new scheduling and quality-of-service feature known as Asynchronous Compute Tunneling that enables compute and graphics workloads to co-exist harmoniously on GPUs. In normal operation, many different types of shaders will execute on the RDNA compute unit and make forward progress. However, at times one task can become far more latency sensitive than other work. In prior generations, the command processor could prioritize compute shaders and reduce the resources available for graphics shaders. As Figure 5 illustrates, the RDNA architecture can completely suspend execution of shaders, freeing up all compute units for a high-priority task. This scheduling capability is crucial to ensure seamless experiences with the most latency sensitive applications such as realistic audio and virtual reality.
    RDNA 架构引入了一种称为异步计算隧道的新调度和服务质量功能,它使计算和图形工作负载能够在 GPU 上和谐共存。在正常操作中,许多不同类型的着色器将在 RDNA 计算单元上执行并向前推进。然而,有时一项任务可能比其他工作对延迟更加敏感。在前几代中,命令处理器可以优先考虑计算着色器并减少可用于图形着色器的资源。如图 5 所示,RDNA 架构可以完全暂停着色器的执行,从而为高优先级任务释放所有计算单元。这种调度功能对于确保与对延迟最敏感的应用程序 (例如逼真的音频和虚拟现实) 的无缝体验至关重要。

    realistic [ˌrɪəˈlɪstɪk]:adj. 现实的,实际的,实事求是的,明智的
    free up [friː ʌp]:使解脱出来,使空出来,免 (税) 的,开放,放开
    harmoniously [hʌrˈməʊnɪəslɪ]:adv. 和谐地
    

    在这里插入图片描述

    Figure 5 - Asynchronous Compute Tunneling in RDNA architecture.
    drain [dreɪn]:n. 消耗,下水道,排水管,耗竭 v. 排空,流出,流光,放干
    tunnel ['tʌn(ə)l]:n. 地下通道,地道,隧道,洞穴通道 v. 开凿隧道,挖地道
    

    4. RDNA Shader Array and Graphics Functions

    The traditional graphics pipeline starts with by assembling vertices into triangles; applying vertex shaders; optionally applying hull shaders, tessellation, and domain shaders; rasterizing the triangles into pixels; shading the pixels; and then blending the output. In addition, compute shaders can be used in many different stages for advanced effects.
    传统的图形管线首先将顶点组装成三角形,应用顶点着色器,可选择应用外壳着色器、曲面细分和域着色器,将三角形光栅化为像素,着色像素,然后混合输出。此外,计算着色器可用于许多不同阶段以获得高级效果。

    assemble [ə'semb(ə)l]:v. 装配,组装,集合,聚集
    vertex [ˈvɜː(r)teks]:n. 顶 (点),颅顶,天顶,绝顶
    triangle [ˈtraɪæŋɡ(ə)l]:n. 三角形,三角形物体,三角铁,三角关系
    hull [hʌl]:n. 船体,船身 v. 剥去 (豌豆、大豆等的) 外壳,摘掉 (草莓的) 花萼
    tessellation [ˌtesɪ'leɪʃən]:n. 嵌石装饰,细分曲面技术
    blend [blend]:v. 混合,融合,加入,相称 n. 混合,混合物,混合种,混合色
    rasterize ['ræstəraɪz]:v. 将 (文本或图像) 光栅化,将 ... 转换为打印形式
    

    The command processor and scheduling logic will partition compute and graphics work to enable dispatching it to the arrays for maximum performance. For example, a very common approach for the graphics pipeline is partitioning screen space and then dispatching each partition independently. Developers can also create their own scheduling algorithms, which are especially useful for compute-based effects.
    命令处理器和调度逻辑将划分计算和图形工作,以便将其分派到阵列以获得最佳性能。例如,图形管道的一种非常常见的方法是对屏幕空间进行分区,然后独立调度每个分区。开发人员还可以创建自己的调度算法,这对于基于计算的效果特别有用。

    For scalability and performance, the RDNA architecture is built from multiple independent arrays that comprise fixed-function hardware and the programmable dual compute units. To scale performance from the low-end to the high-end, different GPUs can increase the number of shader arrays and also alter the balance of resources within each shader array. As Figure 4 illustrates the Radeon RX 5700 XT includes four shader arrays, each one including a primitive unit, a rasterizer, four RBs, five dual compute units, and a graphics L1 cache.
    为了可扩展性和性能,RDNA 架构由多个独立阵列构建而成,这些阵列包括固定功能硬件和可编程双计算单元。为了将性能从低端扩展到高端,不同的 GPU 可以增加着色器阵列的数量,并改变每个着色器阵列内的资源平衡。如图 4 所示,Radeon RX 5700 XT 包括四个着色器阵列,每个着色器阵列包括一个基元单元、一个光栅化器、四个 RB、五个双计算单元和一个图形 L1 缓存。

    primitive ['prɪmətɪv]:adj. 原始的,远古的,(人类或动物) 发展早期的,简陋的 n. 文艺复兴前的艺术家,原始派画家
    

    The primitive units assemble triangles from vertices and are also responsible for fixed-function tessellation. Each primitive unit has been enhanced and supports culling up to two primitives per clock, twice as fast as the prior generation. One primitive per clock is output to the rasterizer. The work distribution algorithm in the command processor has also been tuned to distribute vertices and tessellated polygons more evenly between the different shader arrays, boosting throughput for geometry.
    基元单元从顶点组装三角形,并且还负责固定功能细分曲面。每个基元单元都得到了增强,每个时钟最多支持剔除两个基元,速度是上一代的两倍。每个时钟一个基元输出到光栅化器。命令处理器中的工作分配算法也经过调整,可以在不同的着色器阵列之间更均匀地分配顶点和镶嵌多边形,从而提高几何体的吞吐量。

    cull [kʌl]:n. (为防止动物种群量过多而通常对最弱者的) 选择性宰杀 v. 部分捕杀
    tessellate ['tesɪleɪt]:v. (把路面等) 镶嵌作花纹状
    polygon [ˈpɒlɪɡən]:n. 多边形;多角形
    

    The rasterizer in each shader engine performs the mapping from the geometry-centric stages of the graphics pipeline to the pixel-centric stages. Each rasterizer can process one triangle, test for coverage, and emit up to sixteen pixels per clock. As with other fixed-function hardware, the screen is subdivided and each portion is distributed to one rasterizer.
    每个着色器引擎中的光栅化器执行从图形管道的以几何为中心的阶段到以像素为中心的阶段的映射。每个光栅化器可以处理一个三角形,测试覆盖率,并在每个时钟发出多达 16 个像素。与其他固定功能硬件一样,屏幕被细分,每个部分都分配给一个光栅化器。

    The final fixed-function graphics stage is the RB, which performs depth, stencil, and alpha tests and blends pixels for anti-aliasing. Each of the RBs in the shader array can test, sample, and blend pixels at a rate of four output pixels per clock. One of the major improvements in the RDNA architecture is that the RBs primarily access data through the graphics L1 cache, which reduces the pressure on the L2 cache and saves power by moving less data.
    最后的固定功能图形阶段是 RB,它执行深度、模板和 alpha 测试,并混合像素以进行抗锯齿。着色器阵列中的每个 RB 都可以以每个时钟四个输出像素的速率测试、采样和混合像素。RDNA 架构的主要改进之一是 RB 主要通过图形 L1 缓存访问数据,从而减少了 L2 缓存的压力并通过移动更少的数据来节省电力。

    stencil ['stens(ə)l]:n. (印文字或图案用的) 模板,(用模板印的) 文字 v. 用模板印 (文字或图案)
    anti aliasing ['æntɪ 'eɪlɪəsɪŋ]:防叠处理,反混淆
    

    Last, the shader array comprises of several dual compute units and a graphics L1 cache. The dual compute units provide the compute for executing programmable shaders. Each dual compute unit comprises four SIMDs that can execute a wave32, for a total of 256 single-precision FLOPS per cycle and even more for applications that can use mixed precision. The SIMDs also contain powerful dedicated scalar units and higher bandwidth caching. The new graphics L1 cache serves most requests in each shader array, simplifying the design of the L2 cache and boosting the available bandwidth.
    最后,着色器阵列由几个双计算单元和一个图形 L1 缓存组成。 双计算单元为执行可编程着色器提供计算。每个双计算单元包含四个可以执行 wave32 的 SIMD,每个周期总共有 256 个单精度 FLOPS,对于可以使用混合精度的应用程序甚至更多。SIMD 还包含强大的专用标量单元和更高带宽的缓存。新的图形 L1 缓存服务于每个着色器阵列中的大多数请求,简化了 L2 缓存的设计并提高了可用带宽。

    comprise [kəm'praɪz]:v. 组成,构成,包括,包含
    

    5. Dual Compute Unit Front End

    The more powerful dual compute unit starts with a dedicated front-end as illustrated in Figure 6. The L0 instruction cache is shared between all four SIMDs within a dual compute unit, whereas prior instruction caches were shared between four CUs - or sixteen GCN SIMDs. The instruction cache is 32KB and 4-way set-associative; it is organized into four banks of 128 cache lines that are 64-bytes long. Each of the four SIMDs can request instructions every cycle and the instruction cache can deliver 32B (typically 2-4 instructions) every clock to each of the SIMDs - roughly 4X greater bandwidth than GCN.
    更强大的双计算单元从专用前端开始,如图 6 所示。L0 指令高速缓存在双计算单元内的所有四个 SIMD 之间共享,而之前的指令高速缓存在四个 CU 或十六个 GCN SIMD 之间共享。指令缓存为 32KB,4 路组相联;它被组织成四组 128 条 64 字节长的高速缓存行。四个 SIMD 中的每一个都可以在每个周期请求指令,并且指令缓存可以每个时钟向每个 SIMD 提供 32B (通常是 2-4 条指令) - 带宽大约是 GCN 的 4 倍。

    在这里插入图片描述

    Figure 6 - RDNA compute unit front end and SIMD.

    The fetched instructions are deposited into wavefront controllers. Each SIMD has a separate instruction pointer and a 20-entry wavefront controller, for a total of 80 wavefronts per dual compute unit. Wavefronts can be from a different work-group or kernel, although the dual compute unit maintains 32 work-groups simultaneously. The new wavefront controllers can operate in wave32 or wave64 mode. While the RDNA architecture is optimized for wave32, the existing wave64 mode can be more effective for some applications. To handle wave64 instructions, the wave controller issues and executes two wave32 instructions, each operating on half of the work-items of the wave64 instruction. The default way to handle a wave64 instruction is simply to issue and execute the upper and lower halves of each instruction back-to-back - conceptually slicing every instruction horizontally.
    提取的指令被存放到 wavefront 控制器中。每个 SIMD 都有一个单独的指令指针和一个 20 项 wavefront 控制器,每个双计算单元总共有 80 个 wavefront。wavefront 可以来自不同的工作组或内核,尽管双计算单元同时维护 32 个工作组。新的 wavefront 控制器可以在 wave32 或 wave64 模式下运行。虽然 RDNA 架构针对 wave32 进行了优化,但现有的 wave64 模式对于某些应用程序可能更有效。为了处理 wave64 指令,wave 控制器发出并执行两条 wave32 指令,每条指令对 wave64 指令的一半工作项进行操作。处理 wave64 指令的默认方法是简单地发出和执行每条指令的上半部分和下半部分背靠背 - 从概念上讲,水平切片每条指令。

    deposit [dɪˈpɒzɪt]:n. 存款,押金,订金,订钱 v. 存储,放置,放下,使沉积
    

    The RDNA architecture also introduces a software-controlled sub-vector mode that cuts a sequence of instructions in half, and first processes the low half of all the instructions, followed by the upper half. Figure 7 illustrates these two approaches on a simple four instruction loop. The two modes will achieve the same utilization of execution units and complete a full iteration of the loop in eight cycles. However, the sub-vector mode can release half of its registers once the low half of inst3 has executed in cycle 4 and may use the cache more effectively.
    RDNA 架构还引入了软件控制的子向量模式,将指令序列切成两半,首先处理所有指令的低半部分,然后处理上半部分。图 7 在一个简单的四指令循环上说明了这两种方法。这两种模式将实现相同的执行单元利用率,并在八个周期内完成循环的完整迭代。但是,一旦 inst3 的低半部分在周期 4 中执行,子向量模式可以释放其一半的寄存器,并且可以更有效地使用缓存。

    在这里插入图片描述

    Figure 7 - Sub-vector mode for wave64 execution executes the low half of all four instructions, followed by the high half.

    Another powerful tool introduced by the RDNA architecture is the clause, which gives software greater control over the execution of groups of instructions. A clause modifies the behavior of compute and memory instructions in the scalar and vector SIMD pipelines. In particular, instructions in a clause are uninterruptable except at software-specified breaks. Clauses enables more intelligent scheduling. For example, a clause of vector load instructions guarantees that all data is read from a fetched cache line before it is evicted - thus maximizing bandwidth and power efficiency. Similarly, forming a clause of compute instructions ensures that all results are available to be written back to a cache or consumed by subsequent instructions.
    RDNA 架构引入的另一个强大工具是子句,它使软件能够更好地控制指令组的执行。子句修改标量和向量 SIMD 管道中的计算和内存指令的行为。特别是,子句中的指令是不可中断的,除非在软件指定的中断处。 子句支持更智能的调度。例如,向量加载指令的一个子句保证所有数据在被逐出之前从已获取的高速缓存行中读取 - 从而最大化带宽和功率效率。类似地,形成计算指令子句可确保所有结果都可用于写回高速缓存或由后续指令使用。

    clause [klɔːz]:n. 子句,从句,分句,(法律文件的) 条款
    evict [ɪ'vɪkt]:v. (尤指依法从房屋或土地上) 驱逐
    

    Once instructions have been fetched into the wavefront buffers, the next step is decoding and issuing instructions within a SIMD. In the prior generation, SIMDs decoded and issued instructions on a round-robin basis, limiting the throughput to once every four cycles. One of the core principles of the RDNA architecture is reducing latency to exploit instruction-level parallelism for each wavefront. Accordingly, each RDNA SIMD can decode and issue instructions every cycle – boosting throughput and reducing latency by 4X.
    一旦指令被提取到 wavefront 缓冲器中,下一步就是在 SIMD 中解码和发出指令。在上一代中,SIMD 以循环方式解码和发出指令,将吞吐量限制为每四个周期一次。RDNA 架构的核心原则之一是减少延迟以利用每个 wavefront 的指令级并行性。 因此,每个 RDNA SIMD 都可以在每个周期解码和发出指令,从而提高吞吐量并将延迟降低 4 倍。

    The dual compute units include a new scheduling mechanism to ensure consistent forward progress. Earlier generations tended to issue instructions from the oldest wavefront and sometimes different wavefronts within a work-group would make uneven progress. The compute unit scheduler has a new oldest work-group scheduling policy that can be activated by software. Using this scheduling algorithm, the wavefronts within a work-group will tend to make more consistent progress and improve locality within caches saving power by more efficiently moving data.
    双计算单元包括一个新的调度机制,以确保一致的前进进度。前几代倾向于从最早的 wavefront 发出指令,有时工作组内的不同 wavefront 会获得不均匀的进展。计算单元调度程序有一个新的最早的工作组调度策略,可以由软件激活。使用这种调度算法,工作组内的 wavefront 将倾向于取得更一致的进展,并通过更有效地移动数据来提高缓存内的局部性,从而节省电力。

    consistent [kən'sɪstənt]:adj. 一致的,始终如一的,连续的,持续的
    progress [prəʊˈɡres]:n. 进展,进步,进程,前进 v. 进展,进步,前进,改进
    uneven [ʌnˈiːv(ə)n]:adj. 凹凸不平的,不平坦的,无定型的,不规则的
    

    6. SIMD Execution Units

    The RDNA front-end can issue four instructions every cycle to every SIMD, which include a combination of vector, scalar, and memory pipeline. The scalar pipelines are typically used for control flow and some address calculation, while the vector pipelines provide the computational throughput for the shaders and are fed by the memory pipelines.
    RDNA 前端可以在每个周期向每个 SIMD 发出四条指令,其中包括向量、标量和内存管线的组合。标量管线通常用于控制流和一些地址计算,而矢量管线为着色器提供计算吞吐量并由内存管线提供。

    7. Scalar Execution and Control Flow

    The GCN architecture introduced scalar execution units, shared by the four GCN SIMDs to handle control flow and address generation for compute applications. The RDNA dual compute unit takes this to the next level by providing each SIMD with its own dedicated scalar pipelines, boosting performance for general-purpose applications.
    GCN 架构引入了由四个 GCN SIMD 共享的标量执行单元,以处理计算应用程序的控制流和地址生成。RDNA 双计算单元通过为每个 SIMD 提供的专用标量管线,将这一点提升到一个新的水平,从而提高通用应用程序的性能。

    Each SIMD contains a 10KB scalar register file, with 128 entries for each of the 20 wavefronts. A register is 32-bits wide and can hold packed 16-bit data (integer or floating-point) and adjacent register pairs hold 64-bit data. When a wavefront is initiated, the scalar register file can preload up to 32 user registers to pass constants, avoiding explicit load instructions and reducing the launch time for wavefronts.
    每个 SIMD 包含一个 10KB scalar register file,20 个 wavefront 中的每一个都有 128 个条目。寄存器为 32 位宽,可以保存打包的 16 位数据 (integer or floating-point),相邻的寄存器对保存 64 位数据。启动 wavefront 时,scalar register file 可以预加载多达 32 个用户寄存器以传递常量,避免显式加载指令并减少 wavefront 的启动时间。

    The branch pipeline is mostly unchanged from the previous generation, although it has been tuned to work with the smaller wavefronts. It handles conditional branches and interrupts.
    分支管道与上一代相比基本没有变化,尽管它已经过调整以适用于较小的 wavefront。它处理条件分支和中断。

    The scalar ALU accesses the scalar register file and performs basic 64-bit arithmetic operations. The scalar ALU is used for a variety of control purposes, such as calculating values that will be broadcast across an entire wavefront, managing predicates for the wavefront, and computing branch targets. In addition, the scalar ALU is used for address calculation when reading or writing data in the scalar data cache.
    标量 ALU 访问 scalar register file 并执行基本的 64 位算术运算。标量 ALU 用于各种控制目的,例如计算将在整个 wavefront 上广播的值、管理 predicates 以及计算分支目标。此外,标量 ALU 用于在标量数据缓存中读取或写入数据时进行地址计算。

    arithmetic logic unit,ALU:算术逻辑单元
    

    Like the instruction cache, the scalar cache is shared by all the SIMDs in a dual compute unit. The 16KB write-back scalar cache is 4-way associative and built from two banks of 128 cache lines that are 64B. Each bank can read a full cache line, and the cache can deliver 16B per clock to the scalar register file in each SIMD. For graphics shaders, the scalar cache is commonly used to stored constants and work-item independent variables.
    与指令缓存一样,标量缓存由双计算单元中的所有 SIMD 共享。16KB 回写标量高速缓存是 4 路关联的,由两组 128 个 64B 高速缓存行构成。每个 bank 可以读取一个完整的高速缓存行,高速缓存每个时钟可以将 16B 传输到每个 SIMD 中的 scalar register file。对于图形着色器,标量缓存通常用于存储常量和工作项独立变量。

    8. Vector Execution

    The superb performance and efficiency of modern graphics processors is derived from the parallel computing capabilities of vector execution units. As Figure 8 illustrates, one of the biggest improvements in the compute unit is doubling the size of the SIMDs and enabling back-to-back execution. When using the more efficient wave32 wavefronts, the new SIMDs boosts IPC and cuts latency by 4X.
    现代图形处理器的卓越性能和效率源于矢量执行单元的并行计算能力。如图 8 所示,计算单元的最大改进之一是将 SIMD 的大小增加一倍并支持背靠背执行。当使用更高效的 wave32 波前时,新的 SIMD 可提高 IPC 并将延迟降低 4 倍。

    在这里插入图片描述

    Figure 8 - RDNA SIMD units reduce latency compared to the GCN SIMD units.

    Previously, the interleaved vector approach in GCN required scheduling other instructions around four-cycle vector instructions. The larger RDNA dual compute unit also simplifies compiler design and enables more efficient code by scheduling and issuing independent instructions every cycle.
    以前,GCN 中的交错向量方法需要围绕四周期向量指令调度其他指令。更大的 RDNA 双计算单元还简化了编译器设计,并通过在每个周期调度和发出独立指令来实现更高效的代码。

    To accommodate the narrower wavefronts, the vector register file has been reorganized. Each vector general purpose register (vGPR) contains 32 lanes that are 32-bits wide, and a SIMD contains a total of 1,024 vGPRs - 4X the number of registers as in GCN. The registers typically hold single-precision (32-bit) floating-point (FP) data, but are also designed for efficiently handling mixed precision. For larger 64-bit (or double precision) FP data, adjacent registers are combined to hold a full wavefront of data. More importantly, the compute unit vector registers natively support packed data including two half-precision (16-bit) FP values, four 8-bit integers, or eight 4-bit integers.
    为了适应更窄的 wavefront,矢量寄存器文件已经过重新组织。每个矢量通用寄存器 (vGPR) 包含 32 个 32 位宽的通道,一个 SIMD 总共包含 1,024 个 vGPR - 是 GCN 中寄存器数量的 4 倍。这些寄存器通常保存单精度 (32 位) 浮点 (FP) 数据,但也设计用于有效处理混合精度。对于较大的 64 位 (或双精度) FP 数据,相邻的寄存器组合在一起以保存完整的 wavefront 数据 。更重要的是,计算单元向量寄存器本身支持打包数据,包括两个半精度 (16 位) FP 值、四个 8 位整数或八个 4 位整数。

    superb [sʊˈpɜː(r)b]:adj. 极佳的,卓越的,质量极高的
    accommodate [əˈkɒmədeɪt]:v. 容纳,顺应,提供住宿,提供空间
    

    9. Vector ALUs

    The computational power of the dual compute unit resides in the SIMDs, which have been comprehensively enhanced for greater performance and additional capabilities. The SIMD vector execution pipeline contains several types of execution units. Each SIMD can only issue one wavefront per clock to the vector ALUs, but longer latency operations can overlap execution.
    双计算单元的计算能力驻留在 SIMD 中,SIMD 已全面增强以提供更高的性能和附加功能。SIMD 向量执行管道包含几种类型的执行单元。每个 SIMD 每个时钟只能向矢量 ALU 发出一个 wavefront,但较长的延迟操作可能会与执行重叠。

    comprehensively [ˌkɒmprɪ'hensɪvli]:adv. 完全地,彻底地
    

    The main vector ALU is a 32-lane pipeline that is twice as wide as the prior generation and enables the SIMD to complete a wavefront every clock cycle, instead of taking four cycles in GCN. The individual lanes have been redesigned for fused multiply-accumulate (FMA) operations, which improves the accuracy of computation and reduces power consumption compared to the previous generation’s multiply-add units.
    主向量 ALU 是一个 32 通道的管线,其宽度是上一代的两倍,并使 SIMD 能够在每个时钟周期完成一个 wavefront,而不是在 GCN 中花费四个周期。各个通道已针对融合乘加 (FMA) 操作进行了重新设计,与上一代的乘加单元相比,这提高了计算的准确性并降低了功耗。

    The lanes have also been rearchitected for efficiently executing a wide variety of data types as illustrated in Figure 9. The execution units perform single-precision FMA, add, multiply, or other general FP operations at full rate as well as 24-bit/32-bit integer multiply-accumulates. Packed half-precision FP or 16-bit integer operations run at twice the throughput. The vector ALUs feature a new mixed precision FMA that computes 16-bit multiplication and accumulates into a 32-bit result to avoid losing any precision for integer or FP data. While the vector ALUs primarily read data from the high-bandwidth vGPRs, the scalar register file now supplies up to two broadcast operands per clock to every lane.
    通道也经过重新构造,以高效执行各种数据类型,如图 9 所示。执行单元以全速率执行单精度 FMA、加法、乘法或其他通用 FP 操作,以及 24 位/32 位整数乘法累加。打包的半精度 FP 或 16 位整数运算以两倍的吞吐量运行。矢量 ALU 具有新的混合精度 FMA,它计算 16 位乘法并累积成 32 位结果,以避免丢失整数或 FP 数据的任何精度。虽然矢量 ALU 主要从高带宽 vGPR 读取数据,但标量寄存器文件现在每个时钟向每个通道提供多达两个广播操作数。

    在这里插入图片描述

    Figure 9 - Mixed-precision FMA and dot-product operations.

    Some variants of the dual compute unit expose additional mixed-precision dot-product modes in the ALUs, primarily for accelerating machine learning inference. A mixed-precision FMA dot2 will compute two half-precision multiplications and then add the results to a single-precision accumulator. For even greater throughput, some ALUs will support 8-bit integer dot4 operations and 4-bit dot8 operations, all of which use 32-bit accumulators to avoid any overflows.
    双计算单元的一些变体在 ALU 中公开了额外的混合精度点积模式,主要用于加速机器学习推理。混合精度 FMA dot2 将计算两个半精度乘法,然后将结果添加到单精度累加器。为了获得更大的吞吐量,一些 ALU 将支持 8 位整数 dot4 运算和 4 位 dot8 运算,所有这些都使用 32 位累加器来避免任何溢出。

    The SIMDs use separate execution units for double-precision data. Each implementation includes between two and sixteen double-precision pipelines that can perform FMAs and other FP operations, depending on the target market. As a result, the latency of double-precision wavefronts varies from as little as two cycles up to sixteen. The double-precision execution units operate separately from the main vector ALUs and can overlap execution.
    SIMD 对双精度数据使用单独的执行单元。每个实现包括 2 到 16 个双精度流水线,可以执行 FMA 和其他 FP 操作,具体取决于目标市场。双精度 wavefront 的延迟从两个周期到十六个周期不等。双精度执行单元与主向量 ALU 分开运行,并且可以重叠执行。

    The dual compute unit includes new transcendental execution units to accelerate more complicated math operations that are used in both graphics and general computing. Each SIMD contains an 8-lane transcendental unit that can overlap execution with the main vector ALUs and will complete a wavefront in four clock cycles.
    双计算单元包括新的超越执行单元,以加速图形和通用计算中使用的更复杂的数学运算。每个 SIMD 包含一个 8 通道超越单元,可以与主向量 ALU 重叠执行,并将在四个时钟周期内完成一个 wavefront。

    transcendental [.trænsen'dent(ə)l]:n. 超越数,超越物,抽象的普遍概念 adj. (尤指宗教或精神方面) 超验的
    

    The dual compute unit includes a crossbar within the vector execution pipeline and introduces several new communication instructions. In some previous architectures, cross-lane operations (i.e. between different work-items in a wavefront) were fairly expensive. The new data path in the SIMD is designed for cross-lane data reading, permutations, swizzles, and other operations at full rate.
    双计算单元在向量执行流水线中包括一个交叉开关,并引入了几个新的通信指令。在以前的一些架构中,跨通道操作 (即 wavefront 中的不同工作项之间) 相当昂贵。SIMD 中的新数据路径专为全速率的跨通道数据读取、排列、混合和其他操作而设计。

    crossbar [ˈkrɒsˌbɑː(r)]:n. (足球球门的) 横梁,(自行车的) 横梁,交叉开关
    

    10. Dual Compute Unit Memories

    Collectively, the four SIMDs in a dual compute unit can sustain an impressive 256 FLOPs every cycle, in addition to scalar operations. The dual compute unit memory hierarchy has evolved to keep up with this level of performance and feed enough data to take advantage of the computational resources. To efficiently provide data, the RDNA architecture includes three levels of caching - L0 caches within a dual compute unit, a shared L1 cache within an array, and a globally shared L2 cache. In addition, the explicitly addressed local data share (LDS) is now part of the overall address space, simplifying programming.
    总的来说,双计算单元中的四个 SIMD 可以在每个周期维持令人印象深刻的 256 次浮点运算,此外还有标量运算。双计算单元内存层次结构已经发展到跟上这种性能水平并提供足够的数据以利用计算资源。为了有效地提供数据,RDNA 架构包括三个级别的缓存 - 双计算单元内的 L0 缓存、阵列内的共享 L1 缓存和全局共享的 L2 缓存。此外,显式寻址的本地数据共享 (LDS) 现在是整个地址空间的一部分,从而简化了编程。

    在这里插入图片描述

    Figure 10 - SIMD memory path for RDNA architecture.

    The memory hierarchy starts within the SIMDs as illustrated in Figure 10. The cache and memory pipeline in each SIMD have been redesigned to sustain a full wave32 every clock cycle - twice the throughput compared to the prior generation. Every SIMD has a 32-wide request bus that can transmit an address for each work-item in a wavefront to the memory hierarchy; for store operations, the request bus will instead provide 32x4B of write data. The requested data is transmitted back via a 32-wide return bus and can be provided directly to the ALUs or the vGPRs. The request and return bus generally work with 128-byte cache lines and fan out to the explicitly addressed LDS, cached memory and the texturing units. For efficiency, pairs of SIMDs share a request and return bus, although an individual SIMD can actually receive two 128-byte cache lines per clock – one from the LDS and the other from the L0 cache.
    内存层次结构从 SIMD 开始,如图 10 所示。每个 SIMD 中的缓存和内存管道都经过重新设计,以支持每个时钟周期的 wave32 - 吞吐量是上一代的两倍。每个 SIMD 都有一个 32 宽的请求总线,可以将 wavefront 中每个工作项的地址传输到内存层次结构;对于存储操作,请求总线将改为提供 32x4B 的写入数据。请求的数据通过 32 宽的返回总线传回,并可直接提供给 ALU 或 vGPR。请求和返回总线通常使用 128 字节的缓存线,并扇出到明确寻址的 LDS、缓存内存和纹理单元。为提高效率,成对的 SIMD 共享请求和返回总线,尽管单个 SIMD 实际上每个时钟可以接收两条 128 字节的高速缓存线 - 一条来自 LDS,另一条来自 L0 高速缓存。

    11. Local Data Share and Atomics

    The first type of memory available to the compute units is the local data share (LDS), which a low-latency and high-bandwidth explicitly addressed memory that is used for synchronization within a workgroup and for some graphics functions associated with texturing.
    计算单元可用的第一种内存类型是本地数据共享 (LDS),它是一种低延迟和高带宽的显式寻址内存,用于工作组内的同步以及与纹理相关的某些图形功能。

    Each compute unit has access to double the LDS capacity and bandwidth. The new LDS has is built from two 64KB arrays with 32 banks per array. As with the previous generation, each bank includes 512 entries that are 32-bits wide and can sustain a read and write every cycle. Each LDS bank includes an ALU that performs atomic operations including FP min and max. Maintaining the bank size and increasing the number of banks ensures that existing shaders will run smoothly, while doubling throughput and performance.
    每个计算单元都可以访问双倍的 LDS 容量和带宽。新的 LDS 由两个 64KB 阵列构成,每个阵列有 32 个存储体。与上一代一样,每个存储库包括 512 个 32 位宽的条目,并且可以维持每个周期的读取和写入。每个 LDS bank 包括一个 ALU,它执行包括 FP min 和 max 在内的原子操作。保持存储库大小并增加存储库数量可确保现有着色器平稳运行,同时将吞吐量和性能提高一倍。

    The LDS includes a crossbar to move data between wavefront lanes and banks and can also broadcast or replicate data. Typically, all accesses from a wavefront will complete in a single cycle; however, the hardware automatically detects conflicts and will serialize multiple accesses to a single bank of the LDS.
    LDS 包括一个用于在 wavefront 通道和库之间移动数据的交叉开关,还可以广播或复制数据。通常,来自 wavefront 的所有访问都将在一个周期内完成;但是,硬件会自动检测冲突,并将对 LDS 的单个存储体的多次访问进行串行化。

    The RDNA architecture has two modes of operation for the LDS, compute-unit and workgroup-processor mode, which are controlled by the compiler. The former is designed to match the behavior of the GCN architecture and statically divides the LDS capacity into equal portions between the two pairs of SIMDs. By matching the capacity of the GCN architecture, this mode ensures that existing shaders will run efficiently. However, the work-group processor mode allows using larger allocations of the LDS to boost performance for a single work-group.
    RDNA 架构有两种 LDS 操作模式,计算单元和工作组处理器模式,由编译器控制。前者旨在匹配 GCN 架构的行为,并将 LDS 容量静态划分为两对 SIMD 之间的相等部分。通过匹配 GCN 架构的容量,该模式确保现有着色器能够高效运行。但是,工作组处理器模式允许使用更大的 LDS 分配来提高单个工作组的性能。

    References

    https://www.amd.com/en/technologies/rdna
    https://www.amd.com/system/files/documents/rdna-whitepaper.pdf
    https://en.wikichip.org/wiki/amd/infinity_fabric

    展开全文
  • 作为一种基于实例的学习(或称懒惰学习)算法,Mousavi和St-Hilaire在[17]中提出了一种在SDNS中检测DDoS攻击的方法,并声称该方法可以在攻击流量的前500个数据包中检测到DDoS攻击。如果傀儡机器和受害者位于不同的SDN...

    DDos攻击

    什么是 DDoS 攻击?
    又有那些著名的案例?

    拒绝服务(DoS)攻击可使目标计算机上的系统资源过期、停止服务并使其正常用户无法访问。当黑客使用网络上的两台或多台受攻击的计算机作为傀儡计算机对特定目标发起DoS攻击时,这些攻击称为DDoS攻击。DDoS攻击者可以同时控制多台计算机并创建包含控制傀儡和攻击傀儡的攻击体系结构,如图1所示。
    图1

    攻击者通常使用大量地理上分布的受危害主机作为傀儡计算机来对特定目标发动DoS攻击。传统的攻击体系结构类似于哑铃形结构,在这种结构中,中间网络只负责数据转发安全事件和控制功能完全由管理人员执行,而网络没有快速检测和处理网络攻击的能力

    DDoS攻击检测方法综述

    由于DDoS攻击的严重性和普遍性,存在大量的DDoS攻击检测研究。在传统网络中的DDoS攻击检测和SDNs中的DDoS攻击检测两个角度对相关研究进行简要综述,如表2所示。
    表2

    1. 传统网络中的DDoS检测:对传统网络中DDoS攻击的检测方法进行了广泛的研究,采用基于熵的方法[10]、支持向量机方法[11]、朴素贝叶斯方法[13]、神经网络方法[14]、聚类分析方法[15]、人工神经网络方法[12]和KNN方法[9]作为分类器

    2. SDNS中的检测:SDN控制器收集有关流表的信息,并使用选定的分类器将网络流量分类为正常或异常。基于逻辑集中控制器的能力和网络的可编程性,网络管理员可以立即响应攻击。经典的分类方法,如贝叶斯网络[16]和支持向量机[18],以及SOM[20]、[25]、[26]和深度学习[27]的神经网络都被用作SDN中的流量分类器

    这些提出的方法通常考虑在单个域中进行攻击检测,这通常需要复杂的检测在测试阶段进行矢量乘法和除法等计算

    例如,朴素贝叶斯的计算公式是 f ( X ) = a r g m a x P ( Y i ) ∏ d i = 1 p ( x i ∣ y ) f(X)=argmaxP(Y_i)\prod_{d}^{i=1} p(x_i|y) f(X)=argmaxP(Yi)di=1p(xiy),其中 x x x是测试实例, d d d x x x的维度, y y y是分类标记。支持向量机、贝叶斯网络和聚类分析的时间复杂度分别为 O ( n 3 ) 、 O ( n 3 ) 和 O ( n k t ) O(n^3)、O(n^3)和O(nkt) O(n3)O(n3)O(nkt),其中 n n n为训练样本数, k k k为聚类数, t t t为迭代次数。深度学习被认为是一种需要大量计算资源进行计算的复杂算法,其时间复杂度为 O ( f ( n ) ) O(f(n)) O(f(n)),其中 f ( n ) f(n) f(n)是算法内置模块的函数。

    Bian et al.[20]提出了一种基于SOM的方案。训练神经网络和训练测试的时间复杂度分别为 O ( n m 2 ) O(nm^2) O(nm2)和O(m^2),其中 m m m为神经元数目, n n n为训练样本数目。作为一种基于实例的学习(或称懒惰学习)算法,Mousavi和St-Hilaire在[17]中提出了一种在SDNS中检测DDoS攻击的方法,并声称该方法可以在攻击流量的前500个数据包中检测到DDoS攻击。如果傀儡机器和受害者位于不同的SDN域,则不会将流量反映为异常。

    参考文献

    [1] A. Zarca, J. Bernabe, I. Farris, T. Taleb, A. Skarmeta, and Y. Khettab,
    “Enhancing iot security through network softwarization and virtual
    security appliances,” ACMInt.J.Netw.Manage. , to be published.
    [2] Ponemon Institute. Accessed: Sep. 20, 2016. [Online]. Available:
    https://www.ponemon.org/
    [3] D. B. Rawat and S. R. Reddy, “Software defined networking architecture,
    security and energy efficiency: A survey,” IEEE Commun. Surveys Tuts. ,
    vol. 19, no. 1, pp. 325–346, 1st Quart., 2017.
    [4] S. Lal, A. Kalliola, I. Oliver, K. Ahola, and T. Taleb, “Securing VNF
    communication in NFVI,” in Proc. IEEE Conf. Standards Commun.
    Netw. (CSCN)
    , Sep. 2017, pp. 187–192.
    [5] MIT Lincoln Laboratory Datasets. Accessed: Sep. 20, 2016. [Online].
    Available: https://www.ll.mit.edu/ideval/data/2000data.html
    [6] Y. Meidan et al. , “ProfilioT: A machine learning approach for IoT device
    identification based on network traffic analysis,” in Proc. Symp. Appl.
    Comput.
    , New York, NY, USA, 2017, pp. 506–509. [Online]. Available:
    http://doi.acm.org/10.1145/3019612.
    [7] Z. M. Fadlullah et al. , “State-of-the-art deep learning: Evolving machine
    intelligence toward tomorrow’s intelligent network traffic control sys-
    tems,” IEEE Commun. Surveys Tuts. , vol. 19, no. 4, pp. 2432–2455,
    4th Quart., 2017.
    [8] S. Lal, S. Ravidas, I. Oliver, and T. Taleb, “Assuring virtual network
    function image integrity and host sealing in Telco cloue,” in Proc. IEEE
    Int. Conf. Commun. (ICC)
    , May 2017, pp. 1–6.
    [9] T. T. Oo and T. Phyu, “Statistical anomaly detection of DDoS attacks
    using k-nearest neighbour,” Int. J. Comput. Commun. Eng. Res. ,vol.2,
    no. 1, pp. 6–11, 2014.
    [10] J. David and C. Thomas, “DDoS attack detection using
    fast entropy approach on flow- based network traffic,”
    Proc. Comput. Sci. , vol. 50, pp. 30–36, Apr. 2015.
    [Online]. Available: http://www.sciencedirect.com/science/article/pii/
    S1877050915005086, doi:https://doi.org/10.1016/j.procs.2015.04.007.
    [11] A. R. Yusof, N. I. Udzir, and A. Selamat, “An evaluation on KNN-SVM
    algorithm for detection and prediction of DDoS attack,” in Trends in
    Applied Knowledge-Based Systems and Data Science
    , H. Fujita, M. Ali,
    A. Selamat, J. Sasaki, and M. Kurematsu, Eds. Cham, Switzerland:
    Springer, 2016, pp. 95–102.
    [12] A. Saied, R. E. Overill, and T. Radzik, “Detection of known and
    unknown DDoS attacks using artificial neural networks,” Neuro-
    computing
    , vol. 172, pp. 385–393, Jan. 2016. [Online]. Available:
    http://www.sciencedirect.com/science/article/pii/S092523121501053X
    [13] N. A. Singh, K. J. Singh, and T. De, “Distributed denial of ser-
    vice attack detection using naive Bayes classifier through info gain
    feature selection,” in Proc. Int. Conf. Inform. Anal. ,NewYork,
    NY, USA, 2016, pp. 54:1–54:9. [Online]. Available: http://doi.acm.
    org/10.1145/2980258.
    [14] C.-J. Hsieh and T.-Y. Chan, “Detection DDoS attacks based on
    neural-network using apache spark,” in Proc. Int. Conf. Appl. Syst.
    Innov. (ICASI) , May 2016, pp. 1–4.
    [15] S. Wei, Y. Ding, and X. Han, “TDSC: Two-stage DDoS detection and
    defense system based on clustering,” in Proc. 47th Annu. IEEE/IFIP
    Int. Conf. Dependable Syst. Netw. Workshops (DSN-W) , Jun. 2017,
    pp. 101–102.
    [16] S. Nanda, F. Zafari, C. DeCusatis, E. Wedaa, and B. Yang, “Predicting
    network attack patterns in SDN using machine learning approach,”
    in Proc. IEEE Conf. Netw. Funct. Virtualization Softw. Defined
    Netw. (NFV-SDN) , Nov. 2016, pp. 167–172.
    [17] S. M. Mousavi and M. St-Hilaire, “Early detection of DDoS
    attacks against SDN controllers,” in Proc. Int. Conf. Comput., Netw.
    Commun. (ICNC) , Feb. 2015, pp. 77–81.
    [18] K. Rt, S. T. Selvi, and K. Govindarajan, “DDoS detection and analysis
    in SDN-based environment using support vector machine classifier,” in
    Proc. 6th Int. Conf. Adv. Comput. (ICoAC) , Dec. 2014, pp. 205–210.
    [19] Q. Yan, F. R. Yu, Q. Gong, and J. Li, “Software-defined network-
    ing (SDN) and distributed denial of service (DDoS) attacks in cloud
    computing environments: A survey, some research issues, and chal-
    lenges,” IEEE Commun. Surveys Tuts. , vol. 18, no. 1, pp. 602–622,
    1st Quart., 2016.
    [20] H. Bian, L. Zhu, M. Shen, M. Wang, C. Xu, and Q. Zhang, “Privacy-
    preserving anomaly detection across multi-domain for software defined
    networks,” in Proc. Int. Conf. Trusted Syst. , 2015, pp. 3–16.
    [21] M. De Cock et al. , “Efficient and private scoring of decision trees,
    support vector machines and logistic regression models based on pre-
    computation,” IEEE Trans. Depend. Sec. Comput. , to be published,
    doi:10.1109/TDSC.2017.2679189.
    [22] M. Shen, B. Ma, L. Zhu, R. Mijumbi, X. Du, and J. Hu, “Cloud-based
    approximate constrained shortest distance queries over encrypted graphs
    with privacy protection,” IEEE Trans. Inf. Forensics Security , vol. 13,
    no. 4, pp. 940–953, Apr. 2018.
    [23] L. Schiaffino et al. , “Feature selection for KNN classifier to improve
    accurate detection of subthalamic nucleus during deep brain stimulation
    surgery in Parkinson’s patients,” in VII Latin American Congress on Bio-
    medical Engineering CLAIB 2016, Bucaramanga, Santander, Colombia,
    October 26th -28th, 2016 , I. Torres, J. Bustamante, and D. A. Sierra,
    Eds. Singapore: Springer, 2017, pp. 441–444.
    [24] M. Yesilbudak, S. Sagiroglu, and I. Colak, “A novel implementation of
    kNN classifier based on multi-tupled meteorological input data for wind
    power prediction,” Energy Convers. Manage. , vol. 135, pp. 434–444,
    Mar. 2017. [Online]. Available: http://www.sciencedirect.com/science/
    article/pii/S
    [25] Y. Xu and Y. Liu, “DDoS attack detection under SDN context,” in Proc.
    35th Annu. IEEE Int. Conf. Comput. Commun. (INFOCOM) , Apr. 2016,
    pp. 1–9.
    [26] R. Braga, E. Mote, and A. Passito, “Lightweight DDoS flooding
    attack detection using NOX/OpenFlow,” in Proc. IEEE Local Comput.
    Netw. (LCN) , Denver, CO, USA, Oct. 2010, pp. 408–415.
    [27] Q. Niyaz, W. Sun, and A. Y. Javaid, “A deep learning based
    DDoS detection system in software-defined networking (SDN),” EAI
    Endorsed Trans. Secur. Safety , vol. 4, no. 12, pp. 1–12, Dec. 2017,
    doi:10.4108/eai.28-12-2017.153515.
    [28] X. Du and F. Lin, “Secure cell relay routing protocol for sensor
    networks,” in Proc. 24th IEEE Int. Perform., Comput., Commun.
    Conf. (PCCC) , Apr. 2005, pp. 477–482.
    [29] S. Lal, T. Taleb, and A. Dutta, “NFV: Security threats and best practices,”
    IEEE Commun. Mag. , vol. 55, no. 8, pp. 211–217, Aug. 2017.
    [30] Y. Khettab, M. Bagaa, D. Dutra, T. Taleb, and N. Toumi, “Virtual
    security as a service for 5G verticals,” in Proc. IEEE Wireless Commun.
    Netw. Conf. , Barcelona, Spain, Apr. 2018.
    [31] A. C. Yao, “Protocols for secure computations,” in Proc. 23rd Annu.
    Symp. Found. Comput. Sci. , Washington, DC, USA, 1982, pp. 160–164.
    [Online]. Available: http://dx.doi.org/10.1109/SFCS.1982.
    [32] X. Shu, D. Yao, and E. Bertino, “Privacy-preserving detection of
    sensitive data exposure,” IEEE Trans. Inf. Forensics Security , vol. 10,
    no. 5, pp. 1092–1103, May 2015.
    [33] G. Neugebauer, U. Meyer, and S. Wetzel, “Fair and privacy-preserving
    multi-party protocols for reconciling ordered input sets,” in Proc. Int.
    Conf. Inf. Secur. , 2011, pp. 136–151.
    [34] X. Du and H. H. Chen, “Security in wireless sensor networks,” IEEE
    Wireless Commun. Mag.
    , vol. 15, no. 4, pp. 60–66, Aug. 2008.
    [35] X. Du, M. Guizani, Y. Xiao, and H. H. Chen, “Secure and Efficient Time
    Synchronization in Heterogeneous Sensor Networks,” IEEE Trans. Veh.
    Technol.
    , vol. 57, no. 4, pp. 2387–2394, Jul. 2008.
    [36] Q. Chen, C. Qian, and S. Zhong, “Privacy-preserving cross-domain
    routing optimization—A cryptographic approach,” in Proc. IEEE 23rd
    Int. Conf. Netw. Protocols (ICNP)
    , Nov. 2015, pp. 356–365.
    [37] M. Burkhart, M. Strasser, D. Many, and X. Dimitropoulos,
    “SEPIA: Privacy-preserving aggregation of multi-domain network
    events and statistics,” in Proc. 19th USENIX Conf. Secur. ,
    Washington, DC, USA, 2010, pp. 1–15. [Online]. Available:
    http://dl.acm.org/citation.cfm?id=1929820.
    [38] W. K. Wong, D. W.-L. Cheung, B. Kao, and N. Mamoulis, “Secure
    kNN computation on encrypted databases,” in Proc. ACM SIGMOD Int.
    Conf. Manage. Data
    , New York, NY, USA, 2009, pp. 139–152. [Online].
    Available: http://doi.acm.org/10.1145/1559845.
    [39] Y. Elmehdwi, B. K. Samanthula,and W. Jiang, “Secure k-nearest
    neighbor query over encrypted data in outsourced environments,” in
    Proc. IEEE 30th Int. Conf. Data Eng. , Mar. 2014, pp. 664–675.
    [40] X. Du, Y. Xiao, M. Guizani, and H.-H. Chen, “An effective
    key management scheme for heterogeneous sensor networks,” Ad
    Hoc Netw.
    , vol. 5, no. 1, pp. 24–34, 2007. [Online]. Available:
    http://www.sciencedirect.com/science/article/pii/S
    [41] X. Du, Y. Xiao, S. Ci, M. Guizani, and H.-H. Chen, “A routing-driven
    key management scheme for heterogeneous sensor networks,” in Proc.
    ICC
    , Jun. 2007, pp. 3407–3412.
    [42] J. Katz and Y. Lindell, Introduction to Modern Cryptography (Cryptog-
    raphy and Network Security Series). Boca Raton, FL, USA: CRC Press,
    2014.
    [43] J. S. Beis and D. G. Lowe, “Shape indexing using approximate
    nearest-neighbour search in high-dimensional spaces,” in Proc. Conf.
    Comput. Vis. Pattern Recognit. (CVPR)
    , Washington, DC, USA,
    Jun. 1997, pp. 1000–1006. [Online]. Available: http://dl.acm.org/
    citation.cfm?id=794189.
    [44] Open Networking Foundation, Palo Alto, CA, USA. Software-Defined
    Networking: The New Norm for Networks
    . Accessed: Aug. 1, 2016.
    [Online]. Available: https://www.opennetworking.org/images/
    stories/downloads/sdn-resources/white-papers/wp-sdn-newnorm.pdf
    [45] N. McKeown et al. , “OpenFlow: Enabling innovation in campus
    networks,” ACM SIGCOMM Comput. Commun. Rev. , vol. 38, no. 2,
    pp. 69–74, Apr. 2008. [Online]. Available: http://doi.acm.org/
    10.1145/1355734.
    [46] M. Shen, M. Wei, L. Zhu, and M. Wang, “Classification of encrypted
    traffic with second-order Markov chains and application attribute
    bigrams,” IEEE Trans. Inf. Forensics Security , vol. 12, no. 8,
    pp. 1830–1843, Aug. 2017.
    [47] The Caida UCSD, DDoS Attack 2007. Accessed:
    Sep. 20, 2016. [Online]. Available: http://www.caida.org/data/
    passive/ddos-20070804_dataset.xml
    [48] The Caida UCSD, Anonymized Internet Traces 2008. Accessed:
    Sep. 20, 2016. [Online]. Available: http://www.caida.org/data/
    passive/passive_2008_dataset.xml
    [49] KDDcup99. Accessed: Sep. 20, 2016. [Online]. Available:
    http://kdd.ics.uci.edu/databases/kddcup99/kddcup99.html
    [50] Mawilab. Accessed: Sep. 20, 2016. [Online]. Available:
    http://www.fukuda-lab.org/mawilab/v1.1/index.html
    [51] Y. Xiao et al. , “A survey of key management schemes in wireless sensor
    networks,” Comput. Commun. , vol. 30, nos. 11–12, pp. 2314–2341,
    Sep. 2007. [Online]. Available: http://www.sciencedirect.com/science/
    article/pii/S

    展开全文
  • Marlin2.0.7的configuration.h中文说明

    千次阅读 2021-06-10 15:34:58
    /** * Marlin 3D Printer Firmware * Copyright (c) 2020 MarlinFirmware [https://github.com/MarlinFirmware/Marlin] * * Based on Sprinter and grbl. ...* * This program is free software: you can redist...
  • tools.txt

    2021-02-15 08:32:35
    dev yasm bluez-cups cups-dbg cups-pdf cupsddk libcups2-dev libcupsdriver1-dev libcupsfilters-dev libcupsimage2-dev libcupsmime1-dev libcupsppdc1-dev libgnomecups1.0-dev libnet-cups-perl apt-get ...
  • 简要介绍弱监督学习

    万次阅读 2018-06-11 10:05:39
    原址:http://www.cnblogs.com/ariel-dreamland/p/8566348.htmlA brief introduction to weakly supervised learning(简要介绍弱监督学习)by 南大周志华摘要监督学习技术通过学习大量训练数据来构建预测模型,其中...
  • CVPR2019目标检测

    万次阅读 2019-08-25 18:04:16
    15、Bounding Box Regression with Uncertainty for Accurate Object Detection(目标检测边界框回归损失算法) 作者:Yihui He, Chenchen Zhu, Jianren Wang, Marios Savvides, Xiangyu Zhang 论文链接: ...
  • GNU Make 使用手册(中译版)

    千次阅读 多人点赞 2019-04-16 16:23:16
    在您报告或者自己亲自修正BUG之前,请把它分离出来,即在使问题暴露的前提下尽可能的缩小Makefile文件。然后把这个Makefile文件和Make给出的精确结果发给我们。同时请说明您希望得到什么,这可以帮助我们确定问题...
  • CNN被认为是学习图像内容的最佳技术之一,并且在图像识别、分割、检测和检索相关任务方面显示了最佳的成果[8],[9]。CNN的成功所引起的关注已超出学术界。在行业中,诸如Google,Microsoft,AT&T,NEC和Facebook之...
  • Linux MTD中检测不同类型Nand Flash的ID部分的代码 1.3.3. 读操作的硬件到软件的映射 1.3.4. Nand flash驱动工作原理 2. Linux下Nand Flash驱动编写步骤简介 2.1. 对于驱动框架部分 2.1.1. ...
  • 人脸关键点检测是人脸识别和分析领域中的关键一步,它是诸如自动人脸识别、表情分析、三维人脸重建及三维动画等其它人脸相关问题的前提和突破口。近些年来,深度学习(http://www.raincent.com/list-10-1.html) 方法...
  • Linux-4.x_x _64 内核配置选项简介

    千次阅读 2018-06-02 13:44:32
    Gentoo LinuxGentoo内核(gentoo-sources)特有的选项Gentoo Linux supportCONFIG_GENTOO_LINUX选"Y"后,将会自动选中那些在Gentoo环境中必须开启的内核选项,以避免用户遗漏某些必要的选项,减轻一些用户配置...
  • cvpr2019 accepted papers title(官方分类,需科学前往) Github论文汇总链接(欢迎star) 论文PDF下载(更新中,提取码:osvy) ...检测38分割50分类、识别19跟踪20人脸12人体姿态估计/手...
  • 极市平台(ExtremeMart)是深圳极视角旗下的专业视觉算法开发与...本周四(1月17日)晚,国防科技大学助理研究员张钊宁博士,将为我们分享算力限制下的目标检测实战及思考,公众号回复“38”即可获取直播详情。作者:...
  • YOLOV5源码的详细解读

    千次阅读 2021-10-24 09:37:37
    ├── data:主要是存放一些超参数的配置文件(这些文件(yaml文件)是用来配置训练集和测试集还有验证集的路径的,其中还包括目标检测的种类数和种类的名称);还有一些官方提供测试的图片。如果是训练自己的数据...
  • NandFlah 相关知识详解

    千次阅读 2019-03-30 18:29:39
    添加了对应的MTD中检测不同类型芯片的代码 增加了关于Nand Flash的软件和硬件的ECC算法的简介 修订 1.8 2011-10-04 crl 添加了Nand Flash位翻转的详细介绍 添加了Nand ...
  • PDF CHM TXT RTF WEBHELP 下载(7zip压缩包) HTML HTMLs PDF CHM TXT RTF WEBHELP HTML版本的在线地址为: http://www.crifan.com/files/doc/docbook/linux_nand_driver/release/html/linux_nand_driver.html 有...
  • go技术文章梳理(2018)

    万次阅读 2021-03-02 09:00:14
    K8S漏洞报告|近期bug fix解读&1.11主要bug fix汇总 https://mp.weixin.qq.com/s/Yru-nOdVs5oOj9DICoApww 5. CNCF托管etcd https://mp.weixin.qq.com/s/QXIRpbYAAPEirjqf3bJeEQ gocn_news_2018-12-11 1. Go与...
  • 00000060: 0000 0000 0000 0000 4000 3800 0700 4000 ........@.8...@. 00000070: 1b00 1a00 0100 0000 0500 0000 0000 0000 ................ 00000080: 0000 0000 0000 0000 0000 0000 0000 0000 ..................
  • CVPR2019 | 论文分类汇总

    千次阅读 2020-06-15 19:11:29
    作为计算机视觉领域三大顶会之一,CVPR2019(2019.6.16-6.19在美国洛杉矶举办)被CVers 重点关注。目前CVPR 2019 接收结果已经出来啦,相关报道:1300篇!CVPR2019接收结果公布...论文PDF下载(提取码:提示:此内容登
  • //arxiv.org/pdf/1901.00976.pdf 541.职业网络 - 学习功能空间中的三维重建 作者:Lars Mescheder,Michael Oechsle和Michael Niemeyer以及Sebastian Nowozin和Andreas Geiger 论文链接:https : //avg.is....
  • 15、Bounding Box Regression with Uncertainty for Accurate Object Detection(目标检测边界框回归损失算法) 作者:Yihui He, Chenchen Zhu, Jianren Wang, Marios Savvides, Xiangyu Zhang 论文链接:...
  •  设置内核WDT检测异常  通过SysRq分析问题   1. 使用strace寻找故障线索 strace用于跟踪系统调用, 并显示输入输出情况. strace -o filename 将strace结果保存到filename. strace -f cmd 跟踪fork()...
  • Linux后台开发工具箱

    千次阅读 2018-12-13 10:34:26
    高清PDF版本:https://download.csdn.net/download/aquester/11237465。 目录 目录 1 1. 前言 4 2. 脚本类工具 4 2.1. 双引号和单引号 4 2.2. 取脚本完整文件路径 5 2.3. 环境变量和变量 5 2.4. sed命令-...
  • ChIPseeker入门到精通

    2021-12-16 16:25:09
    Y叔一开始使用ChIPpeakAnno进行注释,但使用UCSC genome browser检验结果的时候,发现对不上;另外之前在使用ChIPpeakAnno过程中写了一些可视化函数。后来经过漫长的半夜宿舍苦战,写出了ChIPseeker 1 ChIP-seq简介 ...
  • 15、Bounding Box Regression with Uncertainty for Accurate Object Detection(目标检测边界框回归损失算法) 作者:Yihui He, Chenchen Zhu, Jianren Wang, Marios Savvides, Xiangyu Zhang 论文链接: ...

空空如也

空空如也

1 2 3 4 5 ... 10
收藏数 186
精华内容 74
关键字:

st4000nm0035检测报告.pdf

友情链接: EMD.zip