精华内容
下载资源
问答
  • 谷歌推出定制化机器学习芯片速度是传统GPU的15到30倍.pdf
  • 点上方蓝字计算机视觉联盟获取更多干货在右上方···设为星标★,与你不见不散仅作分享,不代表本公众号立场,侵权联系删除转载于:机器之心,专知AI博士笔记系列推荐周志华《机器学习》手推...

    点上方蓝字计算机视觉联盟获取更多干货

    在右上方 ··· 设为星标 ★,与你不见不散

    仅作分享,不代表本公众号立场,侵权联系删除

    转载于:机器之心,专知

    AI博士笔记系列推荐

    周志华《机器学习》手推笔记正式开源!可打印版本附pdf下载链接

    机器学习和系统芯片互相促进发展,近年来机器学习算法深刻改变了计算硬件资源的发展。最近谷歌发布了强化学习用于芯片布局的论文。在加州理工的《数据驱动算法设计》课程上,GOOGLE两位研究人员Azalia Mirhoseini & Anna Goldie做了《机器学习在系统和芯片设计》的报告,讲述了机器学习芯片设计技术,值得关注。Jeff Dean在Twitter做了推荐。

    在过去的十年中,系统和硬件已经改变了机器学习。现在是机器学习改变系统和硬件的时候了。在芯片设计过程中,芯片布局(chip placement)可以说是其中最复杂和耗时的步骤了。芯片设计周期的缩短有助于硬件设备适应机器学习领域的快速发展,那么,机器学习能否助力芯片设计呢?最近,谷歌提出了一种基于强化学习的芯片布局方法。本报告内容包括:

    • 学习优化器件放置

    • 学习配分图

    • 学习优化芯片布局

    概述

    计算机芯片通常分为数十个模块,每个模块都是一个单独的模组,例如内存的子系统、计算单元以及控制逻辑的系统。这些模块可以通过网表以及宏(内存组件)和标准单元(逻辑门,例如 NAND、NOR 和 XOR)等电路组件图来描述,而所有这些组件均通过网格连接。

    确定芯片如何布局(通常称为芯片的布局规划过程)是芯片设计过程中最复杂、最耗时的阶段之一,它涉及到将网表放置在芯片的画布(2D 网格)上,尽可能使得功率、性能和面积(PPA)降至最低,同时还要注意密度和布线拥塞方面的限制。

    尽管对此方向进行了数十年的研究,但是行业内专家仍然需要迭代数周的时间才能完成一个满足多方面设计标准的解决方案。简单来说,其复杂性来自于几个主要层面:网表图的大小(数百万至数十亿个节点)、网表图放置的网格粒度,以及计算真实目标所产生的过高成本,如果使用行业标准的电子设计自动化工具这个计算过程可能要花费数小时(有时甚至超过一天)。

    谷歌研究者将芯片布局看作一个强化学习问题,然后训练智能体将芯片网表(netlist)的节点放置在芯片画布(canvas)上。为了使强化学习策略泛化至新的芯片 block,研究者将表征学习置于预测芯片布局质量的监督任务中。通过设计能够在大量网表及其布局上准确预测奖励的神经架构,该研究生成输入网表的丰富特征嵌入。然后利用该架构作为策略和价值网络的编码器,实现迁移学习。

    该研究旨在最小化芯片设计的 PPA(功耗、性能和面积)。研究者称,该方法能够在 6 小时内完成芯片布局设计,布局质量超过或匹配人类设计,而现有的基线方法需要人类专家参与,且往往需要数周时间才能完成。此外,谷歌还表示,该方法可以为谷歌加速器芯片(TPU)生成更优化的芯片放置方案,还适用于任意类型的芯片(ASIC)。

    Chip Placement with Deep Reinforcement Learning

    • 博客链接:http://ai.googleblog.com/2020/04/chip-design-with-deep-reinforcement.html

    • 作者:Azalia Mirhoseini、Anna Goldie、Jeff Dean 等

    • 论文链接:https://arxiv.org/pdf/2004.10746.pdf

    摘要:在芯片设计过程中,芯片布局(chip placement)可以说是其中最复杂和耗时的步骤了。芯片设计周期的缩短有助于硬件设备适应机器学习领域的快速发展,那么,机器学习能否助力芯片设计呢?最近,谷歌提出了一种基于强化学习的芯片布局方法。

    研究者将芯片布局看作一个强化学习问题,然后训练智能体将芯片网表(netlist)的节点放置在芯片画布(canvas)上。为了使强化学习策略泛化至新的芯片 block,研究者将表征学习置于预测芯片布局质量的监督任务中。通过设计能够在大量网表及其布局上准确预测奖励的神经架构,该研究生成输入网表的丰富特征嵌入。然后利用该架构作为策略和价值网络的编码器,实现迁移学习。

    该研究旨在最小化芯片设计的 PPA(功耗、性能和面积)。研究者称,该方法能够在 6 小时内完成芯片布局设计,布局质量超过或匹配人类设计,而现有的基线方法需要人类专家参与,且往往需要数周时间才能完成。

    end

    这是我的私人微信,还有少量坑位,可与相关学者研究人员交流学习 

    目前开设有人工智能、机器学习、计算机视觉、自动驾驶(含SLAM)、Python、求职面经、综合交流群扫描添加CV联盟微信拉你进群,备注:CV联盟

    王博的公众号,欢迎关注,干货多多

    王博的系列手推笔记(附高清PDF下载):

    博士笔记 | 周志华《机器学习》手推笔记第一章思维导图

    博士笔记 | 周志华《机器学习》手推笔记第二章“模型评估与选择”

    博士笔记 | 周志华《机器学习》手推笔记第三章“线性模型”

    博士笔记 | 周志华《机器学习》手推笔记第四章“决策树”

    博士笔记 | 周志华《机器学习》手推笔记第五章“神经网络”

    博士笔记 | 周志华《机器学习》手推笔记第六章支持向量机(上)

    博士笔记 | 周志华《机器学习》手推笔记第六章支持向量机(下)

    博士笔记 | 周志华《机器学习》手推笔记第七章贝叶斯分类(上)

    博士笔记 | 周志华《机器学习》手推笔记第七章贝叶斯分类(下)

    博士笔记 | 周志华《机器学习》手推笔记第八章(上)

    博士笔记 | 周志华《机器学习》手推笔记第八章(下)

    博士笔记 | 周志华《机器学习》手推笔记第九章

    点个在看支持一下吧

    展开全文
  • AWS Neuron是一个软件开发套件(SDK),它可以使用AWS Inferentia定制设计的机器学习芯片来实现高性能的深度学习推理。 借助Neuron,您可以在基于Inferentia的EC2 Inf1实例之上开发,分析和部署高性能推理预测。 ...
  • Google:机器学习芯片让AI更快更高效

    千次阅读 2017-11-01 17:03:09
    原文:Google Says Machine Learning ...摘要:作者介绍了Google专用机器学习芯片TPU,从TPU的诞生,TPU的作用,TPU与CPU和GPU的比较,以及Google推出TPU的目的等方面做了阐述,以下是译文。Google最近对外公布了其专

    原文:Google Says Machine Learning Chips Make AI Faster and More Efficient
    作者: Edd Gent
    翻译:无阻我飞扬

    摘要:作者介绍了Google专用机器学习芯片TPU,从TPU的诞生,TPU的作用,TPU与CPU和GPU的比较,以及Google推出TPU的目的等方面做了阐述,以下是译文。

    这里写图片描述

    Google最近对外公布了其专用的机器学习芯片TPU的内部工作原理。在AI硬件至上的军备竞赛中打响了前哨战。

    TPU是Tensor Processing Unit(Tensor处理单元)的缩写,这个芯片是为Google的开源机器学习库TensorFlow量身定做的,自2015年以来,Google的数据中心一直在使用该芯片。但在本月初,公司最终提供了该设备的性能数据

    公司表示,目前这一代的TPU设计用于推介—利用已经训练过的神经网络执行某种功能。比如通过Google Now识别语音命令。在执行这些任务上,公司表示TPU比同一时期的GPU和CPU快15到30倍,同样重要的是,TPU的功效也比同一时期GPU和CPU高30到80倍。

    CPU,也就是中央处理器是自20世纪60年代以来大多数计算机的核心处理器。但是,CPU不太适合现代机器学习方法,特别是无法满足深度学习极高的计算需求。

    在二十世纪末,研究人员发现,显卡更适合这些任务的高度并行性,而GPU,也就是图形处理单元成为实现神经网络最基本的技术。但是随着对机器学习使用的不断发展,Google希望为他们的需求量身打造一些东西,TPU应运而生。

    “大约在六年前,当开始在我们产品的愈来愈多的地方使用昂贵的计算深度学习模型时,对TPU的需求就已经出现了。因为使用这些模型的计算费用让我们担忧,”Google首席工程师Norm Jouppi 在博客中写道

    “假设一个场景,人们每天使用谷歌语音搜索仅三分钟。在我们所使用的处理单元上为语音识别系统运行深度神经网络,那么Google数据中心的数量就会翻番! ”

    Nvidia表示这种比较不完全公平,比较片面。谷歌将其TPU与服务器级英特尔Haswell CPU和Nvidia K80 GPU进行了比较,但从那时起已经有两代Nvidia GPU。英特尔一直保持沉默,但Haswell也已经有了三代。

    公司在一篇博文中说:“随着NVIDIA的开普勒一代GPU在2009年问世,有助于唤醒全世界将GPU加速计算用于深度学习的可能性。它从未为该任务专门优化过”

    为了证明这一点,他们有了自己新的基准,指出最新的P40 GPU的计算速度是之前的两倍。但重要的是,TPU浮出水面,这并不奇怪,Google已经准备好了,甚至已经在用新一代改进设计的TPU。

    也就是说,它不会颠覆芯片市场。Google不会把TPU卖给竞争对手,而是完全专注于推介。Google仍然使用大量的Nvidia的GPU进行机器训练,这解释了公司为何对争论沉默以对。

    Google也可能是世界上为数不多的公司之一,用金钱和愿景从头开始构建一个全新领域的产品。但它也是世界上最大的处理器采购商之一,它决定了满足自己需求的唯一方法是设计自己的芯片,这也为芯片制造商敲响了警钟。

    事实上,这似乎是这个想法的一部分。网络世界的Steve Patterson写道: “Google发布这篇研究论文旨在提高机器学习界和芯片制造商之间的讨论水平,现在是实现商业解决方案,大规模运行推介的时候了”

    这可能不会太远,分析师Karl Freund 在《福布斯》杂志上写道“鉴于市场的快速增长以及对高性能的渴望,我认为硅片厂商将不可避免地推出专为机器学习设计的芯片。”

    Nvidia公司不太可能让其市场领先地位下滑,而在今年晚些时候,英特尔将发布第一个具有机器学习焦点Nervana技术的芯片,Nervana在去年的8月份被英特尔收购。甚至手机玩家已经开始行动了。

    Arm的Dynamiq微架构允许客户将AI加速器直接构建到芯片中,从而将原生机器学习引入到智能手机等设备。而高通公司的项目Zeroth发布了一款软件开发工具包,可以在具有骁龙处理器的智能手机和无人机等设备上运行深度学习程序

    Google发布TPU可能只是一个温柔的推动,使业界朝着正确的方向前进。

    图片来源:Shutterstock

    展开全文
  • 机器学习识别颜色 在最近去密歇根州的旅行中,我的朋友蒂姆·索萨 ( Tim Sosa)提到了他读过的一篇博客文章 ,作者詹妮尔·沙恩(Janelle Shane)描述了她如何建立一个神经网络,该网络从RGB值生成颜色名称 。...

    机器学习识别颜色

    在最近去密歇根州的旅行中,我的朋友蒂姆·索萨Tim Sosa)提到了他读过一篇博客文章 ,作者詹妮尔·沙恩(Janelle Shane)描述了她如何建立一个神经网络,该网络从RGB值生成颜色名称 。 我以为这个主意真的很整洁,但是我发现结果令人震惊。 许多颜色名称都是荒谬的(即不是实际的单词),并且生成的名称和颜色之间的配对似乎非常随机,因此尚不清楚该模型是否在实际学习将颜色映射到语言的有意义的函数。 我想知道这个想法是否可以改进,因此,仅使用开放源代码软件,我就建立了一个模型来解决这个问题。 该项目的代码可以在我的GitHub上找到

    关于颜色数据 ,我注意到的第一件事是只有约1,500种命名颜色,因此Janelle使用的数据与我发现的数据之间存在差异。 (这是为什么开放科学在做平凡的事情时很重要的一个例子!)我的怀疑是该模型主要是试图从数据中学习字符级语言模型,因此无论是否有1500种命名颜色或7,700个单词和短语绝对不足以学习有关英语的任何有意义的知识。

    考虑到这一点,我决定建立一个模型,该模型使用预先训练的单词嵌入将颜色映射到名称(反之亦然)。 (我使用了这些word2vec嵌入。)使用预先训练的词嵌入的优点是,模型在训练过程中不必学习太多的语言; 它只需要学习不同的名词和颜色如何映射到RGB空间以及形容词应如何修改颜色(例如“分析灰色”)。 有关单词嵌入及其有用性的更多信息,请查看我对表示学习的介绍

    使用这些词嵌入,我建立了两个不同的模型:一个将名称映射为颜色的模型,以及一个将颜色映射为名称的模型。 学会了将名称映射到颜色的模型是一个简单的卷积神经网络 ,它似乎运行得很好。

    以下是模型认为“红色”,“绿色”,“蓝色”和“紫色”的示例。

    Red, green, blue, and purple

    但是该模型还知道比这些更有趣的颜色。 例如,它知道“深紫色”是紫色的较暗版本。

    Purple and Deep Purple

    还知道“海洋”是一种水色,“平静的海洋”是一种浅水色,而“暴风雨的海洋”是灰色紫色。

    Ocean, calm ocean, and stormy ocean are different shades

    学习将颜色映射到名称的模型是一个递归神经网络 ,该网络将RGB值作为输入并尝试预测单词嵌入作为输出。 我决定,与其生成单一的颜色名称,不如生成一个候选单词,然后将其用于一个颜色名称,将更加有趣/有用。 例如,当提供161、85和130(类似于紫红色的颜色)的RGB值作为模型的输入时,它将生成以下内容:

    fuchsia

    第1词候选

    
    
       
    roses_hydrangeas
    lacy_foliage
    tussie
    sweetly_fragrant
    coppery_pink
    grevillea
    oriental_poppies
    maidenhair_ferns
    oak_leaf_hydrangea
    blue_hydrangeas

    第2字候选

    
    
       
    violet
    lavender_flowers
    wonderfully_fragrant
    fuchsia
    anise_hyssop
    monarda
    purple
    purple_blooms
    cornflowers
    hibiscuses

    第3词候选

    
    
       
    purple
    pink
    violet
    fuchsia
    roses
    purple_blooms
    lavender_flowers
    lavender
    Asiatic_lilies
    monarda

    第4字候选

    
    
       
    roses
    purple
    pink
    red
    violet
    fuchsia
    violets
    Asiatic_lilies
    purple_blooms
    flowers

    我个人喜欢“甜香紫红色”。

    类似地,当提供1、159和11的RGB值(绿色)时,它会生成以下内容:

    Green

    第1词候选

    
    
       
    greenbelt
    drainage_easements
    annexations
    Controller_Bud_Polhill
    Annexations
    Buttertubs_Marsh
    sprigging
    easements
    buffer_strips
    Growth_Boundary

    第2字候选

    
    
       
    green
    jade
    blues_pinks
    purples_blues
    greeny
    sienna
    plumbago
    sage_Salvia
    olive
    purple_leaved

    第3词候选

    
    
       
    green
    plumbago
    purples_blues
    allamanda
    greeny
    purple_leaved
    lime
    hibiscuses
    sage_Salvia
    blues_pinks

    第4字候选

    
    
       
    green
    pineapple_sage
    plumbago
    purple_leaved
    allamanda
    hibiscuses
    lime
    snowberry
    sage_Salvia
    purples_blues

    我个人喜欢“撒绿色”。

    无论如何,词嵌入似乎使模型学习了颜色和语言之间非常有趣的关系。

    正如我之前所讨论的 ,在21世纪进行机器学习的伟大之处在于,有大量的开源软件和开放式教育资料可供入门。 这意味着任何人都可以阅读Janelle的原始博客文章,对如何更改模型有一个想法,并且能够很好地实现更改。

    也许您对如何适应我的模型有一些想法? 如果是这样,请确保链接到注释中的所有分叉

    翻译自: https://opensource.com/article/17/9/color-naming-word-embeddings

    机器学习识别颜色

    展开全文
  • 机器学习是近段时间以来的大热门,而尽管EDA处理的也是大数据类型的问题,但在将机器学习技术整合进EDA工具方面还没有取得很大的进展。许多EDA问题和解决方案本质上就是关于统计的,这说明机器学习自然而然适合EDA。...
  • 基于macOS M1芯片机器学习环境搭建

    千次阅读 2021-03-11 15:39:32
    基于macOS M1芯片机器学习环境搭建 1.安装mini-foge https://github.com/conda-forge/miniforge/ 如图下载最新支持M1芯片的版本 下载后应该在Downloads文件夹,打开终端,输入如下命令: cd Downloads bash ...

    基于macOS M1芯片的机器学习环境搭建

    M1芯片系统不能直接安装数据科学库的包,但是可以借助mini-forge来安装,mini-forge 是一款管理、部署应用、环境以及包的工具。下面介绍如何在M1芯片的mac上安装此工具以及部署机器学习环境

    1.安装mini-forge

    https://github.com/conda-forge/miniforge/
    如图下载最新支持M1芯片的版本
    在这里插入图片描述
    下载后应该在Downloads文件夹,打开终端,输入如下命令:

    cd Downloads
    bash Miniforge3-MacOSX-arm64.sh
    

    安装完成后默认是在base虚拟环境,并且每次打开终端都默认是在base虚拟环境,那么如何修改这个预定义设置呢?下面介绍关于其虚拟环境的基本操作

    2.虚拟环境基本操作

    修改默认进入base虚拟环境:

    conda config --set auto_activate_base false:这样就不会每次打开终端都在base环境中

    创建虚拟环境

    conda create -n ml python=3.9:创建名为ml的虚拟环境,且使用python3.9版本

    进入虚拟环境

    conda activate ml:激活ml环境,这时候在终端键入python会发现使用的是python3.9版本
    在这里插入图片描述

    退出虚拟环境

    conda deactivate:键入该命令即可退出当前虚拟环境

    删除虚拟按环境

    conda remove -n ml --all:删除名为 ml 的虚拟环境

    如何安装包

    conda install numpy:安装名为 numpy 的包,通过这个命令,大家就可以安装自己需要的数据科学包了

    展开全文
  • 然后作者从TensorFlow团队和Apple Machine Learning团队发布的博客文章中,找到机器学习模型在搭载M1芯片和Intel芯片的Mac电脑上的训练结果。 事实证明,苹果最近根据TensorFlowTensor发布了Flow_MacOS,这意味着其...
  • 苹果自研Apple M1芯片机器学习意味着什么?

    千次阅读 多人点赞 2020-12-25 08:00:00
    关于这个问题的另一个想法是,一些机器学习的框架是否可以利用GPU和神经引擎来训练和执行推理。 Apple M1芯片及其软件支持 现在我们来谈谈软件支持。我的问题是: M1可以与一些最常用的软件一起工作吗?(例如,...
  • 根据密码芯片功耗曲线的特性,对支持向量机、随机森林、K最近邻、朴素贝叶斯4种机器学习算法进行分析研究,从中选择用于功耗分析攻击的最优算法。对于机器学习算法的数据选取问题,使用多组数量相同但组成元素不同的...
  • 人工智能芯片机器学习产业链的核心底层硬件,为机器学习应用提供算力基础。按技 术架构的不同,人工智能芯片可分为 GPU、ASIC、FPGA。 GPU 具有软件生态齐全、并行计算能力强的特点,是现阶段深度学习训练的首选...
  • 针对密码芯片数据搬移能量曲线的机器学习攻击.pdf
  • 本文转载自AI科技评论。作者| 蒋宝尚编辑 | 青暮今年双十一,苹果发布了新Mac系列,拿出了首款自研ARM架构的芯片。这款5nm制程的SoC(系统级芯片)号称大幅度提升了性能。例如,...
  • 机器学习的演进

    2021-07-07 11:45:48
    很高兴看到中国在机器学习(MachineLearning,ML)领域所取得的进展。随着机器学习的推出和普及,它被嵌入到许多应用中。它成功地以无形、内嵌的方式存在于众多应用中,很多人都在日常生活中使用它,但是并没有意识...
  • 在对应环境(比如base)下打开运行jupiter notebook 新建代码框,输入 import sys print(sys.executable) 并复制运行的结果(即python安装的路径) 运行新的终端窗口,输入 python安装路径 -m pip install ...
  • AI芯片(IC和IP) 编辑 (Linkedin) 欢迎来到我的微信博客 最新更新 添加新闻。 添加新闻。 添加。 添加新闻 。 添加新闻。 添加新闻。 添加启动 。 增加新闻 。 添加新闻。 添加消息。 将链接添加到 ...
  • 机器学习在半月板骨骼芯片中药物安全的评价.pdf
  • 机器学习(ML)在各种研究领域中的巨大成功激发了学术界和工业界探索其解决硬件特洛伊木马(HT)攻击的潜力。 在过去的十年中,尽管发表了许多作品,但据我们所知,很少有调查论文系统地回顾了成就并分析了该领域...
  • 当量子计算遇到机器学习,可以是个互利互惠、相辅相成的过程:一方面我们可以利用量子计算的优势来提高经典的机器学习算法的性能,如在量子计算机上高效实现经典计算机上的机器学习算法。另一方面,我们也可以利用...
  • 机器学习和深度学习的对比,matlab官方教程视频。
  • 机器学习(一)——发展历程

    千次阅读 2021-01-26 17:48:46
    机器学习(一)——发展历程 引言 人工智能(英语:artificial intelligence,缩写为AI)究竟是什么?目前难以精确定义 人工智能于一般教材中的定义领域是“智能主体(intelligent agent)的研究与设计”,智能主体...
  • 如今数据科学、人工智能和机器学习等技术的规模正在迅速扩大。在过去两年的疫情期间,这些技术在医疗和经济复苏等方面发挥了重要作用。例如电子病历、医疗机器人、智能影像识别、经济预测等等。今年3月,清华大学与...
  • O Reilly的一项新调查发现,主要从事技术、金融和医疗保健行业的1300多人透露了他们在公司使用的机器学习技术。 本文介绍了面向数据科学界宠儿Python的软件框架和库、大数据平台以及处理机器学习管道每个阶段的基于...
  • 目录深度学习框架 1.Theano & Ecosystem 2.Torch 3. Tensorflow 4. Caffe 5. CNTK 6.DSSTNE 7.Speed 机器学习框架 1.sci-kit learn 2.Apache Mahout 3.SystemML 4.Microsoft
  • 使用Apache Kafka在生产环境构建大规模机器学习智能实时应用为所有行业带来了革命性变化。机器学习及其分支深度学习正蓬勃发展,因为机器学习让计算机能够在无人指引的情况下挖掘深藏的洞见。这种能力正是多种领域所...
  • 机器学习9 -- 模型压缩和加速

    万次阅读 2020-09-09 19:32:06
    近年来深度学习模型在计算机视觉、自然语言处理、搜索推荐广告等各种领域,不断刷新传统模型性能,并得到了广泛应用。随着移动端设备计算能力的不断提升,移动端AI落地也成为了可能。相比于服务端,移动端模型的优势...
  • 文章首先阐述机器学习技术在网络空间安全应用研究中的应用流程,然后从系统安全,网络安全和应用安全三个层面介绍了机器学习在网络空间安全领域中的解决方案,归纳了这些解决方案的安全特征及常用的机器学习算法,...
  • 机器学习框架简述

    千次阅读 2018-08-22 14:16:56
    机器学习框架意味着一个能够整合包括机器学习算法在内的所有机器学习的系统或方法,使用户最有效的使用它们。具体来讲,这包括数据表示与处理的方法、表示和建立预测模型的方法、评价和使用建模结果的方法。 在...
  • 用M1的MacBook Pro或Mac Pro可以跑机器学习训练任务了。 【来源参考】 Leveraging ML Compute for Accelerated Training on Mac https://machinelearning.apple.com/updates/ml-compute-training-on-mac
  • 图形处理器(英语:Graphics Processing Unit,缩写:GPU),又称显示核心、视觉处理器、显示芯片,是一种专门在个人电脑、工作站、游戏机和一些移动设备(如平板电脑、智能手机等)上做图像和图形相关运算工作的微...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 44,396
精华内容 17,758
关键字:

机器学习的芯片