精华内容
下载资源
问答
  • 一直困扰本人的一个问题。。。。。。。

    一直困扰本人的一个问题。。。。。。。

    展开全文
  • 摘要:摘要 尽管在工业界还是被 SAS 所统治但是 R 在学术界却得到广泛的应用因为其免费、开源的属性使得用户们可以编写和分享他们自己的应用。然而许多正在获得数据分析相...
        

    摘要: 摘要 尽管在工业界还是被 SAS 所统治但是 R 在学术界却得到广泛的应用因为其免费、开源的属性使得用户们可以编写和分享他们自己的应用。然而许多正在获得数据分析相关学位的学生们由于缺乏 SAS 经验的情况而在找工作的路上困难重重与此同时他们要面对从学校熟悉的 R向 SAS 转型的痛苦。

    摘要


    尽管在工业界还是被 SAS 所统治但是 R 在学术界却得到广泛的应用因为其免费、开源的属性使得用户们可以编写和分享他们自己的应用。然而许多正在获得数据分析相关学位的学生们由于缺乏 SAS 经验的情况而在找工作的路上困难重重与此同时他们要面对从学校熟悉的 R向 SAS 转型的痛苦。理想情况是你需要知道所有可能的编程语言工作的时候使用与工作情况最匹配的那个当然这个基本上是痴人说梦。我们的目的就是展示这两种差异巨大的语言各自优点并且共同发挥他们的优势我们同时还要指出那些不使用 SAS 好多年的、现在正在使用 R语言的人们的一些误解和偏见因为他们已经很少关注 SAS 的发展和进步了。


    前言


    我们选取 SAS 和 R 的原因是因为他们是目前在统计领域中最有统治地位的两个编程语言。现在我们注意到一个不好的现象就是在学术界重度使用R的用户认为R在被SAS霸占的工业界有具有相当优势的然而熟练掌握这两个软件对于想在数据分析领域取得小有成就的年轻人来说很关键。教授误解加上对某个软件的偏好往往对学生有着不利的引导因此需要在这里指出教授们别偷懒了对某种语言的主观偏好将会影响学生的钱途。


    SAS经常有一些更新有点慢非SAS程序员由于没有技术跟进往往并不知情。SAS绘图模块就是一个快速发展并成长的例子然而许多人并不注意到这些升级以至于他们仍然固执的使用 R画图。SAS另一个不广为人知的例子是SAS可以轻松自定义函数这正是 R 的强项。这个SAS过程步PROC有全面的语法检查、翔实的文档和技术支持然而一个新的使用者很可能不知道这些工具可用或者根本不知道它们的存在。另外SAS 还拥有卓越的培训课程网络及用户组分享资源不同相关主题的大量书籍。知道并合理的使用这些技术以及工具 有助于减少使用 SAS的畏惧之心。


    相关问题讨论


    本文就在我们学院碰到的一些共同误解的地方在此对比列出两种语言的优缺点。当然还有更多的争论在进行中但是本文汇中我们将选取最为普遍的来进行讨论。我们希望能够消除误解并且尽可能地为那些不能及时跟进R或SAS的分析人士提供新的信息。


    1.统计方法的新进展


    SAS


    优点SAS 的软件及算法都是经过检验的SAS 有技术支持去快速解决用户的需求。如果需要的话SAS 会尝试在已存在的步骤中嵌入新的方法例如增加一个选项或者新增一个语句statement因此用户不需要学习另外一个过程步。SAS也 会发布最新通讯来详细说明软件的更新。缺点更新升级较慢。


    R


    优点用户可以快速实施新方法或者寻找已经存在的软件包。很容易学习和理解新方法因为学生们可以看到代码中的函数。
    缺点R 文档的更新都是通过用户进行的所以新的方法并没有被很好调试和检验。开发者们散布于各地而并没有在一起来进行团队合作的开发。


    在这个问题上SAS 和 R 的优缺点是互补的。对于 R有人认为它的代码是开放的可以看到 R 是如何工作的这对于拥有相关背景的人是比较容易理解的。然而对于 SAS它的过程步是预装的文件中对不同的语句Statement及选项 Option 存储了大量的数学公式。如果用户真的想看到底层程序这个也是很容易实现的。对两种语言的使用着者来说不管是学生还是其它用户只是运行代码的话对于两种语言是没有什么不同的。你运行SAS不需要知道它在干什么类似的是你运行R时也不需要知道它在后台调用的函数。你所做的就是按章操作而已。


    2.画图


    SAS


    优点SAS画图模块正变得越来越灵活、精良和易于使用。在一些分析过程步PROCs 中ODS Graphics可以自动的生成一些图形而不需要额外的代码。这使得用户多了一个选择即可以使用默认的图表生成图表也可以自己来创造个性化的图表。
    缺点图形背后的模板语言TL是庞大及不易使用的特别是对于新手来说。新的高级功能如交互式绘图功能 interactive graphs对于新手来说也是难以掌握的。


    R


    优点可以简单的生成漂亮的图表还可以使用循环语句来生成动画。
    缺点在 R 中图表功能与统计分析无关绘图和分析是相互独立的。用户必须自己来决定什么样的图形是合适的使用效果的好坏取决于用户们的统计背景和喜好。尽管改变图形去达到特别的维度或角度并不是一个简单事儿。


    SAS9.2 之前版本的图表功能不足是 R 更吸引人的一个主要原因之一。R的一个最好的特性之一就是其图表功能的高质量性和易用性。但是当前 SAS/GRAPH 搭配 ODS Graphics 及 SG 过程在软件中增加了制图的能力。联合使用 ODS graphics 和 PROCS 可以使用户简单地生成与分析相关的展示图表。特定的绘图过程步如PROC SGPLOTSGPANEL和SGSCATTER等越来越多当然需要的一定代码来实现。另外SAS 中还有一些其他不错的绘图选择如 SGDESOGNER 和 SAS Enterprise Guide。


    3.函数及可重复使用的代码


    SAS


    优点SAS有可在 DATA 和 PROC 步使用的大量函数和自定义函数。另外强大无所不能的、也可以被DATA步和PROC步使用的宏语言。宏变量可定义为局部或者全局类型。
    缺点编写自定义函数和详细的宏代码需要深厚的编程知识来确保正确性。


    R


    优点在 R 中编写函数很简单用户也可以通过上传自己的函数到 R-CRAN 上与其 它用户分享。
    缺点编写自定义函数需要深厚的编程知识来确保正确性。变量是严格的局部变量。


    在这一点上两种软件拥有类似的利弊。SAS 的早期用户运行自己的定制函数主要取决于宏程序的编写这也是 R 用户认为其低效及笨重的原因。然而SAS 9 版本的 PROC FCMP允许用户编写个性化的函数SAS 9.2 版本又允许用户在 DATA 及 PROC 步中调用这些函数。这对于简单的统计函数是很有用的对于更加复杂的统计函数也可以通过 IML 语言来实现。


    SAS 及 R 两种语言都面临着怎样有效地、正确的使用函数这就需要用户在函数编写的过 程中拥有深厚的编程背景。从好的角度来说一个程序员需要知道他们编写的是什么危险的是其它人可以下载一个 SAS 宏或者 P 程序包来使用尽管他们不知道其内在工作原理 甚至不知道其正确性。所以有了对宏及函数适当的了解再来分享它们并应用于具体的需 求是很方便的。


    4.免费软件


    SAS


    优点SAS 有OnDemand 版本的软件免费提供给学位颁发机构。


    缺点真正的 SAS 和 JMP 并不是免费的。OnDemand 版本对使用何种操作系统有一 些限制而且据反映运行速度很慢。


    R


    优点R 是完全免费。
    缺点开源软件对于大公司来讲都会有安全方面的担忧。


    SAS公司为教育机构提供的免费替代品可以保证教授们在课堂上的使 用。对于 OnDemand 的安装过程和速度需要注意。总之SAS 和 JMP 不是免费的公司需要使用许 可来使用该软件。R 可以免费的安装但许多参与论战的博主们认为如果那些正在使用 SAS 的公司去使用 R将会花费远远超过 SAS 授权费用的资源和财力例如重写代码、构建新 的团队、招聘新的专业人员等等。而且对于那些分析结果需要经得起严格检验要求的公司 可能 SAS 更加适合。还没有现存分析框架的小公司可以来探讨是选择历史悠久、资源丰富的付费软件SAS还是要选择虽然免费、但是还需要其它先期投资如员工的知识背景 编写及调试代码的软件R。最终从时间和金钱的角度来衡量SAS 和 R 的花费可能 是基本接近的。


    5.用户支持


    SAS


    优点SAS 有丰富的网上参考资料专业的技术支持专业的培训课程许多优秀 的出版书籍一个紧密的用户组及网络社区。SAS 的问题可以直接反映给技术支 持部门他们会与用户一起来解决。缺点真的没想到。


    R


    优点R 有很好的示例手册网上参考材料R 邮件列表和 R 聚会。
    缺点用户们取决于其它用户对于软件的看法及建议。因为 R 的开发者散布于全球 各地所以全球的用户是缺乏联系的。程序包Package并不是由 R 软件的开发 核心团队来编写的所以导致了程序的不完善甚至有时候会对结果的正确性有所怀 疑。另外很难去直接寻找一个针对具体问题的人员或者团队。


    SAS 所提供的卓越的支持是他们以客户为中心设计产品的亮点。SAS 支持的优点对初 学者是理想的帮助其大量的细节也使资深用户受益匪浅。R 较为混乱的参考资料和匮乏的 技术支持在需要寻找帮助时困难重重。这违背了 R 的开发设计者的初衷。


    6.数据处理


    SAS


    优点SAS 可以处理任意类型和格式的数据。DATA 步的设计纯粹就是为了数据的管 理所以 SAS 擅长处理数据。利用丰富的选项SAS 可以将大数据处理的很好拼表以及 PROC SQL 也可以减少运行时间。
    缺点在 DATA 步骤中 SAS 中的DATA步有非明示的循环算法因此使用者的编程思维需要改变以符合SAS的运行逻辑。


    R


    优点R 在最初就被认为是更加适合大数据的。它对于矩阵的操作和排序的设计是非 常高效的。R 也可以很好的进行各种基于分析的数据模拟。
    缺点R 的设计更加关注统计计算以及画图功能所以数据的管理是比较耗时的而 且不如在 SAS 中那么明晰。其中一个主要的原因就是对于各种不同类型的数据在 R 中进行很好的数据处理是比较难以掌握的。


    数据处理的重要性经常在统计编程中被忽视了但是它确实是非常关键的因为实际的数据非常糟糕不能直接应用于分析。纯粹地使用 R 的学生们对于得到的数据往往有不切实际的期望而学习 SAS 是一个有效的方法去解决怎样整理原始的数据。SAS可以对大而繁杂的数据集进行管理和分析而 R更着重于进行分析。


    当处理复杂数据时R 的面向对象的数据结构会遇到很多问题并且R还缺乏一个内在的循环过程。在SAS中应用标准化工具经常会进行如下操作合并含有大量缺失数据的复杂数据集再生成及修改其中的变量。而在R中进行复杂的数据处理操作是没有标准化的而且经常会导致更加复杂的过程。


    SAS与R软件运行时间的快慢对比取决于任务。如SAS可以通过设置 MEMLIB从而像R一样使用内存(而非硬盘)来提升运行速度。但在R中没有这样的硬件驱动只能使用内存来执行。


    7.安装


    SAS


    优点SAS所有的分析功能及授权都被整体打包在一起安装。升级授权证书是非常容易。
    缺点首次安装或升级到一个新的版本是很耗时且有点麻烦的。但是这比在课堂上向 学生们讲述如何使用这个软件简单1000倍。现在越来越多的学生们在课堂上使用Macs系统的笔记本但是SAS没有Mac版意味着这部分学生无法使用 SAS。


    R


    优点R 和其最常用的用户界面 RStudio 在 Window、Mac 和 Unix 环境下都很容易安 装和打开且安装速度都很快。
    缺点运行必须知道满足需求的程序包然后搜索、安装、了解具体功能。截止原文发表时共有 4379 个可用程序包这一数量还在每天增加。在提供了更多选择的 同时也增加了搜寻的时间和难度。


    SAS 的获得对用户来说比较困难首次安装也是比较麻烦的。但是一旦安装完成了 有关软件本身的问题就很少了对于特别的分析也不需要额外的程序包或者步骤了。R 中 相反安装非常简单但对于额外分析需要另外安装程序包浪费了安装软件所节省的时 间。


    8.报表


    SAS


    优点SAS 通过很多有用的过程步来生成详细漂亮的报表。
    缺点能提供更详尽报表的过程如 TABULATE、REPORT 等在能正确而有效的使用前将为有一个艰难的学习曲线等待你跨越。


    R


    优点报表方面R拥有诸多利器。Sweave包可以创造包含文字、表格和图形的 PDF 文件其中图形可以LaTeX 和 R 命令来装扮。另一个新的程序包 Knitr 可以快速生成格式限制较少的网页内容。
    缺点R 没有一个模式化的方式来生成报表所以需要在编程上花一些功夫。报表的生成对于 R 来说是一个比较新的方向所以它不如 SAS 来的简单和快速。在 R 中Sweave 和 Knitr 是报表这方面的领先的程序包但是学习起来也比较困难。


    重度报表使用用户应该了解这些以上不同尽管学习 SAS 的报表功能需要花费一些时间但是一旦掌握了就很有价值并有很高的灵活性。而从最基础学习 R 的报表功能也许不需要像 SAS 那样花那么多时间。


    结论


    我们可以看到解决 R 与 SAS 的辩论是三合一的。


    第一就像在任何一个统计编程社区 一样我们知道这个PK是没有一个最终赢家。两种软件各有优缺点。他们有共存的必 要而学术上的教学中他们也有共存的必要。如果学生们能够明确他们的需求并合理的应 用那样会获得更好的效果。如果只给学生教授一种软件是有局限性的这样会使他们难以 发挥学习另外一种软件的潜力。


    第二用户们需要保持他们的工具箱与时俱进。SAS 和 R 都有一些很不错的 学习网站去介绍最新 的技术上的进步。SAS 技术支持网站http://support.sas.com 有许多最新的动态如 Focus Areas、E-newsletters、RSS 种子和博客。R 博客网站 http://www.r-bloggers.com 包含了许多用户贡献的新闻和练习。


    第三最理想的是学习 两种软件并将其融合于分析中。这里有许多方法可以尝试例如用 SAS 的 IML 和 SAS 的 IML/StudioIML 是 SAS 的一个加载项功能或者通过使用 SAS X Statement 执行外部命 令使 R 代码在 SAS 中转化成 SAS 命令来运行。对于 R 的用户们通过转化 R 到 SAS 的 用户界面可以同时使用 2 种软件。通过使用两种软件可以使处理及分析数据变得事半功倍而且使所有的用户都满意。

    640?wx_fmt=png

    展开全文
  • 目前无论是学术界还是工业界对人脸的研究有两个方向,其一民用级,通过技术泛化为用户提供低精的产品,这些技术在工业级高精度上是无法满足需要的,主要因为算法泛化丢失了人脸的高频信息。其二工业级,从人脸生物...

    2020-03-17 11:27:05

    机器之心发布

    作者:FACEGOOD

    目前无论是学术界还是工业界对人脸的研究有两个方向,其一民用级,通过技术泛化为用户提供低精的产品,这些技术在工业级高精度上是无法满足需要的,主要因为算法泛化丢失了人脸的高频信息。其二工业级,从人脸生物力学仿真层面,持续提高精度,FACEGOOD 走在这个方向,在技术适当泛化的基础上,其将人脸关键点跟踪推向了极致,目前已将精度推到 10 万级,该技术可用于工业级换脸、表情捕捉等场合。

    简介

    FACEGOOD 推出10万点人脸关键点跟踪,重新定义工业级人脸3D重建

     

    人脸关键点检测在安防、金融、娱乐等领域具有广泛的应用,可以说已经成为非常基础的算法,我们先来回顾一下它的发展历史,Tim Cootes & Chris Taylor 在 1995 提出了一种新的方法(Active Shape Model)开创了人脸关键点对齐的先河,ASM 引入了统计模型来解决对齐问题,紧接着三年之后,他俩在此基础上发展出了 Active Appreance Model,这个方法有很重的历史地位,要知道当时人脸对齐问题是个很棘手的事,传统的 CV 算法太粗暴,难以应付人脸这种高纬特征,AAM 之后算是进入了一个正确的方向,为后来神经网络方法奠定了基础,基本思想是 ASM 并没有考虑到纹理特征,只是对 landmark 训练了一个统计模型出来,AAM 进一步优化了 ASM,在回归的过程中加入了纹理特征,这样就解决了特征的泛化匹配的问题,使得人脸对齐更加鲁棒。20 年之后,在众多研究者不断推动下 2D 人脸对齐问题已经彻底解决了,算法也已经白菜化,随便在 github 都有大量的精度不错的开源项目。

    FACEGOOD 推出10万点人脸关键点跟踪,重新定义工业级人脸3D重建

     

    与此同时,在 1998 年有两位研究人员又开辟了一条新赛道,他们提出了 3D 对齐算法,将人脸对齐推向了一个全新的维度,这套方法目前已经成为现在工业界主流的算法流程,现在工业界习惯上把它叫做 3DMM,虽然并不严谨,但我们姑且沿用这样一个定义,3DMM 计算结果是在人脸上拟合并投影出一个 3D 点云,它的应用就非常丰富了,美颜、表情捕捉、通过照片生成一张人脸等等都用了类似的技术。

    FACEGOOD 推出10万点人脸关键点跟踪,重新定义工业级人脸3D重建

     

    公式 1。

    如上图所示基本思想是:一张脸可以由多个不同的人脸通过线性组合得出,换句话说,给出一张人脸,要得出 3D 模型,就是一个系数的回归问题,了解 AAM 的同学一眼就看出来这个公式就是 AAM 公式,也可以说这是 AAM 的另一种应用,其中 S 是平均脸,s 是特征向量,ai 是权重系数。Tmodel 是用来拟合人脸纹理,同样使用线性组合得出。3DMM 是一个非常初期的 idea,他的计算结果并不理想,现在来看只能算玩具级,主要是 PCA 在精度上的丢失是很严重的。

    FACEGOOD 推出10万点人脸关键点跟踪,重新定义工业级人脸3D重建

     

    2008 年,一篇论文的发表将 3DMM 的精度进一步推广,公式 1 只采样了人脸在某一时刻的表情,因此在表情上没有考虑到其他情况,导致精度丢失。这篇论文增加了一个维度,因此叫「双线性模型」,在人脸基础上加上了表情因素,这样的计算结果更加可信。

    FACEGOOD 推出10万点人脸关键点跟踪,重新定义工业级人脸3D重建

     

    公式 2。

    这个双线性公式在公式 1 的思路上增加了一个系数 a,表示不同表情,b 表示不同的个体,w 是人脸数据库,到此 3DMM 在算法流程上完整了,为日后 Facewarehouse 等应用奠定了基础,后面的故事大家都知道了 Facewarehouse 推出了自己的数据库及应用思路,讲到这里我们对前面这些研究做个总结。

    3DMM 缺点是很明显的,在技术泛化这条路上一路狂奔,忽略了人脸非常多的细节,尤其是高频低幅度的表情细节,在个体上体现非常明显,造成这个局面的原因有两个,基于统计的回归并不精确,是一个模糊解,3D 数据库模型的采集多数用成本低廉的设备生成,精度不高,两者加起来,3DMM 在高精应用场景可以说完全无法满足需求,更不可能达到工业级超高精度需要。

    FACEGOOD 3DMM 模型

    FACEGOOD 推出10万点人脸关键点跟踪,重新定义工业级人脸3D重建

     

    图示 1 BFM & SFM 模型 。

    FACEGOOD 推出10万点人脸关键点跟踪,重新定义工业级人脸3D重建

     

    图示 2 FACEGOOD 模型。

    为了更精确的计算人脸的 3D 信息,并能适用于工业级业务场景,FACEGOOD 团队采用相机阵列方式采集了 100 个不同个体的 3D 模型,每个人有 43 个不同的表情,以及他们对应的高精度皮肤材质数据,至于这些数据建立了 FACEGOOD 3DMM 模型。

    目前开源的数据库主要有 BFM 跟 SFM 两个,同时还有一个 Facewarehouse 仅供学术研究使用,对比这些数据库,FACEGOOD 3DMM 主要体现在精度上,抛弃 kinect 这类民用级扫描技术,使用相机阵列的方式,可以完全重建人脸的所有肖像特征,如上图所示,图示 2 是 FACEGOOD 数据,图示 1 是 SFM 数据,后者在细节上损失很大,基本上只保留了人脸的大概特征。

    FACEGOOD 超高精度流程

    神经网络的优势主要在技术泛化上有很好的表现,但在高精度场合并非理想选择,为了达到高精度跟踪人脸的 3D 特征,包括脸型、五官的深度、微表情的变化等,FACEGOOD 研发人员使用传统算法实现了这一套方案,目前已经在超写实数字人上开始应用。

    FACEGOOD 推出10万点人脸关键点跟踪,重新定义工业级人脸3D重建

     

    公式 3

    FACEGOOD Pose Estimation。

    如上图公式 3 所示,基本思想是:同样基于人脸可由基础脸线性组合得出这样一个假设,FACEGOOD 团队研发了这样一套算法,Cm 是 FACEGOOD 3DMM 模型,第一步使用高精算法(图示 3)跟踪人脸的 2D 特征点,随后在此基础上拟合出人脸高精度 3D 模型,再通过 V(wi) 进一步优化 3D 模型,这一步的结果基本贴合到人脸。然后继续优化,在得出带有表情的基本 Eexp 之后,加上一个 detaV,使得 3D 模型完全对齐到人脸,到此就得到了一个完整的高精度的 3D 人脸,包括了在眼轮匝肌、口轮匝肌周围细微的高频的微表情信息。

    最终,得出精确的 3D 人脸之后,通过肌肉仿真算法,将表情参数重定向到虚拟人物,就跑完了全流程。

    参考文献:

    · 微表情在戏剧表演中对艺术真实塑造的作用,曹娜,衡阳师范学校音乐系,2016

    · T.F. Cootes and C.J. Taylor and D.H. Cooper and J. Graham (1995). "Active shape models - their training and application". Computer Vision and Image Understanding

    · Cootes, T. F.; Edwards, G. J.; Taylor, C. J. (1998). "Active appearance models". Computer Vision — ECCV'98. Lecture Notes in Computer Science.

    · Bilinear Model for 3D Face and Facial Expression Recognition,Iordanis Mpiperis,Fellow,IEEE,2008.

    · Ekman and W. Friesen. Facial Action Coding System: A Technique for the Measurement of Facial Movement. Consulting Psychologists Press, Palo Alto, 1978.

    · BRADLEY, D., HEIDRICH, W., POPA, T., AND SHEFFER, A. 2010. High resolution passive facial performance capture. ACM Trans. Graph. 29, 4 (July), 41:1–41:10.

    · PIGHIN, F. H., SZELISKI, R., AND SALESIN, D. 1999. Resynthesizing Facial Animation through 3D Model-based Tracking. In Proc. 7th International Conference on Computer Vision, Kerkyra, Greece, 143–150.

    · WEISE, T., BOUAZIZ, S., LI, H., AND PAULY, M. 2011. Realtime performance-based facial animation. ACM Transactions on Graphics (Proceedings SIGGRAPH 2011) 30, 4 (July).LIU, X., MAO, T., XIA, S., YU, Y., AND WANG, Z. 2008. Facial animation by optimized blendshapes from motion capture data. Computer Animation and Virtual Worlds 19, 3–4, 235–245.

    · LI, H., ADAMS, B., GUIBAS, L. J., AND PAULY, M. 2009. Robust single-view geometry and motion reconstruction. ACM Transactions on Graphics (Proceedings SIGGRAPH Asia 2009) 28, 5.

    · BALTRUSAITIS, T., ROBINSON, P., AND MORENCY, L.-P. 2012. 3D constrained local model for rigid and non-rigid facial tracking. In Computer Vision and Pattern Recognition (CVPR 2012).

    · CHUANG, E., AND BREGLER, C. 2002. Performance driven facial animation using blendshape interpolation. Tech. rep., Stanford University.

    展开全文
  • 之前也提到了,学术界的深度学习和工业界的深度学习区别还是挺大的,这次就来谈一下工业界的模型是如何落地的。 首先来回顾一下,项目的目的是对加油站的监控视频做实时分析,看有没有危险行为,就像之前所说的,在...

    之前也提到了,学术界的深度学习和工业界的深度学习区别还是挺大的,这次就来谈一下工业界的模型是如何落地的。

    首先来回顾一下,项目的目的是对加油站的监控视频做实时分析,看有没有危险行为,就像之前所说的,在加油站部署一个GPU不现实,第一耗电量大,第二机器未必能稳定运行,可能不小心被人撞了一下就断电了,第三那么多加油站每个加油站配一个GPU也是一笔大开销,除了GPU在云端跑数据的传输也是问题,毕竟我们还是讲究一个实时性,所以应该怎么办呢,华为的Atlas 500为我们提供的解决方案。

    所谓Atlas 500就是一个性能强大、能在边缘进行实时处理的边缘计算产品,能提供足够的算力跑模型,同时功耗也低,还稳定,能够在极其严苛的环境下工作。

    我不知道有多少人知道这个Atlas 500,反正我是第一次接触,说实话,刚上手的时候真的有点混乱,所以,本文的目的会偏向于简单介绍Atlas系列的各个产品,以及模型是怎么部署到Atlas 500上面的。

    如果你搜索一下华为的Atlas人工智能计算平台,点进华为的官网你会看到Atlas900、Atlas500、Atlas200还有一些处理器,简单来说,我的理解就是Atlas 900 AI集群、Atlas 800 Ai服务器算力最强,可以用来训练模型,也可以用来做模型的推理,而Atlas 500智能小站只能用来做推理,不能用来训练模型,Atlas 500中有一个Atlas 200AI加速模块,我简单地把它看成Atlas 500的CPU或者GPU的存在,反正Atlas 500能这么高效地进行推理计算,就是因为有这么一个Atlas 200AI加速模块。

    硬件方面大概就这样,那么我们怎么部署我们的模型呢,简单来说,就是我们训练好一个模型,把模型结构、参数保存起来,然后用华为提供的mind studio进行离线模型的转化,转化成Atlas 500支持的离线模型格式之后再传到Atlas 500上面,然后就可以调用模型进行推理了,之后模型输出的结果就会保存在Atlas 500上面或者传送回本地。

    这样说好像也不难,但是第一,华为只支持caffe或者tensorflow写的模型,而且它还只是支持tensorflow的部分算子,所以说,假如你用pytorch,直接就无缘atlas 500了,另一方面,如果你的tensorflow用的算子太新,atlas也不支持,所以怎么才能用华为支持的算子去写一个tensorflow模型,就变成了整个部署阶段最痛苦的过程。

    后期我会再详细说明怎么分析转化离线模型出现的问题、怎么修改tensorflow的算子,这次主要还是简单介绍一下Atlas 500这个边缘计算平台。

    视频分析的项目代码我放在了Github,欢迎交流:ObjectDetection-YOLOv3

    展开全文
  • 1、AI大咖去哪儿 人工智能还在等待寒武纪式的大爆发时期。 我们还不知道确切的时间,但...工业界巨头们重金邀请技术大牛加盟,学术界的大咖们也纷纷跨圈创业,其中有太多我们熟知的故事。这个行业中,聚集了如...
  • 知识图谱概述(五)知识图谱分类

    千次阅读 2020-03-19 08:47:04
    近年来,不管是学术界还是工业界都纷纷构建自家的知识图谱,按应用来说,主要可以分为两大类。
  • 人工智能、机器学习、模式识别、计算机视觉、数据挖掘、信息检索、自然语言处理等作为计算机科学重要的研究分支,不论是学术界还是工业界,有关这方面的研究都在如火如荼地进行着,学习这些方面的内容有一些经典书籍...
  • 不平衡数据分类

    千次阅读 2017-08-28 15:19:43
    不管是在学术界还是工业界,不平衡学习已经吸引了越来越多的关注,不平衡数据的场景也出现在互联网应用的方方面面,如搜索引擎的点击预测(点击的网页往往占据很小的比例),电子商务领域的商品推荐(推荐的商品被...
  • 01MATLAB的重要性为什么要强调MATLAB的重要性?不管是在学术界还是工业界,MATLAB无论从应用广度,及受众满意度得分都非常高,究其原因,无外乎以下几点:简单上手,谁用谁知道...
  • 「不管是去学术界还是工业界,在通往未来的道路上最好去公司实习一次。其实你只有在经历不同的东西之后,才会发现什么是最适合自己的。如果你长期处在同一个环境下,你只能知道当前这...
  • 写 在 前 面 正在学习数据分析,或者想从事数据分析...小编今天与大家分享一个数据分析和Python编写代码的好工具,它就是Jupyter,不论是在学术界还是工业界,Jupyter都已经开始逐步发力,走入主流市场。 Jupy
  • 无论是学术界还是工业界都有类似的规律。 例如,在工业界,以前流行C/C++,后来有了java,随后产生了C#,现在又流行python。以前发展迅猛的是电子商务,如去哪儿网,当当网,后来智能手机的出现带来了新的潮流,有...
  • 字节跳动开源云原生机器学习平台 Klever

    万次阅读 多人点赞 2020-12-24 11:46:45
    近年来,智能技术不论是在学术界还是工业界都取得了突破性进展。机器学习、深度学习开始在各行各业扮演重要角色:业务上,帮助企业优化运营、提高效率、改善客户体验;管理上,参与后台自动化运营,完成数据处理和...
  • 今天写的博客主要参考了2018年WWW会议上的论文《DRN: A Deep ...从整个发展趋势来看,强化学习最近无论是在学术界还是工业界都越来越火了,而由于强化学习框架中包含的实体概念比较多(Agent,State,Action,Rew...
  • 面向 open domain 的聊天机器人无论在学术界还是工业界都是个有挑战的课题,目前有两种典型的方法:一是基于检索的模型,二是基于 Seq2Seq 的生成式模型。前者回复答案可控但无法处理长尾问题,后者则难以保证一致性...
  • 机器学习已经成为了当前互联网领域不可或缺的技术之一,前辈们对机器学习模型的研究已经给我们留下了一笔非常宝贵的财富,然而在工业界的应用中我们可以看到,应用场景千千万万,数据...不管是在学术界还是工业界...
  • TensorFlow 安装笔记

    2016-08-17 00:32:27
    前言 ...经过一番比较我还是选择tensorflow,首先他是一个更通用的框架,而且对python支持最好,其次还有google支持,也是开源的,相信在未来无论是学术界还是工业界,他都会流行起来的。 安装-实...
  • SemEval语义分析ABSA任务及BRAT

    千次阅读 2018-08-01 22:28:15
    情感分析是NLP中的一大分支,无论在学术界还是工业界都有广泛的研究,在SemEval语义分析会议中有单独的情感分析任务分支,其中最难的一个任务叫做ABSA:Aspect-Based Sentiment Analysis,面向方面的情感分析。...
  • 深度学习开源框架众多,...编辑 | 言有三 1 Caffe的功绩笔者从2015年开始从事深度学习相关的工作,彼时不管是学术界还是工业界,Caffe是主流。哪怕随着几年后Tensorflow,MxNet,以及近两年Pytorch的崛起,在移动...
  • 编辑 | 言有三1 Caffe的功绩笔者从2015年开始从事深度学习相关的工作,彼时不管是学术界还是工业界,Caffe是主流。哪怕随着几年后Tensorflow,MxNet,以及近两年Pytorch的崛起,在移动端部署,各家公...
  • 【51CTO.com原创稿件】背景近几年,随着海量数据的累积、计算能力的提升和算法模型的创新,无论是在学术界还是工业界,深度学习在NLP领域已经得到越来越多的关注与应用,并且有很多可喜的落地成果。知识的抽取和挖掘...
  • 作为计算机视觉顶级会议的ICCV2017在美丽的意大利威尼斯成功落幕,40%的投稿来自中国,华人学者继续在AI领域引领一股思潮,无论是对于学术界还是工业界都能带来很多启发。每一届的ICCV workshop比赛都吸引了包括...
  • tensorflow错别字检测

    千次阅读 2018-08-13 17:09:29
    当前无论是学术界还是工业界,深度学习都受到极大的追捧,尤其是在Google开源深度学习平台TensorFlow之后,更是给深度学习火上浇油。目前在开源社区Github上所有开源项目中,TensorFlow最为活跃,从推出到现在,经历...
  • 基于opencv和Tensorflow的实时手势识别(1)

    万次阅读 多人点赞 2017-09-26 09:48:25
    临近毕业,找工作压力大,由于实验室...手势识别无论是在学术界还是工业界都已经很完美了,我这里也是从最简单的开始,一步一步来,防止自己自信心被打击。基本计划是: (1) 利用opencv录制需要的手势 (2)tensorf
  • 深度学习在文本领域的应用

    千次阅读 2018-07-31 08:32:13
    近几年以深度学习技术为核心的人工智能得到广泛的关注,无论是学术界还是工业界,它们都把深度学习作为研究应用的焦点。而深度学习技术突飞猛进的发展离不开海量数据的积累、计算能力的提升和算法模型的改进...
  • matlab_函数句柄@

    2017-12-02 18:14:23
    人工智能、机器学习、模式识别、计算机视觉、数据挖掘、信息检索、自然语言处理等作为计算机科学重要的研究分支,不论是学术界还是工业界,有关这方面的研究都在如火如荼地进行着,学习这些方面的内容有一些经典书籍...

空空如也

空空如也

1 2 3 4 5 ... 16
收藏数 302
精华内容 120
关键字:

学术界还是工业界