李沐 深度学习_李沐 深度学习 cmu - CSDN
  • 框架:Mxnet/Gluon 教程的网页资料:http://zh.gluon.ai 教程的GitHub地址:https://github.com/mli/cvpr17 直播:在斗鱼平台搜索“将门风投”

    框架:Mxnet/Gluon
    教程的网页资料:http://zh.gluon.ai
    教程的GitHub地址:https://github.com/mli/cvpr17
    直播:在斗鱼平台搜索“将门风投”

    展开全文
  • “大神”,是很多人对李沐的印象。作为一经推出便大受追捧的MXNet深度学习框架的主要贡献者之一,李沐功不可没。值得注意的是,这个由 DMLC(Distributed...
        
    640?wx_fmt=jpeg

     

    “大神”,是很多人对李沐的印象。作为一经推出便大受追捧的 MXNet 深度学习框架的主要贡献者之一,李沐功不可没。值得注意的是,这个由 DMLC(Distributed Machine Learning Community)打造的深度学习框架,创建者都是中国人,以陈天奇、李沐等为代表。现在,包括 AWS 在内的很多企业都将 MXNet 作为主流支持框架。

     

    作为深度学习“大神”,李沐的开挂人生经历并不被所有人熟知。为了加深大家对李沐的了解,我们对其学习、职业和研究生涯做了一个简单的总结。


    ACM班、百度、CMU、亚马逊,李沐的传奇人生

           640?wx_fmt=png      

     

    以倒叙时间线来看,李沐目前为止的职业和学习生涯大致是这样的:

     

    • 亚马逊首席科学家,2017 年 3 月至今

    • 百度首席架构师,2014.4-2015.12

    • CMU 读博士,2012-2017

    • Google Research 实习生,2013 年夏

    • 百度高级研究员, 2011.4 - 2012.8

    • 香港科技大学研究助理,2009 - 2010

    • 微软亚洲研究院实习,2007 年夏

    • 上交 ACM 班


    现状:在亚马逊发光发热


    按照李沐的领英个人页面介绍,他在亚马逊的工作职责主要有:领导 AWS AI 科学团队,使深度学习易于使用,包括

     

    1. 使用动手笔记本教授深度学习:https://d2l.ai

    2. 使CV / NLP / GNN更容易:https://gluon-cv.mxnet.io,https://gluon-nlp.mxnet.io,https://dgl.ai


    减少深度学习的机器成本:

     

    1. DL框架:https://.mxnet.io

    2. DL编译器:https://tvm.ai


    这其中提到的教授深度学习笔记,就是李沐在 2019 年 1 月在 UC 伯克利上线的深度学习入门课程 Introduction to Deep Learning。同授这门课程的还有李沐的亚马逊同事 Alex Smola。课程内容大致是按照李沐老师的开源新书《动手学深度学习》来安排的。

     

    课程主页:http://courses.d2l.ai/berkeley-stat-157/index.html

     

    GitHub:https://github.com/d2l-ai/berkeley-stat-157

     

    2017 年,李沐在其个人微博上总结了这一年他所在的亚马逊人工智能部门的两大重点工作:更灵活的前端 Gluon 和更可拓展的后端 NNVM compiler。

     

    其实早在 CVPR 2017 上,李沐就提出了 MXNet 的重要新接口 Gluon,还撰文介绍MXNet/Gluon 的教程:https://github.com/mli/cvpr17

     

    随后,在 2017 年 10 月,亚马逊 AWS 和微软共同宣布推出深度学习库 Gluon。Gluon 为各种水平的深度学习开发人员设计,帮助开发者在云端、App 和其他设备上设计原型,创建、训练和部署复杂的深度学习模型。目前,Gluon 已经与深度学习引擎 Apache MXNet 合作,并已支持另一个深度学习引擎——微软认知工具包(CNTK)。

     

    2017 年 10 月 7 日,亚马逊和华盛顿大学合作发布了开源的端到端深度学习编译器 NNVM compiler。NNVM 是华盛顿大学博士陈天奇等人 2016 年发布的模块化深度学习系统,2017 年 8 月中旬,他们又推出了将深度学习工作负载部署到硬件的端到端 IR 堆栈 TVM,支持将包括 MXNet、Pytorch、Caffe2、CoreML 等在内的深度学习模型编译部署到硬件上并提供多级别联合优化,使得速度更快,部署更加轻量级。NNVM compiler 对 CoreML 的支持,让开发者可以在非 iOS 设备上部署 CoreML 模型。


    自带光环的过去


    说完了李沐大神的现状,现在我们来简单回顾下他带有传奇色彩的人生经历。

     

    ACM 班“沐哥”

     

    2004 年,李沐从上海交通大学计算机系 ACM 班毕业,在学校人留下“沐哥”的传说。在同期同学的眼中,李沐作为 ACM 班的典型代表,是个颇有领袖气质的人,以至于自然而然地获得一个“沐哥”的称号。他还是一个德智体美劳全面发展优秀学生,从专业课到个人大学四六级考试成绩都名列前茅,且兴趣广泛。在上海交通大学,他又度过了四年硕士生涯。

     

    在后,2011 年 4 月-2012 年 8 月,他在百度担任高级研究员,创建了一套分布式机器学习广告系统。同年,在接到 CMU 的 offer 之后,他决定赴美深造。在李沐于 2017 年发布的文章《博士这五年》中,他提及了这段经历。

     

    2011 年,李沐收到 CMU 的offer,在当时还在百度的余凯和张潼的引荐下,李沐决定辞职离开百度,开启 CMU 博士生涯。

     

    CMU 师从 Alex Smola 和 Dave Andersen

     

    在 CMU,李沐师从机器学习大师 Alex Smola 和 分布式系统教授  Dave Andersen,在两个导师的辅导下,李沐迅速成长。

     

    此后,李沐加入了余凯的百度“少帅计划”,他选择了与相熟的陈天奇一起,把 CXXNet 作为起点,开始做深度学习相关项目。

     

    创建 MXNet

     

    此后,在陈天奇写 xgboost 的分布式启动脚本时,他们发现很多基础部件例如启动脚本,文件读取应该是可以多个项目共同使用,而不是每个项目都造一个轮子,于是李沐与陈天奇在 Github 上创建了一个叫 DMLC 的组织,用来加强合作和沟通。也就是这个组织,此后创建了全世界最受欢迎的深度学习框架之一——MXNet。

     

    MXNet 创建的背后,还有一段小故事:当时 CXXNet 其实已经达到了一定的成熟度,但它的灵活性有局限性,用户只能通过一个配置项来定义模型,而不是交互式的编程。此时,李沐同时还参与另外一个项目 Minerva(张峥起头,王敏捷带领),这是一个类似 numpy 的交互式编程接口,但这个灵活的接口对稳定性和性能优化带来很多挑战。同时给两个项目做分布式扩展的李沐很自然地想到,也许可以把两个项目合并起来,取长补短。

     

    在召集了两个项目的开发人员讨论了几次之后,新项目就此诞生,并被命名为 MXNet,意为 mixed-net,即 Minerva 和 CXXNet 的组合。

     

    当时,李沐同时在做 difacto 和 MXNet 两个项目,在同吴恩达的一次见面之后,李沐听从了他的建议,把全部精力放在了 MXNet。这样,在谷歌 Jeff Dean 牵头创建的 TensorFlow 开源压力之下,MXNet 专注于自己的所长,才有了后面的大获成功。

     

    《动手学深度学习》热卖

     

    最后再提一点,《动手学深度学习》这本由李沐,美国伊利诺伊大学香槟分校计算机科学博士 Aston Zhang,李沐在 CMU 的导师 Alex Smola ,以及来自社区的 100 多位贡献者合著的深度学习书籍,推出之后便大受欢迎,曾在 6 月份登上京东 24 小时热销榜 Top 1。

           640?wx_fmt=png       

    目前,这本书的交互式版本已推出了在线预览版,面向在校学生、工程师和研究人员,旨在帮助读者从入门到深入、动手学习深度学习,即使是零基础的读者也完全适用。

     

    • 在线书地址https://zh.gluon.ai/toc.html

    • GitHub 项目https://github.com/diveintodeeplearning/d2l-zh

    • PDFhttps://zh.gluon.ai/gluon_tutorials_zh.pdf


    好消息!李沐亲授「深度学习实训营」


    这里,我们要告诉大家一个好消息,那就是 AI ProCon 2019 邀请到了亚马逊首席科学家@李沐,在大会的前一天(9.5)亲授「深度学习实训营」,通过动手实操,帮助开发者一站式掌握 AI 核心技术,迅速上手深度学习应用。

     

    640?wx_fmt=png 

    除了深度学习「实训营」,李沐还将在第二天(9 月 6 日)作为 AI开发者大会(AI ProCon )的 Keynote 嘉宾,分享他对人工智能领域技术发展与行业应用的洞见。

     

    2019 AI开发者大会(AI ProCon),我们集结了国内外来自阿里、华为、Google Brain、Amazon、微软中国、百度、京东、小米、快手、科大讯飞、商汤、旷视、图森、云知声、思必驰等60+ 技术大咖,在 Keynote 和机器学习、计算机视觉、自然语言处理、知识图谱、推荐系统、5G 驱动 AIoT、AI 开源、AI+小程序、AI+DevOps 9 大技术论坛上分享硬核 AI 技术,深剖行业痛点,助力开发者职业发展!

     

    更多嘉宾正在确认之中......(最终出席嘉宾以现场为准)

     

    丰富的机器学习相关话题和问题讨论,相信会带给观众全新的想法与思考。还在等什么?迅速行动起来,到现场感受人工智能领域产学研大神、顶尖开发者汇聚一堂的热烈气氛,与大神一起头脑风暴,刷新你对 AI 技术的认知!

            640?wx_fmt=jpeg        

    特惠票价限时抢购中,扫码或点击阅读原文,了解更多嘉宾和大会信息。

    展开全文
  • 李沐深度学习

    2017-09-10 19:05:16
    深度学习时机器学习的分支。 深度学习网络可以更深,更复杂。 alphago:计算+增强学习 无人驾驶:物体识别 python在深度学习成为主流 caffe,tesorflow面向产品,开发困难,简单部署 mxnet,gluon:便利的开发,...

    深度学习时机器学习的分支。
    深度学习网络可以更深,更复杂。
    alphago:计算+增强学习
    无人驾驶:物体识别
    python在深度学习成为主流
    caffe,tesorflow面向产品,开发困难,简单部署
    mxnet,gluon:便利的开发,方便的部署
    深度学习算法

    展开全文
  •     栗子 发自 凹非寺  ...课程内容,大致是按照李沐老师的开源新书《动手学深度学习》来安排的 (但和去年放出的同名课程并不一样) 。 除了沐神,另外一位讲师是这本书的共同作者、亚马逊的同...

    ↑ 点击上方【计算机视觉联盟】关注我们

     

     

    栗子 发自 凹非寺 
    量子位 报道 | 公众号 QbitAI

    640?wx_fmt=png

    李沐老师的新课,这个月就要在伯克利开讲了。

    这是一门深度学习基础课,一周两节;每节课后,都会有课堂视频放出。

    640?wx_fmt=gif

    课程内容,大致是按照李沐老师的开源新书《动手学深度学习》来安排的 (但和去年放出的同名课程并不一样) 。

    除了沐神,另外一位讲师是这本书的共同作者、亚马逊的同事Alex Smola。

    640?wx_fmt=jpeg

    从基础到高难

    课程会从基础概念开始讲起。

    比如,数学和统计学范畴的链式法则、贝叶斯定理、逻辑回归等等。

    比如,深度学习入门需要的批尺寸 (Batch Size) 、学习率(Learning Rate) 、多层感知器 (MultiLayer Perceptrons) 、反向传播、随机梯度下降等等。

    640?wx_fmt=gif

    在那之后,便会走进神经网络的世界。

    先是卷积网络(CNN) ,从简单的LeNet开始,到ResNet这类用来做高精度模型的架构。

    再来就是序列模型 (Sequence Models) 和循环网络 (RNN) 。LSTM、GRU以及注意力机制都会在这里登场。

    640?wx_fmt=jpeg

     5月,就要搭建大规模视觉模型了

    作为一门注重实践的课程,课程表里有四节课标注了Making it Work,那便是老师向同学们传授实现大法的时候。

    以及,这门课完全基于Jupyter Notebook,每节课的内容,都有代码可以运行。

    所以,就算没有标注Making it Work,也可以自行实践 (比如下面这个皮卡丘检测活动) 。

    640?wx_fmt=gif

    另外,每周都会有作业题目放到网上。温馨提示,这是一门需要不停写代码的、强度很大的课。

    需要注意的是,虽然是基础课,大家也要携带Python基础,一点点线代基础,一点点统计学基础,再来上课。毕竟,这些部分不会讲得太细。

    想要提前看这本书的这里有资源:《动手学深度学习》中文版PDF和视频免费领!!!

    640?wx_fmt=gif

    声明:本文来源于网络,【量子位

    如有侵权,联系删除

    往期回顾

    ● 2018年12月精选文章目录一览

    ● 亲身经历2019年校招8个大厂心得体会,纯干货分享(大疆、百度...)● 独家总结 | 一文读懂机器学习的“发展历程” (时间历程,详细又充实!)● 人工智能相关领域的国际顶尖会议介绍● 2018年度最强的30个机器学习项目!

    640

    640

    展开全文
  • 点击上方“Datawhale”,选择“星标”公众号第一时间获取价值内容图文 / 静修 排版/ 家豪【导读】《动手学深度学习》这本书由亚马逊首席科学家李沐,亚马逊应用...
        

    点击上方“Datawhale”,选择“星标公众号

    第一时间获取价值内容



    640?

    图文 / 静修   排版 / 家豪

    【导读】《动手学深度学习》这本书由亚马逊首席科学家李沐,亚马逊应用科学家阿斯顿·张等大师合作打造,沉淀三年完成。本书采用交互式的学习方法,不但讲授了深度学习算法原理,还给出了代码运行与实现,让你在手调代码的同时理解消化知识。


    640?wx_fmt=png


    经常有学习者在微信后台私信留言小编:想要学习深度学习,但不知道怎么学,有没有推荐的书籍或经验传授一下。

    踩过坑的学习者应该都深有以下几点体会:

    深度学习需要一定量的数学基础,遇到难理解的数学公式简直令人抓狂。

    深度学习现有资料偏向理论,抽象难以理解,很容易让人雾里看花,琢磨不透。

    深度学习现有视频教学英文资料更多,虽然有字幕加持,但怎么也没有中文听着舒服。

    看到这里,有的人可能长叹一声,你是劝退我的吧,我告诉你:你成功了!

    别着急,现在我就来给大家安利一本适合深度学习初学者的书籍,好书傍身,助你轻松掌握机器学习。



    6月19日,作为Datawhale的一员,小编参加了AWS教育科技交流会,也是《动手学深度学习》这本书的新书发布会,现场请来了本书首要作者Aston Zhang和大家交流沟通。他们为了更好的迭代内容,几位理工科男进入斗鱼直播间与大家交流学习,本书交流社区的3000名小伙伴汇总了5000多个问题,精致打磨,迭代完成。这本书的主编还偷偷告诉小编,Aston在本书排版时候严格到注释中的一个空格都要纠正过来,严格遵守Pep8规范。


    我想正是因为作者严谨的态度和开源的精神,让本书获得韩佳炜、Bernhard Scholkopf、周志华老师等人联袂推荐,也已经被加州伯克利等15所全球知名高校用作教学书籍,更是在京东6·18大促计算机与电子书籍类别里夺得桂冠。听了这些是不是重拾学习深度学习的热情了,那现在让我们具体来了解下这本书吧。


    本书结构


    第一部分(第1章~第3章)涵盖预备工作和基础知识。第1章介绍深度学习的背景。第2章提供动手学深度学习所需要的预备知识,例如,如何获取并运行本书中的代码。第3章包括深度学习最基础的概念和技术,如多层感知机和模型正则化。如果读者时间有限,并且只想了解深度学习最基础的概念和技术,那么只需阅读第一部分。

     

    第二部分(第4章~第6章)关注现代深度学习技术。第4章描述深度学习计算的各个重要组成部分,并为实现后续更复杂的模型打下基础。第5章解释近年来令深度学习在计算机视觉领域大获成功的卷积神经网络。第6章阐述近年来常用于处理序列数据的循环神经网络。阅读第二部分有助于掌握现代深度学习技术。

     

    第三部分(第7章~第10章)讨论计算性能和应用。第7章评价各种用来训练深度学习模型的优化算法。第8章检验影响深度学习计算性能的几个重要因素。第9章和第10章分别列举深度学习在计算机视觉和自然语言处理中的重要应用。这部分内容读者可根据兴趣选择阅读。

     

    详情可见下图,描绘了本书的结构,其中由A章指向B章的箭头表明A章的知识有助于理解B章的内容。


    640?wx_fmt=jpeg


    代码


    本书代码基于Apache MXNet,是一个开源的深度学习框架,但书中只使用了MXNet的ndarray, autograd,gluon等模块或包的基础功能,即便是使用其他深度学习框架的小伙伴也可以很好的借助书中代码更好的理解和应用深度学习。


    书中的每一节代码都是可以独立运行的,而且会免费提供给大家,大家可以根据自己的理解修改,从而更好的理解算法的逻辑,真正做到了在文字,图像和公式外创建一个交互式学习环境,更好地理解学习。


    640?wx_fmt=gif


    交流社区


    https://discuss.gluon.ai/c/lecture?order=views,对于书中不理解或者认为书中存在问题的同学可以在交流社区上提问,会有专门的人回复你哦。另外,没事逛逛社区,学习下其他人的经验也是不错的选择呢。

    最后奉上资源:

    • 在线书地址:http://zh.d2l.ai/index.html

    • GitHub 项目:https://github.com/diveintodeeplearning/d2l-zh

    • PDF:https://zh.d2l.ai/d2l-zh.pdf

    • 视频讲解https://space.bilibili.com/209599371/channel/detail?cid=23541

    今日话题

    你在学习深度学习的过程中,还有什么觉得值得推荐的书籍呢?

    对于深度学习这部分,你有什么想要提问的问题吗?

    在评论区留言,分享给大家吧~

    你的分享,可以帮助大家共同学习进步。


    640?wx_fmt=png

    展开全文
  • 对于初学者来说,直接阅读英文... 本书向希望了解深度学习,特别是对实际使用深度学习感兴趣的学习者。本书并不要求你有任何深度学习或者机器学习的背景知识,我们将从头开始解释每个概念。虽然深度学习技术与应...
  • https://zh.gluon.ai//index.html
  • 深度学习(花书)+动手学深度学习李沐)学习资料整理1.深度学习(花书)1.1原书地址1.2中文版地址2.动手学深度学习李沐)2.1原书地址(MXNET)2.2视频资源+代码2.3 PyTorch版本 1.深度学习(花书) 1.1原书地址 ...
  • 1 为什么推荐李沐(动手学深度学习)呢? 如果你刚入门,时间也宽裕,不妨系统的学习下一些基本概念,如果你学习了一些内容但是没有构建起完整的知识架构也可以学习。 我想原因大概有几点 全书开源,可以方便下载...
  • 李沐、Aston Zhang 等人合力打造的《动手学深度学习》正式上线,免费供大家阅读。这是一本面向中文读者的能运行、可讨论的深度学习教科书 李沐的这本《动手学深度学习》也是使用 MXNet 框架写成的。但是很多...
  • 点上方蓝字计算机视觉联盟获取更多干货在右上方 ··· 设为星标 ★,与你不见不散伯克利2019深度学习课程是李沐老师大致按照李沐老师的开源新书《动手学深度学习》来安排的(...
  • 今年 9 月,曾经的百度少帅、如今的亚马逊 AI 主任科学家、 MXNet 的作者李沐博士推出了自己的这种文深度学习课程了——《动手学深度学习》。 该课程将使用 Apache MXNet (incubating) 的最新 gluon 接口来...
  • 在AI大热和人才奇缺的今天,掌握深度学习成为进入AI领域研究和应用的必备技能。来自亚马逊主任科学家李沐将以计算机视觉的经典问题——图像分类为例,手把手地教导大家从0到1搭建深度神经网络模型。深度学习时代,...
  • 李沐老师的《动手学深度学习》是一本入门深度学习的优秀教材,也是各大在线书店的计算机类畅销书。 作为MXNet的作者之一,李沐老师的教材自然也是使用MXNet框架写成的。但是很多入坑机器学习的萌新们使用的却是...
  • http://zh.gluon.ai/ http://zh.gluon.ai/
  • 经常会被问到你用深度学习训练模型时怎么样改善你的结果呢?然后每次都懵逼了,一是自己懂的不多,二是实验的不多,三是记性不行忘记了。所以写这篇博客,记录下别人以及自己的一些经验。 Ilya Sutskever(Hinton的...
  • 为了动⼿学深度学习,我们需要获取本书代码,安装并运⾏ Python、MXNet、gluonbook、Jupyter notebook 等⼯具。 Windows ⽤⼾ 第⼀步,根据操作系统下载并安装 Miniconda(⽹址:...
  • 晓查 发自 凹非寺量子位 报道 | 公众号 QbitAI李沐老师的《动手学深度学习》是一本入门深度学习的优秀教材,也是各大在线书店的计算机类畅销书。作为MXNet的作者...
  • 点击我爱计算机视觉标星,更快获取CVML新技术晓查 发自 凹非寺量子位 报道 | 公众号 QbitAI李沐老师的《动手学深度学习》是一本入门深度学习的优秀教材,也是各大在线书店的计算机...
  • 李沐老师的《动手学深度学习》已经有Pytorch和TensorFlow的实现了,并且有了中文版。网址:http://d2l.ai/简介 李沐老师的《动手学深度学习》自一年前发布以来广受欢...
1 2 3 4 5 ... 20
收藏数 1,456
精华内容 582
关键字:

李沐 深度学习