李宏毅教授 深度学习_李宏毅教授深度学习 - CSDN
  • 李老师的视频教程相对比较系统的介绍了深度学习相关的理论。该视频教程共分成5个部分:李宏毅机器学习(2017)...seid=456509998694502607李宏毅深度学习(2017)https://www.bilibili.com/video/av9770302?from=search...

    李老师的视频教程相对比较系统的介绍了深度学习相关的理论。该视频教程共分成5个部分:

    李宏毅机器学习(2017)

    https://www.bilibili.com/video/av10590361?from=search&seid=456509998694502607

    李宏毅深度学习(2017)

    https://www.bilibili.com/video/av9770302?from=search&seid=456509998694502607

    李宏毅2017 深度学习GAN课程

    https://www.bilibili.com/video/av18603573?from=search&seid=456509998694502607

    李宏毅深度学习合辑 】Advanced Topics in Deep Learning

    https://www.bilibili.com/video/av19145699?from=search&seid=456509998694502607

    深度学习 李宏毅 】深度学习理论 Deep Learning Theory

    https://www.bilibili.com/video/av20961661?from=search&seid=4753772315676173168


    展开全文
  • 深度学习视频教程,中文授课,带有PPT,是难得的中文授课的深度学习视频!!
  • 台大李宏毅教授深度学习2017课程的作业ppt,是对应课程的官方作业
  • 1、深度学习,是一个矩阵计算过程,输入层,隐含层,输出层 2、神经元一层层计算 3、链接视频

    1、深度学习,是一个矩阵计算过程,输入层,隐含层,输出层



    2、神经元一层层计算




    3、链接视频








    展开全文
  • 很直观 入门很好! Lecture I: Introduction of Deep Learning Lecture II: Tips for Training Deep Neural Network Lecture III: Variants of Neural Network Lecture IV: Next Wave
  • 李宏毅深度学习景点讲义PPT完整版 对于深度学习,首先第一步定义方法 - 神经网络。深度学习顾名思义是指多层的神经网络。 神经网络的思想来源于对于人脑的生理上的研究,人脑由数亿个神经元组成,神经元通过轴突...
  • 先引用他人关于李宏毅教授关于深度学习导论的PPT,应该非常容易入门。 《1天搞懂深度学习》,300多页的ppt,台湾李宏毅教授写的,非常棒。不夸张地说,是我看过最系统,也最通俗易懂的,关于深度学习的文章。“ ...

    先引用他人关于李宏毅教授关于深度学习导论的PPT,应该非常容易入门。

    《1天搞懂深度学习》,300多页的ppt,台湾李宏毅教授写的,非常棒。不夸张地说,是我看过最系统,也最通俗易懂的,关于深度学习的文章。“

    具体链接如下:百度云链接:https://pan.baidu.com/s/1os1QHXy3uE0C-t7ScbIn8A 密码:qwvj

    废话少说,先上干货,整个PPT的思维导图如下:

     

    深度学习概论

    介绍深度学习

    作者非常浅显的指出机器(深度)学习过程非常简单,分为定义方法、判断方法的优劣、挑选出最佳的方法。

    对于深度学习,首先第一步定义方法 - 神经网络。深度学习顾名思义是指多层的神经网络。

    神经网络的思想来源于对于人脑的生理上的研究,人脑由数亿个神经元组成,神经元通过轴突互相连接通信。神经网络和人脑类似,存在多个层级(layer),每个层级都有多个节点(神经元),层级和层级之间相互连接(轴突),最终输出结果。

    对于神经网络的计算能力可以理解为通过一层层Layer的计算归纳,逐步的将抽象的原始数据变的具体。以图片识别为例,输入是一个个像素点,经过每层神经网络,逐步变化成为线、面、对象的概念,然后机器有能力能够识别出来。

     

     第二步,评估方法的优劣。

    Loss function是用于评估方法优劣,通常我们用学习出来的参数对测试数据进行计算,得出对应的预测(y)然后和真实的测试数据的目标值(t)进行比对,y和t之间的差距往往就是Loss。那么评估一个算法的好坏,就是要尽可能的降低Loss。

     

    第三步,如何获得最佳的学习方法

    获得最佳的学习是采用梯度下降算法,作者也提到梯度下降算法存在局部最优解的问题。人们往往认为机器无所不能,实际上更像是在一个地图上面拓荒,对周边一无所知。神经网络计算梯度的算法是反向传播算法,简称BP。

     

    Why Deep?

    作者首先指出越多的参数往往带来越好的预测能力,所以神经网络往往参数越多越好。那么如果是同样的参数情况下,为什么层级较多的表现会更好呢?

     

    作者认为深度网络可以带来模块化的好处,随着网络的层级,神经网络会将像素元素逐渐归纳出一些基本的特征,进而变成纹理,进而变成对象。

     

    训练方法

     

    作者总结下来训练过程中会发现了两种情况:

    1. 没有办法得到很好的训练结果 ---》 重新选择训练方式

    2. 没有办法得到很好的测试结果 ---》 往往由于过度拟合导致,需要重新定义方法

     

     

    优化训练方法的手段:

    1. 选择合适的Loss function:使用Cross Entropy效果要优于Mean Square Error

    2. Mini-batch: 每次训练使用少量数据而不是全量数据效率更高

    3. Activation Function:使用ReLU替代Sigmoid可以解决梯度消失的问题,可以训练更深的神经网络

    4. Adaptive Learning Rate:可以随着迭代不断自我调整,提高学习效率

    5. Momentum: 可以一定程度上避免陷入局部最低点的问题

     

    避免过度拟合(overfitting)的方法:

    1. Early Stopping:使用cross validation的方式,不断对validation data进行检验,一旦发现预测精度下降则停止。

    2. Weight Decay:参数正则化的一种方式?

    3. Dropout:通过随机去掉一些节点的连接达到改变网络形式,所以会产生出多种网络形态,然后汇集得到一个最佳结果

    4. Network Structure: 例如CNN等其他形态的网络

     

    神经网络变体

    Convolutional Neural Network (CNN)

    通常情况下,一个CNN包含多次的卷积、池化,然后Flatten,最终再通过一个深度神经网络进行学习预测。CNN在图像、语音识别取得非常好的成绩,核心的想法在于一些物体的特征往往可以提取出来,并且可能出现在图片的任何位置,而且通过卷积、池化可以大大减少输入数据,加快训练效率。

     

    Recurrent Neural Network (RNN)

    RNN的想法是可以将hidden layer的数据存储下来,然后作为输入给下一个网络学习。这种网络的想法可以解决自然语言中前后词语是存在关联性的,所以RNN可以把这些关联性放到网络中进行学习。

     

    其他前沿技术

    Ultra Deep Network:2015年出现了152层的Residual Net实现了图片3.57%错误率

     

    Reinforcement Learning: 通过奖励机制强化学习,并且做出相应的动作

    Unsupervised Learning:

    1. Deep Style

    2. 生成图片

     

    3. 无需人工介入理解文字的含义

     

    原文链接:https://zhuanlan.zhihu.com/p/34313995

    展开全文
  • 深度学习》作者:李宏毅,对AI有兴趣的朋友可以下来看下
  • 台大李宏毅教授深度学习公开课一天搞懂深度学习全部课件,这里是pdf版,还有ppt版,也会发布。这是公认的入门深度学习最好的学习资料之一。同时也会上传深度学习李宏毅全部的视频资料。
  • 1、随机梯度下降 2、 3、 4、局部最优

    1、随机梯度下降


    2、



    3、



    4、局部最优


    展开全文
  • 台达李弘毅老师的深度学习教案,深入浅出,不需要数高深的数学你都可以看懂
  • 台大教授李宏毅深度学习课程 2017中文视频讲解PPT。
  • 1新智元编译1来源:Linkedin译者:胡祥杰【新智元导读】本文是2016 台湾资料科学年会前导课程“一天搞懂深度学习”的全部讲义PPT(共268页),由台湾大学电机工程学助理教授李宏毅主讲。作者在文中分四个部分对神经...

    1新智元编译1

    来源:Linkedin

    译者:胡祥杰

    【新智元导读】本文是2016 台湾资料科学年会前导课程“一天搞懂深度学习”的全部讲义PPT(共268页),由台湾大学电机工程学助理教授李宏毅主讲。作者在文中分四个部分对神经网络的原理、目前存在形态以及未来的发展进行了介绍。深度学习的每一个核心概念在文中都有相关案例进行呈现,通俗易懂。一天的时间搞懂深度学习?其实并不是没有可能。

    关注新智元,在公众号后台回复0822,可下载全部PPT(PDF版)

    深度学习 ( Deep Learning ) 是机器学习 ( Machine Learning ) 中近年来备受重视的一支,深度学习根源于类神经网络 ( Artificial Neural Network ) 模型,但今日深度学习的技术和它的前身已截然不同,目前最好的语音识别和影像辨识系统都是以深度学习技术来完成,你可能在很多不同的场合听过各种用深度学习做出的惊人应用 ( 例如:最近红遍大街小巷的 AlphaGo ),听完以后觉得心痒痒的,想要赶快使用这项强大的技术,却不知要从何下手学习,那这门课就是你所需要的。

    这门课程将由台大电机系李宏毅教授利用短短的一天议程简介深度学习。以下是课程大纲:

    什么是深度学习

    深度学习的技术表面上看起来五花八门,但其实就是三个步骤:设定好类神经网络架构、订出学习目标、开始学习,这堂课会简介如何使用深度学习的工具 Keras,它可以帮助你在十分钟内完成深度学习的程序。另外,有人说深度学习很厉害、有各种吹捧,也有人说深度学习只是个噱头,到底深度学习和其他的机器学习方法有什么不同呢?这堂课要剖析深度学习和其它机器学习方法相比潜在的优势。

    深度学习的各种小技巧

    虽然现在深度学习的工具满街都是,想要写一个深度学习的程序只是举手之劳,但要得到好的成果可不简单,训练过程中各种枝枝节节的小技巧才是成功的关键。本课程中将分享深度学习的实作技巧及实战经验。

    有记忆力的深度学习模型

    机器需要记忆力才能做更多事情,这段课程要讲解递归式类神经网络 ( Recurrent Neural Network ),告诉大家深度学习模型如何可以有记忆力。

    深度学习应用与展望

    深度学习可以拿来做甚么?怎么用深度学习做语音识别?怎么用深度学习做问答系统?接下来深度学习的研究者们在意的是什么样的问题呢?

    本课程希望帮助大家不只能了解深度学习,也可以有效率地上手深度学习,用在手边的问题上。无论是从未尝试过深度学习的新手,还是已经有一点经验想更深入学习,都可以在这门课中有所收获。

    下面是课程全部PPT,由于篇幅有限,新智元对第一部分进行了翻译:

    深度学习吸引了很大的关注:

    我相信,你之前肯定见到过很多激动人心的结果。图中是谷歌内部深度学习技术的使用趋势,可以看到从2015年第二季度开始,使用量呈直线上升。本讲义聚焦深度学习基础技术。

    大纲:

    报告第一部分:介绍深度学习

    报告第二部分:关于训练深度神经网络的一些建议

    报告第三部分:各种各样的神经网络

    报告第四部分:下一股浪潮

    报告1:深度学习介绍

    深度学习有3步:神经网络架构--学习目标--学习。

    这三个步骤都是以数据为基础的。

    第3步:选择最佳的功能函数。

    从原理上说,深度学习非常简单。

    从函数的角度理解深度学习:第一步,是一个函数集;第二步,定义函数的拟合度;第三部,选择最佳函数。

    人类大脑的构成

    神经网络:神经元

    激活函数的工作原理

    不同的连接会导致不同的网络结构

    完全连接的反向网络:S型网络

    极深网络:从8层到19层,一直到152层。

    全连接的反向网络:矩阵系统

    输出层(选择)

    问题:

    下图中,总共有多少层?每一层有多少个神经元?

    结构能自动决定吗?

    第二步:学习目标,定义函数拟合度。

    例子:识别“2”

    训练数据:

    准备训练数据:图像和相应的标签

    学习目标

    损失:一个好的函数应该让所有例子中的损失降到最小。

    全局损失

    第三步:学习!选择最佳函数。

    如何选择最佳函数

    梯度下降

    梯度下降:综合多个参数考虑的时候,你发现什么问题了吗?

    局部最小值:梯度下降从来不会保证可以获得全局最小值

    反向传播

    可以做什么?

    第二部分:关于训练深度神经网络的一些小建议

    第三部分:各种各样的神经网络

    篇幅有限。200页以后PPT请在新智元公众号后台回复0822,下载浏览。

    新智元Top10智能汽车创客大赛招募!

    新智元于7月11日启动2016年【新智元100】人工智能创业公司评选,在人工智能概念诞生60周年之际,寻找中国最具竞争力的人工智能创业企业。

    智能驾驶技术是汽车行业的重点发展方向之一,同时也是人工智能相关产业创新落地的重要赛道之一。为此新智元联合北京中汽四方共同举办“新智元Top10智能汽车创客大赛”,共同招募智能汽车相关优质创业公司,并联合组织人工智能技术专家、传统汽车行业技术专家、关注智能汽车领域的知名风投机构,共同评审并筛选出Top 10进入决赛,在2016年10月16日“国际智能网联汽车发展合作论坛”期间,进行路演、颁奖及展览活动。

    如何参加【新智元Top10智能汽车创客大赛】评选

    点击文章下方阅读原文,在线填写报名表。该报名表为参加评选必填资料。

    如有更多介绍资料(例如BP等),可发送至xzy100@aiera.com.cn,邮件标题请注明公司名称。如有任何咨询问题,可联系微信号Kunlin1201。

    评选活动时间表

    创业企业报名期:即日起至2016年8月31日

    专家评委评审期:2016年9月

    入围企业公布期:2016年10月18日

    展开全文
  • 李宏毅深度学习ppt

    2020-07-17 17:50:52
    台湾大学李宏毅教授深度学习方面的一些课堂ppt资料,希望可以帮到你们
  • lectureⅠ Fully Connect Feedforward Network ...此外,softmax在增强学习领域内,softmax经常被用作将某个值转化为激活概率 Loss can be square error(方差) or cross entropy(交叉熵)between the network...
  • ”《1天搞懂深度学习》,300多页的ppt,台湾李宏毅教授写的,非常棒。不夸张地说,是我看过最系统,也最通俗易懂的,关于深度学习的文章。“PPT下载地址 废话少说,先上干货,整个PPT的思维导图如下: 深度...
  • 李宏毅教授的课程ppt以及转换后的pdf文档,《一天弄懂深度学习》,希望对你有所帮助。 李宏毅教授的课程ppt以及转换后的pdf文档,《一天弄懂深度学习》,希望对你有所帮助。 李宏毅教授的课程ppt以及转换后的pdf文档...
  • 由国立台湾大学李宏毅老师主讲的纯中文版,2020年深度学习机器学习课程开课了,2020年课程补充很多新的内容,持续更新中。 文末附本课程视频及ppt免费下载地址(持续更新)。 课程首页 ... 李宏毅(李弘毅)分别于...
1 2 3 4 5 ... 20
收藏数 570
精华内容 228
关键字:

李宏毅教授 深度学习