精华内容
下载资源
问答
  • 一天搞懂深度学习

    2018-12-07 10:29:13
    一天搞懂深度学习
  • 李宏毅-深度学习高级技巧一天搞懂深度学习。“一天搞懂深度学习”(共286页)。李宏毅教授在文中分四个章节对深度学习的介绍、训练深度神经网络的技巧,神经网络的种类以及未来的发展进行了介绍。注:为什么叫"一天...
  • 台湾大学教授李宏毅经典教程《一天搞懂深度学习》,300多页高清pdf。
  • 一天搞懂深度学习Deep Learning Tutorial
  • 李宏毅2018年最新版,一天搞懂深度学习,入门理解的最好资料
  • 本文是2016 台湾资料科学年会前导课程“一天搞懂深度学习”讲义,由台湾大学电机工程学助理教授李宏毅主讲。作者在文中分四个部分对神经网络的原理、目前存在形态以及未来的发展进行了介绍。深度学习的每一个核心...
  • 一天搞懂深度学习--台湾大学电机工程学助理教授李宏毅讲义pdf
  • Deep Learning Tutorial 李宏毅 一天搞懂深度学习技术原理
  • 李宏毅一天搞懂深度学习PPT+markdown语法的笔记,由于现在csdn下载无法自行设置积分,给出SlidesShare链接(有梯子的可以直接去下面链接处下载):...
  • 台湾李宏毅老师一天搞懂深度学习286页ppt的pdf版本带书签
  • 一天搞懂深度学习 Deep Learning Tutorial 高清pdf 一共286页 现在不能免费了。。最少2个积分
  • 一天搞懂深度学习ppt

    2019-06-21 13:33:05
    李宏毅教授教學的深度學習 幻灯片在这里 https://www.slideshare.net/tw_dsconf/ss-62245351 【原标题】一天搞懂深度學習--學習心得
  • 一天搞懂深度学习.flv

    2019-06-17 09:33:56
    台大教授李宏毅他的非常受欢迎的课程——《1天搞懂深度学习》。这门课程,深入浅出的介绍了深度学习的概念、框架及展望。
  • 前言 这是《一天搞懂深度学习》的最后一部分。 这个部分没什么要点主要是一些介绍性的东西,下面一张图足以概括。 转载于:https://www.cnblogs.com/whatyouknow123/p/8934271.html...

    前言

    这是《一天搞懂深度学习》的最后一部分。

     

    这个部分没什么要点主要是一些介绍性的东西,下面一张图足以概括。

     

    转载于:https://www.cnblogs.com/whatyouknow123/p/8934271.html

    展开全文
  • 深度学习《1天搞懂深度学习》,300多页的ppt,台湾李宏毅教授写的,很系统。
  • 一天搞懂深度学习》是一个300多页的PPT,是台湾学者李宏毅写的。虽然对于深度学习也有一定的了解了,但是有些知识点还是会经常忘记。温故知新,所以决定重看这本算是入门书籍吧。 PPT主要分成了四个部分:所以本...

    前言

    《一天搞懂深度学习》是一个300多页的PPT,是台湾学者李宏毅写的。虽然对于深度学习也有一定的了解了,但是有些知识点还是会经常忘记。温故知新,所以决定重看这本算是入门书籍吧。

    PPT主要分成了四个部分:所以本系列博客也将分成四篇来写。分别是:深度学习简介,训练神经网络的要点,神经网络的多样性和神经网络的新浪潮。

     

    一、深度学习介绍

      (1)神经网络主要有三个部分:定义模型函数->判断模型函数好坏->选择一个最好的函数

        1、神经网络之所以叫神经网络是因为它的作用过程很像神经单元。以下是神经元结构。

        2.因为神经元之间连接方式的不同,就延伸出了许多种不同的神经网络。

          比如全连接前向神经网络。这个网络的特点是前一层的每个神经单元都与下一层的所有的神经单元连接。

        3.判断模型函数的损失,最关键的就是要定义模型的损失函数,当我们确定了模型的损失函数,那么我们的目标就是最小化这个损失。进一步的说,选择最好的模型参数过程也变成求最小化损失函数的参数过程。

        4.选择最好的模型参数。采用枚举法显然是不可行的。一种有效的选择模型参数的方法是梯度下降法。但是梯度下降法并不能保证会到达全局最小,它经常会陷入局部最小的情况,这取决于初始点的选择。在深度学习中梯度下降算法的应用有一个特别的名字后向传播算法。后向传播算法其实就是一个利用梯度下降不断更新神经网络中不同神经节点的权重的过程。

     

    二、深度学习为什么深

    (1)深度学习为什么深

      1.毫无疑问,参数越多,模型训练的效果会更好。但是有理论已经证明了单隐层有足够多的神经单元的话可以实现任意函数。但是实际上单隐层内随着节点单元的数量增多,准确率提升的太慢,并且可能不升反降。

      2.相比于用单隐层进行训练,深度神经网络表示函数的方式更加的简洁。

      3.构建深度神经网络有利于模块化训练过程,这样或许我们就可以利用较少的训练数据来达到想要的效果。

     

    三、深度学习初探

    (1)可以使用keras和tensorflow进行模型训练

    转载于:https://www.cnblogs.com/whatyouknow123/p/8916700.html

    展开全文
  • 台大李宏毅教授深度学习公开课一天搞懂深度学习全部课件,这里是pdf版,还有ppt版,也会发布。这是公认的入门深度学习最好的学习资料之一。同时也会上传深度学习李宏毅全部的视频资料。
  • 台大李宏毅教授深度学习公开课一天搞懂深度学习全部课件,这里ppt版下(因为上传限制),也会发布。这是公认的入门深度学习最好的学习资料之一。同时也会上传深度学习李宏毅全部的视频资料。
  • 台大李宏毅教授深度学习公开课一天搞懂深度学习全部课件,这里ppt版上(因为上传限制),也会发布。这是公认的入门深度学习最好的学习资料之一。同时也会上传李宏毅深度学习全部的视频资料。
  • 原标题:【286页干货】一天搞懂深度学习(台湾资料科学年会课程) 本文是2016 台湾资料科学年会前导课程“一天搞懂深度学习”的全部讲义PPT(共268页),由台湾大学电机工程学助理教授李宏毅主讲。作者在文中分四...

    原标题:【286页干货】一天搞懂深度学习(台湾资料科学年会课程)

            本文是2016 台湾资料科学年会前导课程“一天搞懂深度学习”的全部讲义PPT(共268页),由台湾大学电机工程学助理教授李宏毅主讲。作者在文中分四个部分对神经网络的原理、目前存在形态以及未来的发展进行了介绍。深度学习的每一个核心概念在文中都有相关案例进行呈现,通俗易懂。一天的时间搞懂深度学习?其实并不是没有可能。

            深度学习 ( Deep Learning ) 是机器学习 ( Machine Learning ) 中近年来备受重视的一支,深度学习根源于类神经网络 ( Artificial Neural Network ) 模型,但今日深度学习的技术和它的前身已截然不同,目前最好的语音识别和影像辨识系统都是以深度学习技术来完成,你可能在很多不同的场合听过各种用深度学习做出的惊人应用 ( 例如:最近红遍大街小巷的 AlphaGo ),听完以后觉得心痒痒的,想要赶快使用这项强大的技术,却不知要从何下手学习,那这门课就是你所需要的。(关于深度学习的概述教程可见:http://www.cnblogs.com/liuyihai/p/8321299.html

    以下是课程大纲:

    什么是深度学习

    深度学习的技术表面上看起来五花八门,但其实就是三个步骤:设定好类神经网络架构、订出学习目标、开始学习,这堂课会简介如何使用深度学习的工具 Keras,它可以帮助你在十分钟内完成深度学习的程序。另外,有人说深度学习很厉害、有各种吹捧,也有人说深度学习只是个噱头,到底深度学习和其他的机器学习方法有什么不同呢?这堂课要剖析深度学习和其它机器学习方法相比潜在的优势。

    深度学习的各种小技巧

    虽然现在深度学习的工具满街都是,想要写一个深度学习程序只是举手之劳,但要得到好的成果可不简单,训练过程中各种枝枝节节的小技巧才是成功的关键。本课程中将分享深度学习的实作技巧及实战经验。

    CNN和RNN网络

    这段课程要讲解卷积神经网络CNN和递归式类神经网络 RNN。

    深度学习应用与展望

    深度学习可以拿来做甚么?怎么用深度学习做语音识别?怎么用深度学习做问答系统?接下来深度学习的研究者们在意的是什么样的问题呢?

     

    下面是课程全部PPT:

     

    深度学习吸引了很大的关注:我相信,你之前肯定见到过很多激动人心的结果。图中是谷歌内部深度学习技术的使用趋势,可以看到从2015年第二季度开始,使用量呈直线上升。本讲义聚焦深度学习基础技术。

    大纲:

    报告第一部分:介绍深度学习

    报告第二部分:关于训练深度神经网络的一些建议

    报告第三部分:各种各样的神经网络

    报告第四部分:下一股浪潮

    报告1:深度学习介绍

    深度学习有3步:神经网络架构--学习目标--学习。

    这三个步骤都是以数据为基础的。

    第3步:选择最佳的功能函数。

    从原理上说,深度学习非常简单。

    从函数的角度理解深度学习:第一步,是一个函数集;第二步,定义函数的拟合度;第三部,选择最佳函数。

    人类大脑的构成

    神经网络:神经元

    激活函数的工作原理

    不同的连接会导致不同的网络结构

    完全连接的反向网络:S型网络

    极深网络:从8层到19层,一直到152层。

    全连接的反向网络:矩阵系统

    输出层(选择)

    问题:

    下图中,总共有多少层?每一层有多少个神经元?

    结构能自动决定吗?

    第二步:学习目标,定义函数拟合度。

    例子:识别“2”

    训练数据:

    准备训练数据:图像和相应的标签

    学习目标

    损失:一个好的函数应该让所有例子中的损失降到最小。

    全局损失

    第三步:学习!选择最佳函数。

    如何选择最佳函数

    梯度下降

    梯度下降:综合多个参数考虑的时候,你发现什么问题了吗?

    局部最小值:梯度下降从来不会保证可以获得全局最小值

    反向传播

    可以做什么?

    第二部分:关于训练深度神经网络的一些小建议

    第三部分:各种各样的神经网络

     

    篇幅有限,PPT全文链接:

    关注微信公众号

    回复AI-01获取

     

    转载于:https://www.cnblogs.com/liuyihai/p/8448977.html

    展开全文
  • 一天搞懂深度学习”笔记 1. A brief Introduction of Deep Learning 1.1 Introduction of Deep Learning Neuron 权重和偏置称为神经元的参数,区别于神经网络结构参数,如神经元个数...

    “一天搞懂深度学习”笔记

    1. A brief Introduction of Deep Learning

    1.1 Introduction of Deep Learning

    • Neuron
    ![在这里插入图片描述](https://img-blog.csdnimg.cn/20190109113921652.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1ZWd1aXpoaWxpbg==,size_16,color_FFFFFF,t_70)

    权重和偏置称为神经元的参数,区别于神经网络结构参数,如神经元个数,隐含层层数,网络连接方式等,网络结构参数是超参之一, 需要人为根据经验设置。

    • 全连接前馈神经网络

    深度意味神经网络具有多个隐含层。

    神经网络结构确定了一个函数集(函数空间),特定的神经元参数确定了函数集中一个函数。

    • soft max 输出层

    softmax 输出层将网络输出值归一化到[0,1), softmax 层的输出可解释成输入vector 属于不同类的概率值。

    • loss function

    loss 可以衡量网络输出和期望输出的距离。在网络结构超参确定的情况下,我们的目标就是寻找一个使loss最小的函数,最终目标转化为:通过训练数据,以最小化 loss 函数为目标,寻找最佳神经元参数。

    • 网络优化算法:寻找最佳神经元参数

    基于梯度下降法的BP算法

    1.2 why deep ?

    实验证明,网络参数的增多,网络性能提升。

    任何复杂函数均能由单隐含层的网络拟合出来。

    网络参数的增多可以通过“广度学习”和“深度学习”的方式实现,哪一种方式更好呢?

    在编程中,我门通过定义子函数,实现复杂函数模块化,模块化的好处是子模块实现简单、子模块可以共用、高层调度实现复杂功能且形式简洁高效(main 函数形式通常是elegant的).类似的,我们说深度学习实现了模块化Modularization

    假设我们有一个图像分类任务,若按照上图方式训练各个分类器,则因为长发男数据较少,则 Classifier 2 的性能就较为 weak.

    若我们先训练两个基分类器,则两个基分类器因为有足够数据,可以训练得相当好。然后将它们视作module,第二层的每个分类器只需去 call 第一层的两个共用 modules 的 output ,就可以实现每个分类器的任务。所以虽然长头发男生的数据依然较少,此时 Classifier 2 的性能却比较 strong.

    在 Deep learnin 中,第一层的每个神经元是最 basic 的 classifier ,第二层 将第一层的 classifier 当做 module 去实现复杂的 classifier ,以此类推。
    故 deep learning 的好处是: 实现模组化后,每个模块会变得简单,所需训练数据较少。(这与人们津津乐谈的 AI = 深度学习+人工智能 的说法不同)

    关于why deep 的直观实例,可以参看油管上一个很好的视频:
    But what is a Neural Network? | Chapter 1, deep learning

    2.Tips for Training Deep Neural Network

    当我们训练两个分别为56层和20层的网络时,在测试集上的表现如右图所示,我门无法根据 20-layer 的损失曲线在 56-layer 的下方 ,就得出56-layer 的网络已经过拟合了。因为观察左图两者在训练集上的损失曲线,我们发现,56 layer 的网络性能居然弱于 20-layer, 这是不合理的,因为我们只要将56- layer 的网络前20 层参数与 20-layer保持一致,则损失曲线便与20-layer identity . 所以根据在训练集上的损失曲线表现看,我们对56-layer 的网络训练得还不够好,可能落入了局部最优。

    所以我们得根据网络在训练集上的表现和在测试集上的表现,对症下药。例如drop out 就是针对网络在测试集上的表现较差使用的技术。


    2.1 train set: choosing proper loss


    当我们使用softmax输出层时,我们倾向于使用交叉熵损失函数。原因是:相较平方损失函数,交叉熵损失函数的地貌更加陡峭,梯度更大,更不容易陷入局部最优。



    [图片上传中...(image.png-60b999-1518163976905-0)]

    2.2 train set: Mini-batch


    若batchsize 为1,就成为了随机梯度下降。
    但我们一般不将batchsize 设为1.从上面PPT 可以看出,在使用GPU 进行并行运算后,在相同时间内,batchsize = 1和batchsize =10,参数的更新总次数是相近的,但是batchsize = 10 时更稳定,收敛地更快。
    当batchsize 过大时,则一方面超出了GPU硬件并行能力,另一方面,此时去train 网络时会经常进入鞍点或局部极小值而无法逃离,训练过程中止,performance 下降,所以引入随机性是必要的,有助于逃离局部最优和鞍点。


    2.3 train set: New activation function



    • ReLU

    使用ReLU的好处是:
    计算快速,激活机制与生理类似,相当于无穷多个加权sigmoid函数加权,可以防止梯度消失。


    使用ReLU后,网络变成轻量的线性网络,并且这个线性网络随着输入input的不同而不同,相当于用多个线性网络去逼近一个复杂网络

    • Maxout
      Maxout 方法认为每个神经元的激活函数是可以学习的

    在maxout 的隐层中的一个神经元(图中的红色框)需要比普通网络的神经元多学习一倍参数,或者多倍(取决于在一个group 中的元素个数,一个group 中的元素个数人为指定)

    上图指出,ReLU是maxout学习到的激活函数中的一个特例, 即在Maxout 中学习到的参数为w,b,0,0时,则此时神经元的激活函数就等于ReLU。

    学习到一个神经元的参数都非零时,则激活函数为上图形式。

    maxout 可以学习到的激活函数为任意的分段线性凸函数,分段数目取决于一个group中的elementshumu


    与ReLU一样,给定一个input,网络将变成一个线性网络,并且这个线性网络随着input的不同而改变。给定一个input,我们可以对这个线性网络进行训练,更新部分参数,再给定一个input,我们可以对产生的另一个线性网络进行训练,更新部分参数。所以虽然max操作不好求导,但是采用maxout的网络仍然是可以train 的。

    2.4 train set: Adaptive Learning Rate

    • Adagrad
    • RMSprop

    与Adagrad 只有略微的不同,RMSprop对过去梯度平方和做了加权衰减。

    • Momentum


    • Adam

    2.6 test set: early stopping

    early stopping其实是在控制epochs的大小

    2.7 test set : Regularization





    在神经网络优化中,正则项技术其实与early stopping 的功能是近似重叠的。考虑网络参数初始化为接近零的值,随着更新次数的增加,参数会越来越偏离0。所以如果参数更新次数较小,参数偏离0的程度下降,而early stopping 就是为了控制epochs 的大小。正则化技术目的也是希望参数越接近零越好。所以说两者的功能是近似的。

    2.8 test set: Dropout



    dripout 有效性的解释:






    3.Variants of Neural Network

    3.1 Convolutional Neural Network (CNN)

    3.2 Recurrent Neural Network (RNN)

    4.Next Wave

    4.1Supervised Learning

    4.1.1 Ultra Deep Network
    4.1.2 Attention Model


    4.2 Reinforcement Learning

    4.3 Unsupervised Learning

    4.3.1 Image: Realizing what the World Looks Like
    4.3.2 Text: Understanding the Meaning of Words
    4.3.3 Audio: Learning human language without supervision

    参考资料

    一天搞懂深度学习

          </div>
        </div>
    </div>
    
    展开全文
  • 一天搞懂深度学习》--李宏毅

    千次阅读 2018-01-31 13:06:01
    【新智元导读】本文是2016 台湾资料科学年会前导课程“一天搞懂深度学习”的全部讲义PPT(共268页),由台湾大学电机工程学助理教授李宏毅主讲。作者在文中分四个部分对神经网络的原理、目前存在形态以及未来的发展...

空空如也

空空如也

1 2 3 4 5 ... 9
收藏数 180
精华内容 72
关键字:

一天搞懂深度学习