• 深度学习视频教程,中文授课,带有PPT,是难得的中文授课的深度学习视频!!
  • 李老师的视频教程相对比较系统的介绍了深度学习相关的理论。该视频教程共分成5个部分:李宏毅机器学习(2017)https://www.bilibili.com/video/av10590361?from=search&seid=456509998694502607李宏毅深度学习...

    李老师的视频教程相对比较系统的介绍了深度学习相关的理论。该视频教程共分成5个部分:

    李宏毅机器学习(2017)

    https://www.bilibili.com/video/av10590361?from=search&seid=456509998694502607

    李宏毅深度学习(2017)

    https://www.bilibili.com/video/av9770302?from=search&seid=456509998694502607

    李宏毅2017 深度学习GAN课程

    https://www.bilibili.com/video/av18603573?from=search&seid=456509998694502607

    李宏毅深度学习合辑 】Advanced Topics in Deep Learning

    https://www.bilibili.com/video/av19145699?from=search&seid=456509998694502607

    深度学习 李宏毅 】深度学习理论 Deep Learning Theory

    https://www.bilibili.com/video/av20961661?from=search&seid=4753772315676173168


    展开全文
  • 台大李宏毅深度学习经典ppt 深度学习入门经典教程,非常适合初学者
  • 1、Keras在这里我们推荐使用keras进行深度学习编程,比起tensorflow来说更容易学习,操作简单,2、手写识别实例这里手写识别的数据集来自于minst,一个非常常用的数据集,从keras里可以直接导入第一步,定义方程,...
    1、Keras

    在这里我们推荐使用keras进行深度学习编程,比起tensorflow来说更容易学习,操作简单,


    2、手写识别实例

    这里手写识别的数据集来自于minst,一个非常常用的数据集,从keras里可以直接导入


    第一步,定义方程,根据我们的输入、输出和神经网络层数来进行定义

    在这里我们定义了两层,所以需要model.add两次,并且第一层需要定义input,之后都不需要定义input,因为上一层的输出就可以作为下一层的输入;且直接使用sigmoid方法

    通过代码可以看出我们只需要定义使用的方法以及输入输出的维度即可,使用非常简单


    第二步计算loss,即计算标记和方程输出之间的差距


    第三步选择最优方程

    四个函数:training data、labels、batch_size和epoch


    将输入图片和标记转换成numpy array格式


    batch:将输入随机分成多个mini-batch中,记住一定要随机,然后每次epoch计算全部的mini-batch并更新全部参数,

    即一次epoch计算全部mini-batch,更新mini-batch个数的参数


    所以这里的epoch指的是更新全部batch的次数,


    不同的batch size运行速度不同,并不是说一定的examples时间一定,所以设置batch是有必要的,即我们使用了GPU平行运算,


    x1和x2理论上运行量一样多,但是使用batch将x1和x2一起计算时可以GPU平行计算,使得上面的运算是下面的运算的两倍




    展开全文
  • 深度学习历史深度学习经典步骤神经网络的符合标记含义Wij 代表的是从神经元j到神经元i,这样写的目的是便于表达,否则最后的表达式子就是Wij的转置,细节见下面。每个神经元的偏执值组成一个向量b单个神经元的...

    深度学习历史


    这里写图片描述


    深度学习经典步骤


    这里写图片描述

    这里写图片描述

    这里写图片描述

    神经网络的符合标记含义

    这里写图片描述

    这里写图片描述

    Wij 代表的是从神经元j到神经元i,这样写的目的是便于表达,否则最后的表达式子就是Wij的转置,细节见下面。

    这里写图片描述

    每个神经元的偏执值组成一个向量b

    这里写图片描述

    单个神经元的输出结果

    这里写图片描述

    这里写图片描述
    这里写图片描述

    所有神经元输出的结果

    这里写图片描述

    这里写图片描述


    深度学习示例数字识别


    这里写图片描述

    这里写图片描述

    这里写图片描述

    将图片reshape到一列(按行reshape或者按列reshape均可),类别可用0ne-hot来标记。


    深度学习损失函数


    这里写图片描述

    这里写图片描述

    这里写图片描述

    批量算损失,梯度下降法去更新参数,以便找到最优的目标函数。


    深度学习梯度下降法


    这里写图片描述

    这里写图片描述


    参考文献


    http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML17.html

    展开全文
  • 最近要做关于深度学习的调研报告,看了李宏毅的300页PPT,学习笔记如下: LECTURE 1 Introduction深度学习的介绍 深度学习实质上就是寻找一个函数模型,这个寻找的过程分为三个步骤: 定义模型(神经网络), 模型...
    最近要做关于深度学习的调研报告,看了李宏毅的300页PPT,学习笔记如下:
    

    LECTURE 1 Introduction

    深度学习的介绍

     深度学习实质上就是寻找一个函数模型,这个寻找的过程分为三个步骤: 定义模型(神经网络), 模型性能, 挑选最佳模型。
    

    神经网络

    深度学习的模型实质上就是一个神经网络,其中有许多神经元组成

    神经元
    神经网络的最小单位是神经元
    这里写图片描述
    图中所示的符号含义为:
    w——权值
    b——偏离值
    σ( )——激活函数

    全连接前馈网络
    全连接前馈网络是最简单的人工神经网络,是最常用的模型之一。
    全连接: 输出是上一层所有输出的加权和处理的结果
    前馈:各层之间没有反馈
    这里写图片描述

    输出层
    由于不同属性对应的值大小差异会很悬殊,直接处理可能会导致结果偏离真实方向。因此我们需要将 softmax 层作为输出层,来对数据进行归一化。
    这里写图片描述

    模型性能

    训练集
    为了使初始模型经过训练后成为一个能够满足我们要求的模型,我们需要准备一个训练集,这个训练集中包括输入的数据啊、图片啊、音频啊什么的,还包括一个与之分别相对应的我们所期待的输出结果。
    这里写图片描述
    学习目标
    我们训练模型的目的就是为了在输入数据后,所期待输出的对应的y值最大。例如,在识别手写数字时,我们输入一个手写数字“1”的图片,那么输出为“1”所对应的y值是所有y值中最大的。
    这里写图片描述
    误差
    当然,如果手写数字太潦草了,别说模型了,就连我们自己也很难识别出来,因此我们对真实值和测量值之间的差距进行量度。
    这里写图片描述
    总体误差
    把所有输入经过模型后输出的误差相加,就得到了总体误差。总体误差应该越小越好,我们需要找的最优模型应该具有最小的误差,而这个模型之间误差的不同的原因在于模型中的参数不同。
    这里写图片描述

    挑选最优模型

    如何寻找最优模型
    找最优模型等效于得出一系列模型参数(weights & b)使得总体误差最小化。
    梯度下降
    为了找到使得总体误差最小化的模型,我们可以利用梯度下降算法进行此操作。以下是梯度下降算法操作的步骤。
    step1:
    首先假设一个模型,具有模型参数{w1, w2, …, b1, b2, …},这个模型的总体误差为L,梯度下降算法将对单个参数w进行处理。
    step2:
    给w定义一个初始值,这个初始值可以是个随机值,也可以是一个RBM值。但要注意梯度下降不保证全局最小值,不同的起点值会到达不同的最小值点
    这里写图片描述
    step3:
    对总体误差L求w的偏导,如果偏导值为正数,则减小w,如果偏导值为复数,则增大w,因此我们定义一个公式,以便求解下一个w值。
    这里写图片描述
    其中η为学习率,是一个正数。重复此操作,直到偏导值足够小。
    step4:
    对所有的模型参数进行梯度下降的处理后可以得到一个最终坐标(w1, w2, …, b1, b3,…),如下图所示,就能得到一个最佳模型。
    这里写图片描述

    WHY DEEP?

    参数越多,模型性能越好

    “Hello World”for Deep Learning

    本节简单教大家如何使用Keras进行深度学习,使训练的模型具有识别手写数字的能力。

    """
    Keras:是一个基于Python的深度学习库
    """
    import Keras.
    #step1:define a set of function
    model = Sequential()
    model.add(Dense( input_dim = 28 * 28,
                     output_dim = 500))
    model.add( Activation('sigmoid'))
    model.add( Dense( output_dim = 500))
    model.add( Activation('sigmoid'))
    model.add( Dense(output_dim = 10))
    model.add( Activation('softmax'))
    
    #step2 goodness of function
    #step3.1 configuration
    model.compile(loss='mse',
                  optimizer=SGD(lr=0.1),
                  metrics=['accuracy'])
    #step3.2 find the optimal network parameters
    model.fit(x_train, y_train, batch_size=100, nb_epoch=20)

    关于Keras的文档:https://keras.io/

    展开全文
  • 前一期给大家分享了李宏毅老师17年深度学习课程的前半部分,今天继续与大家分享李老师的在2017年初陆续发放出来的关于深度学习/机器学习的视频课程后半部分。 整套视频的目录: 整套教程的视频及配套PPT...


    前一期给大家分享了李宏毅老师17年深度学习课程的前半部分,今天继续与大家分享李老师的在2017年初陆续发放出来的关于深度学习/机器学习的视频课程后半部分。

    整套视频的目录:


    整套教程的视频及配套PPT下载地址:

    链接: pan.baidu.com/s/1mh8Sto

    密码: 微信公众号回复“ma2”

    往期精彩内容推荐:

    模型汇总19 强化学习(Reinforcement Learning)算法基础及分类

    模型汇总-14 多任务学习-Multitask Learning概述

    纯干货7 Domain Adaptation视频教程(附PPT)及经典论文分享

    2017年最新中文版《深度学习》教材下载

    <模型汇总-10> Variational AutoEncoder_变分自动编码器原理解析

    更多深度学习NLP方面应用的经典论文、实践经验和最新消息,欢迎关注微信公众号“深度学习NLPDeepLearning_NLP”或扫描二维码添加关注。


    展开全文
  • 李宏毅深度强化学习- Sparse RewardReward ShapingCurriculum LearningHierarchical Reinforcement Learning 李宏毅深度强化学习课程 https://www.bilibili.com/video/av24724071 笔记更新中: 李宏毅深度强化学习...
  • 背景介绍 DL很火,老师大概说了一下它能用的场景,给出了Jeff Dean(2009年当选美国工程院...深度学习的发展史Up and downs of deep learning 里面有些生词: 受限玻尔兹曼机,英文名字是Restricted Boltzma...
  • lectureⅠ Fully Connect Feedforward Network ...此外,softmax在增强学习领域内,softmax经常被用作将某个值转化为激活概率 Loss can be square error(方差) or cross entropy(交叉熵)between the network...
  • 转载自:机器学习算法那些事ID:Charlotte77公众号:Charlotte数据挖掘By Charlotte77前言:李宏毅的教材,非常经典,B站有配套视频...
  • 机器学习就是自动找函式,任何与人工智能有关的问题都可以看作是在找它的函式f。 eg.语音识别 f(一段语音)= “语音内容” 图像识别 f(一张图片)=“图片内容” 下围棋 f(棋局)=“下一跳next move” 对话系统 f(你对...
  • 李宏毅深度强化学习- Outline李宏毅深度强化学习课程评价:强化学习:举例深度学习的特点:强化学习方法Policy-based approach -- learn an actorValue-based approach -- learn a criticActor-Critic 李宏...
  • 李宏毅强化学习-1 IntroductionReinforcement learning:Examples:Properties of RL:RL ApproachPolicy-based approach -- learn an actorValue-based approach -- learn a criticActor-Critic Reinforcement ...
  • 台湾大学李宏毅老师在 2016 年台湾资料科学年会上发布了一个前导课程“一天搞懂深度学习”。全部讲义包含 300 页 PPT。李宏毅老师的这份教程主要对神经网络的原理、目前存在形态以及未来的发展进行了介绍。深度学习...
  • 台湾大学教授李宏毅经典教程《一天搞懂深度学习》,300多页高清pdf。
  • 在上一节课的最后,我们发现logistic regression的局限是不能处理非线性数据,因此提出了特征转换。而特征转换往往不是可以一眼看出来的,所以我们先通过两个logistic regression来提取特征,再把提取的特征作为最终...
  • 今天给大家推荐李宏毅老师的一天搞懂深度学习ppt。李老师从以下四个方面进行介绍:第一部分:介绍深度学习第二部分:深度神经网络的建议第三部分:神经网络的多样性第四部分:未来...
  • txt内容为百度云链接,链接内容为台大李宏毅教授的中文课程,目前国内最好的免费国语机器学习课程
1 2 3 4 5 ... 20
收藏数 728
精华内容 291
关键字:

李宏毅教 深度学习