2018-07-31 17:22:40 lz_peter 阅读数 854

Lecture I : Introduction of Deep Learning

  • Introduction of Deep Learning
    • Step1 : define a set of function
    • Step2 : goodness of function
    • Step3 : pick the best function
  • Why Deep?
  • "Hello World" for Deep Learning

Lecture II : Tips for Training Deep Neural Network

  • Recipe of Deep Learning
    • Choosing proper loss
    • Mini-batch
    • New activation function
    • Adaptive Learning Rate
    • Momentum
    • Early Stopping
    • Weight Decay
    • Regularization
    • Dropout
    • Network Structure

Lecture III : Variants of Neural Network

  • Convolutional Neural Network(CNN)
  • Recurrent Neural Network(RNN)

Lecture IV : Next Wave

  • Supervised Learning
    • Ultra Deep Network
    • Attention Model
  • Reinforcement Learning
  • Unsuperivised Learning
    • Image:Realizing what the World Looks Like
    • Text:Understanding the Meaning of Words
    • Audio:Learning human language without supervision

 

2019-11-27 16:14:40 wozaipermanent 阅读数 26

李宏毅一天搞懂机器学习PPT,SildeShare链接:https://www.slideshare.net/tw_dsconf/ss-62245351?qid=108adce3-2c3d-4758-a830-95d0a57e46bc&v=&b=&from_search=3
也可以在csdn下载中下载(资源附学习笔记全文):https://download.csdn.net/download/wozaipermanent/11998637

1 Introduction of Deep Learning

1.1 Three Steps for Deep Learning

  • Step1: define a set of function (Neural Network)
  • Step2: goodness of function
  • Step3: pick the best function

1.2 Step1: Neural Network

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

1.2.1 Fully Connect Feedforward Network

在这里插入图片描述

1.2.2 Output Layer(Option)

在这里插入图片描述

  • Softmax(归一化指数函数):它能将一个含任意实数的k维向量Z“压缩”到另一个k维向量σ(Z)\sigma(Z)中,使得每一个元素的范围都在(0, 1)之间,并且所有元素的和为1。

1.2.3 Example Application

  • Handwriting Digit Recognition
    在这里插入图片描述

1.3 Step2: Goodness of Function

1.3.1 Learning Target

在这里插入图片描述

1.3.2 Loss

在这里插入图片描述

  • Total Loss:

在这里插入图片描述

1.4 Step3: Pick the Best Function

1.4.1 Gradient Descent

在这里插入图片描述

  • RBM(Restricted Boltzmann Machine): 受限玻尔兹曼机,这部分可以参考链接:https://zhuanlan.zhihu.com/p/22794772

  • Then Compute L/w\partial L / \partial w , if Negative then Increase w; elif Positive then decrease w

在这里插入图片描述

  • η\eta is called “learning rate”

在这里插入图片描述

Gradient Descent Diagram:

在这里插入图片描述

  • Randomly pick a starting point

1.4.2 Gradient Descent Difficulty

在这里插入图片描述

1.5 Deep is Better

1.5.1 Universality Theorem

1.5.2 Thin + Tall is Better

  • Neural network consists of neurons

  • A hidden layer network can represent any continuous function

  • Using multiple layers of neurons to represent some functions are much simper

  • Less parameters, less data

1.5.3 Modularization

在这里插入图片描述

1.6 Toolkit

1.6.1 Keras

在这里插入图片描述

1.6.2 Example of Handwriting Digit Recognition

Step1: define a set of function

在这里插入图片描述

Step2: goodness of function

在这里插入图片描述

Step3: pick the best function

在这里插入图片描述

Testing

score = model.evaluate(x_test, y_test)
print('Total loss on Testing Set: ', score[0])
print('Accuracy of Testing Set: ', score[1])
result = model.predict(x_test)

1.6.3 GPU to Speeding Training

  • Way1

    THEANO_FLAGGS=device=gpu0 python YourCode.py
    
  • Way2

    import os
    os.environ["THEANO_FLAGS"] = "device=gpu0"
    

2 Tips for Training Deep Neural Network

2.1 Good Results on Training Data

2.1.1 Choosing Proper Loss

在这里插入图片描述

2.1.2 Mini-Batch

在这里插入图片描述

2.1.3 New Activation Function

Vanishing Gradient Problem

在这里插入图片描述

ReLU

在这里插入图片描述

model.add(Activation('sigmoid'))
model.add(Activation('relu'))

在这里插入图片描述

ReLU - variant

在这里插入图片描述

2.1.4 Adaptive Learning Rate

Learning Rates

  • If learning rate is too large, total loss may not decrease after each update
  • If learning rate is too small, training would be too slow

在这里插入图片描述

Adagrad

在这里插入图片描述

Notes:

  • Learning rate is smaller and smaller for all parameters
  • Smaller derivatives, larger learning rate, and vice versa

2.1.5 Momentum

在这里插入图片描述

  • Adam: RMSProp (Advanced Adagrad) + Momentum. Adam (Adaptive Moment Estimation)本质上是带有动量项的RMSprop,它利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率。Adam的优点主要在于经过偏置校正后,每一次迭代学习率都有个确定范围,使得参数比较平稳。
    在这里插入图片描述

2.2 Good Results on Testing Data

2.2.1 Early Stopping

Why Overfitting

  • Learning target is defined by the training data.
  • The parameters achieving the learning target do not necessary have good results on the testing data.

Early Stopping

在这里插入图片描述

2.2.2 Weight Decay

Weight decay is one kind of regularization.

  • Our brain prunes out the useless link between neurons.
  • Doing the same thing to machine’s brain imporves the performance.
    在这里插入图片描述

2.2.3 Dropout

Training

在这里插入图片描述

  • Each time before updating the parameters

    • Each neuron has p% to dropout
      • The structure of the network is changed.
    • Using the new network for training
  • For each mini-batch, we resample the dropout neurons

Testing

在这里插入图片描述

Dropout - Intuitive Reason

在这里插入图片描述

Drop is a Kind of Ensemble

在这里插入图片描述

Try It

在这里插入图片描述

2.2.4 Network Structure

e.g. CNN is another good example.

3 Variants of Neural Network

3.1 Convolutional Neural Network (CNN)

3.1.1 Why CNN for Image

  • When processing image, the first layer of fully connected network would be very large.
  • Some patterns are much smaller than the whole image. A neuron does not have to see the whole image to discover the pattern.
  • The same patterns appear in different regions.
    在这里插入图片描述
  • Subsampling the pixels will not change the object, so we can subsample the pixels to make image smaller.

3.1.2 Three Steps

Step1: Convolutional Neural Network

在这里插入图片描述

Convolution

在这里插入图片描述

Max Pooling

在这里插入图片描述

  • Smaller than the original image.
  • The number of the channel is the number of filters.
Flatten

在这里插入图片描述

Summary

在这里插入图片描述

Step2: goodness of function & Step3: pick the best function

在这里插入图片描述

3.2 Recurrent Neural Network (RNN)

Step1: Recurrent Neural Network

在这里插入图片描述

LSTM

在这里插入图片描述

Step2: goodness of function

在这里插入图片描述

Step3 : pick the best function

在这里插入图片描述

4 Next Wave

4.1 Supervised Learning

4.1.1 Ultra Deep Network

在这里插入图片描述

4.1.2 Attention Model

在这里插入图片描述

4.2 Reinforcement Learning

4.2.1 Scenario of Reinforcement Learning

在这里插入图片描述

4.2.2 Supervised v.s. Reinforcement

在这里插入图片描述

4.2.3 Difficulties of Reinforcement Learning

  • It may be better to sacrifice immediate reward to gain more long-term reward.
  • Agent’s actions affect the subsequent data it receives.

4.3 Unsupervised Learning

4.3.1 Image: Realizing what the World Looks Like

在这里插入图片描述

4.3.2 Text: Understanding the Meaning of Words

  • Machine learn the meaning of words from reading a lot of documents without supervision
  • A word can be understood by its context

4.3.3 Audio: Learning Human Language Without Supervision

  • Audio segment corresponding to an unknown word (Fixed-length vector)
  • The audio segments correspondsing to words with similar pronunciations are close to each other.
    在这里插入图片描述
2018-11-18 16:00:33 weixin_41913844 阅读数 211

Deep Learning
• 上學期的「機器學習」錄影
• DNN: https://www.youtube.com/watch?v=Dr-WRlEFefw
• Tips for DNN: https://www.youtube.com/watch?v=xki61j7z-30
• CNN: https://www.youtube.com/watch?v=FrKWiRv254g
• RNN (Part 1): https://www.youtube.com/watch?v=xCGidAeyS4M
• RNN (Part 2): https://www.youtube.com/watch?v=xCGidAeyS4M
• Why Deep: https://www.youtube.com/watch?v=XsC9byQkUH8
• Auto-encoder: https://www.youtube.com/watch?v=Tk5B4seA-AU
• Deep generative model (Part 1):
https://www.youtube.com/watch?v=YNUek8ioAJk
• Deep generative model (Part 2):
https://www.youtube.com/watch?v=8zomhgKrsmQ

2018-11-05 09:28:36 fengdu78 阅读数 9

今天,本站推荐一份深度学习的小抄:台大李宏毅教授的深度学习讲义,这是我见过最容易懂的深度学习入门资料,300多页的讲义能系统、通俗易懂地讲清楚深度学习的基本原理,如同机器学习小抄一样生动形象。。

备注:本站以前发的一篇《机器学习小抄-(像背托福单词一样理解机器学习)》

把机器学习的概念做成背托福单词的随身小抄一样方便!分分钟搞定机器学习各种记不住的概念!

本文对小抄主要内容进行简要介绍,并且对主要部分做了页码标注和标题翻译:

1.讲义大纲

第一部分:介绍深度学习

1.1   深度学习概论(p5)

1.1.1 深度学习的三个步骤(p10)

        1)定义一系列函数(p11)

        1.1.2 函数的优点(p26)

                1) 训练数据(p27)

                2)学习目标(p28)

                3)损失函数(p29)

         1.1.3 选择最佳函数(p32)

        1)梯度下降(p33)

        2)反向传播推导(p44)

1.2   为什么使用深度(p47)

1.2.1 更多参数,更优性能(p47)

1.2.2  任何函数可以通过一个单一的隐藏层实现(p44)

1.2.3  深度学习:模块化?需要更少的数据(p52)

第二部分:关于训练深度神经网络的一些建议

2.1 合适的损失函数(p69)

        2.1.1 平方误差和交叉熵(p74)

2.2 Mini batch (p74)

        2.2.1 更好的性能(p83)

2.3 激活函数(p86)

        2.3.1 RELU(p92)

        2.3.2 Maxout(p98)

2.4 调整学习率(p98)

        2.4.1 Adagrad(p104)

2.5 Momentum(p108)

        2.5.1 Adam(p112)

2.6 解决过拟合(p115)

        2.6.1 更多的训练数据(p116)

2.7 早停(p119)

2.8 权重衰减(p121)

2.9 Dropout(p126)

2.10 网络架构(p138)

第三部分:各种各样的神经网络

3.1 CNN (p149)

        3.1.1 卷积(p158)

        3.1.2 池化(p165)

        3.1.3 平铺(p170)

3.2 RNN(p192)

3.3 LSTM(p196)

3.4 GRU(p211)

第四部分:下一股浪潮

4.1 监督学习(p226)

        4.1.1 超级深的网络(p226)

        4.1.2 注意力模型(p235)

4.2 增强学习(p252)

4.3 无监督学习(p264)

2.讲义截图:

3.总结:

一天读懂深度学习,尽管有点夸张,但这个讲义,确实把深度学习的概念基本都讲到了,读完讲义,将会对深度学习有总体的了解,对将来的学习会有很大帮助。尽管讲义不是最新(这个版本是2017年6月的),但是对于初学者入门,会有事半功倍的效果,本站极力推荐。

备注:本站为了方便读者,将pdf版本的讲义转换为ppt格式,方便大家使用(部分公式错乱,请参考pdf版本)

完整讲义下载请回复“李宏毅”查看

也可以直接用百度云下载:

链接:https://pan.baidu.com/s/1t0EpHwx46u_yzgPfpzOJyg 

提取码:h74o 

请关注和分享↓↓↓

机器学习初学者

QQ群:654173748

往期精彩回顾

2017-08-04 21:44:31 soulmeetliang 阅读数 2583

[机器学习入门] 李宏毅机器学习笔记-37(Deep Reinforcement Learning;深度增强学习入门)

PDF VIDEO

Deep Reinforcement Learning

深度增强学习是一套很复杂的方法,在这里只了解皮毛。

Scenario of Reinforcement Learning

有个傻傻的机器人小白(Agent)去闯荡世界(Environment),世界是非常开放的,将自己的状态(State)毫不吝啬地给小白呈现 ,而小白也会做出一些懵懵懂懂的探索动作(Action),这时候世界就会告诉小白你的所作所为是好的还是不好的(Reward)。

这里写图片描述

小白看到一杯水(State),懵懂的小白一下子将它打翻了(Action),则他会收到负面反馈(Reword)。由于环境是连续的,紧接着小白面前的就是一杯被打翻的水(State),于是试着把水擦干净(Action),得到了正面反馈(Reward)。

这里写图片描述

于是,小白要做的就是,根据前面收获的正面和负面反馈,去学习哪些能时正面反馈最大化的行为。


Learning to paly Go

这里写图片描述

这里写图片描述

可见,只有在少数的action下才有reword,这是一个难点。
下面来比较一下:Learning to paly Go - Supervised v.s. Reinforcement

这里写图片描述

在下棋这个任务里,监督学习就想从老师那里学习,看到A,落子到某处,看到B,落子到……
AlphaGo 采取的策略是先用监督学习learn的不错后,再用增强学习狂下棋。


Learning a chat-bot

原来我们的方法是:

这里写图片描述

再比较一下 Supervised v.s. Reinforcement

这里写图片描述

在增强学习中,机器人小白跟人讲话,看人脸色好,就知道自己讲对了,脸色差,就反省自己做错了。

这里写图片描述

当然不断跟人讲话会把人逼疯的,所以两个小白一直对话就好,但这样也有一个问题,下棋可以判断输赢,但是对话的脸色却是不好判断的,这是该任务的尚待解决的问题。

这里写图片描述

有一个方法是,Use some pre-defined rules to evaluate the goodness of a dialogue

这里写图片描述


More applications

在一些人也不知道对错的情况下,缺少labeled data ,这时候增强学习就比较适用。

这里写图片描述

这里写图片描述


Example: Playing Video Game

这里写图片描述

Space invader

Play yourself: http://www.2600online.com/spaceinvaders.htm l • How
about machine: https://gym.openai.com/evaluations/eval_Eduozx4HRyqgTCVk9ltw

这里写图片描述

这里写图片描述

Difficulties of Reinforcement Learning

这里写图片描述


Outline

增强学习有两大类,Policy-based是在learn一个做事的actor,而Value-based会learn不做事,只会评论的Critic。

这里写图片描述

增强学习的方法很多,在这里讲的是当时的最强方法:Asynchronous Advantage Actor-Critic (A3C)
Alpha Go 用的方法是:policy-based + value-based + model-based

Policy-based Approach

Learning an Actor

这里写图片描述

function是Pi,input是environment,output是Action。

回顾Deep learning 的是那个步骤:

这里写图片描述

Step 1: Neural Network of function

这里写图片描述

这里写图片描述

NN的好处就是比较generalized,即使没见过的场景,也可能给出合理的结果。

Step 2:goodness of function

这里写图片描述

Review: Supervised learning

这里写图片描述

在增强学习中一个Actor的好坏定义是非常类似的。

这里写图片描述

期望值衡量了actor 的好坏,那么这个期望值如何计算呢?

这里写图片描述

Step 3: pick the best function

这里写图片描述

这里写图片描述

这里写图片描述

这里写图片描述

这里写图片描述

这里写图片描述

Add a Baseline:

这里写图片描述

The probability of the actions not sampled will decrease.

Value-based Approach

Learning a Critic

这里写图片描述

Three kinds of Critics

这里写图片描述

这里写图片描述

How to estimate

这里写图片描述

这里写图片描述

这里写图片描述


Actor-Critic

这里写图片描述

这里写图片描述

这里写图片描述

Demo of A3C:

走迷宫:https://www.youtube.com/watch?v=nMR5mjCFZCw

这里写图片描述

开赛车: https://www.youtube.com/watch?v=0xo1Ldx3L5Q

这里写图片描述

end!

没有更多推荐了,返回首页