李宏毅 深度学习_李宏毅机器学习深度学习视频 - CSDN
  • 机器学习三个步骤:defifine a set of function(model) -> goodness of function -> pick the best function 定义模型/函数集合 损失函数,评判模型/函数好坏 选出最好的模型/...

    目录

    Introduction 

     Learning Map

    Supervised Learning(监督学习)

    Regression(回归)

    Classifification(分类)

    Binary Classifification(二元分类)

    Multi-class classifification(多元分类)

    model(function set) 选择模型

    Semi-supervised Learning(半监督学习)

    Transfer Learning(迁移学习)

    Unsupervised Learning(无监督学习)

    Structured Learning(结构化学习)

    Regression,Classification  VS  Structured Learning

    Reinforcement Learning(强化学习)


    Introduction 

    机器学习三个步骤:defifine a set of function(model) -> goodness of function -> pick the best function

                                    定义模型/函数集合     

                                    损失函数,评判模型/函数好坏    

                                    选出最好的模型/函数 

     Learning Map

    下图中,同样的颜色指的是同一个类型的事情
     
    蓝色方块指的是scenario,即学习的情境。通常学习的情境是我们没有办法控制的,比如做 reinforcement Learning是因为我们没有data、没有办法来做supervised Learning的情况下才去做的。如果有datasupervised Learning当然比reinforcement Learning要好;因此手上有什么样的data,就决定你使用什么样的scenario
     
    红色方块指的是task,即要解决的问题。你要解的问题,随着你要找的functionoutput的不同,有输scalarregression、有输出optionsclassifification、有输出structured objectstructured Learning...
     
    绿色的方块指的是model,即用来解决问题的模型(function set)。在这些task里面有不同的model,也就是说,同样的task,我们可以用不同的方法来解它,比如linear modelNon-linear model(deep LearningSVMdecision treeK-NN...) 
     

    Supervised Learning(监督学习)

    supervised learning 需要大量的training data,这些training data告诉我们说,一个我们要找的function,它的inputoutput之间有什么样的关系
     
    而这种functionoutput,通常被叫做label(标签),也就是说,我们要使用supervised learning这样一种技术,我们需要告诉机器,functioninputoutput分别是什么,而这种output通常是通过人工的 方式标注出来的,因此称为人工标注的label,它的缺点是需要大量的人工effort
     

    Regression(回归)

    regressionmachine learning的一个task,特点是通过regression找到的function,它的输出是一个 scalar数值
     
    比如PM2.5的预测,给machinetraining data是过去的PM2.5资料,而输出的是对未来PM2.5的预测数值,这就是一个典型的regression的问题
     

    Classifification(分类)

    regressionclassifification的区别是,我们要机器输出的东西的类型是不一样的,在regression里机器输出的是scalar,而classifification又分为两类:
     

    Binary Classifification(二元分类)

     
    binary classifification里,我们要机器输出的是yes or no,是或否
    比如G-mailspam fifiltering(垃圾邮件过滤器),输入是邮件,输出是该邮件是否是垃圾邮件
     

    Multi-class classifification(多元分类)

     
    multi-class classifification里,机器要做的是选择题,等于给他数个选项,每一个选项就是一个类别,它要从数个类别里面选择正确的类别
     
    比如document classifification(新闻文章分类),输入是一则新闻,输出是这个新闻属于哪一个类别(选项)
     

    model(function set) 选择模型

    在解任务的过程中,第一步是要选一个functionset,选不同的function set,会得到不同的结果;而选不同的function set就是选不同的modelmodel又分为很多种:
     
    • Linear Model(线性模型):最简单的模型
    • Non-linear Model(非线性模型):最常用的模型,包括:   
    • deep learning

      alpha-go下围棋,输入是当前的棋盘格局,输出是下一步要落子的位置;由于棋盘是

      19*19的,因此可以把它看成是一个有19*19个选项的选择题

    • SVM

    • decision tree

    • K-NN

    Semi-supervised Learning(半监督学习)

    举例:如果想要做一个区分猫和狗的function
     
    手头上有少量的labeled data,它们标注了图片上哪只是猫哪只是狗;同时又有大量的unlabeled data,它们仅仅只有猫和狗的图片,但没有标注去告诉机器哪只是猫哪只是狗
     
    Semi-supervised Learning的技术里面,这些没有labeleddata,对机器学习也是有帮助的
     

    Transfer Learning(迁移学习)

    假设一样我们要做猫和狗的分类问题
     
    我们也一样只有少量的有labeleddata;但是我们现在有大量的不相干的data(不是猫和狗的图片,而是一些其他不相干的图片),在这些大量的data里面,它可能有label也可能没有label
     
    Transfer Learning要解决的问题是,这一堆不相干的data可以对结果带来什么样的帮助
     

    Unsupervised Learning(无监督学习)

    区别于supervised learningunsupervised learning希望机器学到无师自通,在完全没有任何label情况下,机器到底能学到什么样的知识
     
    • 举例来说,如果我们给机器看大量的文章,机器看过大量的文章之后,它到底能够学到什么事情?它能不能学会每个词汇的意思?
     
    学会每个词汇的意思可以理解为:我们要找一个function,然后把一个词汇丢进去,机器要输出告诉你说这个词汇是什么意思,也许他用一个向量来表示这个词汇的不同的特性,不同的attribute
     
    • 又比如,我们带机器去逛动物园,给他看大量的动物的图片,对于unsupervised learning来说,我们data中只有给function的输入的大量图片,没有任何的输出标注;在这种情况下,机器该怎么学会根testing data的输入来自己生成新的图片?
     

    Structured Learning(结构化学习)

    structured Learning里,我们要机器输出的是,一个有结构性的东西
     
    在分类的问题中,机器输出的只是一个选项;在structured类的problem里面,机器要输出的是一个复杂的物件
     
    • 举例来说,在语音识别的情境下,机器的输入是一个声音信号,输出是一个句子;句子是由许多词汇拼凑而成,它是一个有结构性的object
     
    或者说机器翻译、人脸识别(标出不同的人的名称)
     
    比如GAN也是structured Learning的一种方法
     

    Regression,Classification  VS  Structured Learning

    我们所熟知的是regression和classification,但并不代表机器学习只有这两个,下面是他们的对比图

    Structured Learning就像是是一个暗黑大陆,我们还不能完全探知

    Reinforcement Learning(强化学习)

    Supervised Learning:我们会告诉机器正确的答案是什么 ,其特点是Learning from teacher

     
    • 比如训练一个聊天机器人,告诉他如果使用者说了“Hello”,你就说“Hi”;如果使用者说了“Bye bye”,你就说“Good bye”;就好像有一个家教在它的旁边手把手地教他每一件事情
    Reinforcement Learning:我们没有告诉机器正确的答案是什么,机器最终得到的只有一个分数,就是它做的好还是不好,但他不知道自己到底哪里做的不好,他也没有正确的答案;很像真实社会中的学习,你没有一个正确的答案,你只知道自己是做得好还是不好。其特点是Learning from critics
     
    • 比如训练一个聊天机器人,让它跟客人直接对话;如果客人勃然大怒把电话挂掉了,那机器就学到 一件事情,刚才做错了,它不知道自己哪里做错了,必须自己回去反省检讨到底要如何改进,比如 一开始不应该打招呼吗?还是中间不能骂脏话之类的

    再拿下棋这件事举例,supervised Learning是说看到眼前这个棋盘,告诉机器下一步要走什么位置;reinforcement Learning是说让机器和对手互弈,下了好几手之后赢了,机器就知道这一局棋下的不错,但是到底哪一步是赢的关键,机器是不知道的,他只知道自己是赢了还是输了
     
    其实Alpha Go是用supervised Learning+reinforcement Learning的方式去学习的,机器先是从棋谱学习,有棋谱就可以做supervised的学习;之后再做reinforcement Learning,机器的对手是另外一台机器,Alpha Go就是和自己下棋,然后不断的进步

     

    展开全文
  • 台大李宏毅深度学习概括

    千次阅读 2018-07-20 11:02:40
    深度学习概论 介绍深度学习 作者非常浅显的指出机器(深度)学习过程非常简单,分为定义方法、判断方法的优劣、挑选出最佳的方法。 对于深度学习,首先第一步定义方法 - 神经网络。深度学习顾名思义是指多层的...

    http://www.cnblogs.com/wdsunny/p/6477018.html

    废话少说,先上干货,整个PPT的思维导图如下:

     

    深度学习概论

    介绍深度学习

    作者非常浅显的指出机器(深度)学习过程非常简单,分为定义方法、判断方法的优劣、挑选出最佳的方法。

    对于深度学习,首先第一步定义方法 - 神经网络。深度学习顾名思义是指多层的神经网络。

    神经网络的思想来源于对于人脑的生理上的研究,人脑由数亿个神经元组成,神经元通过轴突互相连接通信。神经网络和人脑类似,存在多个层级(layer),每个层级都有多个节点(神经元),层级和层级之间相互连接(轴突),最终输出结果。

    对于神经网络的计算能力可以理解为通过一层层Layer的计算归纳,逐步的将抽象的原始数据变的具体。以图片识别为例,输入是一个个像素点,经过每层神经网络,逐步变化成为线、面、对象的概念,然后机器有能力能够识别出来。

     

     第二步,评估方法的优劣。

    Loss function是用于评估方法优劣,通常我们用学习出来的参数对测试数据进行计算,得出对应的预测(y)然后和真实的测试数据的目标值(t)进行比对,y和t之间的差距往往就是Loss。那么评估一个算法的好坏,就是要尽可能的降低Loss。

     

    第三步,如何获得最佳的学习方法

    获得最佳的学习是采用梯度下降算法,作者也提到梯度下降算法存在局部最优解的问题。人们往往认为机器无所不能,实际上更像是在一个地图上面拓荒,对周边一无所知。神经网络计算梯度的算法是反向传播算法,简称BP。

     

    Why Deep?

    作者首先指出越多的参数往往带来越好的预测能力,所以神经网络往往参数越多越好。那么如果是同样的参数情况下,为什么层级较多的表现会更好呢?

     

    作者认为深度网络可以带来模块化的好处,随着网络的层级,神经网络会将像素元素逐渐归纳出一些基本的特征,进而变成纹理,进而变成对象。

     

    训练方法

     

    作者总结下来训练过程中会发现了两种情况:

    1. 没有办法得到很好的训练结果 ---》 重新选择训练方式

    2. 没有办法得到很好的测试结果 ---》 往往由于过度拟合导致,需要重新定义方法

     

     

    优化训练方法的手段:

    1. 选择合适的Loss function:使用Cross Entropy效果要优于Mean Square Error

    2. Mini-batch: 每次训练使用少量数据而不是全量数据效率更高

    3. Activation Function:使用ReLU替代Sigmoid可以解决梯度消失的问题,可以训练更深的神经网络

    4. Adaptive Learning Rate:可以随着迭代不断自我调整,提高学习效率

    5. Momentum: 可以一定程度上避免陷入局部最低点的问题

     

    避免过度拟合(overfitting)的方法:

    1. Early Stopping:使用cross validation的方式,不断对validation data进行检验,一旦发现预测精度下降则停止。

    2. Weight Decay:参数正则化的一种方式?

    3. Dropout:通过随机去掉一些节点的连接达到改变网络形式,所以会产生出多种网络形态,然后汇集得到一个最佳结果

    4. Network Structure: 例如CNN等其他形态的网络

     

    神经网络变体

    Convolutional Neural Network (CNN)

    通常情况下,一个CNN包含多次的卷积、池化,然后Flatten,最终再通过一个深度神经网络进行学习预测。CNN在图像、语音识别取得非常好的成绩,核心的想法在于一些物体的特征往往可以提取出来,并且可能出现在图片的任何位置,而且通过卷积、池化可以大大减少输入数据,加快训练效率。

     

    Recurrent Neural Network (RNN)

    RNN的想法是可以将hidden layer的数据存储下来,然后作为输入给下一个网络学习。这种网络的想法可以解决自然语言中前后词语是存在关联性的,所以RNN可以把这些关联性放到网络中进行学习。

     

    其他前沿技术

    Ultra Deep Network:2015年出现了152层的Residual Net实现了图片3.57%错误率

     

    Reinforcement Learning: 通过奖励机制强化学习,并且做出相应的动作

    Unsupervised Learning:

    1. Deep Style

    2. 生成图片

     

    3. 无需人工介入理解文字的含义

     

    展开全文
  • 视频链接:https://www.bilibili.com/video/av9770190/?p=6深度学习分为三部分:定义一系列方程,计算方程的loss,然后选出最好的方程深度学习神经网络类似于人类的大脑的神经网络,每个方程可以看做一个神经元,...

    视频链接:https://www.bilibili.com/video/av9770190/?p=6


    深度学习分为三部分:定义一系列方程,计算方程的loss,然后选出最好的方程


    深度学习神经网络类似于人类的大脑的神经网络,每个方程可以看做一个神经元,不同神经元连接会产生不同结果,在这里我们介绍一下fully connect feedforward network

    1、fully connect feedforward network

    每个神经元都与下一层全部的神经元连接即fully connect,如图所示


    fully connect神经网络结构,由输入、隐藏层和输出组成,每个神经元与下一层神经元全连接


    计算时可以使用矩阵计算,输入向量乘上wight加上bias得出输出,每一层都是这么计算,上一层的输出时下一层的输入,由此直到最后产生输出


    一连串的vector乘上matrix

    举例:手写数字识别


    输入是256维像素代表的向量,输出每个数字的概率



    2、goodness of function



    计算标记与计算值之间的差距,即loss


    减小这个total loss,一个是找一个function,一个是找参数

    方法是gradient descent:


    学习:


    展开全文
  • 背景介绍 DL很火,老师大概说了一下它能用的场景,给出了Jeff Dean(2009年当选美国工程院...深度学习的发展史Up and downs of deep learning 里面有些生词: 受限玻尔兹曼机,英文名字是Restricted Boltzma...

    简介

    从DL的历史开始,结合机器学习的三板斧,讲解了FC的前向计算,最后给出了手写数字识别的例子。
    DL很火,老师大概说了一下它能用的场景,给出了Jeff Dean(2009年当选美国工程院院士,2018年 4月3日,出任谷歌旗下搜索与人工智能(AI)业务部门的高级副总裁。)的一张ppt。
    在这里插入图片描述
    图中显示的是DL在谷歌内部的项目数量。
    在线Latex公式

    DL的发展

    • 1958: Perceptron (linear model)
    • 1969: Perceptron has limitation
    • 1980s: Multi-layer perceptron
    • Do not have significant difference from DNN today
    • 1986: Backpropagation
    • Usually more than 3 hidden layers is not helpful
    • 1989: 1 hidden layer is “good enough”, why deep?
    • 2006: RBM initialization (breakthrough),这里RBM相当于换了名字的NN,但是后来证明没啥用
    • 2009: GPU
    • 2011: Start to be popular in speech recognition
    • 2012: win ILSVRC image competition
    里面有些生词:
    受限玻尔兹曼机,英文名字是Restricted Boltzmann Machine,简称RBM。
    https://blog.csdn.net/u013631121/article/details/76652647
    ImageNet Large Scale Visual Recognition Challenge是图像分类领域的比赛,也叫人工智能“世界杯”之称的ImageNet大规模视觉识别挑战赛。

    DL三部曲

    第一步

    在这里插入图片描述

    NN的结构

    到这里接上一节课内容
    Different connection leads to different network structures
    Network parameter 𝜃: all the weights and biases in the “neurons”
    总的来说,一个NN结构就是一个函数空间(function set)参数不一样得到的函数也不一样,不同的函数预测的效果也不一样。下面是要从这个NN结构代表的函数空间中找到一种衡量函数好坏的方法,最终选出最好的function。
    在这里插入图片描述
    不同的连接方式可以得到不同的网络结构,在这个神经网络里面,有一大堆的logistics regression,每个logistics regression都有它们自己的weight和bias,这些weight和bias集合起来就是这个神经网络的参数,记为:θθ
    NN的结构中神经元neurons如何连接是我们自己设计的,最常见的是FC( 全连接前馈网络 Fully Connect Feedforward Network)NN
    在这里插入图片描述
    下面是输入经过第一层计算的结果(这里过了sigmoid函数):
    在这里插入图片描述
    上面0.98的计算是:算z=(11+(-1)(-2)+1)=4,带入σ函数即可。同理可以算出下面的结果:
    在这里插入图片描述
    当然,如果输入不一样,结果也不一样:
    在这里插入图片描述
    当一样NN的结构和参数都定了,就是定了一个function,它的输入和输出都是向量。上面的两个例子可以写为:
    在这里插入图片描述
    确定一个NN结构如果没有定参数就是一组函数(function set)

    可以看到整个网络(包含参数)就是定义了一个function(这里没有复数s),它的输入和输出是向量。
    如果只给出网络结构,没有给参数,就是定义了一个function set。参数当然是要learn出来的咯,不然为什么叫机器学习。
    也就是说第一板斧和机器学习一样,也是决定一个function set,而且这个function set比之前学的linear regression或者logistics regression的function set更加复杂,按老师的说法是涵盖它们的。

    FC小结

    小结一下全连接前馈网络,并讲了神经网络里面的基本概念(输入层,隐藏层,输出层,神经元)

    1. 相邻两层每个neuron之间两两连接
    2. 输入到输出方向是从后向前的。
      在这里插入图片描述
      深度就是指隐藏层很多,现在只要是神经网络都归类于深度学习(隐藏层只有一层也算),上面给出了近几年网络层数的变化。
      坑:152层的神经网络,当然不可能使用全连接的方式,需要使用特殊的连接方式(残差连接),以后会讲。
      在这里插入图片描述

    NN中的矩阵运算

    NN这个结构之所以流行的一个非常重要的原因就是矩阵,在GPU上矩阵运算超快。
    神经网络的计算可以转换为矩阵的操作,把之前的例子进行转换如下图所示:
    在这里插入图片描述
    可以写为:
    在这里插入图片描述
    一般化后,第一层的权重和bias可以集合起来写成w1,b1w^1,b^1,第二层写成w2,b2w^2,b^2,第L层写为:wL,bLw^L,b^L
    输入:x1,x2,...,xNx_1,x_2,...,x_N可以写为XX
    (这里和ng的深度学习课程里面符号用的差不多。)
    可以看到最后的输出y实际上就是矩阵的递归,写成矩阵运算的方式可以方便GPU进行加速。
    在这里插入图片描述
    整个构架可以看做:
    隐藏层:特征提取器,对输入层的特征提取、替换等特征工程操作
    输出层:多分类器,对前面处理好的特征进行分类。这里用的softmax如果不记得可以看上一课笔记。
    在这里插入图片描述

    实例:手写数字识别

    终于不是宝可梦拉。ppt对问题的输入和输出都讲得很清楚,就不多解释了。
    输入:图片看做是向量
    在这里插入图片描述
    输出:
    在这里插入图片描述
    整个构架我们只定下来输入和输出,中间结构啥样还没定。和前面的传统机器学习不一样的是,这里我们需要决定网络的结构(有几个隐藏层,每个隐藏层有几个神经元)。
    决定神经网络结构非常关键,如果网络结构不好,也就意味function set不好,如果function set没有包含好的function,那也没办法从中找到最优解!
    在这里插入图片描述
    如果用FC:
    在这里插入图片描述
    整个FC构架实际上是:A function set containing the candidates for Handwriting Digit Recognition.
    我们需要:decide the network structure to let a good function in your function set.

    FAQ

    那我们如何选择隐藏层的数量,每层神经元的个数?这两个决定了结构,也就决定了function set。
    答案:Trial and Error+Intuition
    DL并没有比机器学习简单,只不过是将原来的问题换一个角度来看,原来传统机器学习会需要花大量的时间来进行特征处理或变换,而在神经网络中则不需要对特征进行特别处理,例如在图像处理的时候一般都直接把图像的像素作为特征直接作为输入层。在神经网络中主要工作在于确定网络的结构。
    究其原因,类似语音识别或图像识别问题,特征自动提取往往比较困难,不如把工作放在确定网络的结构上反而比较容易。
    从大局上来看,如果一个问题(语音识别、图片识别)的特征不好抽取,那我们选择让机器来帮我们抽取,我们只负责来决定如何定义NN模型的结构即可。如果问题的特征(类似NLP中的情感识别,我们手工定义正向词汇和负面词汇就可以获得不错的结果)很明显,那我们可以手工进行特征工程。
    Q: Can the structure be automatically determined?
    E.g. Evolutionary Artificial Neural Networks
    Q: Can we design the network structure?
    Convolutional Neural Network (CNN)

    第二步

    在这里插入图片描述
    这里实际上还是要计算Loss,计算方式和之前上一节中讲的多分类(multi classification)问题是一样的,用的是交叉熵:
    在这里插入图片描述
    我们要调整参数,使得整个交叉熵越小越好。
    也就是对所有的训练数据:
    在这里插入图片描述
    然后累加得到:
    在这里插入图片描述
    然后:
    Find a function in function set that minimizes total loss L.
    或者:Find the network
    parameters θ\theta^∗ that minimize total loss L.
    方法就是梯度下降

    第三步

    在这里插入图片描述
    梯度下降的思路是用损失函数分别对每个参数进行偏导,然后得到梯度,结合学习率,进行参数的更新。这里的梯度下降和前面讲的梯度下降算法过程一样,但是这里的函数复杂一些(神经网络参数多啊)。
    1.参数θθ中包含很多个参数w1,w2,......b1......w_1,w_2,......b_1......,先给它们一个随机初始值;
    2. 接下来计算梯度(也就是每个参数对于total loss L的偏导数(L/w1,L/w2,......L/b1......\partial{L}/\partial w_1,\partial{L}/\partial w_2,......\partial{L}/\partial b_1......)),把所有的偏导(为什么老师叫偏微分-。-)集合起来就是梯度了。
    在这里插入图片描述
    集合起来写成向量形式:
    在这里插入图片描述
    在这里插入图片描述
    最后问题就变成如何计算复杂函数中的偏导,其实就是下一节课的内容(反向传播:backpropagation)老师非常贴心的给出一些已经实现了的库,说在做作业的时候可以直接调用。
    在这里插入图片描述
    另外还给出一个链接:反向传播讲解专题(30mins)
    还没详细看这个链接的内容,大概看了一下,应该是讲得很清楚,就是不知道这个讲解和下节课的内容有什么不一样。

    最后的总(da)结(keng):为什么要深度学习?

    2011年的实验表明,越深(层数越多)error越小(老师原话:performance越好,这里应该不能翻译为性能),究其原因是因为,层数越多,神经网络包含的参数越多,意味着model越复杂,说涵盖的function越多(函数空间越大),bias越小,如果training data足够多,variance可以控制得比较好,因此越deep越好~!
    在这里插入图片描述
    有这么一个已证明的理论:任何连续的函数(输入输出见下图),只要有足够的隐藏层神经元,就可以用一个隐藏层来表示这个函数。
    在这里插入图片描述
    那既然一个隐藏层就可以表达函数了,为什么还要deep learning呢?且听下回分解

    参考资料

    最后给出一些参考资料,都来自大牛:
    Yoshua Bengio(深度学习三巨头之一,18年图灵奖获得者)
    花书
    另外一个,这个貌似有pdf版本,有兴趣的可以自己搜一下:
    Michael Nielsen的神经网络与深度学习入门教程

    展开全文
  • 李宏毅深度学习》卷积神经网络CNN:https://www.bilibili.com/video/av9770190/?p=10卷积神经网络CNN常用于影像处理,每个神经元就是classify,但是用fully connected来进行的时候参数会太多假如3万的维度,1000个...
  • 李宏毅机器学习系列-深度学习简介

    千次阅读 2019-08-16 14:08:10
    李宏毅机器学习系列-深度学习简介深度学习的概况深度学习的步骤前馈神经网络全连接神经网络数字识别分类总结 深度学习的概况 深度学习从2012年的图像识别比赛开始就复苏了,发展越来越快,越来越好,具体他的发展...
  • 先引用他人关于李宏毅教授关于深度学习导论的PPT,应该非常容易入门。 《1天搞懂深度学习》,300多页的ppt,台湾李宏毅教授写的,非常棒。不夸张地说,是我看过最系统,也最通俗易懂的,关于深度学习的文章。“ ...
  • 李宏毅2020深度学习课程作业

    千次阅读 2020-03-31 23:52:07
    李宏毅老师个人网站链接:http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML20.html 课程b站链接:https://www.bilibili.com/video/av94519857 作业说明YouTube链接:https://www.youtube.com/watch?v=QfU...
  • 李宏毅深度学习课程作业2

    千次阅读 2019-04-11 09:54:13
    李宏毅深度学习作业2
  • 本文是李宏毅深度学习 (2015)的学习笔记,主要介绍了神经网络Backpropagation算法的推导过程。本文所用到的图示均来自课堂ppt。 原视频地址:[李宏毅深度学习 (2015)][1]
  • 一、深度学习三个步骤 1、neural network 2、损失函数 3、优化器 二、各概念关系 机器学习分类:监督学习、半监督学习、无监督学习、强化学习、迁移学习等。 其中,监督学习包括回归和分类,分类又分为线性模型和非...
  • 李宏毅深度学习HW1 PM2.5预测 1.任务内容 根据前9个小时的空气监测情况预测第10个小时的PM2.5含量,即根据黄色部分内容预测红色处值。 训练集:包含台湾丰原地区240天的气象观测资料(取每个月前20天的数据做...
  • 李宏毅深度学习ppt总结

    千次阅读 2019-06-21 15:18:24
    深度学习3步骤: 1.定义神经网络 2.loss 评价 预测值和真实的测试数据的目标值进行比对,它们的差距就是Loss。一个好的神经网络应该使loss尽可能小。 3.获取最佳的神经网络参数(学习方法) 采用梯度下降算法 ...
  • 李宏毅深度学习笔记3

    2019-07-24 14:53:00
    如果使用traditional supervised approach,输出的图片会比较模糊,因为最后计算距离没有很好的损失函数。这时可以使用traditional GAN的方法,将待处理图片作为condition,将处理结果做为真实图片,将G的输出作为D...
  • 李宏毅深度学习视频摘要

    千次阅读 2019-09-25 20:58:18
    李宏毅深度学习(nlp)2017 视频摘要 P1 讲了RNN,LSTM ,GRU网络构造 P2 讲了卷积的原理,pooling的原理,已经不太常规的poolling方法。另外提到一种特殊的Rnn结构stackRNN P3 讲了深度学习反向传播的知识,其中提到...
  • Transformer 李宏毅深度学习 tags: Deep Learning, Transformer, , seq2seq, Attention 笔记内容参考于:https://youtu.be/ugWDIIOHtPA 原文link(我最初的笔记,图较多,建议阅读,要fq ^.^): ...
  • 多少啊的
  • 李宏毅-深度学习Note 视频链接:机器学习-李宏毅(2019) Machine Learning 参考:李宏毅 深度学习19(完整版)国语】机器学习 深度学习 目录 P1ML Lecture 0 - Introduction of Machine Learning P2ML Lecture 1 -...
  • 李宏毅深度学习_Tips for Training Deep Neural Network 本文是李宏毅深度学习 (2015)的学习笔记,主要介绍了在训练DNN过程中的不同阶段用到的一些技巧。本文所用到的图示主要来自课堂ppt。 原视频地址:李宏毅...
  • 李宏毅 深度学习资料

    2020-07-30 23:33:20
    李宏毅大佬的深度学习资料打包整理了!很不错讲的很详细!
1 2 3 4 5 ... 20
收藏数 2,926
精华内容 1,170
关键字:

李宏毅 深度学习