李宏毅深度学习_李宏毅 机器学习深度学习 视频 - CSDN
  • 机器学习三个步骤:defifine a set of function(model) -> goodness of function -> pick the best function 定义模型/函数集合 损失函数,评判模型/函数好坏 选出最好的模型/...

    目录

    Introduction 

     Learning Map

    Supervised Learning(监督学习)

    Regression(回归)

    Classifification(分类)

    Binary Classifification(二元分类)

    Multi-class classifification(多元分类)

    model(function set) 选择模型

    Semi-supervised Learning(半监督学习)

    Transfer Learning(迁移学习)

    Unsupervised Learning(无监督学习)

    Structured Learning(结构化学习)

    Regression,Classification  VS  Structured Learning

    Reinforcement Learning(强化学习)


    Introduction 

    机器学习三个步骤:defifine a set of function(model) -> goodness of function -> pick the best function

                                    定义模型/函数集合     

                                    损失函数,评判模型/函数好坏    

                                    选出最好的模型/函数 

     Learning Map

    下图中,同样的颜色指的是同一个类型的事情
     
    蓝色方块指的是scenario,即学习的情境。通常学习的情境是我们没有办法控制的,比如做 reinforcement Learning是因为我们没有data、没有办法来做supervised Learning的情况下才去做的。如果有datasupervised Learning当然比reinforcement Learning要好;因此手上有什么样的data,就决定你使用什么样的scenario
     
    红色方块指的是task,即要解决的问题。你要解的问题,随着你要找的functionoutput的不同,有输scalarregression、有输出optionsclassifification、有输出structured objectstructured Learning...
     
    绿色的方块指的是model,即用来解决问题的模型(function set)。在这些task里面有不同的model,也就是说,同样的task,我们可以用不同的方法来解它,比如linear modelNon-linear model(deep LearningSVMdecision treeK-NN...) 
     

    Supervised Learning(监督学习)

    supervised learning 需要大量的training data,这些training data告诉我们说,一个我们要找的function,它的inputoutput之间有什么样的关系
     
    而这种functionoutput,通常被叫做label(标签),也就是说,我们要使用supervised learning这样一种技术,我们需要告诉机器,functioninputoutput分别是什么,而这种output通常是通过人工的 方式标注出来的,因此称为人工标注的label,它的缺点是需要大量的人工effort
     

    Regression(回归)

    regressionmachine learning的一个task,特点是通过regression找到的function,它的输出是一个 scalar数值
     
    比如PM2.5的预测,给machinetraining data是过去的PM2.5资料,而输出的是对未来PM2.5的预测数值,这就是一个典型的regression的问题
     

    Classifification(分类)

    regressionclassifification的区别是,我们要机器输出的东西的类型是不一样的,在regression里机器输出的是scalar,而classifification又分为两类:
     

    Binary Classifification(二元分类)

     
    binary classifification里,我们要机器输出的是yes or no,是或否
    比如G-mailspam fifiltering(垃圾邮件过滤器),输入是邮件,输出是该邮件是否是垃圾邮件
     

    Multi-class classifification(多元分类)

     
    multi-class classifification里,机器要做的是选择题,等于给他数个选项,每一个选项就是一个类别,它要从数个类别里面选择正确的类别
     
    比如document classifification(新闻文章分类),输入是一则新闻,输出是这个新闻属于哪一个类别(选项)
     

    model(function set) 选择模型

    在解任务的过程中,第一步是要选一个functionset,选不同的function set,会得到不同的结果;而选不同的function set就是选不同的modelmodel又分为很多种:
     
    • Linear Model(线性模型):最简单的模型
    • Non-linear Model(非线性模型):最常用的模型,包括:   
    • deep learning

      alpha-go下围棋,输入是当前的棋盘格局,输出是下一步要落子的位置;由于棋盘是

      19*19的,因此可以把它看成是一个有19*19个选项的选择题

    • SVM

    • decision tree

    • K-NN

    Semi-supervised Learning(半监督学习)

    举例:如果想要做一个区分猫和狗的function
     
    手头上有少量的labeled data,它们标注了图片上哪只是猫哪只是狗;同时又有大量的unlabeled data,它们仅仅只有猫和狗的图片,但没有标注去告诉机器哪只是猫哪只是狗
     
    Semi-supervised Learning的技术里面,这些没有labeleddata,对机器学习也是有帮助的
     

    Transfer Learning(迁移学习)

    假设一样我们要做猫和狗的分类问题
     
    我们也一样只有少量的有labeleddata;但是我们现在有大量的不相干的data(不是猫和狗的图片,而是一些其他不相干的图片),在这些大量的data里面,它可能有label也可能没有label
     
    Transfer Learning要解决的问题是,这一堆不相干的data可以对结果带来什么样的帮助
     

    Unsupervised Learning(无监督学习)

    区别于supervised learningunsupervised learning希望机器学到无师自通,在完全没有任何label情况下,机器到底能学到什么样的知识
     
    • 举例来说,如果我们给机器看大量的文章,机器看过大量的文章之后,它到底能够学到什么事情?它能不能学会每个词汇的意思?
     
    学会每个词汇的意思可以理解为:我们要找一个function,然后把一个词汇丢进去,机器要输出告诉你说这个词汇是什么意思,也许他用一个向量来表示这个词汇的不同的特性,不同的attribute
     
    • 又比如,我们带机器去逛动物园,给他看大量的动物的图片,对于unsupervised learning来说,我们data中只有给function的输入的大量图片,没有任何的输出标注;在这种情况下,机器该怎么学会根testing data的输入来自己生成新的图片?
     

    Structured Learning(结构化学习)

    structured Learning里,我们要机器输出的是,一个有结构性的东西
     
    在分类的问题中,机器输出的只是一个选项;在structured类的problem里面,机器要输出的是一个复杂的物件
     
    • 举例来说,在语音识别的情境下,机器的输入是一个声音信号,输出是一个句子;句子是由许多词汇拼凑而成,它是一个有结构性的object
     
    或者说机器翻译、人脸识别(标出不同的人的名称)
     
    比如GAN也是structured Learning的一种方法
     

    Regression,Classification  VS  Structured Learning

    我们所熟知的是regression和classification,但并不代表机器学习只有这两个,下面是他们的对比图

    Structured Learning就像是是一个暗黑大陆,我们还不能完全探知

    Reinforcement Learning(强化学习)

    Supervised Learning:我们会告诉机器正确的答案是什么 ,其特点是Learning from teacher

     
    • 比如训练一个聊天机器人,告诉他如果使用者说了“Hello”,你就说“Hi”;如果使用者说了“Bye bye”,你就说“Good bye”;就好像有一个家教在它的旁边手把手地教他每一件事情
    Reinforcement Learning:我们没有告诉机器正确的答案是什么,机器最终得到的只有一个分数,就是它做的好还是不好,但他不知道自己到底哪里做的不好,他也没有正确的答案;很像真实社会中的学习,你没有一个正确的答案,你只知道自己是做得好还是不好。其特点是Learning from critics
     
    • 比如训练一个聊天机器人,让它跟客人直接对话;如果客人勃然大怒把电话挂掉了,那机器就学到 一件事情,刚才做错了,它不知道自己哪里做错了,必须自己回去反省检讨到底要如何改进,比如 一开始不应该打招呼吗?还是中间不能骂脏话之类的

    再拿下棋这件事举例,supervised Learning是说看到眼前这个棋盘,告诉机器下一步要走什么位置;reinforcement Learning是说让机器和对手互弈,下了好几手之后赢了,机器就知道这一局棋下的不错,但是到底哪一步是赢的关键,机器是不知道的,他只知道自己是赢了还是输了
     
    其实Alpha Go是用supervised Learning+reinforcement Learning的方式去学习的,机器先是从棋谱学习,有棋谱就可以做supervised的学习;之后再做reinforcement Learning,机器的对手是另外一台机器,Alpha Go就是和自己下棋,然后不断的进步

     

    展开全文
  • 深度学习概论 介绍深度学习 作者非常浅显的指出机器(深度)学习过程非常简单,分为定义方法、判断方法的优劣、挑选出最佳的方法。 对于深度学习,首先第一步定义方法 - 神经网络。深度学习顾名思义是指多层的...

    http://www.cnblogs.com/wdsunny/p/6477018.html

    废话少说,先上干货,整个PPT的思维导图如下:

     

    深度学习概论

    介绍深度学习

    作者非常浅显的指出机器(深度)学习过程非常简单,分为定义方法、判断方法的优劣、挑选出最佳的方法。

    对于深度学习,首先第一步定义方法 - 神经网络。深度学习顾名思义是指多层的神经网络。

    神经网络的思想来源于对于人脑的生理上的研究,人脑由数亿个神经元组成,神经元通过轴突互相连接通信。神经网络和人脑类似,存在多个层级(layer),每个层级都有多个节点(神经元),层级和层级之间相互连接(轴突),最终输出结果。

    对于神经网络的计算能力可以理解为通过一层层Layer的计算归纳,逐步的将抽象的原始数据变的具体。以图片识别为例,输入是一个个像素点,经过每层神经网络,逐步变化成为线、面、对象的概念,然后机器有能力能够识别出来。

     

     第二步,评估方法的优劣。

    Loss function是用于评估方法优劣,通常我们用学习出来的参数对测试数据进行计算,得出对应的预测(y)然后和真实的测试数据的目标值(t)进行比对,y和t之间的差距往往就是Loss。那么评估一个算法的好坏,就是要尽可能的降低Loss。

     

    第三步,如何获得最佳的学习方法

    获得最佳的学习是采用梯度下降算法,作者也提到梯度下降算法存在局部最优解的问题。人们往往认为机器无所不能,实际上更像是在一个地图上面拓荒,对周边一无所知。神经网络计算梯度的算法是反向传播算法,简称BP。

     

    Why Deep?

    作者首先指出越多的参数往往带来越好的预测能力,所以神经网络往往参数越多越好。那么如果是同样的参数情况下,为什么层级较多的表现会更好呢?

     

    作者认为深度网络可以带来模块化的好处,随着网络的层级,神经网络会将像素元素逐渐归纳出一些基本的特征,进而变成纹理,进而变成对象。

     

    训练方法

     

    作者总结下来训练过程中会发现了两种情况:

    1. 没有办法得到很好的训练结果 ---》 重新选择训练方式

    2. 没有办法得到很好的测试结果 ---》 往往由于过度拟合导致,需要重新定义方法

     

     

    优化训练方法的手段:

    1. 选择合适的Loss function:使用Cross Entropy效果要优于Mean Square Error

    2. Mini-batch: 每次训练使用少量数据而不是全量数据效率更高

    3. Activation Function:使用ReLU替代Sigmoid可以解决梯度消失的问题,可以训练更深的神经网络

    4. Adaptive Learning Rate:可以随着迭代不断自我调整,提高学习效率

    5. Momentum: 可以一定程度上避免陷入局部最低点的问题

     

    避免过度拟合(overfitting)的方法:

    1. Early Stopping:使用cross validation的方式,不断对validation data进行检验,一旦发现预测精度下降则停止。

    2. Weight Decay:参数正则化的一种方式?

    3. Dropout:通过随机去掉一些节点的连接达到改变网络形式,所以会产生出多种网络形态,然后汇集得到一个最佳结果

    4. Network Structure: 例如CNN等其他形态的网络

     

    神经网络变体

    Convolutional Neural Network (CNN)

    通常情况下,一个CNN包含多次的卷积、池化,然后Flatten,最终再通过一个深度神经网络进行学习预测。CNN在图像、语音识别取得非常好的成绩,核心的想法在于一些物体的特征往往可以提取出来,并且可能出现在图片的任何位置,而且通过卷积、池化可以大大减少输入数据,加快训练效率。

     

    Recurrent Neural Network (RNN)

    RNN的想法是可以将hidden layer的数据存储下来,然后作为输入给下一个网络学习。这种网络的想法可以解决自然语言中前后词语是存在关联性的,所以RNN可以把这些关联性放到网络中进行学习。

     

    其他前沿技术

    Ultra Deep Network:2015年出现了152层的Residual Net实现了图片3.57%错误率

     

    Reinforcement Learning: 通过奖励机制强化学习,并且做出相应的动作

    Unsupervised Learning:

    1. Deep Style

    2. 生成图片

     

    3. 无需人工介入理解文字的含义

     

    展开全文
  • 视频链接:https://www.bilibili.com/video/av9770190/?p=6深度学习分为三部分:定义一系列方程,计算方程的loss,然后选出最好的方程深度学习神经网络类似于人类的大脑的神经网络,每个方程可以看做一个神经元,...

    视频链接:https://www.bilibili.com/video/av9770190/?p=6


    深度学习分为三部分:定义一系列方程,计算方程的loss,然后选出最好的方程


    深度学习神经网络类似于人类的大脑的神经网络,每个方程可以看做一个神经元,不同神经元连接会产生不同结果,在这里我们介绍一下fully connect feedforward network

    1、fully connect feedforward network

    每个神经元都与下一层全部的神经元连接即fully connect,如图所示


    fully connect神经网络结构,由输入、隐藏层和输出组成,每个神经元与下一层神经元全连接


    计算时可以使用矩阵计算,输入向量乘上wight加上bias得出输出,每一层都是这么计算,上一层的输出时下一层的输入,由此直到最后产生输出


    一连串的vector乘上matrix

    举例:手写数字识别


    输入是256维像素代表的向量,输出每个数字的概率



    2、goodness of function



    计算标记与计算值之间的差距,即loss


    减小这个total loss,一个是找一个function,一个是找参数

    方法是gradient descent:


    学习:


    展开全文
  • 1.bagging 没有顺序的。 bagging是将单个函数的结果进行average(回归)或voting(分类),当在model很复杂的情况下,担心过拟合问题,可以做bagging。 1.1容易过拟合的模型 1.1.1decision tree(决策树) ...

    1.bagging

    没有顺序的。
    bagging是将单个函数的结果进行average(回归)或voting(分类),当在model很复杂的情况下,担心过拟合问题,可以做bagging。
    bagging

    1.1容易过拟合的模型

    1.1.1decision tree(决策树)

    决策树
    实例1

    1.1.2随机森林(Random Forest)

    随机森林是决策树在bagging方法下的应用。
    RF
    实例2

    2.Boosting

    是有顺序的。
    Boosting是算法准确性在测试集低于50%的多种算法进行Boosting。
    需要找到Fun1至FunN两两最互补的函数,然后进行Boosting。
    boosting
    例1

    2.1 Adaboost

    2.1.1 Adaboost的思想

    思想

    Re-weighting Train Data

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    2.1.2 Adaboost算法

    在这里插入图片描述
    在这里插入图片描述
    例子:decision stump(决策树桩)
    先一刀切,后对判断对其权重减少(除以d1),判断错的权重增大(乘以d1)。
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    最后将三个分类结果组合起来,分别乘以相对应的weight值(a1、a2、a3),后相加取sign函数。
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    2.1.3 Gradient Boosting

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    2.Stacking

    在这里插入图片描述

    展开全文
  • 李宏毅深度学习》卷积神经网络CNN:https://www.bilibili.com/video/av9770190/?p=10卷积神经网络CNN常用于影像处理,每个神经元就是classify,但是用fully connected来进行的时候参数会太多假如3万的维度,1000个...
  • 李宏毅机器学习系列-深度学习简介深度学习的概况深度学习的步骤前馈神经网络全连接神经网络数字识别分类总结 深度学习的概况 深度学习从2012年的图像识别比赛开始就复苏了,发展越来越快,越来越好,具体他的发展...
  • 背景介绍 DL很火,老师大概说了一下它能用的场景,给出了Jeff Dean(2009年当选美国工程院...深度学习的发展史Up and downs of deep learning 里面有些生词: 受限玻尔兹曼机,英文名字是Restricted Boltzma...
  • 先引用他人关于李宏毅教授关于深度学习导论的PPT,应该非常容易入门。 《1天搞懂深度学习》,300多页的ppt,台湾李宏毅教授写的,非常棒。不夸张地说,是我看过最系统,也最通俗易懂的,关于深度学习的文章。“ ...
  • 1、Keras在这里我们推荐使用keras进行深度学习编程,比起tensorflow来说更容易学习,操作简单,2、手写识别实例这里手写识别的数据集来自于minst,一个非常常用的数据集,从keras里可以直接导入第一步,定义方程,...
  • 李宏毅深度学习作业2
  • 李宏毅深度学习(nlp)2017 视频摘要 P1 讲了RNN,LSTM ,GRU网络构造 P2 讲了卷积的原理,pooling的原理,已经不太常规的poolling方法。另外提到一种特殊的Rnn结构stackRNN P3 讲了深度学习反向传播的知识,其中提到...
  • 本文是李宏毅深度学习 (2015)的学习笔记,主要介绍了神经网络Backpropagation算法的推导过程。本文所用到的图示均来自课堂ppt。 原视频地址:[李宏毅深度学习 (2015)][1]
  • 李宏毅深度学习ppt

    2020-07-17 17:50:52
    台湾大学李宏毅教授的深度学习方面的一些课堂ppt资料,希望可以帮到你们
  • 本资源为台大李宏毅深度学习课程作业数据集。
  • 台大李宏毅讲授的一天搞懂深度学习公开课的全部视频资料,还有之前上传的全部课件。由于上传量的限制,分开上传,请注意顺序。
  • 台大李宏毅深度学习经典ppt 深度学习入门经典教程,非常适合初学者
  • 一、深度学习三个步骤 1、neural network 2、损失函数 3、优化器 二、各概念关系 机器学习分类:监督学习、半监督学习、无监督学习、强化学习、迁移学习等。 其中,监督学习包括回归和分类,分类又分为线性模型和非...
  • 李宏毅深度学习HW1 PM2.5预测 1.任务内容 根据前9个小时的空气监测情况预测第10个小时的PM2.5含量,即根据黄色部分内容预测红色处值。 训练集:包含台湾丰原地区240天的气象观测资料(取每个月前20天的数据做...
  • 深度学习3步骤: 1.定义神经网络 2.loss 评价 预测值和真实的测试数据的目标值进行比对,它们的差距就是Loss。一个好的神经网络应该使loss尽可能小。 3.获取最佳的神经网络参数(学习方法) 采用梯度下降算法 ...
  • 李宏毅深度学习笔记3

    2019-07-24 14:53:00
    如果使用traditional supervised approach,输出的图片会比较模糊,因为最后计算距离没有很好的损失函数。这时可以使用traditional GAN的方法,将待处理图片作为condition,将处理结果做为真实图片,将G的输出作为D...
1 2 3 4 5 ... 20
收藏数 2,770
精华内容 1,108
关键字:

李宏毅深度学习