2017-07-19 19:42:26 Scythe666 阅读数 20019
  • 深度学习30系统实训

    系列教程从深度学习核心模块神经网络开始讲起,将复杂的神经网络分模块攻克。由神经网络过度到深度学习,详解深度学习中核心网络卷积神经网络与递归神经网络。选择深度学习当下流行框架Tensorflow进行案例实战,选择经典的计算机视觉与自然语言处理经典案例以及绚丽的AI黑科技实战,从零开始带大家一步步掌握深度学习的原理以及实战技巧。课程具体内容包括:神经网络基础知识点、神经网络架构、tensorflow训练mnist数据集、卷积神经网络、CNN实战与验证码识别、自然语言处理word2vec、word2vec实战与对抗生成网络、LSTM情感分析与黑科技概述。

    14346 人正在学习 去看看 唐宇迪

1新智元编译1

来源:Linkedin

译者:胡祥杰

【新智元导读】本文是2016 台湾资料科学年会前导课程“一天搞懂深度学习”的全部讲义PPT(共268页),由台湾大学电机工程学助理教授李宏毅主讲。作者在文中分四个部分对神经网络的原理、目前存在形态以及未来的发展进行了介绍。深度学习的每一个核心概念在文中都有相关案例进行呈现,通俗易懂。一天的时间搞懂深度学习?其实并不是没有可能。

关注新智元,在公众号后台回复0822,可下载全部PPT(PDF版)

深度学习 ( Deep Learning ) 是机器学习 ( Machine Learning ) 中近年来备受重视的一支,深度学习根源于类神经网络 ( Artificial Neural Network ) 模型,但今日深度学习的技术和它的前身已截然不同,目前最好的语音识别和影像辨识系统都是以深度学习技术来完成,你可能在很多不同的场合听过各种用深度学习做出的惊人应用 ( 例如:最近红遍大街小巷的 AlphaGo ),听完以后觉得心痒痒的,想要赶快使用这项强大的技术,却不知要从何下手学习,那这门课就是你所需要的。

这门课程将由台大电机系李宏毅教授利用短短的一天议程简介深度学习。以下是课程大纲:

什么是深度学习

深度学习的技术表面上看起来五花八门,但其实就是三个步骤:设定好类神经网络架构、订出学习目标、开始学习,这堂课会简介如何使用深度学习的工具 Keras,它可以帮助你在十分钟内完成深度学习的程序。另外,有人说深度学习很厉害、有各种吹捧,也有人说深度学习只是个噱头,到底深度学习和其他的机器学习方法有什么不同呢?这堂课要剖析深度学习和其它机器学习方法相比潜在的优势。

深度学习的各种小技巧

虽然现在深度学习的工具满街都是,想要写一个深度学习的程序只是举手之劳,但要得到好的成果可不简单,训练过程中各种枝枝节节的小技巧才是成功的关键。本课程中将分享深度学习的实作技巧及实战经验。

有记忆力的深度学习模型

机器需要记忆力才能做更多事情,这段课程要讲解递归式类神经网络 ( Recurrent Neural Network ),告诉大家深度学习模型如何可以有记忆力。

深度学习应用与展望

深度学习可以拿来做甚么?怎么用深度学习做语音识别?怎么用深度学习做问答系统?接下来深度学习的研究者们在意的是什么样的问题呢?

本课程希望帮助大家不只能了解深度学习,也可以有效率地上手深度学习,用在手边的问题上。无论是从未尝试过深度学习的新手,还是已经有一点经验想更深入学习,都可以在这门课中有所收获。

下面是课程全部PPT,由于篇幅有限,新智元对第一部分进行了翻译:

深度学习吸引了很大的关注:

我相信,你之前肯定见到过很多激动人心的结果。图中是谷歌内部深度学习技术的使用趋势,可以看到从2015年第二季度开始,使用量呈直线上升。本讲义聚焦深度学习基础技术。

大纲:

报告第一部分:介绍深度学习

报告第二部分:关于训练深度神经网络的一些建议

报告第三部分:各种各样的神经网络

报告第四部分:下一股浪潮

报告1:深度学习介绍

深度学习有3步:神经网络架构--学习目标--学习。

这三个步骤都是以数据为基础的。

第3步:选择最佳的功能函数。

从原理上说,深度学习非常简单。

从函数的角度理解深度学习:第一步,是一个函数集;第二步,定义函数的拟合度;第三部,选择最佳函数。

人类大脑的构成

神经网络:神经元

激活函数的工作原理

不同的连接会导致不同的网络结构

完全连接的反向网络:S型网络

极深网络:从8层到19层,一直到152层。

全连接的反向网络:矩阵系统

输出层(选择)

问题:

下图中,总共有多少层?每一层有多少个神经元?

结构能自动决定吗?

第二步:学习目标,定义函数拟合度。

例子:识别“2”

训练数据:

准备训练数据:图像和相应的标签

学习目标

损失:一个好的函数应该让所有例子中的损失降到最小。

全局损失

第三步:学习!选择最佳函数。

如何选择最佳函数

梯度下降

梯度下降:综合多个参数考虑的时候,你发现什么问题了吗?

局部最小值:梯度下降从来不会保证可以获得全局最小值

反向传播

可以做什么?

第二部分:关于训练深度神经网络的一些小建议

第三部分:各种各样的神经网络

篇幅有限。200页以后PPT请在新智元公众号后台回复0822,下载浏览。

新智元Top10智能汽车创客大赛招募!

新智元于7月11日启动2016年【新智元100】人工智能创业公司评选,在人工智能概念诞生60周年之际,寻找中国最具竞争力的人工智能创业企业。

智能驾驶技术是汽车行业的重点发展方向之一,同时也是人工智能相关产业创新落地的重要赛道之一。为此新智元联合北京中汽四方共同举办“新智元Top10智能汽车创客大赛”,共同招募智能汽车相关优质创业公司,并联合组织人工智能技术专家、传统汽车行业技术专家、关注智能汽车领域的知名风投机构,共同评审并筛选出Top 10进入决赛,在2016年10月16日“国际智能网联汽车发展合作论坛”期间,进行路演、颁奖及展览活动。

如何参加【新智元Top10智能汽车创客大赛】评选

点击文章下方阅读原文,在线填写报名表。该报名表为参加评选必填资料。

如有更多介绍资料(例如BP等),可发送至xzy100@aiera.com.cn,邮件标题请注明公司名称。如有任何咨询问题,可联系微信号Kunlin1201。

评选活动时间表

创业企业报名期:即日起至2016年8月31日

专家评委评审期:2016年9月

入围企业公布期:2016年10月18日

微信号:AI_era100

2018-10-31 21:39:00 weixin_38166557 阅读数 3
  • 深度学习30系统实训

    系列教程从深度学习核心模块神经网络开始讲起,将复杂的神经网络分模块攻克。由神经网络过度到深度学习,详解深度学习中核心网络卷积神经网络与递归神经网络。选择深度学习当下流行框架Tensorflow进行案例实战,选择经典的计算机视觉与自然语言处理经典案例以及绚丽的AI黑科技实战,从零开始带大家一步步掌握深度学习的原理以及实战技巧。课程具体内容包括:神经网络基础知识点、神经网络架构、tensorflow训练mnist数据集、卷积神经网络、CNN实战与验证码识别、自然语言处理word2vec、word2vec实战与对抗生成网络、LSTM情感分析与黑科技概述。

    14346 人正在学习 去看看 唐宇迪

大牛推荐的入门用深度学习导论,刚拿到有点懵,第一次接触PPT类型的学习资料,但是耐心看下来收获还是很大的,适合我这种小白入门哈哈。

原PPT链接:

 

 

 

(1)定义方法——神经网络

深度学习可以理解为多层的神经网络。神经网络的思想来源于对于人脑的生理上的研究,人脑由数亿个神经元组成,神经元通过轴突互相连接通信。神经网络和人脑类似,存在多个层级(layer),每个层级都有多个节点(神经元neuron),层级和层级之间相互连接(轴突),最终输出结果。

 

 

对于神经网络的计算能力可以理解为通过一层层Layer的计算归纳,逐步的将抽象的原始数据变的具体。以图片识别为例,输入是一个个像素点,经过每层神经网络,逐步变化成为线、面、对象的概念,然后机器有能力能够识别出来。

 

 

 

 

2.Why Deep?

很显然,神经网络的参数越多,预测能力就越好。那么如果是同样的参数情况下,为什么层级较多的表现会更好呢?

 

作者认为深度网络可以带来模块化的好处,模块化是从数据中自动学习的。随着网络的层级变多,神经网络会将像素元素逐渐归纳出一些基本的特征,进而变成纹理,进而变成对象。

3.Keras

TensorFlow or Theano的接口。

 

 

Lecture II:训练方法

经过神经网络训练之后会发现两种问题:

1.训练结果很差→重新选择训练方式

2.测试结果很差→(往往由于过拟合导致)重新定义方法

1.优化训练方法的手段:

(1)Choosing proper loss

选择合适的Loss function,使用Cross Entropy(交叉熵)效果要优于Mean Square Error(均方差)。

(2)Mini-batch

每次训练使用少量数据而不是全量数据效率更高。

(3)New activation function

使用ReLU(线性整流函数)替代Sigmoid可以解决梯度消失的问题,可以训练更深的神经网络。网络不是越深越好。

(4)Adaptive Learning Rate

可以随着迭代不断自我调整,提高学习效率。

(5)Momentum

可以一定程度上避免陷入局部最低点的问题。

 

 

2.避免过度拟合的方法

  增加数据量是最简单的方法:创造更多的数据、给数据加噪声。

(1)Early Stopping

使用cross validation的方式,不断对validation data进行检验,一旦发现预测精度下降则停止。

(2)Regularization(Weight Decay)

  参数正则化的一种方式。删除无用的联系。

(3)Dropout

通过随机去掉一些节点的连接达到改变网络形式,所以会产生出多种网络形态,然后汇集得到一个最佳结果。

(4)Network Structure

  如CNN等其他形态的网络。

 

 

 Lecture III: 神经网络的变体

1. 卷积神经网络(CNN)

通常情况下,一个CNN包含多次的卷积、池化,然后Flatten,最终再通过一个深度神经网络进行学习预测。CNN在图像、语音识别取得非常好的成绩,核心的想法在于一些物体的特征往往可以提取出来,并且可能出现在图片的任何位置,而且通过卷积、池化可以大大减少输入数据,加快训练效率。

 

2. 递归神经网络(RNN)

RNN的想法是可以将hidden layer的数据存储下来,然后作为输入给下一个网络学习。这种网络的想法可以解决自然语言中前后词语是存在关联性的,所以RNN可以把这些关联性放到网络中进行学习。

 

 Lecture IV: Next Wave

 

 

 

 

转载于:https://www.cnblogs.com/Lynn0101/p/9885417.html

2018-06-29 17:56:00 cluster1893 阅读数 1340
  • 深度学习30系统实训

    系列教程从深度学习核心模块神经网络开始讲起,将复杂的神经网络分模块攻克。由神经网络过度到深度学习,详解深度学习中核心网络卷积神经网络与递归神经网络。选择深度学习当下流行框架Tensorflow进行案例实战,选择经典的计算机视觉与自然语言处理经典案例以及绚丽的AI黑科技实战,从零开始带大家一步步掌握深度学习的原理以及实战技巧。课程具体内容包括:神经网络基础知识点、神经网络架构、tensorflow训练mnist数据集、卷积神经网络、CNN实战与验证码识别、自然语言处理word2vec、word2vec实战与对抗生成网络、LSTM情感分析与黑科技概述。

    14346 人正在学习 去看看 唐宇迪

读《一天搞懂深度学习》ppt笔记

学习自http://www.cnblogs.com/liuyihai/p/8448977.html,推荐看这个链接。很全面很完整,我的笔记仅是记部分东西。

softmax

输出层:
一般情况下,输出层可以输出任何值:

在输出层前加Softmax Layer:

推荐的开发工具:


tips


不要总是将原因归到过拟合,下图中,56层的网络在训练集误差大,所以这个就是没训练好,而不是在测试集的过拟合。
20层的是过拟合。

对训练过程:

(1)选择合适的损失


(2)需要mini batch


也就是批梯度下降法。快而且好的方法。

每100个数据进行一次梯度下降
整个训练集数据拿来训练20轮
- 每轮整个数据集迭代结束后,对数据进行一次打乱,即shuffle

(3)选择合适的激励函数


可以解决梯度消失问题
很多都是用relu作为激励函数。

(4)恰当的学习率


Adagrad可以达到学习率由大变小:

(5)momentum



对测试数据:


早停:

权重消失

L1正则化其实就是这个

dropput

在训练集上:
在每一个mini batch 数据迭代更新完权重后,重新抽样dropout的神经元。这样,每个mini batch 训练的都是一个新结构的网络。网络的结构在重新抽样中被改变了。
在测试集上:
不能dropout
dropout和maxout在一起可以工作的更好


网络结构

2017-12-17 16:17:12 xueying_2017 阅读数 8643
  • 深度学习30系统实训

    系列教程从深度学习核心模块神经网络开始讲起,将复杂的神经网络分模块攻克。由神经网络过度到深度学习,详解深度学习中核心网络卷积神经网络与递归神经网络。选择深度学习当下流行框架Tensorflow进行案例实战,选择经典的计算机视觉与自然语言处理经典案例以及绚丽的AI黑科技实战,从零开始带大家一步步掌握深度学习的原理以及实战技巧。课程具体内容包括:神经网络基础知识点、神经网络架构、tensorflow训练mnist数据集、卷积神经网络、CNN实战与验证码识别、自然语言处理word2vec、word2vec实战与对抗生成网络、LSTM情感分析与黑科技概述。

    14346 人正在学习 去看看 唐宇迪

https://www.bilibili.com/video/av16543434/?from=search&seid=12028936768099284481


在B站看了一个讲解李宏毅教授的《一天搞懂深度学习》学习心得视频,如上。


一。

1.par*weight ->加上bias ->通过激活函数(activation function)->使得参数o(斯塔)最优化->在测试集中做出预测

2.learning target

   loss   与target的偏差

   total loss

3.如何学习

   梯度下降法  不断修正o

       首先随便找一点,根据曲线的斜率,逐渐向最低处(最优解)的地方走  ps:只能找到局部最优解

       caffe之类的软件可以帮助算斜率之类 得到以上的过程

4.应用

  图形辨识 垃圾信息过滤 分类文件

5.why DeepLearning?

   计算的层数越多,错误率越低,但是不可能不断加大计算的层数 于是

   modularization  先找最明显的特征 之后的每一层再以上一层为module去build classfier

   each basic classifier can have sufficient training examples.

二。tips for training deep learning neural network

测试的结果并不如预想中的那么好 原因可能是overfit  过度训练 喂的东西喂得太多了

如何去训练

①选一个比较好的方式去处理total loss

    Cross Entopy

②mini-batch

    把测试的资料分组

③new activation function

    ReLu 及时剔除较小的,接近于0的

    MaxOut  在每一层选最大的

    得到了thinner linear network 但是效果也更好的

④Adaptive Learning Rate

    learning rate  通俗理解是按照斜率走,每次走多少

    learning rate更好  <----- 随着时间变化   Adagrad

⑤momentum(动能)

    借助之前的力 继续再往前 往高走 有找到更优解的可能


为什么会overfit  测试和训练不一样

如何处理

   ①early stopping 在test与training最接近的时候就停

   ②regularization  将很久没有用到过的萎缩掉

   ③dropout 每一层去掉一定数量的神经元

   ④更好的network structure


三。variants of neural network

1.CNN

  ①找特征点

  ②可以将图缩小

  convolution 和max pooling 重复多次 最后flattern 算出结果

2.RNN

   neural network needs memory


四。next wave

1.network structure

2.learning target

  ①reinforcement learning 强制学习

  ②unsupervised learning 没有label  ->把相同的东西分了类 

2018-04-23 11:10:00 weixin_30532987 阅读数 6
  • 深度学习30系统实训

    系列教程从深度学习核心模块神经网络开始讲起,将复杂的神经网络分模块攻克。由神经网络过度到深度学习,详解深度学习中核心网络卷积神经网络与递归神经网络。选择深度学习当下流行框架Tensorflow进行案例实战,选择经典的计算机视觉与自然语言处理经典案例以及绚丽的AI黑科技实战,从零开始带大家一步步掌握深度学习的原理以及实战技巧。课程具体内容包括:神经网络基础知识点、神经网络架构、tensorflow训练mnist数据集、卷积神经网络、CNN实战与验证码识别、自然语言处理word2vec、word2vec实战与对抗生成网络、LSTM情感分析与黑科技概述。

    14346 人正在学习 去看看 唐宇迪

前言

《一天搞懂深度学习》是一个300多页的PPT,是台湾学者李宏毅写的。虽然对于深度学习也有一定的了解了,但是有些知识点还是会经常忘记。温故知新,所以决定重看这本算是入门书籍吧。

PPT主要分成了四个部分:所以本系列博客也将分成四篇来写。分别是:深度学习简介,训练神经网络的要点,神经网络的多样性和神经网络的新浪潮。

 

一、深度学习介绍

  (1)神经网络主要有三个部分:定义模型函数->判断模型函数好坏->选择一个最好的函数

    1、神经网络之所以叫神经网络是因为它的作用过程很像神经单元。以下是神经元结构。

    2.因为神经元之间连接方式的不同,就延伸出了许多种不同的神经网络。

      比如全连接前向神经网络。这个网络的特点是前一层的每个神经单元都与下一层的所有的神经单元连接。

    3.判断模型函数的损失,最关键的就是要定义模型的损失函数,当我们确定了模型的损失函数,那么我们的目标就是最小化这个损失。进一步的说,选择最好的模型参数过程也变成求最小化损失函数的参数过程。

    4.选择最好的模型参数。采用枚举法显然是不可行的。一种有效的选择模型参数的方法是梯度下降法。但是梯度下降法并不能保证会到达全局最小,它经常会陷入局部最小的情况,这取决于初始点的选择。在深度学习中梯度下降算法的应用有一个特别的名字后向传播算法。后向传播算法其实就是一个利用梯度下降不断更新神经网络中不同神经节点的权重的过程。

 

二、深度学习为什么深

(1)深度学习为什么深

  1.毫无疑问,参数越多,模型训练的效果会更好。但是有理论已经证明了单隐层有足够多的神经单元的话可以实现任意函数。但是实际上单隐层内随着节点单元的数量增多,准确率提升的太慢,并且可能不升反降。

  2.相比于用单隐层进行训练,深度神经网络表示函数的方式更加的简洁。

  3.构建深度神经网络有利于模块化训练过程,这样或许我们就可以利用较少的训练数据来达到想要的效果。

 

三、深度学习初探

(1)可以使用keras和tensorflow进行模型训练

转载于:https://www.cnblogs.com/whatyouknow123/p/8916700.html

没有更多推荐了,返回首页