2017-05-22 10:52:50 lqfarmer 阅读数 22630
  • 机器学习&深度学习系统实战!

    购买课程后,可扫码进入学习群,获取唐宇迪老师答疑 数学原理推导与案例实战紧密结合,由机器学习经典算法过度到深度学习的世界,结合深度学习两大主流框架Caffe与Tensorflow,选择经典项目实战人脸检测与验证码识别。原理推导,形象解读,案例实战缺一不可!具体课程内容涉及回归算法原理推导、决策树与随机森林、实战样本不均衡数据解决方案、支持向量机、Xgboost集成算法、神经网络基础、神经网络整体架构、卷积神经网络、深度学习框架--Tensorflow实战、案例实战--验证码识别、案例实战--人脸检测。 专属会员卡优惠链接:http://edu.csdn.net/lecturer/1079

    39732 人正在学习 去看看 唐宇迪


    深度学习是人工神经网络的一个分支,具有深度网络结构的人工神经网络是深度学习最早的网络模型。1943年,美国数学家沃尔特·皮茨(W.Pitts)和心理学家沃伦·麦克洛克(W.McCulloch)首次提出了人工神经网络这一概念,并使用数学模型对人工神经网络中的神经元进行了理论建模,开启了人们对人工神经网络的研究 [1]。1949年,著名心理学家唐纳德·奥尔丁·赫布(D. Olding Hebb)给出了神经元的数学模型,提出了人工神经网络的学习规则[2]。1957年,著名人工智能专家弗兰克·罗森布莱特(F.Rosenblatt)提出了感知器(Perceptron)人工神经网络模型,并提出采用Hebb学习规则或最小二乘法来训练感知器的参数,感知器是最早且结构最简单的人工神经网络模型。随后,弗兰克·罗森布莱特又在Cornell university Aeronautical laboratory通过硬件实现了第一个感知器模型:Mark I,开辟了人工神经网络的计算机向硬件化发展方向[2]。感知器是一种前向人工神经网络,采用阈值型激活函数,只含一层神经元。通过训练网络权值,对于一组输入响应,感知器可以得到1或0的目标输出,从而实现分类输入响应的目标。但感知器的分类能力非常有限,只能够处理简单的二元线性分类,受限于其只具有一层神经网络,它不能处理线性不可分问题,比如异或问题。

    1980年,基于传统的感知器结构,深度学习创始人,加拿大多伦多大学教授杰弗里·辛顿(G. Hinton)采用多个隐含层的深度结构来代替代感知器的单层结构,多层感知器模型(Multi_Layer Perceptron)是其中最具代表性的,而且多层感知器也是最早的深度学习网络模型[3]。1974年,Paul Werbos提出采用反向传播法来训练一般的人工神经网络,随后,该算法进一步被杰弗里·辛顿、燕·勒存(Y. LeCun)等人应用于训练具有深度结构的神经网络[3]。反向传播法根据神经网络输出层的计算误差来调整网络的权值,直到计算误差收敛为止[4]。但是,反向传播法训练具有多隐含层的深度网络的网络参数的学习性能并不好,因为具有多隐含层的深度网络的网络参数的训练问题是一个非凸问题,基于梯度下降的反向传播法很容易在训练网络参数时收敛于局部极小值。此外,反向传播法训练网络参数还存在很多实际问题,比如需要大量的标签样本来训练网络的权值,多隐含层的神经网络权值的训练速度很慢,权值的修正随着反向传播层数的增加逐渐削弱等。

    面对采用反向传播法来训练具有多隐含层的深度网络的网络参数时存在的缺陷,一部分研究人员开始探索通过改变感知器的结构来改善网络学习的性能,由此产生了很多著名的单隐含层的浅层学习模型,如SVM、logistic regression、Maximum entropy model和朴素贝叶斯模型等。浅层学习模型能够有效地解决简单或者具有复杂条件限制的问题,但受限于只含一个隐含层,所以浅层学习模型特征构造的能力有限,不能有效处理包含复杂特征的问题[5]。为了同时解决具有多隐含层的深度网络在参数训练时存在的缺陷和浅层网络特征构造能力有限的问题,一些研究人员开始尝试采用新的参数训练方法来训练多隐含层的深度网络。

    1984年,日本学者福岛邦彦提出了卷积神经网络的原始模型神经感知机(Neocognitron)[7]。1998年,燕·勒存(Y. LeCun)提出了深度学习常用模型之一卷积神经网络(Convoluted Neural Network, CNN)[3,7]。2006年,杰弗里·辛顿(G. Hinton)提出了深度学习的概念,随后与其团队在文章《A fast Learning Algorithm for Deep Belief Nets》中提出了深度学习模型之一,深度信念网络,并给出了一种高效的半监督算法:逐层贪心算法,来训练深度信念网络的参数,打破了长期以来深度网络难以训练的僵局[5,6]。从此,深度学习的大门打开,在各大政府、高校和企业中掀起了研究深度学习的大浪潮。2009年,Yoshua Bengio提出了深度学习另一常用模型:堆叠自动编码器(Stacked Auto-Encoder,SAE),采用自动编码器来代替深度信念网络的基本单元:限制玻尔兹曼机,来构造深度网络。

    约翰·霍普菲尔德(John Hopfield)在1982提出了Hopfield网络,是最早的递归神经网络(Recurrent Neural Network,RNN)。因Hopfield网络实现困难,没有合适的应用场景,86年后逐渐被前向神经网络取代。1990年,出现了Elman&Jordan SRN两种新的RNN网络,同样因为没有合适的应用场景,很快淡出了研究人员视线。Dalle Molle人工智能研究所的主任Jurgen Schmidhuber在论文《THE VANISHING GRADIENT PROBLEM DURING  recurrent neural networks and problem solutions》提出了LSTM,促进了循环神经网络的发展,特别是在深度学习广泛应用的今天,RNN(LSTM)在自然语言处理领域,如机器翻译、情感分析、智能对话等,取得了令人惊异的成绩。

    深度学习自2006年产生之后就受到科研机构、工业界的高度关注。最初,深度学习的应用主要是在图像和语音领域。从2011年开始,谷歌研究院和微软研究院的研究人员先后将深度学习应用到语音识别,使识别错误率下降了20%-30%[4,7]。2012年,杰弗里·辛顿的学生IIya Sutskever和Alex Krizhevsky在图片分类比赛ImageNet中,使用深度学习打败了Google团队,深度学习的应用,使得图片识别错误率下降了14%。2012年6月,谷歌首席架构师Jeff Dean和斯坦福大学教授AndrewNg主导著名的GoogleBrain项目,采用16万个CPU来构建一个深层神经网络,并将其应用于图像和语音的识别,最终大获成功。此外,深度学习在搜索领域也获得广泛关注。如今,深度学习已经在图像、语音、自然语言处理、CTR预估、大数据特征提取等方面获得广泛的应用。

参考文献:

[1]   周开利, 康耀红. 神经网络模型及其Matlab仿真[M]. 程序设计. 北京: 清华大学出版社, 2005:43.

[2]   F. Rosenblatt. Perceptron Simulation Experiments[J]. Proceedings of the Ire, !960, 48(3): 301-309.

[3]   孙志军, 薛雷, 许阳明, 王正. 深度学习研究综述[J]. 计算机应用研究, 2012, 29(8):2806-2810.

[4]   G. Dahl, D. Yu, L. Deng. Context-dependent pre-trained deep neural networks for large-vocabulary speech recognition[J]. IEEE Transactions on Audio, Speech, and Language Processing, 2012,20(1):30-42.

[5]   G. E. Hinton, S. Osindero, Y. W Teh. A Fast Learning Algorithm for Deep Belief Nets[J]. Neural Computation, 2006, 18(7): 1527-1554.

[6]   M. Ranzato, Y. Boureau, S. Chopra, and Y. LeCun. A unified energy-based framework for unsupervised learning[J]. Proc. Conference on AI and Statistics (AI-Stats), 2007.

[7]   刘建伟, 刘媛, 罗雄麟. 深度学习研究进展[J]. 计算机应用研究, 2014, 31(7):1921-1942.

更多深度学习在NLP方面应用的经典论文、实践经验和最新消息,欢迎关注微信公众号“深度学习与NLPDeepLearning_NLP”或扫描二维码添加关注。


2019-03-25 21:40:52 qq_39932172 阅读数 902
  • 机器学习&深度学习系统实战!

    购买课程后,可扫码进入学习群,获取唐宇迪老师答疑 数学原理推导与案例实战紧密结合,由机器学习经典算法过度到深度学习的世界,结合深度学习两大主流框架Caffe与Tensorflow,选择经典项目实战人脸检测与验证码识别。原理推导,形象解读,案例实战缺一不可!具体课程内容涉及回归算法原理推导、决策树与随机森林、实战样本不均衡数据解决方案、支持向量机、Xgboost集成算法、神经网络基础、神经网络整体架构、卷积神经网络、深度学习框架--Tensorflow实战、案例实战--验证码识别、案例实战--人脸检测。 专属会员卡优惠链接:http://edu.csdn.net/lecturer/1079

    39732 人正在学习 去看看 唐宇迪

本文是个人在学习专知课程《深度学习:算法到实战》的学习笔记。
在这里插入图片描述

第一讲 绪论

1.1 人工智能和机器学习概述

  • 人工智能历史和现状
  • 从专家系统到机器学习

1.2 深度学习概述

  • 从传统机器学习到深度学习
  • 深度学习历史
  • 深度学习的能与不能

第二讲 神经网络基础

2.1 浅层神经网络

  • 从生物神经元到单层感知器
  • 多层感知器
  • 反向传播和梯度消失

2.2 从神经网络到深度学习

  • 逐层预训练
  • 自编码器和受限玻尔兹曼机
  • Beyond预训练

第三讲 外一章

3.1 机器学习(深度学习)中的数学基础

3.2 机器学习三要素:模型、策略、算法

  • 概率/函数形式的统一
  • “最优”的策略设计
  • 损失函数

3.3 频率学派&贝叶斯学派

3.4 Beyond深度学习

  • 因果推断
  • 群体智能

第四讲 卷积神经网络

4.1 卷积神经网络绪论

  • 卷积神经网络 vs 传统神经网络
  • 卷积神经网络的基本应用
  • 应用拓展

4.2 基本组成结构

  • 卷积
  • 池化
  • 全连接

4.3 卷积神经网络典型结构

  • AlexNet
  • ZFNet
  • VGG
  • GoogleNet
  • ResNet

4.4 卷积神经网络实战(代码讲解)


第五讲 循环神经网络


第十讲 Pytorch入门基础


10.1 PyTorch简介

10.1.1 什么是PyTorch

PyTorch 是一个Python 库, 它主要提供了以下两个高级功能:

  • GPU 加速的张量计算(Tensor Computation) 功能
  • 构建在反向自动求导系统上的深度神经网络功能

10.1.2 PyTorch的基础概念

科学计算工具包,一般有两个核心问题:

  • 怎么定义数据?
  • 怎么定义数据操作?

PyTorch针对这两个问题的答案:

  • torch.Tensor 张量类:张量,用来存储数据,是各种类型的数据的封装
  • torch.autograd.Function 函数类:是定义在Tensor类上的操作,从加减乘除到矩阵计算,应有尽有

10.2 如何用PyTorch完成实验?

  1. 加载数据
  2. 构建模型
  3. 计算损失
  4. 参数优化

10.3 用PyTorch实现经典模型

  1. VGG
  2. GoogleNet
  3. ResNet
  4. NLM+WordEmbedding
  5. 机器翻译:Seq2seq+Attention
  6. 命名实体识别:SequenceLabeling(Bi-LSTM+CRF)
2017-03-27 17:07:25 u012052268 阅读数 497
  • 机器学习&深度学习系统实战!

    购买课程后,可扫码进入学习群,获取唐宇迪老师答疑 数学原理推导与案例实战紧密结合,由机器学习经典算法过度到深度学习的世界,结合深度学习两大主流框架Caffe与Tensorflow,选择经典项目实战人脸检测与验证码识别。原理推导,形象解读,案例实战缺一不可!具体课程内容涉及回归算法原理推导、决策树与随机森林、实战样本不均衡数据解决方案、支持向量机、Xgboost集成算法、神经网络基础、神经网络整体架构、卷积神经网络、深度学习框架--Tensorflow实战、案例实战--验证码识别、案例实战--人脸检测。 专属会员卡优惠链接:http://edu.csdn.net/lecturer/1079

    39732 人正在学习 去看看 唐宇迪

说明:本文是对邱锡鹏《神经网络与深度学习》的读书笔记。供自己学习总结使用。

第1章 深度学习简介

神经元网络

神经元网络是在计算机上把虚拟的神经元排列成层状,模拟真正的神
经细胞之间的电信号。借此实现大脑从各式各样的数据中提取本质概
念的功能。

深度学习是由在计算机上模拟人类神经回路的“神经元网络”技术发
展而来。

所谓“深度”是指网络层数大于1。通常是把神经元“深化”到4-9层,实现接近于大脑的性能。

深度学习革命

深度学习在以下领域应用广泛:

语音识别:可以使得词错误率从1/4下降到1/8

计算机视觉:目标识别、图像分类等

自然语言处理:分布式表示、机器翻译、问题回答等

深度学习历史

1958年 Rosenblatt 感知器

1969年 Minsky XOR

1986年 Hinton、LeCun 人工神经网络(BP算法)

1998年 LeCun 卷积神经网络

2006年 Hinton 深度网络

深度学习难点

参数过多,影响训练

非凸优化问题:即存在局部最优而非全局最优解,影响迭代

下层参数比较难调

参数解释起来比较困难

所以需求:

计算资源要大
数据要多
算法效率要好:即收敛快

2017-07-30 08:43:54 jiandanjinxin 阅读数 1052
  • 机器学习&深度学习系统实战!

    购买课程后,可扫码进入学习群,获取唐宇迪老师答疑 数学原理推导与案例实战紧密结合,由机器学习经典算法过度到深度学习的世界,结合深度学习两大主流框架Caffe与Tensorflow,选择经典项目实战人脸检测与验证码识别。原理推导,形象解读,案例实战缺一不可!具体课程内容涉及回归算法原理推导、决策树与随机森林、实战样本不均衡数据解决方案、支持向量机、Xgboost集成算法、神经网络基础、神经网络整体架构、卷积神经网络、深度学习框架--Tensorflow实战、案例实战--验证码识别、案例实战--人脸检测。 专属会员卡优惠链接:http://edu.csdn.net/lecturer/1079

    39732 人正在学习 去看看 唐宇迪

深度学习历史


这里写图片描述


深度学习经典步骤


这里写图片描述

这里写图片描述

这里写图片描述

神经网络的符合标记含义

这里写图片描述

这里写图片描述

Wij 代表的是从神经元j到神经元i,这样写的目的是便于表达,否则最后的表达式子就是Wij的转置,细节见下面。

这里写图片描述

每个神经元的偏执值组成一个向量b

这里写图片描述

单个神经元的输出结果

这里写图片描述

这里写图片描述
这里写图片描述

所有神经元输出的结果

这里写图片描述

这里写图片描述


深度学习示例数字识别


这里写图片描述

这里写图片描述

这里写图片描述

将图片reshape到一列(按行reshape或者按列reshape均可),类别可用0ne-hot来标记。


深度学习损失函数


这里写图片描述

这里写图片描述

这里写图片描述

批量算损失,梯度下降法去更新参数,以便找到最优的目标函数。


深度学习梯度下降法


这里写图片描述

这里写图片描述


参考文献


http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML17.html

2019-03-21 23:01:02 weixin_43714954 阅读数 94
  • 机器学习&深度学习系统实战!

    购买课程后,可扫码进入学习群,获取唐宇迪老师答疑 数学原理推导与案例实战紧密结合,由机器学习经典算法过度到深度学习的世界,结合深度学习两大主流框架Caffe与Tensorflow,选择经典项目实战人脸检测与验证码识别。原理推导,形象解读,案例实战缺一不可!具体课程内容涉及回归算法原理推导、决策树与随机森林、实战样本不均衡数据解决方案、支持向量机、Xgboost集成算法、神经网络基础、神经网络整体架构、卷积神经网络、深度学习框架--Tensorflow实战、案例实战--验证码识别、案例实战--人脸检测。 专属会员卡优惠链接:http://edu.csdn.net/lecturer/1079

    39732 人正在学习 去看看 唐宇迪

通过历史背景了解深度学习是最简单的方式。

迄今为止深度学习已经经历了3次发展浪潮:

时间 事件
20世纪40年代到60年代 深度学习的模型出现在控制论
20世纪80年代到90年代 深度学习表现为联结主义
直到2016年 以深度学习之名复兴

神经网络的众多名称与命运变迁

  • 现代深度学习最早的前身是从神经科学的角度出发的简单线性模型,模型希望学习一组权重ω1,ω2,...,ωn\omega_1,\omega_2,...,\omega_n并计算他们的输出:
    f(x,ω)=x1ω1+...+xnωnf(\bm{x,\omega})=x_1\omega_1+...+x_n\omega_n
    第一次神经网络研究浪潮称为控制论。但是这个权重必须由操作人员设定好。
  • 20世纪50年代,感知机称为第一个能根据每个类别的输入样本来学习权重的模型。大约在同一时期,自适应线性单元简单地返回函数f(x)f(\bm{x})本身的值来预测一个实数,并且可以学习从数据预测这些数。用于调节自适应线性单元权重的训练算法是随机梯度下降的一种,稍加改进的随机梯度下降成为当今深度学习的主要训练算法。基于感知机自适应线性单元中使用的f(x,ω)f(\bm{x,\omega})的模型成为线性模型
  • 线性模型有很多局限性。最著名的是他们无法学习异或(XOR)函数

神经科学被视为深度学习研究的一个重要来源,但它已不再是该领域的主要指导。主要原因是我们根本没有足够的关于大脑的信息来作为指导去使用它。要获得对被大脑实际使用算法的深刻理解,我们需要有能力同时检测(至少是)数千相连神经元的活动。

  • 神经网络的第二次浪潮很大程度伴随称为联结主义并行分布处理潮流而出现,联结主义的中心思想是:当网络将大量简单的计算单元连接在一起时可以实现智能行为。
  • 在联结主义期间形成的几个关键概念在今天的深度学习也是非常重要的。其中分布式表示的思想是:系统的每一个输入都应该由多个特征表示,并且每一个特征都应该参与到多个可能输入的表示。分布式表示减少了神经元的个数,将原本的排列组合抽出其基本单元,如红卡车,绿鸟,绿卡车,红鸟,原本需要四个输入神经元,现在只需一个表示颜色,一个表示物体种类的输入神经元,更重要的是,神经网络不仅仅从一个特定类别的图像中学习,从红卡车中同样能学习红色,而不是只能在纯红色图片中学习。联结主义另一个重要成就是反向传播在训练具有内部并表示的深度神经网络中的成功使用以及反向传播算法的普及。

分布式表示的概念是本书的核心

  • 20世纪90年代,研究人员找到了解决长序列数据的模型,长短时记忆LSTM
  • 两个因素导致了神经网络热潮的第二次衰退:当AI研究不能实现投资者野心勃勃不合理的期望时,投资者感到失望。同时,机器学习的其他领域取得进展,比如核方法、图模型。
  • 神经网络研究的第三次浪潮始于2006年的突破,名为深度信念网络的神经网络可以使用一种称为“贪婪逐层预训练”的策略来有效地训练。神经网络研究的这一次浪潮普及了“深度学习“这一术语。

第三次浪潮仍在继续,已开始着眼于新的无监督学习技术和深度学习模型在小数据集的泛化能力,但目前兴趣点仍是比较传统的监督学习算法和深度模型充分利用大量标注数据集的能力。

没有更多推荐了,返回首页