2017-05-27 17:17:31 lx530467 阅读数 4608
  • 深度学习30天系统实训

    系列教程从深度学习核心模块神经网络开始讲起,将复杂的神经网络分模块攻克。由神经网络过度到深度学习,详解深度学习中核心网络卷积神经网络与递归神经网络。选择深度学习当下流行框架Tensorflow进行案例实战,选择经典的计算机视觉与自然语言处理经典案例以及绚丽的AI黑科技实战,从零开始带大家一步步掌握深度学习的原理以及实战技巧。课程具体内容包括:神经网络基础知识点、神经网络架构、tensorflow训练mnist数据集、卷积神经网络、CNN实战与验证码识别、自然语言处理word2vec、word2vec实战与对抗生成网络、LSTM情感分析与黑科技概述。

    14371 人正在学习 去看看 唐宇迪


什么是深度学习

深度学习是机器学习中的一个分支,是当今AI领域最热门最前沿的研究内容。它考虑的是用non-linear multiple processing layers来学习数据的multiple levels features的抽象表征用反向传播BP算法对计算模型训练,通过supervisedweakly supervised的特征学习和分层特征提取代替手工获取特征。

深度学习的应用

深度学习由于其不需要人工提取特征,只需要大量labelled data进行训练,从而在image, video, speech, text, audio等领域大放异彩。应用包含定位、识别、匹配、语音转文本、电商中的商品推荐等。当然还有GoogleAlphaGo

深度学习的框架

现在深度学习的框架已经有很多,如深度神经网络DNN、卷积神经网络CNN、深度置信网络DBN、递归神经网络RNN和生成对抗网络GAN等。其中以CNNGAN受关注度最高,前者不但可以通过得到候选区域来实现定位,而且可以通过减少参数加快训练速度;后者则是可以通过输入label得到输出数据(如image),从某种意义上相当于其它常用深度学习框架的逆过程。

CNN

卷积神经网络(Convolutional Neural Network)是目前应用最广泛的深度学习框架,其经典网络模型包括LeNet, AlexNet [1], GoogleNet [2], VGG [3], ResNet [4]
下面的四张图就可以清楚的描述CNN的结构:(取自[5]
这里写图片描述

这里写图片描述
Convolution中,可以看到一个batchNfeature maps输入,每张feature mapssize是宽为W、高为H、通道数为C。对于每一个batch的数据,使用的都是相同的共MC通道的卷积核filtersfilter sizeR x S。将每一组对应通道的filterfeature map卷积并相加得到E x F的一个通道的输出feature mapMfilters就可以得到一个M通道的feature mapsN张输入就可以得到NM通道的输出。卷积细节还有边缘补零padding, 步长stride等
这里写图片描述

这里写图片描述
BP算法需要与最优化optimize算法结合使用才能根据error对网络中的parameters进行update,目前效果比较好的最优化算法有Adagrad [6], AdagradDA [6] , Adadelta [7]Adam [8]


[1]: Krizhevsky A, Sutskever I, Hinton G E. Imagenet classification with deep convolutional neural networks[C]. Advances in neural information processing systems. 2012: 1097-1105.
[2]: Szegedy C, Liu W, Jia Y, et al. Going deeper with convolutions[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2015: 1-9.
[3]: Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition[J]. arXiv preprint arXiv:1409.1556, 2014.
[4]: He K, Zhang X, Ren S, et al. Deep residual learning for image recognition[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016: 770-778.
[5]: Sze V, Chen Y H, Yang T J, et al. Efficient processing of deep neural networks: A tutorial and survey[J]. arXiv preprint arXiv:1703.09039, 2017.
[6]: Duchi J, Hazan E, Singer Y. Adaptive subgradient methods for online learning and stochastic optimization[J]. Journal of Machine Learning Research, 2011, 12(Jul): 2121-2159.
[7]: Zeiler M D. ADADELTA: an adaptive learning rate method[J]. arXiv preprint arXiv:1212.5701, 2012.
[8]: Kingma D, Ba J. Adam: A method for stochastic optimization[J]. arXiv preprint arXiv:1412.6980, 2014.

2017-10-29 11:14:19 m0_37885286 阅读数 5572
  • 深度学习30天系统实训

    系列教程从深度学习核心模块神经网络开始讲起,将复杂的神经网络分模块攻克。由神经网络过度到深度学习,详解深度学习中核心网络卷积神经网络与递归神经网络。选择深度学习当下流行框架Tensorflow进行案例实战,选择经典的计算机视觉与自然语言处理经典案例以及绚丽的AI黑科技实战,从零开始带大家一步步掌握深度学习的原理以及实战技巧。课程具体内容包括:神经网络基础知识点、神经网络架构、tensorflow训练mnist数据集、卷积神经网络、CNN实战与验证码识别、自然语言处理word2vec、word2vec实战与对抗生成网络、LSTM情感分析与黑科技概述。

    14371 人正在学习 去看看 唐宇迪

最近开始学习比较火的深度学习框架:TensorFlow,主要原因是看猪场招聘需要熟练TensorFlow框架(有点急功近利,嘿嘿),于是开始提前做准备。以下是读《TensorFlow:实战Google深度学习框架》的总结


1、人工智能、机器学习、深度学习三个概念的区分

首先,想了解深度学习框架先要区分人工智能、机器学习、深度学习这三个概念:

1.1 人工智能的概念
人工智能主要是一类非常广泛的问题,它主要解决一些人类通过直觉可以很快解决而计算机目前却很难解决的问题,这些问题包括自然语言理解、图像识别、语音识别等等。

1.2 机器学习的概念
卡内基梅隆大学的Tom Michael Mitchell教授在1997年出版的书籍Machine Learning 中对机器学习进行过非常专业的定义,这个定义在学术界内被多次引用。具体定义为:“如果一个程序可以在任务T上,随着经验E的增加,效果P也可以随之增加,则称这个程序可以从经验中学习
举例说明,比如在垃圾邮件分类问题中,“一个程序”指的是需要用到的机器学习算法,比如逻辑回归算法:“任务T”是指区分垃圾邮件的任务;“经验E”为已经区分过是否为垃圾邮件的历史邮件,在监督式机器学习问题中,这也被称之为训练数据;“效果P”为区分垃圾邮件任务的正确率

1.3 深度学习的概念
深度学习是机器学习的一个分支。深度学习解决的核心问题之一就是自动地将简单的特征组合成更加复杂的特征,并使用这些组合特征解决问题。深度学习除了可以从简单特征中提取更加复杂的特征,还可以学习特征和任务之间的关联。下图展示了深度学习和传统机器学习在流程上的差异。
这里写图片描述

形象的来说的话,就是人工智能的范围>机器学习>深度学习

2、深度学习的应用

深度学习最早兴起于图像识别,但是在短短几年时间内,深度学习推广到了机器学习的各个领域。

2.1 计算机视觉
计算机视觉是深度学习技术最早实现突破性成就的领域。最早是应用在图像分类比赛ILSVRC(ImageNet Large Scale Visual Recognition Challenge),深度学习AlexNet赢得ILSVRC的冠军。
之后应用于物体识别,人脸识别,光学字符识别等。

2.2 语音识别
深度学习之所以能在语音识别领域中完成这样的技术突破,最主要的原因是它可以自动地从海量数据中提取更加复杂且有效

的特征,而不是如高斯混合模型中需要人工提取特征。
基于深度学习的语音识别已被应用到了各个领域,如:苹果公司推出的Siri系统。

2.3 自然语言处理
深度学习已经在语言模型、机器翻译、词性标注、实体识别、情感分析、广告推荐以及搜索排序等方向上取得了突出成就。

2.4 人机博弈
比如:AlphaGo以总分比4:1战胜了韩国棋手李世石。然后,AlphaGo的开发团队DeepMind又打算和暴雪公司合作推出星际争霸2的人工智能系统。

3、深度学习工具TensorFlow的主要功能和特点

TensorFlow是谷歌于2015年11月9日正式开源的计算框架。TensorFlow计算框架可以很好地支持深度学习的各种算法。

关于TensorFlow平台本身的技术细节可以参考谷歌的论文TensorFlow:Large-Scale Machine Learning on Heterogeneous Distributed Systems.

2019-04-15 21:30:45 weixin_40300585 阅读数 126
  • 深度学习30天系统实训

    系列教程从深度学习核心模块神经网络开始讲起,将复杂的神经网络分模块攻克。由神经网络过度到深度学习,详解深度学习中核心网络卷积神经网络与递归神经网络。选择深度学习当下流行框架Tensorflow进行案例实战,选择经典的计算机视觉与自然语言处理经典案例以及绚丽的AI黑科技实战,从零开始带大家一步步掌握深度学习的原理以及实战技巧。课程具体内容包括:神经网络基础知识点、神经网络架构、tensorflow训练mnist数据集、卷积神经网络、CNN实战与验证码识别、自然语言处理word2vec、word2vec实战与对抗生成网络、LSTM情感分析与黑科技概述。

    14371 人正在学习 去看看 唐宇迪

下午收到海康威视电面,还可以,一周内等消息,但是发现很多公司的图像处理岗位都有深度学习的要求,所以今天开始正式学习深度学习,在这里记录一下学习深度学习的过程,不定期更新

深度学习1

初步了解深度学习概念

链接: link.

深度学习路线

链接: link.

补充

昨天和男票说了一下自己的安排
被男票说了一顿,让我不要从旁门左道开始学,要先看最正规的,先学廖雪峰的python,了解基础之后就看吴恩达大佬的教学视频,网站如下:
廖雪峰python:link
吴恩达的视频是男票给拷的,这边没有链接,需要的话我可以传到百度云上,这个工作后面再做。
软件使用Anaconda,男票说这个软件好一点,后续使用方便……都是他踩过的雷,鉴于他早上刚惹我生气了,我打算今天不夸他。。。。。。
更新:Anaconda不是软件,刚刚又被男票说了,是集成库……

目标

1.三天看完廖雪峰python

2.一个月内看完吴恩达视频

python一周内看完的,现在看来当时确实不应该看的太仔细,不过看得仔细一点也是没什么坏处,
吴恩达大佬的视频是2周看完的,笔记我打印出来了,边看边巩固,老徐说不用先看第5讲,因为我后面想做目标检测,所以第5课不太相关,如果看完用不到的话还浪费时间,所以只看了前4课.
接下来开始学习Pytorch的框架了,老徐说学框架,但是框架的话Pytorch最好学一点,好上手,Tensorflow的话入门不太容易,所以接下来开始记录Pytorch的学习过程。

2018-04-11 21:09:42 chengqiuming 阅读数 628
  • 深度学习30天系统实训

    系列教程从深度学习核心模块神经网络开始讲起,将复杂的神经网络分模块攻克。由神经网络过度到深度学习,详解深度学习中核心网络卷积神经网络与递归神经网络。选择深度学习当下流行框架Tensorflow进行案例实战,选择经典的计算机视觉与自然语言处理经典案例以及绚丽的AI黑科技实战,从零开始带大家一步步掌握深度学习的原理以及实战技巧。课程具体内容包括:神经网络基础知识点、神经网络架构、tensorflow训练mnist数据集、卷积神经网络、CNN实战与验证码识别、自然语言处理word2vec、word2vec实战与对抗生成网络、LSTM情感分析与黑科技概述。

    14371 人正在学习 去看看 唐宇迪
一 人工智能、机器学习、神经网络、深度学习关系

二 理解深度学习和传统算法区别
1 机器学习与人类思维
2 深度学习应用
2.1 图像识别
2.2 目标识别
2.3 人脸识别
2.4 图片描述
2.5 图像风格转换
第一张图片是原始图片,第二张图片是风格,第三张图片原始图片和风格的合成
2.6 语音识别
2.7 文本分类
2.8 机器翻译
2.9 创作诗歌
2.10 图像生成
make.girls.moe

三 如何学习深度学习
1 知识框架
2 课程
四 AI领域分析
1 2017年人工智能分析
2 人工智能岗位竞争没有其他领域激烈
3 人工智能经验分布
4 人工智能细分领域的平均薪资
5 人工智能岗位地区分布情况
6 人工智能岗位的公司规模分布
7 人工智能招聘大小公司平均薪酬
8 薪酬对比

五 如何转型AI领域
1 AI职位
AI工程师
本科/硕士比较多,偏工程。
1 工程实践能力
2 机器学习/深度学习理论
3 AI项目经验
AI研究员:博士比较多,偏学术
1 科研能力
2 发论文

五 参考
2018-12-30 18:40:22 qq_41603102 阅读数 278
  • 深度学习30天系统实训

    系列教程从深度学习核心模块神经网络开始讲起,将复杂的神经网络分模块攻克。由神经网络过度到深度学习,详解深度学习中核心网络卷积神经网络与递归神经网络。选择深度学习当下流行框架Tensorflow进行案例实战,选择经典的计算机视觉与自然语言处理经典案例以及绚丽的AI黑科技实战,从零开始带大家一步步掌握深度学习的原理以及实战技巧。课程具体内容包括:神经网络基础知识点、神经网络架构、tensorflow训练mnist数据集、卷积神经网络、CNN实战与验证码识别、自然语言处理word2vec、word2vec实战与对抗生成网络、LSTM情感分析与黑科技概述。

    14371 人正在学习 去看看 唐宇迪

 

1、深度学习与机器学习

深度学习属于机器学习的一种

深度学习是实现人工智能的方法

深度学习是实现机器学习算法的技术

2、深度学习算法集合

卷积神经网络

循环神经网络

深度学习+强化学习=深度强化学习

自动编码器

稀疏编码

深度信念网络

限制玻尔兹曼机

3、深度学习的应用

图像识别

机器翻译

图像生成,图像文字化

 

未完待续~~

深度学习反思

阅读数 760

深度学习初识

阅读数 712

关于深度学习

博文 来自: xierhacker
没有更多推荐了,返回首页