2017-12-30 19:47:54 Allenlzcoder 阅读数 446
  • 深度学习基础与TensorFlow实践教程

    本课程主要介绍了深度学习的基础原理和TensorFlow系统基本使用方法。TensorFlow是目前机器学习、深度学习领域优秀的计算系统之一,本课程将结合实例介绍使用TensorFlow开发机器学习应用的详细方法和步骤,着重讲解了用于图像识别的卷积神经网络和用于自然语言处理的循环神经网络的理论知识及其TensorFlow实现方法,并结合实际场景和例子描述了深度学习技术的应用范围与效果。 所有案例均来自讲师团队工作中的亲身实践,所选案例均是深度学习的经典应用,非常具有代表性。

    21447 人正在学习 去看看 AI100讲师

台大陈蕴侬、李宏毅“应用深度学习”课程(国语)

       “Applied Deep Learning / Machine Learning and Having It Deep and Structured” by Yun-Nung (Vivian) Chen, Hung-Yi Lee [National Taiwan University] O网页链接 #腾讯视频#搬运:O网页链接 ​​​​

2016-01-12 08:48:37 happytofly 阅读数 56
  • 深度学习基础与TensorFlow实践教程

    本课程主要介绍了深度学习的基础原理和TensorFlow系统基本使用方法。TensorFlow是目前机器学习、深度学习领域优秀的计算系统之一,本课程将结合实例介绍使用TensorFlow开发机器学习应用的详细方法和步骤,着重讲解了用于图像识别的卷积神经网络和用于自然语言处理的循环神经网络的理论知识及其TensorFlow实现方法,并结合实际场景和例子描述了深度学习技术的应用范围与效果。 所有案例均来自讲师团队工作中的亲身实践,所选案例均是深度学习的经典应用,非常具有代表性。

    21447 人正在学习 去看看 AI100讲师

对于应用深度学习需要思考什么的问题,我们无法统一答复,因为答案会随着你要解决的问题的不同而不同。但是我们希望以下的问答将成为一个帮助你如何在初期选择深度学习算法和工具的清单。

  • 我的问题是有监督类型还是无监督类型?如果是有监督类型的,是分类还是回归?有监督学习会有个“老师”, 它会通过训练数据集的形式,在输入和输出的数据之间建立相关性。例如,给图片设定标签,对于分类问题,输入的数据是原始像素,输出的将是图片中对应位置有设定标签的名字。对于回归问题,你需要训练一个神经网络来预测一组连续的数值例如基于建筑面积的房价。无监督学习可以通过分析非标记数据,帮助你检测数据的相似性和差异性。无监督学习没有“老师”,它可以应用于如图片搜索和欺诈检测等用户场景。
  • 对于有监督类型,需要处理多少个标记?如果你要精确处理,那么就需要更多的标记,但这意味着需要更多的计算密度。例如,ImageNet的训练数据集有1000个分类,Iris的数据集只有3个分类。
  • batch size要多大? batch是指一组数据集的采样,例如一组图片。在训练过程中,同一个batch中的所有采样数据都将输入神经网络,通过神经网络计算,取同一batch中所有采样数据的平均误差值,然后用这个值来更新模型的权重值。batch size越大,意味着你需要等待更长的时间来完成每次的更新,或者说有更长的学习步长。而batch size越小,神经网络从每个batch获取到的数据信息越少。对于某些问题,批处理大小为1000是比较好的选择。如果你有大量的数据,你需要选择一个明智的batch size。
  • 需要处理多少个特征值?你需要更多的内存来处理的更多的特征值。比如图片,第一层的特征值是图片的像素的数目,以MNIST的28x28像素的图片为例,那么就会有784个特征值。在医学图像分析领域,需要分析的像素将会达到1400万像素。
  • 同一个问题的另一面:如何架构特征值?最近,Resnet(Microsoft Research Net)赢得了ImageNet大赛,它拥有150个的特征值分层。在相同的条件下,添加分层,就意味着处理的特征值会更多,需要更多的内存来支撑。多层感知器的高密度层所拥有的特征值要比卷积层多得多。人们之所以使用二次采样的卷积网络是因为他们想要削减用于计算的特征值数量。
  • 如何调优神经网络?调优神经网络对于很多人来说是一种黑暗艺术。但是我们还是有些方法可以用来调优的。
    • 首先你可以根据经验进行调优,观察你的神经网络的F1分值,然后调整超参数的值。
    • 其次,你还可以使用超参数优化工具来进行调优,使用这类工具或多或少会提高自动调优的水平。
    • 最后,你可以使用GUI工具比如heuristics, 使用这类工具可以很直观地展示误差是如何快速降低,可视化地呈现活化分布。
  • 训练模型需要多少数据?应该如何发掘这些数据?
  • 硬件问题:使用GPUs、CPUs或者两者皆用?使用GPU单机系统还是分布式系统?许多的研究是使用1-4GPUs。企业级的解决方案通常需要更多的资源,所以不得不使用大规模CPU集群系统。
  • 要使用什么数据管道?如何进行规划提取、传输和加载数据(ETL)?是放在Oracle数据库里面,还是放着Hadoop集群?是保存在本地还是云端?
  • 要如何提取数据的特征值?尽管深度学习是自主提取特征值的,你仍可以通过使用不同的特征值提取方式来减轻计算负载和加快训练速度,特别当特征值比较少的时候。
  • 应该使用哪种非线性算法和损失函数,选择哪种初始化权重值的方法?非线性算法是把深度学习网络的每层连接起来的激活函数。它也许是Sigmoid、Rectified Linear或者其他。特定的非线性算法常常伴随着特定的损失函数。
  • 最简单的特征值架构是什么?不是每个人愿意或者能够应用Resnet进行图片分类。
  • 计算网络放在哪里进行训练?数据模型要部署到哪里?它需要和哪些组件集成?大多数人不会问这些问题直到他们有了一个可以使用的原型。这个时候他们又不得不用扩展性更好的工具来重新设计他们的计算网络。所以你需要在这之前就要问自己到底是要使用Spark、AWS或者Hadpoop等其他平台。

原文链接Questions to Ask When Applying Deep Learning (编译/Jason 责编/周建丁)

2017-10-26 21:35:20 jiandanjinxin 阅读数 1041
  • 深度学习基础与TensorFlow实践教程

    本课程主要介绍了深度学习的基础原理和TensorFlow系统基本使用方法。TensorFlow是目前机器学习、深度学习领域优秀的计算系统之一,本课程将结合实例介绍使用TensorFlow开发机器学习应用的详细方法和步骤,着重讲解了用于图像识别的卷积神经网络和用于自然语言处理的循环神经网络的理论知识及其TensorFlow实现方法,并结合实际场景和例子描述了深度学习技术的应用范围与效果。 所有案例均来自讲师团队工作中的亲身实践,所选案例均是深度学习的经典应用,非常具有代表性。

    21447 人正在学习 去看看 AI100讲师

History of Deep Learning


这里写图片描述

Big Data & GPU

这里写图片描述

端到端

这里写图片描述

Universality Theorem

这里写图片描述

Core Factors for Applied Deep Learning

这里写图片描述


参考文献


http://v.qq.com/vplus/578e2d6f5e1fadc1/foldervideos/8n1000201qzzkx5

Deep Learning
◦Goodfellow, Bengio, and Courville, “Deep Learning,” 2016.
http://www.deeplearningbook.org
◦Michael Nielsen, “Neural Networks and Deep Learning”
http://neuralnetworksanddeeplearning.com

2016-01-26 22:43:50 happytofly 阅读数 1823
  • 深度学习基础与TensorFlow实践教程

    本课程主要介绍了深度学习的基础原理和TensorFlow系统基本使用方法。TensorFlow是目前机器学习、深度学习领域优秀的计算系统之一,本课程将结合实例介绍使用TensorFlow开发机器学习应用的详细方法和步骤,着重讲解了用于图像识别的卷积神经网络和用于自然语言处理的循环神经网络的理论知识及其TensorFlow实现方法,并结合实际场景和例子描述了深度学习技术的应用范围与效果。 所有案例均来自讲师团队工作中的亲身实践,所选案例均是深度学习的经典应用,非常具有代表性。

    21447 人正在学习 去看看 AI100讲师

Tim Hunter在databricks博客发布博文,演示如何使用TensorFlow和Spark一起训练和应用深度学习模型。

两个use cases:

  1. 超参数调整:用Spark找到神经网络训练的最佳超参数,减少10倍的训练时间,降低34%的误差率。
  2. 大规模部署模型:利用Spark在大量数据上应用一个训练的神经网络模型。

训练的超参数,如每层的神经元、学习率,太多或者太少都不行。TensorFlow(开源版)本身并不是分布式的,超参数调优处理是“尴尬的并行”,可以通过Spark实现分布式,使用Spark广播常见元素如数据和模型描述,并通过支持容错的集群安排单个的重复计算。采用默认超参数设置,精度为99.2%,最好的结果为99.47%,误差率降低34%。

图片描述

线性扩展能力,13节点的集群可以并行训练13个模型,相对于用一台机器每次训练一个模型提速7倍。

图片描述

神经网络典型权衡曲线:

  • 学习率非常关键,太低学不到东西(高测试误差),太高则训练过程可能随机振荡甚至在某些配置下发散。
  • 神经元的数目对性能没那么重要,大量神经元的网络对学习率更敏感。

图片描述

安装TensorFlow及重现本文测试参考:

部署部分,详见原文(含代码):

Deep Learning with Spark and TensorFlow by Tim Hunter

2018-01-03 21:00:50 Tong_T 阅读数 53594
  • 深度学习基础与TensorFlow实践教程

    本课程主要介绍了深度学习的基础原理和TensorFlow系统基本使用方法。TensorFlow是目前机器学习、深度学习领域优秀的计算系统之一,本课程将结合实例介绍使用TensorFlow开发机器学习应用的详细方法和步骤,着重讲解了用于图像识别的卷积神经网络和用于自然语言处理的循环神经网络的理论知识及其TensorFlow实现方法,并结合实际场景和例子描述了深度学习技术的应用范围与效果。 所有案例均来自讲师团队工作中的亲身实践,所选案例均是深度学习的经典应用,非常具有代表性。

    21447 人正在学习 去看看 AI100讲师

机器学习算法已经基本学习完了,在这一系列,佛爷将开始着手学习深度学习的各种算法和应用,由于本身难度偏大,我会不定期的更新,基本清楚和更加深入的研究深度学习。代码方面我基本会使用Tensorflow框架去写,原生代码我尽力去完成,查看资料,看看自己能不能搞定。完成的例子和项目,尽量我会设计一个别人都没有实现和想到的项目。因为但凡学习深度学习的同学,一上来肯定会遇到手写数字识别,这是基础。遇到MNIST数据集。
今天这一篇文章就介绍深度学习到底是什么?

什么是深度学习?(Deep Learning)

  • 深度学习是基于机器学习延伸出来的一个新的领域,由以人大脑结构为启发的神经网络算法为起源加之模型结构深度的增加发展,并伴随大数据和计算能力的提高而产生的一系列新的算法。
    这里写图片描述

深度学习什么时间段发展起来的?

  • 其概念由著名科学家Geoffrey Hinton等人在2006年和2007年在《Sciences》等上发表的文章被提出和兴起。
    这里写图片描述这里写图片描述

深度学习能用来干什么?为什么近年来引起如此广泛的关注?

  • 深度学习,作为机器学习中延伸出来的一个领域,被应用在图像处理与计算机视觉,自然语言处理以及语音识别等领域。自2006年至今,学术界和工业界合作在深度学习方面的研究与应用在以上领域取得了突破性的进展。以ImageNet为数据库的经典图像中的物体识别竞赛为例,击败了所有传统算法,取得了前所未有的精确度。
    这里写图片描述这里写图片描述

深度学习目前有哪些代表性的学术机构和公司走在前沿?人才需要如何?

  • 学校以多伦多大学,纽约大学,斯坦福大学为代表,工业界以Google, Facebook, 和百度为代表走在深度学习研究与应用的前沿。Google挖走了Hinton,Facebook挖走了LeCun,百度硅谷的实验室挖走了Andrew Ng,Google去年4月份以超过5亿美金收购了专门研究深度学习的初创公司DeepMind, 深度学习方因技术的发展与人才的稀有造成的人才抢夺战达到了前所未有激烈的程度。诸多的大大小小(如阿里巴巴,雅虎)等公司也都在跟进,开始涉足深度学习领域,深度学习人才需求量会持续快速增长。
    这里写图片描述

深度学习如今和未来将对我们生活造成怎样的影响?

  • 目前我们使用的Android手机中google的语音识别,百度识图,google的图片搜索,都已经使用到了深度学习技术。Facebook在去年名为DeepFace的项目中对人脸识别的准备率第一次接近人类肉眼(97.25% vs 97.5%)。大数据时代,结合深度学习的发展在未来对我们生活的影响无法估量。保守而言,很多目前人类从事的活动都将因为深度学习和相关技术的发展被机器取代,如自动汽车驾驶,无人飞机,以及更加职能的机器人等。深度学习的发展让我们第一次看到并接近人工智能的终极目标。
    这里写图片描述这里写图片描述这里写图片描述

深度学习范畴
这里写图片描述

深度学习基本模型
这里写图片描述

深度学习与传统机器学习
这里写图片描述

深度学习系列参考资料来源:

  1. 深度学习进阶:算法与应用(https://www.youtube.com/playlist?list=PLO5e_-yXpYLDyeADG7xbFaJxvYyeAjHah
  2. 莫烦 Python(https://morvanzhou.github.io/):一个志同道合的机器学习爱好者。
  3. 《TensorFlow实战Google深度学习框架》才云科技 郑泽宇 顾思宇 著
    (顺带手附上彩云科技的在bitTiger平台上的招聘视频【https://www.youtube.com/watch?v=ow4NQR4fdDA】)
没有更多推荐了,返回首页