2017-12-30 19:47:54 Allenlzcoder 阅读数 555
  • 深度学习基础与TensorFlow实践教程

    本课程主要介绍了深度学习的基础原理和TensorFlow系统基本使用方法。TensorFlow是目前机器学习、深度学习领域优秀的计算系统之一,本课程将结合实例介绍使用TensorFlow开发机器学习应用的详细方法和步骤,着重讲解了用于图像识别的卷积神经网络和用于自然语言处理的循环神经网络的理论知识及其TensorFlow实现方法,并结合实际场景和例子描述了深度学习技术的应用范围与效果。 所有案例均来自讲师团队工作中的亲身实践,所选案例均是深度学习的经典应用,非常具有代表性。

    21448 人正在学习 去看看 AI100讲师

台大陈蕴侬、李宏毅“应用深度学习”课程(国语)

       “Applied Deep Learning / Machine Learning and Having It Deep and Structured” by Yun-Nung (Vivian) Chen, Hung-Yi Lee [National Taiwan University] O网页链接 #腾讯视频#搬运:O网页链接 ​​​​

2016-01-12 08:48:37 happytofly 阅读数 66
  • 深度学习基础与TensorFlow实践教程

    本课程主要介绍了深度学习的基础原理和TensorFlow系统基本使用方法。TensorFlow是目前机器学习、深度学习领域优秀的计算系统之一,本课程将结合实例介绍使用TensorFlow开发机器学习应用的详细方法和步骤,着重讲解了用于图像识别的卷积神经网络和用于自然语言处理的循环神经网络的理论知识及其TensorFlow实现方法,并结合实际场景和例子描述了深度学习技术的应用范围与效果。 所有案例均来自讲师团队工作中的亲身实践,所选案例均是深度学习的经典应用,非常具有代表性。

    21448 人正在学习 去看看 AI100讲师

对于应用深度学习需要思考什么的问题,我们无法统一答复,因为答案会随着你要解决的问题的不同而不同。但是我们希望以下的问答将成为一个帮助你如何在初期选择深度学习算法和工具的清单。

  • 我的问题是有监督类型还是无监督类型?如果是有监督类型的,是分类还是回归?有监督学习会有个“老师”, 它会通过训练数据集的形式,在输入和输出的数据之间建立相关性。例如,给图片设定标签,对于分类问题,输入的数据是原始像素,输出的将是图片中对应位置有设定标签的名字。对于回归问题,你需要训练一个神经网络来预测一组连续的数值例如基于建筑面积的房价。无监督学习可以通过分析非标记数据,帮助你检测数据的相似性和差异性。无监督学习没有“老师”,它可以应用于如图片搜索和欺诈检测等用户场景。
  • 对于有监督类型,需要处理多少个标记?如果你要精确处理,那么就需要更多的标记,但这意味着需要更多的计算密度。例如,ImageNet的训练数据集有1000个分类,Iris的数据集只有3个分类。
  • batch size要多大? batch是指一组数据集的采样,例如一组图片。在训练过程中,同一个batch中的所有采样数据都将输入神经网络,通过神经网络计算,取同一batch中所有采样数据的平均误差值,然后用这个值来更新模型的权重值。batch size越大,意味着你需要等待更长的时间来完成每次的更新,或者说有更长的学习步长。而batch size越小,神经网络从每个batch获取到的数据信息越少。对于某些问题,批处理大小为1000是比较好的选择。如果你有大量的数据,你需要选择一个明智的batch size。
  • 需要处理多少个特征值?你需要更多的内存来处理的更多的特征值。比如图片,第一层的特征值是图片的像素的数目,以MNIST的28x28像素的图片为例,那么就会有784个特征值。在医学图像分析领域,需要分析的像素将会达到1400万像素。
  • 同一个问题的另一面:如何架构特征值?最近,Resnet(Microsoft Research Net)赢得了ImageNet大赛,它拥有150个的特征值分层。在相同的条件下,添加分层,就意味着处理的特征值会更多,需要更多的内存来支撑。多层感知器的高密度层所拥有的特征值要比卷积层多得多。人们之所以使用二次采样的卷积网络是因为他们想要削减用于计算的特征值数量。
  • 如何调优神经网络?调优神经网络对于很多人来说是一种黑暗艺术。但是我们还是有些方法可以用来调优的。
    • 首先你可以根据经验进行调优,观察你的神经网络的F1分值,然后调整超参数的值。
    • 其次,你还可以使用超参数优化工具来进行调优,使用这类工具或多或少会提高自动调优的水平。
    • 最后,你可以使用GUI工具比如heuristics, 使用这类工具可以很直观地展示误差是如何快速降低,可视化地呈现活化分布。
  • 训练模型需要多少数据?应该如何发掘这些数据?
  • 硬件问题:使用GPUs、CPUs或者两者皆用?使用GPU单机系统还是分布式系统?许多的研究是使用1-4GPUs。企业级的解决方案通常需要更多的资源,所以不得不使用大规模CPU集群系统。
  • 要使用什么数据管道?如何进行规划提取、传输和加载数据(ETL)?是放在Oracle数据库里面,还是放着Hadoop集群?是保存在本地还是云端?
  • 要如何提取数据的特征值?尽管深度学习是自主提取特征值的,你仍可以通过使用不同的特征值提取方式来减轻计算负载和加快训练速度,特别当特征值比较少的时候。
  • 应该使用哪种非线性算法和损失函数,选择哪种初始化权重值的方法?非线性算法是把深度学习网络的每层连接起来的激活函数。它也许是Sigmoid、Rectified Linear或者其他。特定的非线性算法常常伴随着特定的损失函数。
  • 最简单的特征值架构是什么?不是每个人愿意或者能够应用Resnet进行图片分类。
  • 计算网络放在哪里进行训练?数据模型要部署到哪里?它需要和哪些组件集成?大多数人不会问这些问题直到他们有了一个可以使用的原型。这个时候他们又不得不用扩展性更好的工具来重新设计他们的计算网络。所以你需要在这之前就要问自己到底是要使用Spark、AWS或者Hadpoop等其他平台。

原文链接Questions to Ask When Applying Deep Learning (编译/Jason 责编/周建丁)

2016-01-26 22:43:50 happytofly 阅读数 2123
  • 深度学习基础与TensorFlow实践教程

    本课程主要介绍了深度学习的基础原理和TensorFlow系统基本使用方法。TensorFlow是目前机器学习、深度学习领域优秀的计算系统之一,本课程将结合实例介绍使用TensorFlow开发机器学习应用的详细方法和步骤,着重讲解了用于图像识别的卷积神经网络和用于自然语言处理的循环神经网络的理论知识及其TensorFlow实现方法,并结合实际场景和例子描述了深度学习技术的应用范围与效果。 所有案例均来自讲师团队工作中的亲身实践,所选案例均是深度学习的经典应用,非常具有代表性。

    21448 人正在学习 去看看 AI100讲师

Tim Hunter在databricks博客发布博文,演示如何使用TensorFlow和Spark一起训练和应用深度学习模型。

两个use cases:

  1. 超参数调整:用Spark找到神经网络训练的最佳超参数,减少10倍的训练时间,降低34%的误差率。
  2. 大规模部署模型:利用Spark在大量数据上应用一个训练的神经网络模型。

训练的超参数,如每层的神经元、学习率,太多或者太少都不行。TensorFlow(开源版)本身并不是分布式的,超参数调优处理是“尴尬的并行”,可以通过Spark实现分布式,使用Spark广播常见元素如数据和模型描述,并通过支持容错的集群安排单个的重复计算。采用默认超参数设置,精度为99.2%,最好的结果为99.47%,误差率降低34%。

图片描述

线性扩展能力,13节点的集群可以并行训练13个模型,相对于用一台机器每次训练一个模型提速7倍。

图片描述

神经网络典型权衡曲线:

  • 学习率非常关键,太低学不到东西(高测试误差),太高则训练过程可能随机振荡甚至在某些配置下发散。
  • 神经元的数目对性能没那么重要,大量神经元的网络对学习率更敏感。

图片描述

安装TensorFlow及重现本文测试参考:

部署部分,详见原文(含代码):

Deep Learning with Spark and TensorFlow by Tim Hunter

2020-03-28 22:49:25 lqfarmer 阅读数 87
  • 深度学习基础与TensorFlow实践教程

    本课程主要介绍了深度学习的基础原理和TensorFlow系统基本使用方法。TensorFlow是目前机器学习、深度学习领域优秀的计算系统之一,本课程将结合实例介绍使用TensorFlow开发机器学习应用的详细方法和步骤,着重讲解了用于图像识别的卷积神经网络和用于自然语言处理的循环神经网络的理论知识及其TensorFlow实现方法,并结合实际场景和例子描述了深度学习技术的应用范围与效果。 所有案例均来自讲师团队工作中的亲身实践,所选案例均是深度学习的经典应用,非常具有代表性。

    21448 人正在学习 去看看 AI100讲师

    推荐一门由国立台湾大学计算机科学与信息工程学院助理教授陈蕴侬主讲的,中文版应用深度学习2020课程。

    本课程主要讲解如何利用深度学习算法来解决各种实际应用场景问题,学生学习如何使用这些深度学习算法,以及为什么要使用这些算法。本课程希望学生在课堂上学习理论,并通过做作业和最后的项目来学习实施方法。 注意:如果已修过类似的课程,例如,李宏毅老师的课程,则无需修此课程。

     

    文末附本课程视频及ppt免费下载地址(持续更新)。

 

课程主讲人

 

课程目录

 

课程视频截图

 

课程视频及ppt免费下载地址: https://mp.weixin.qq.com/s?__biz=MzIxNDgzNDg3NQ==&mid=2247487247&idx=1&sn=32e2a9d867ac6b513d2824ec249771e3&chksm=97a0c4dba0d74dcdc7f4ddfb8b336f4012f9e58b8ef62abf87b26cc23783cac294532a537761&token=2021356031&lang=zh_CN#rd

 

往期精品内容推荐

资深AI算法工程师培养计划,给你一个去大厂的机会!

20年算法校招编程-剑指offer、Leetcode常考题目及解法分享

2020年最新深度学习模型、策略整理及实现汇总分享

自然语言处理深度生成模型相关资源、会议和论文分享

ML、DL、NLP面试常考知识点、代码、算法理论基础汇总分享

新书分享-嵌入式深度学习:持续性神经网路算法、结构和电路设计

ICLR 2019计算机视觉、NLP、图模型、对抗学习、表示学习和元学习最新技术分享

中文版-BERT-预训练的深度双向Transformer语言模型-详细介绍

工业级实战 - 一文教会你基于Docker在Kubernetes上部署深度学习模型

2018-CUDA编程精品教材分享《基于GPU-多核-集群等并行化编程》

AI教父-深度学习之父-Geffery Hinton个人简介

2017-07-25 09:30:50 zhengyangwill 阅读数 1431
  • 深度学习基础与TensorFlow实践教程

    本课程主要介绍了深度学习的基础原理和TensorFlow系统基本使用方法。TensorFlow是目前机器学习、深度学习领域优秀的计算系统之一,本课程将结合实例介绍使用TensorFlow开发机器学习应用的详细方法和步骤,着重讲解了用于图像识别的卷积神经网络和用于自然语言处理的循环神经网络的理论知识及其TensorFlow实现方法,并结合实际场景和例子描述了深度学习技术的应用范围与效果。 所有案例均来自讲师团队工作中的亲身实践,所选案例均是深度学习的经典应用,非常具有代表性。

    21448 人正在学习 去看看 AI100讲师

深度学习在目标跟踪中的算法及应用

博文概述如下:

博文目的:总结整理“深度学习在目标跟踪中的应用”的相关资料,这里说的目标包括点目标和视觉目标

互通有无:希望通过该博文可以与在该方面研究的同学一起共享资料,互通有无,可以通过回复讨论。

博文更新:博文会不断更新

博文结构:1、深度学习基础教程;2、重点关注当前热点深度学习算法,例如CNN和RNN;3、热点算法在目标跟踪中的应用研究。

1、深度学习基础教程

    看过一些深度学习的基础教程,下面的教程算是最适合初学者的教程了。即有循序渐进的原理教程,又有python的代码实现。循序渐进,简单易懂,进行推荐。

零基础入门深度学习(1) - 感知器

零基础入门深度学习(2) - 线性单元和梯度下降
零基础入门深度学习(3) - 神经网络和反向传播算法
零基础入门深度学习(4) - 卷积神经网络
零基础入门深度学习(5) - 循环神经网络
零基础入门深度学习(6) - 长短时记忆网络(LSTM)
零基础入门深度学习(7) - 递归神经网络


2、深度学习算法

2.1 CSDN博文链接


3、深度学习在目标跟踪中的算法

3.1 CSDN博文链接


没有更多推荐了,返回首页