精华内容
下载资源
问答
  • 了解深度学习技术

    千次阅读 2019-01-09 08:07:04
    我们今天讨论什么是深度学习,他带给我们什么样的好处,以及与人工智能的关系。 作者:詹姆斯·E·鲍威尔 马丁·福特(Martin Ford)在他的新书《智能建筑师:人工智能建造者的真相》(Architects of Intelligence: T....

    https://www.toutiao.com/a6642081749134230019/

     

    2019-01-03 09:49:28

    了解深度学习技术!

     

    我们今天讨论什么是深度学习,他带给我们什么样的好处,以及与人工智能的关系。

    作者:詹姆斯·E·鲍威尔

    马丁·福特(Martin Ford)在他的新书《智能建筑师:人工智能建造者的真相》(Architects of Intelligence: The Truth about AI from The People Building It) (Packt Publishing, 2018年11月23日)中采访了人工智能专家,探讨了人工智能的未来、它对社会的影响以及我们应该关注的技术问题。在采访中,他谈到了自己的观点,人工智能的好处,以及人工智能尤其是深度学习的发展方向。

    优点:简而言之,你如何向不熟悉这项技术的人描述深度学习?它是如何使用的?

    马丁·福特:深度学习是一种软件,它大致模拟了大脑中生物神经元的运作和互动方式。神经网络是在20世纪50年代发明的,但直到最近十年,这些具有多层神经元的复杂网络才得以建立起来。“深度”一词指的是这些网络有许多层人工神经元(有时超过100层)。

    在过去几年里,深度学习一直是推动人工智能取得显著进步的主要技术。深度神经网络为语音识别和生成提供动力,使亚马逊Alexa成为可能。它也彻底改变了机器视觉。如今,计算机在识别视觉图像方面的表现已经超过人类,这种能力已经被应用于从自动驾驶汽车到基于图像视觉分析诊断癌症的医疗系统等各种应用中。这项技术也被用于提高机器人的感知能力和灵活性。在医学、科学、商业、工厂自动化和交通运输等领域,深度学习的应用数量几乎是无限的。

    该技术继续快速发展。产生这种情况的部分原因是计算机硬件性能的不断提高。 NVIDIA和英特尔等公司现在生产专为该技术设计的计算机芯片。在改进深度学习中使用的学习算法方面也进行了大量研究。大型科技公司正在对该技术进行大规模投资,这很可能会继续推动未来的发展。

    马丁·福特:深度学习是一种软件,它大致模拟了大脑中生物神经元的运作和互动方式。神经网络是在20世纪50年代发明的,但直到最近十年,这些具有多层神经元的复杂网络才得以建立起来。“深度”一词指的是这些网络有许多层人工神经元(有时超过100层)。

    在过去几年里,深度学习一直是推动人工智能取得显著进步的主要技术。深度神经网络为语音识别和生成提供动力,使亚马逊Alexa成为可能。它也彻底改变了机器视觉。如今,计算机在识别视觉图像方面的表现已经超过人类,这种能力已经被应用于从自动驾驶汽车到基于图像视觉分析诊断癌症的医疗系统等各种应用中。这项技术也被用于提高机器人的感知能力和灵活性。在医学、科学、商业、工厂自动化和交通运输等领域,深度学习的应用数量几乎是无限的。

    这项技术继续快速发展。出现这种情况的部分原因是计算机硬件越来越快,也越来越好。英伟达(NVIDIA)和英特尔(Intel)等公司现在生产专为这种技术设计的电脑芯片。在深入学习中使用的学习算法的改进方面也有大量的研究。大型科技公司正在对这项技术进行大规模投资,这极有可能继续推动技术进步。

    该技术继续快速发展。发生这种情况的部分原因是计算机硬件变得更快,也更好。 NVIDIA和英特尔等公司现在生产专为该技术设计的计算机芯片。在改进深度学习中使用的学习算法方面也进行了大量研究。巨大的科技公司正在对该技术进行大规模投资,这很可能会继续推动未来的发展。

    深度学习和人工智能之间的关系是什么? DL如何推进人工智能?

    深度学习(以及更普遍的机器学习,包括神经网络以外的方法)只是人工智能的一个分支。然而,毫无疑问,这是最具爆炸性进展的单一领域。

    实际上,在顶尖专家中,关于深度学习在未来人工智能中的作用和重要性,存在着一些争论。《智能架构师》采访了包括杰夫•辛顿(Geoff Hinton)、扬•勒肯(Yann LeCun)和约舒亚•本吉奥(yoshu Bengio)在内的深度学习先驱,他们倾向于相信,神经网络最终会证明自己有能力在人工智能领域做任何真正重要的事情。其他专家不同意。他们认为,深度学习必须与其他方法相结合,才能继续推动这一领域的发展。

    深度学习有什么好处? 有什么缺点?

    深度学习的主要好处是系统具有强大的能力:(通常是超人的)识别数据模式的能力。这些模式可能是可视图像中的对象或人、人类语言中的文字、业务数据中的重要见解,或者是机器中某个特定部分可能会失败的早期警告。

    目前的技术状态有许多潜在的缺陷。

    深度学习系统相对不灵活或“脆弱”。如果最初的假设发生了变化,系统将生成不正确的数据。与人类不同,这些系统无法适应。

    深度学习系统可能缺乏透明度或充当“黑匣子”。他们给出了结果,但没有解释这些结果是如何产生的。当系统用于刑事司法等领域时,这可能是一个大问题,在这些领域,理解导致决策的基本原理至关重要。

    在某些情况下,已经检测到基于种族,性别或其他参数的偏差。这是因为用于训练系统的数据存在偏差。例如,如果在面部识别系统中使用神经网络并且网络在大多数白脸上训练,则系统在识别非白脸方面可能不太有效。这可能导致“误报”,因此非白人经常被错误识别。

    安全性一直是任何自治系统的主要关注点,有证据表明,深度学习系统可能容易受到黑客攻击。

    越来越多的法规要求企业解释它们的决定,而在人工智能中,这可能会很困难,因为算法是隐藏在视野之外的——因此需要推动算法的透明度。DL是解决方案的一部分吗

    深度学习系统成为“黑匣子”的趋势是该领域的一个主要关注点,目前有许多关于构建更透明系统的研究正在进行。像谷歌这样的公司都有团队致力于提高透明度和消除这些系统中的偏见。

    我采访过的人之一,大卫·费鲁奇(David Ferrucci)(他领导了IBM Watson的开发团队),创办了一家公司,专门致力于开发能够自我解释的系统。他利用自然语言处理方面的最新进展,最终设想出一种系统,能够像人类分析师那样回答问题。

    关于深度学习( DL )有哪些常见的误解?人们认为它可以做什么呢?

    最重要的误解是人们把真正的智力和深度学习联系在一起。这些系统目前仅限于作为非常有效的模式识别器。他们没有表现出真正的人类智慧。当媒体描述“类脑”计算机的神经网络时,这种误解可以被放大。

    虽然我采访过的很多人(例如,包括DeepMind的Demis Hassabis和Google的Ray Kurzweil)对真正的机器智能取得进展非常感兴趣,但大多数研究人员都认为这还有很长的路要走。

    就目前而言,DL系统能够以惊人的熟练程度完成非常具体的事情 – 但它们并不像人一样“思考”。

    DL在未来一两年的发展方向是什么?从长远来看(比如5到10年后),它将走向何方?

    未来一两年,核心技术将继续取得突破,但或许更重要的是,DL在整个经济领域的应用将呈爆炸式增长。我采访过的吴立胜(Andrew Ng)提出了几个旨在加快这一进程的举措:落地。人工智能正在为制造业带来深入的学习,而人工智能基金正在酝酿新的想法,这些想法最终将扩大到专注于多个领域的初创公司。

    在未来的5-10年里,DL可能会发展成为一种真正的通用技术。它将几乎像电一样,在经济、科学和文化的几乎每个方面都变得越来越不可或缺。

    我们还应该为在更长时间内实现真正突破性突破的可能性做好准备。例如,雷•库兹韦尔(Ray Kurzweil)认为,我们可能在11年内实现人类水平的机器智能。这是一个大胆的预测,但我们应该期待取得显著进展,对经济和社会产生巨大影响。

    展开全文
  • 深度学习技术路径

    千次阅读 2019-03-08 17:23:33
    主要从事计算机视觉技术深度学习技术的研究与工业化应用,现担任人工智能初创公司中科视拓CEO。) 深度学习本质上是深层的人工神经网络,它不是一项孤立的技术,而是数学、统计机器学习、计算机科学和人工神经...

    本文转自AI科技大本营刘昕博士(刘昕,工学博士,毕业于中国科学院计算技术研究所,师从山世光研究员。主要从事计算机视觉技术和深度学习技术的研究与工业化应用,现担任人工智能初创公司中科视拓CEO。

    深度学习本质上是深层的人工神经网络,它不是一项孤立的技术,而是数学、统计机器学习、计算机科学和人工神经网络等多个领域的综合。深度学习的理解,离不开本科数学中最为基础的数学分析(高等数学)、线性代数、概率论和凸优化;深度学习技术的掌握,更离不开以编程为核心的动手实践。没有扎实的数学和计算机基础做支撑,深度学习的技术突破只能是空中楼阁。

    所以,想在深度学习技术上有所成就的初学者,就有必要了解这些基础知识之于深度学习的意义。除此之外,我们的专业路径还会从结构与优化的理论维度来介绍深度学习的上手,并基于深度学习框架的实践浅析一下进阶路径

    最后,本文还将分享深度学习的实践经验和获取深度学习前沿信息的经验。

     

    数学基础

     

    如果你能够顺畅地读懂深度学习论文中的数学公式,可以独立地推导新方法,则表明你已经具备了必要的数学基础。

    掌握数学分析、线性代数、概率论和凸优化四门数学课程包含的数学知识,熟知机器学习的基本理论和方法,是入门深度学习技术的前提。因为无论是理解深度网络中各个层的运算和梯度推导,还是进行问题的形式化或是推导损失函数,都离不开扎实的数学与机器学习基础。

    数学分析:在工科专业所开设的高等数学课程中,主要学习的内容为微积分对于一般的深度学习研究和应用来说,需要重点温习函数与极限、导数(特别是复合函数求导)、微分、积分、幂级数展开、微分方程等基础知识。在深度学习的优化过程中,求解函数的一阶导数是最为基础的工作。当提到微分中值定理、Taylor公式和拉格朗日乘子的时候,你不应该只是感到与它们似曾相识。这里推荐同济大学第五版的《高等数学》教材。

    线性代数:深度学习中的运算常常被表示成向量和矩阵运算。线性代数正是这样一门以向量和矩阵作为研究对象的数学分支。需要重点温习的包括向量、线性空间、线性方程组、矩阵、矩阵运算及其性质、向量微积分。当提到Jacobian矩阵和Hessian矩阵的时候,你需要知道确切的数学形式;当给出一个矩阵形式的损失函数时,你可以很轻松的求解梯度。这里推荐同济大学第六版的《线性代数》教材。

    概率论:概率论是研究随机现象数量规律的数学分支,随机变量在深度学习中有很多应用,无论是随机梯度下降、参数初始化方法(如Xavier),还是Dropout正则化算法,都离不开概率论的理论支撑。除了掌握随机现象的基本概念(如随机试验、样本空间、概率、条件概率等)、随机变量及其分布之外,还需要对大数定律及中心极限定理、参数估计、假设检验等内容有所了解,进一步还可以深入学习一点随机过程、马尔可夫随机链的内容。这里推荐浙江大学版的《概率论与数理统计》

    凸优化:结合以上三门基础的数学课程,凸优化可以说是一门应用课程。但对于深度学习而言,由于常用的深度学习优化方法往往只利用了一阶的梯度信息进行随机梯度下降,因而从业者事实上并不需要多少“高深”的凸优化知识。理解凸集、凸函数、凸优化的基本概念,掌握对偶问题的一般概念,掌握常见的无约束优化方法如梯度下降方法、随机梯度下降方法、Newton方法,了解一点等式约束优化和不等式约束优化方法,即可满足理解深度学习中优化方法的理论要求。这里推荐一本教材,Stephen Boyd的《Convex Optimization》。

    机器学习:归根结底,深度学习只是机器学习方法的一种,而统计机器学习则是机器学习领域事实上的方法论。以监督学习为例,需要你掌握线性模型的回归与分类、支持向量机与核方法、随机森林方法等具有代表性的机器学习技术,并了解模型选择与模型推理、模型正则化技术、模型集成、Bootstrap方法、概率图模型等。深入一步的话,还需要了解半监督学习、无监督学习和强化学习等专门技术。这里推荐一本经典教材《The elements of Statistical Learning》。

     

    计算机基础

     

    深度学习要在实战中论英雄,因此具备GPU服务器的硬件选型知识,熟练操作Linux系统和进行Shell编程,熟悉C++和Python语言,是成长为深度学习实战高手的必备条件。当前有一种提法叫“全栈深度学习工程师”,这也反映出了深度学习对于从业者实战能力的要求程度:既需要具备较强的数学与机器学习理论基础,又需要精通计算机编程与必要的体系结构知识

    编程语言:在深度学习中,使用最多的两门编程语言分别是C++和Python。迄今为止,C++语言依旧是实现高性能系统的首选,目前使用最广泛的几个深度学习框架,包括Tensorflow、Caffe、MXNet,其底层均无一例外地使用C++编写。而上层的脚本语言一般为Python,用于数据预处理、定义网络模型、执行训练过程、数据可视化等。当前,也有Lua、R、Scala、Julia等语言的扩展包出现于MXNet社区,呈现百花齐放的趋势。这里推荐两本教材,一本是《C++ Primer第五版》,另外一本是《Python核心编程第二版》

    Linux操作系统:深度学习系统通常运行在开源的Linux系统上,目前深度学习社区较为常用的Linux发行版主要是Ubuntu。对于Linux操作系统,主要需要掌握的是Linux文件系统、基本命令行操作和Shell编程,同时还需熟练掌握一种文本编辑器,比如VIM。基本操作务必要做到熟练,当需要批量替换一个文件中的某个字符串,或者在两台机器之间用SCP命令拷贝文件时,你不需要急急忙忙去打开搜索引擎。这里推荐一本工具书《鸟哥的Linux私房菜》。

    CUDA编程:深度学习离不开GPU并行计算,而CUDA是一个很重要的工具。CUDA开发套件是NVidia提供的一套GPU编程套件,实践当中应用的比较多的是CUDA-BLAS库。这里推荐NVidia的官方在线文档http://docs.nvidia.com/cuda/。

    其他计算机基础知识:掌握深度学习技术不能只满足于使用Python调用几个主流深度学习框架,从源码着手去理解深度学习算法的底层实现是进阶的必由之路。这个时候,掌握数据结构与算法(尤其是图算法)知识、分布式计算(理解常用的分布式计算模型),和必要的GPU和服务器的硬件知识(比如当我说起CPU的PCI-E通道数和GPU之间的数据交换瓶颈时,你能心领神会),你一定能如虎添翼。

     

    深度学习入门

     

    接下来分别从理论和实践两个角度来介绍一下深度学习的入门。

    深度学习理论入门:我们可以用一张图(图1)来回顾深度学习中的关键理论和方法。从MCP神经元模型开始,首先需要掌握卷积层、Pooling层等基础结构单元,Sigmoid等激活函数,Softmax等损失函数,以及感知机、MLP等经典网络结构。接下来,掌握网络训练方法,包括BP、Mini-batch SGD和LR Policy。最后还需要了解深度网络训练中的两个至关重要的理论问题:梯度消失和梯度溢出。

    ​以卷积神经网络为例,我们用图2来展示入门需要掌握的知识。起点是Hubel和Wiesel的对猫的视觉皮层的研究,再到日本学者福岛邦彦神经认知机模型(已经出现了卷积结构),但是第一个CNN模型诞生于1989年,1998年诞生了后来被大家熟知的LeNet。随着ReLU和Dropout的提出,以及GPU和大数据所带来的历史机遇,CNN在2012年迎来了历史性的突破——诞生了AlexNet网络结构。2012年之后,CNN的演化路径可以总结为四条:

    1. 更深的网络;

    2. 增强卷积模的功能以及上诉两种思路的融合ResNet和各种变种;

    3. 从分类到检测,最新的进展为ICCV 2017的Best Paper Mask R-CNN;

    4. 增加新的功能模块。

     

    深度学习实践入门:掌握一个开源深度学习框架的使用,并进一步的研读代码,是实际掌握深度学习技术的必经之路。当前使用最为广泛的深度学习框架包括Tensorflow、Caffe、MXNet和PyTorch等。框架的学习没有捷径,按照官网的文档step by step配置及操作,参与GitHub社区的讨论,遇到不能解答的问题及时Google是快速实践入门的好方法。

    初步掌握框架之后,进一步的提升需要依靠于具体的研究问题,一个短平快的策略是先刷所在领域权威的Benchmark。例如人脸识别领域的LFW和MegaFace,图像识别领域与物体检测领域的ImageNet、Microsoft COCO,图像分割领域的Pascal VOC等。通过复现或改进别人的方法,亲手操练数据的准备、模型的训练以及调参,能在所在领域的Benchmark上达到当前最好的结果,实践入门的环节就算初步完成了。

    后续的进阶,就需要在实战中不断地去探索和提升了。例如:熟练的处理大规模的训练数据,精通精度和速度的平衡,掌握调参技巧、快速复现或改进他人的工作,能够实现新的方法等等。

     

    深度学习实战经验

     

    在这里,分享四个方面的深度学习实战经验。

    1. 充足的数据。大量且有标注的数据,依旧在本质上主宰着深度学习模型的精度,每一个深度学习从业者都需要认识到数据极端重要。获取数据的方式主要有三种:开放数据(以学术界开放为主,如ImageNet和LFW)、第三方数据公司的付费数据和结合自身业务产生的数据

    2. 熟练的编程实现能力。深度学习算法的实现离不开熟练的编程能力,熟练使用Python进行编程是基础。如果进一步的修改底层实现或增加新的算法,则可能需要修改底层代码,此时熟练的C++编程能力就变得不可或缺。一个明显的现象是,曾经只需要掌握Matlab就可以笑傲江湖的计算机视觉研究者,如今也纷纷需要开始补课学习Python和C++了。

    3. 充裕的GPU资源。深度学习的模型训练依赖于充裕的GPU资源,通过多机多卡的模型并行,可以有效的提高模型收敛速度,从而更快的完成算法验证和调参。一个专业从事深度学习的公司或实验室,拥有数十块到数百块的GPU资源已经是普遍现象。

    4. 创新的方法。以深度学习领域权威的ImageNet竞赛为例,从2012年深度学习技术在竞赛中夺魁到最后一届2017竞赛,方法创新始终是深度学习进步的核心动力。如果只是满足于多增加一点数据,把网络加深或调几个SGD的参数,是难以做出真正一流的成果的。

    根据笔者的切身经历,方法创新确实能带来难以置信的结果。一次参加阿里巴巴组织的天池图像检索比赛,笔者提出的一点创新——使用标签有噪声数据的新型损失函数,结果竟极大地提高了深度模型的精度,还拿到了当年的冠军。

     

    深度学习前沿

     

    【前沿信息的来源】

    实战中的技术进阶,必需要了解深度学习的最新进展。换句话说,就是刷论文:除了定期刷Arxiv,刷代表性工作的Google Scholar的引用,关注ICCV、CVPR和ECCV等顶级会议之外,知乎的深度学习专栏和Reddit上时不时会有最新论文的讨论(或者精彩的吐槽)。

    一些高质量的公众号,例如Valse前沿技术选介、深度学习大讲堂、Paper Weekly等,也时常有深度学习前沿技术的推送,也都可以成为信息获取的来源。同时,关注学术界大佬LeCun和Bengio等人的Facebook/Quora主页,关注微博大号“爱可可爱生活”等人,也常有惊喜的发现。

    【建议关注的重点】

    • 新的网络结构在以SGD为代表的深度学习优化方法没有根本性突破的情况下,修改网络结构是可以较快提升网络模型精度的方法。2015年以来,以ResNet的各种改进为代表的各类新型网络结构如雨后春笋般涌现,其中代表性的有DenseNet、SENet、ShuffuleNet等。
    • 新的优化方法。纵观从1943年MCP模型到2017年间的人工神经网络发展史,优化方法始终是进步的灵魂。以误差反向传导(BP)和随机梯度下降(SGD)为代表的优化技术的突破,或是Sigmoid/ReLU之后全新一代激活函数的提出,都非常值得期待。笔者认为,近期的工作如《Learning gradient descent by gradient descent》以及SWISH激活函数,都很值得关注。但能否取得根本性的突破,也即完全替代当前的优化方法或ReLU激活函数,尚不可预测。
    • 新的学习技术。深度强化学习和生成对抗网络(GAN)。最近几周刷屏的Alpha Zero再一次展示了深度强化学习的强大威力,完全不依赖于人类经验,在围棋项目上通过深度强化学习“左右互搏”所练就的棋力,已经远超过上一代秒杀一众人类高手的AlghaGo Master。同样的,生成对抗网络及其各类变种也在不停地预告一个学习算法自我生成数据的时代的序幕。笔者所在的公司也正尝试将深度强化学习和GAN相结合,用于跨模态的训练数据的增广。
    • 新的数据集。数据集是深度学习算法的练兵场,因此数据集的演化是深度学习技术进步的缩影。以人脸识别为例,后LFW时代,MegaFace和Microsoft Celeb-1M数据集已接棒大规模人脸识别和数据标签噪声条件下的人脸识别。后ImageNet时代,Visual Genome正试图建立一个包含了对象、属性、关系描述、问答对在内的视觉基因组。
    展开全文
  • 深度学习技术发展趋势浅析

    千次阅读 2019-04-09 08:37:11
    当前,人工智能发展借助深度学习技术突破得到了...本文旨在分析深度学习技术现状,研判深度学习发展趋势,并针对我国的技术水平提出发展建议。 一、深度学习技术现状 深度学习是本轮人工智能爆发的关键技术。...

    https://mp.weixin.qq.com/s/FtIhKiENv483iHE053RPkg

     

    当前,人工智能发展借助深度学习技术突破得到了全面关注和助力推动,各国政府高度重视、资本热潮仍在加码,各界对其成为发展热点也达成了共识。本文旨在分析深度学习技术现状,研判深度学习发展趋势,并针对我国的技术水平提出发展建议。

     

    一、深度学习技术现状

    深度学习是本轮人工智能爆发的关键技术。人工智能技术在计算机视觉和自然语言处理等领域取得的突破性进展,使得人工智能迎来新一轮爆发式发展。而深度学习是实现这些突破性进展的关键技术。其中,基于深度卷积网络的图像分类技术已超过人眼的准确率,基于深度神经网络的语音识别技术已达到95%的准确率,基于深度神经网络的机器翻译技术已接近人类的平均翻译水平。准确率的大幅提升使得计算机视觉和自然语言处理进入产业化阶段,带来新产业的兴起。

     

    深度学习是大数据时代的算法利器,成为近几年的研究热点。和传统的机器学习算法相比,深度学习技术有着两方面的优势。一是深度学习技术可随着数据规模的增加不断提升其性能,而传统机器学习算法难以利用海量数据持续提升其性能。二是深度学习技术可以从数据中直接提取特征,削减了对每一个问题设计特征提取器的工作,而传统机器学习算法需要人工提取特征。因此,深度学习成为大数据时代的热点技术,学术界和产业界都对深度学习展开了大量的研究和实践工作。

     

    深度学习各类模型全面赋能基础应用。卷积神经网络和循环神经网络是两类获得广泛应用的深度神经网络模型。计算机视觉和自然语言处理是人工智能两大基础应用。卷积神经网络广泛应用于计算机视觉领域,在图像分类、目标检测、语义分割等任务上的表现大大超越传统方法。循环神经网络适合解决序列信息相关问题,已广泛应用于自然语言处理领域,如语音识别、机器翻译、对话系统等。

     

    深度学习技术仍不完美,有待于进一步提升。一是深度神经网络的模型复杂度高,巨量的参数导致模型尺寸大,难以部署到移动终端设备。二是模型训练所需的数据量大,而训练数据样本获取、标注成本高,有些场景样本难以获取。三是应用门槛高,算法建模及调参过程复杂繁琐、算法设计周期长、系统实施维护困难。四是缺乏因果推理能力,图灵奖得主、贝叶斯网络之父Judea Pearl指出当前的深度学习不过只是“曲线拟合”。五是存在可解释性问题,由于内部的参数共享和复杂的特征抽取与组合,很难解释模型到底学习到了什么,但出于安全性考虑以及伦理和法律的需要,算法的可解释性又是十分必要的。因此,深度学习仍需解决以上问题。

     

    二、深度学习发展趋势

    深度神经网络呈现层数越来越深,结构越来越复杂的发展趋势。为了不断提升深度神经网络的性能,业界从网络深度和网络结构两方面持续进行探索。神经网络的层数已扩展到上百层甚至上千层,随着网络层数的不断加深,其学习效果也越来越好,2015年微软提出的ResNet以152层的网络深度在图像分类任务上准确率首次超过人眼。新的网络设计结构不断被提出,使得神经网络的结构越来越复杂。如:2014年谷歌提出了Inception网络结构、2015年微软提出了残差网络结构、2016年黄高等人提出了密集连接网络结构,这些网络结构设计不断提升了深度神经网络的性能。

     

    深度神经网络节点功能不断丰富。为了克服目前神经网络存在的局限性,业界探索并提出了新型神经网络节点,使得神经网络的功能越来越丰富。2017年,杰弗里•辛顿提出了胶囊网络的概念,采用胶囊作为网络节点,理论上更接近人脑的行为,旨在克服卷积神经网络没有空间分层和推理能力等局限性。2018年,DeepMind、谷歌大脑、MIT的学者联合提出了图网络的概念,定义了一类新的模块,具有关系归纳偏置功能,旨在赋予深度学习因果推理的能力。

     

    深度神经网络工程化应用技术不断深化。深度神经网络模型大都具有上亿的参数量和数百兆的占用空间,运算量大,难以部署到智能手机、摄像头和可穿戴设备等性能和资源受限的终端类设备。为了解决这个问题,业界采用模型压缩技术降低模型参数量和尺寸,减少运算量。目前采用的模型压缩方法包括对已训练好的模型做修剪(如剪枝、权值共享和量化等)和设计更精细的模型(如MobileNet等)两类。深度学习算法建模及调参过程繁琐,应用门槛高。为了降低深度学习的应用门槛,业界提出了自动化机器学习(AutoML)技术,可实现深度神经网络的自动化设计,简化使用流程。

     

    深度学习与多种机器学习技术不断融合发展。深度学习与强化学习融合发展诞生的深度强化学习技术,结合了深度学习的感知能力和强化学习的决策能力,克服了强化学习只适用于状态为离散且低维的缺陷,可直接从高维原始数据学习控制策略。为了降低深度神经网络模型训练所需的数据量,业界引入了迁移学习的思想,从而诞生了深度迁移学习技术。迁移学习是指利用数据、任务或模型之间的相似性,将在旧领域学习过的模型,应用于新领域的一种学习过程。通过将训练好的模型迁移到类似场景,实现只需少量的训练数据就可以达到较好的效果。

     

    三、未来发展建议

    加强图网络、深度强化学习以及生成式对抗网络等前沿技术研究。由于我国在深度学习领域缺乏重大原创性研究成果,基础理论研究贡献不足,如胶囊网络、图网络等创新性、原创性概念是由美国专家提出,我国研究贡献不足。在深度强化学习方面,目前最新的研究成果大都是由DeepMind和OpenAI等国外公司的研究人员提出,我国尚没有突破性研究成果。近几年的研究热点生成式对抗网络(GAN)是由美国的研究人员Goodfellow提出,并且谷歌、facebook、twitter和苹果等公司纷纷提出了各种改进和应用模型,有力推动了GAN技术的发展,而我国在这方面取得的研究成果较少。因此,应鼓励科研院所及企业加强深度神经网络与因果推理模型结合、生成式对抗网络以及深度强化学习等前沿技术的研究,提出更多原创性研究成果,增强全球学术研究影响力。

     

    加快自动化机器学习、模型压缩等深度学习应用技术研究。依托国内的市场优势和企业的成长优势,针对具有我国特色的个性化应用需求,加快对深度学习应用技术的研究。加强对自动化机器学习、模型压缩等技术的研究,加快深度学习的工程化落地应用。加强深度学习在计算机视觉领域应用研究,进一步提升目标识别等视觉任务的准确率,以及在实际应用场景中的性能。加强深度学习在自然语言处理领域的应用研究,提出性能更优的算法模型,提升机器翻译、对话系统等应用的性能。

     

     

    作者简介

    赵强,工学硕士,高级工程师,现就职于中国信息通信研究院云计算与大数据研究所人工智能部。主要对人工智能的技术、应用与产业开展研究,并进行相关系统软件的设计与研发。研究成果获批国家发明专利4项,软件著作权5项。

    联系方式:zhaoqiang@caict.ac.cn

    展开全文
  • AI技术主要包括 机器学习,表征学习(特征学习),深度学习等 AI技术包含关系 上图为人工智能技术的包含关系 可见AI包括机器学习(machine learning),机器学习又包括表征学习(representation learning),深度...

    AI技术主要包括 机器学习,表征学习(特征学习),深度学习等

    AI技术包含关系

    在这里插入图片描述
    上图为人工智能技术的包含关系
    可见AI包括机器学习(machine learning),机器学习又包括表征学习(representation learning),深度学习(Deep Learning)又是表征学习的一种

    AI系统的不同部分

    在这里插入图片描述
    上图可见
    基于规则的系统(Rule-based systems):输入数据 通过手写规则的程序 得到输出
    经典机器学习:输入 通过设计的特征提取 利用特征进行匹配 得到输出
    表征学习:相对于经典机器学习,将手写特征提取,改为机器对特征进行学习
    深度学习:输入 提取到简单的特征 对特征进行扩展 利用特征进行匹配
    在这里插入图片描述
    该图中灰色的部分,为机器从数据中学习部分(不需要人编写)

    机器学习与深度学习区别

    深度学习由经典机器学习发展而来,两者有着相同与不同特点

    1.完全不同的模式

    机器学习:使计算机能从数据中学习,并利用其学到的知识来提供答案(通常为预测)。依赖于不同的范式(paradigms),例如统计分析、寻找数据相似性、使用逻辑等
    深度学习:使用单一技术,最小化人脑劳动。使用被称为神经元的计算单元处理数据,这些计算单元被安排成有序的部分,称为层。(神经网络)(neural network)

    2.灵活的架构

    机器学习:提供许多超参(调整)来优化从数据中学习的算法
    深度学习:也使用超参,不过也使用多个用户配置的层(用户指定数量个类型)

    3.自治(自动调节)的特征定义

    机器学习:需要人工干预才能成功。使用大量的人类知识来发展机器学习工作算法。(为机器学习算法创建正确的信息称为特征创建,这是一项耗时的工作)
    深度学习:它不需要人类执行任何功能创建活动,由于它的许多层,它定义了自己最好的特征

    简述深度学习

    什么是深度学习

    从数据中提取有用的模式

    怎样实现深度学习

    神经网络 + 优化
    技术手段如 Python+TensorFlow/pytorch

    困难部分

    需要好的问题,也需要搭配好的数据(数量、质量)

    深度学习发展依赖

    为什么深度学习现在发展正盛?
    有了大量数据、硬件发展、活越强大的社区、有了很多封装的工具

    面临困境

    大多数关于智力的重大问题都没有得到回答,也没有得到恰当的表述

    热门应用

    人脸识别、图像分类、语音识别、语音生成、笔迹转录、机器翻译、医学诊断、汽车自动驾驶(航线保持)、智能助理、智能推荐系统(广告、商品)、游戏

    百科概念

    深度学习

    深度学习是学习样本数据的内在规律和表示层次,这些学习过程中获得的信息对诸如文字,图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力,能够识别文字、图像和声音等数据。 深度学习是一个复杂的机器学习算法,在语音和图像识别方面取得的效果,远远超过先前相关技术。
    在这里插入图片描述
    从一个输入中产生一个输出所涉及的计算可以通过一个流向图(flow graph)来表示:流向图是一种能够表示计算的图,在这种图中每一个节点表示一个基本的计算以及一个计算的值,计算的结果被应用到这个节点的子节点的值。考虑这样一个计算集合,它可以被允许在每一个节点和可能的图结构中,并定义了一个函数族。输入节点没有父节点,输出节点没有子节点。
    这种流向图的一个特别属性是深度(depth):从一个输入到一个输出的最长路径的长度。

    表征学习(特征学习)

    机器学习任务,例如分类问题,通常都要求输入在数学上或者在计算上都非常便于处理,在这样的前提下,特征学习就应运而生了。然而,在我们现实世界中的数据例如图片,视频,以及传感器的测量值都非常的复杂,冗余并且多变。那么,如何有效的提取出特征并且将其表达出来就显得非常重要。传统的手动提取特征需要大量的人力并且依赖于非常专业的知识。同时,还不便于推广。这就要求特征学习技术的整体设计非常有效,自动化,并且易于推广。
    特征学习可以被分为两类:监督的和无监督的,类似于机器学习。
    在监督特征学习中,被标记过的数据被当做特征用来学习。例如神经网络,多层感知器,(监督)字典学习。
    在无监督特征学习中,未被标记过的数据被当做特征用来学习。例如(无监督)字典学习,独立成分分析,自动编码,矩阵分解,各种聚类分析及其变形。

    机器学习(泛义)

    机器学习是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。
    它是人工智能的核心,是使计算机具有智能的根本途径。
    常见算法:决策树、朴素贝叶斯、支持向量机、随机森林、Boosting与Bagging、EM(最大期望)

    其他

    推荐一个关于人工智能与深度学习的TED视频
    YOUTUBE

    展开全文
  • 2020最新点云深度学习综述

    千次阅读 2020-09-01 07:00:00
    这篇论文包含了最新深度学习技术的综述,这些技术主要集中在点云数据上。首先简要讨论了直接在点云数据中使用深度学习所面临的主要挑战,再简要讨论了以前通过将点云预处理为结构化网格来克服这些挑战的方法。然后...
  • 点击上方“3D视觉工坊”,选择“星标”干货第一时间送达今天分享的是:深度学习领域基于图像的三维物体重建最新方法及未来趋势综述。原文:Image-based 3D Object Recon...
  • 深度学习领域最新技术(CV、NLP)

    万次阅读 2019-02-27 23:50:36
    深度学习(DL)是目前最活跃的分支。最近几年,DL取得了许多重要进展。其中一些因为事件跟大众关系密切而引人瞩目,而有的虽然低调但意义重大。深度学习从业人员应该保持足够的嗅觉,这个领域正在发生很多事情,你...
  • 一、深度学习框架概述与深度学习技术的四大阵营 人工智能从学术理论研究到生产应用的产品化开发过程中通常会涉及到多个不同的步骤和工具,这使得人工智能开发依赖的环境安装、部署、测试以及不断迭代改进准确性和...
  • 人脸检测技术——深度学习算法原理人脸检测技术——深度学习算法原理1. 通用目标检测网络1.1 faster-rcnn检测算法的基本原理1.2 faster-rcnn应用于人脸检测2. 专门应用于人脸检测的卷积神经网络2.1 专门用于人脸检测...
  • 深度学习中的隐私保护技术综述

    万次阅读 2019-07-21 20:28:05
    摘要:如今机器学习以及深度学习在各个领域广泛应用,包括...本文总结了目前在深度学习中常见的隐私保护方法及研究现状,包括基于同态加密的隐私保护技术、差分隐私保护技术等等。 1 研究背景 1.1 隐私泄露风险 ...
  • 深度学习之图片压缩技术

    千次阅读 2018-03-06 14:32:12
    近年来,深度学习在计算机视觉领域已经占据主导地位,不论是在图像识别还是超分辨重现上,深度学习已成为图片研究的重要技术;现在深度学习技术已进入图片压缩领域。 本文将和大家分享如何使用深度学习卷积神经...
  • 深度学习图像视频压缩技术

    千次阅读 2017-12-03 13:11:25
    深度学习技术设计压缩算法的一个目的是学习一个比离散余弦变换或小波变换更优的变换,同时用深度学习技术也可以设计更简洁的端到端算法,这样可以设计出比JPEG2000等商用算法性能更优的算法。 在图片或视频压缩...
  • 深度学习(1): 深度学习简介

    万次阅读 多人点赞 2019-08-09 11:10:29
    文章目录1 什么是深度学习?2 深度学习应用2.1 机器学习的一般方法2.2 深度学习的一般方法3 GPU的迅速发展3.1 GPU与显卡的区别3.2 GPU 与 CPU 区别3.3 GPU种类参考资料 注:转载请标明原文出处链接:...
  • 深度学习核心技术

    千次阅读 2016-04-03 19:20:47
    核心技术 Core Tech 人脸检测 Face Detection ...Linkface 开发了基于深度学习的人脸检测创新算法 。无论场景中是单人或多人,还是侧脸、半遮挡、模糊等情景中,均能进行...Linkface 开发了基于深度学习的人脸检测
  • 什么是深度学习,为何意义重大,以及这种创新的人工智能战略将如何改变医疗行业? 目录 序言 深度学习概述 深度学习在医疗领域的应用 影像分析和诊断 电子病例分析与处理 临床决策支持和预测分析 深度学习在...
  • 基于立体声深度估计的深度学习技术研究 英文标题: A Survey on Deep Learning Techniques for Stereo-based Depth Estimation 论文地址: https://arxiv.org/abs/2006.02535 0.摘要 从彩色图像中估计深度是一个长期...
  • 二、项目流程—技术应用: 2.1 项目流程 2.2 技术应用 三、CT图像 3.1 CT图像的格式 (DICOM) 四、图片分割模型 4.1 关键技术 – 基于CNN的分割网络 4.2 关键技术:U-net 五、三维卷积神经网络 ...
  • 下一代深度学习的重点研究方向,出自科技部变革性技术关键科学问题重点专项2017年度项目申报指南建议
  • 深度学习模型部署技术方案

    千次阅读 多人点赞 2020-07-12 17:13:55
    深度学习模型部署技术方案训练好的深度学习模型如何进行部署的相关技术方案1 什么是模型部署?2 数据科学项目整个开发流程3 使用flask 将 Keras深度学习模型部署为Web应用程序 训练好的深度学习模型如何进行部署的...
  • 一直以来,大家都在盛传深度学习是工程师的风口,但是... 本文将从深度学习在AI技术中的应用、AI技术强势落地的行业、AI技术方向所需工程师、未来值得投入的AI技术方向 来给大家分享深度学习和AI技术什么关系深度...
  • 深度学习(Deep Learning)读书思考六:循环神经网络一(RNN)** https://blog.csdn.net/fangqingan_java/article/details/53014085 梯度弥散和爆炸问题 RNN训练比较困难,主要原因在于隐藏层参数W,无论在前向...
  • 随着深度学习的兴起和计算机计算能力的提高,智能技术在30年前曾用卷积神经网络(CNN),识别信封上的邮政编码(手写数字),这又是人工智能在生活领域中的重要应用。 CNN - lenet5 1997年5月11日,超级...
  • 2017深度学习最新报告及8大主流深度学习框架超详细对比(内含PPT)
  • [深度学习概念]·深度学习简介

    千次阅读 2019-01-19 14:13:22
    目录 有监督的学习 半监督学习 无监督学习(又名Hebbian学习...从社交网络过滤到自动驾驶汽车,再到电影推荐,金融欺诈检测,药物发现……深度学习影响着我们的生活和决策。 在这一文章中,将尽可能简单易懂地解...
  • 深度学习相关最新图书推荐

    千次阅读 2017-05-01 11:41:00
    实际上,机器学习包含深度学习深度学习只是机器学习的研究领域之一。深度学习是一个交叉学科,涉及到神经网络、人工智能、图建模、最优化理论、模式识别和信号处理等多学科领域知识。硬件计算能力的升级使得深度...
  • 从零开始深度学习(仅视频课)

    千人学习 2019-05-21 17:56:26
    本课程由浅入深的讲授人工智能、机器学习、深度学习的原理和实现,尤其会重点介绍搜索引擎和自然语言处理等热门技术,不但会用生动的例子帮助学员理解理论知识,还会手把手详细示范动手实践环节,让你能够亲自实现...
  • 深度学习中的深度是指什么Data science is revolutionizing many fields; from robotics to medicine, and everything in between. This revolution is partly due to advances in research, computing power, ...
  • 深度学习工程应用快速入门

    千次阅读 2018-07-01 03:45:55
    伴随人工智能时代的到来,深度学习技术也发挥着越来越重要作用,越来越多的技术人才开始投身入这一行业中,并希望发展成为一名深度学习算法工程师。然而,在实际的工程设计中,深度学习研发者总会面临着各种问题与...
  • 个人总结知识点 ...3,问:深度学习与逻辑回归的区别 在计算y=wx时,将逻辑回归的函数变成几十个函数的嵌套,然后利用链式求导法则对嵌套的几十个函数进行反向求导,得出损失函数 4,问:过拟合的原...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 355,396
精华内容 142,158
关键字:

最新技术深度学习