精华内容
下载资源
问答
  • 百面深度学习 之 元学习知识笔记
  • CV君:由Hulu公司出品的《百面机器学习》口碑甚佳再版多次,甚至成为多家培训机构的教材,是面试者和面试官都在读的宝典,CV君前几天逛当当发现它的姊妹篇来了:百面深度学习,还是注重高质量...


    CV君:由Hulu公司出品的《百面机器学习》口碑甚佳再版多次,甚至成为多家培训机构的教材,是面试者和面试官都在读的宝典,CV君前几天逛当当发现它的姊妹篇来了:百面深度学习,还是注重高质量的Hulu团队撰写,有需要的朋友欢迎文末购买。

    2018年夏天

    Hulu出品的《百面机器学习》

    成为计算机领域学生和从业者们几乎人手一本的

    “算法面试宝典”

    再版多次,美誉无数

    2019年春天

    Hulu的研究员和算法工程师们再次启程

    开始在公众号连载“百面深度学习”系列

    经过一年多的打磨,终于成书

    我们也终于能回复在后台问了10086遍的热心读者:

    今天

    《百面深度学习》重磅上市了!

    如果你是《百面机器学习》的老读者

    无需多言,买就对了!

    如果你还未领略过“百面”系列的魅力

    两本一起入手,正是好时候!

    当当已经开售,大家也可以在以下链接查看详情、点击购买:

    我爱计算机视觉

    微信号:aicvml

    QQ群:805388940

    微博知乎:@我爱计算机视觉

    投稿:amos@52cv.net

    网站:www.52cv.net

    在看,让更多人看到  

    展开全文
  • 百面深度学习”系列连载 第十六期深度网络压缩引言近几年,深度网络在各个研究领域中发挥了重要的作用,如视觉领域中的图像分类、视频分析;文字领域中的文本翻译、语音识别等。然而,大部分的深度...

    “百面深度学习”系列连载 第十六期

    深度网络压缩

    引言

    近几年,深度网络在各个研究领域中发挥了重要的作用,如视觉领域中的图像分类、视频分析;文字领域中的文本翻译、语音识别等。然而,大部分的深度网络结构都有着大量参数,例如,经典的 VGG16 网络结构,它有着 60M 个参数,使用较为广泛的 Resnet50 网络,也有着 25M 的参数。这使得深度网络面临着存储和计算消耗的瓶颈,使其无法在移动及嵌入式设备(如手机、芯片等) 中使用。

    深度网络中有着大量的参数冗余,这种现象被称之为深度网络的过参数化。过参数化是深度网络公认的特性 [1]。因此,这使得网络压缩,让网络更为紧凑变得十分重要。如何压缩网络才能够在减少模型存储空间、降低运算时间和内存消耗的同时,尽可能保持网络在各个任务中的性能呢?使用不同的方法、从不同角度进行网络压缩成为了研究领域近几年来的热点话题。

    问题

    针对神经网络,

    可以从哪些方面进行加速及压缩?

    分析与解答

    深度神经网络的复杂性及可移植性直接影响了人工智能算法在硬件设备上的应用。因此,网络压缩技术越来越受重视。对深度网络进行加速及压缩可以从以下几个方面入手:1)网络参数剪枝 2)矩阵的低秩近似 3)卷积核/滤波器选择 4)量化及编码 5)知识蒸馏 6)设计新的网络结构等。

    1)网络参数剪枝

    网络裁剪的核心思想是去掉响应或区分能力较低的不重要的神经元,以降低网络的权重参数。该方法不需要改变原始的网络结构,可以直接用于压缩现有的模型。典型的参数裁剪包含三个步骤:训练一个大型深度网络、设计裁剪策略修剪模型、再训练裁剪后的网络结构。Han 等人 [2] 设置了裁剪阈值,根据连接权重的大小进行裁剪。当权重小于阈值时,直接将参数置 0,并不进行更新及反向传播。然而,参数的重要性是随着剪枝后的网络结构的变化而变化的,一旦重要的分支被裁剪就难以恢复。因此,Yiwen Guo 等人设计了动态的网络裁剪方法 [3],该方法不仅能裁剪掉不重要的网络参数,还能恢复出已经被裁剪的但是在当前网络结构下重要的分支。

    2)矩阵的低秩近似

    3)卷积核/滤波器选择

    在剪枝时,我们将一个连接权重作为一个单元进行裁剪,那么如果我们将整个卷积核/滤波器作为一个单元,是否可以通过减少卷积核的个数进行网络裁剪呢?同裁剪单个神经元不同,在卷积核的数量减少的同时,计算出的特征图的大小也会相应减小。而特征图尺寸的减小会进一步地加快网络的计算速度。针对卷积核的裁剪,最直观的做法是利用卷积核权重信息 [11] 或特征图信息 [12]进行卷积核筛选。可惜的是这两种方法都没有考虑到卷积核的裁剪会给下一层的运算带来什么样的影响。基于这种考虑,ThiNet[13] 提出如果利用输入数据的一个子集,就能获得和原始输出近似的结果,那么其它的输入数据可以被剔除。相应地,被剔除的输入数据对应的输出特征和卷积核也可以被裁剪掉。利用这种裁剪策略既可以降低由于裁剪所带来的影响,也可以达到模型压缩的效果。

    4)量化及编码

    同我们在前面讨论的那样,很多的深度网络压缩工作都会使用量化的方法。剪枝操作与量化编码操作是相互独立的,同时使用会获得更为紧凑的网络结构。除了标量量化、矢量量化及乘积量化等通用的量化方法,还有一些工作设计了专门针对深度网络的量化方法,其中较为经典的一个量化方法是 INQ(Incremental Network Quantization) [14]。 INQ 提出了渐进的神经网络量化方法,步骤包括参数分组、量化及再训练。该方法对于每一层的权重分成了两部分,其中一部分被直接量化,另一部分通过再训练来弥补量化带来的精度损失。通过不断的迭代上述量化过程,直到整个网络被压缩。该方法能够实现对任意结构的全浮点数神经网络模型进行性能无损的低比特量化。经过量化的网络可以使用二进制表示,使得神经网络在硬件设备上的部署和加速更加便利。此外,二值网络技术也越来越成熟,BinaryNet [15] 及 XNORNet [16] 方法相应被提出。

    5)知识蒸馏

    针对网络压缩,除了剪枝及量化编码方法,较为直观的方法还包括知识蒸馏 [17]。知识蒸馏通常是希望使用大的、复杂的“老师”网络迁移学习到一个小的、简单的“学生”网络结构。大部分使用知识蒸馏进行网络压缩的方法,通常是数据驱动的,并需要设计一个特定的损失函数在相应的数据集上进行再训练。通常,我们使用交叉熵作为网络压缩的目标函数。该目标函数包含两部分,不仅需要利用训练样本的标签进行交叉熵计算,还要同“老师”网络的输出进行交叉熵计算。

    6)设计新的网络结构

    目前,很多新型网络结构的设计,都包含了网络压缩的思想。例如,SqueezeNet 和 MobileNet 设计了 1∗1 卷积核来降低卷积核参数的冗余。Xception [18] 设计了深度可分离卷积(Depthwise Separable Convolution),将卷积操作拆分为深度卷积 (depthwise convolution) 及点乘卷积 (pointwise convolution),以降低参数量及计算成本。

    现在很多方法的设计都与硬件紧密相关。人们不再盲目的追求强大的性能,而是希望能够设计尽可能小的、快速的网络结构来替代大型网络。正如前面提到的,从不同的角度入手,可以创造出大量的深度网络压缩方法。在这些修剪方法中,也有着一些有意思的问题。例如,在分支修剪的方法中,研究人员设计了不同的剪枝策略。然而,Zhuang Liu 等人表示,使用继承权重并对修剪后的模型再训练并不会比从头开始训练网络获得更好的性能 [19]。并且,当再训练数据集及压缩率固定后,不同的方法往往获得相似的性能。目前,为了保持网络性能,大部分的网络压缩加速方法,都需要使用额外的数据进行网络的再训练。如何设计出不需要再训练的有效的网络压缩方法,仍然有待探索。

    [1] DENIL M, SHAKIBI B, DINH L, 等. Predicting parameters in deep learning[C]//Advances in neural information processing systems. 2013: 2148–2156.

    [2] HAN S, MAO H, DALLY W J. Deep compression: Compressing deep neural networks with pruning, trained quantization and huffman coding[J]. arXiv preprint arXiv:1510.00149, 2015.

    [3] GUO Y, YAO A, CHEN Y. Dynamic network surgery for efficient dnns[C]//Advances In Neural Information Processing Systems. 2016: 1379–1387.

    [4] WEN W, XU C, WU C, 等. Coordinating filters for faster deep neural networks[C]//Proceedings of the IEEE International Conference on Computer Vision. 2017: 658–666.

    [5] DENTON E L, ZAREMBA W, BRUNA J, 等. Exploiting linear structure within convolutional networks for efficient evaluation[C]//Advances in neural information processing systems. 2014: 1269–1277.

    [6] KIM Y-D, PARK E, YOO S, 等. Compression of deep convolutional neural networks for fast and low power mobile applications[J]. arXiv preprint arXiv:1511.06530, 2015.

    [7] JADERBERG M, VEDALDI A, ZISSERMAN A. Speeding up convolutional neural networks with low rank expansions[J]. arXiv preprint arXiv:1405.3866, 2014.

    [8] SZEGEDY C, VANHOUCKE V, IOFFE S, 等. Rethinking the inception architecture for computer vision[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2016: 2818–2826.

    [9] ZHANG X, ZOU J, HE K, 等. Accelerating very deep convolutional networks for classification and detection[J]. IEEE transactions on pattern analysis and machine intelligence, IEEE, 2016, 38(10): 1943–1955.

    [10] SZEGEDY C, LIU W, JIA Y, 等. Going deeper with convolutions[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2015: 1–9.

    [11] LI H, KADAV A, DURDANOVIC I, 等. Pruning filters for efficient convnets[J]. arXiv preprint arXiv:1608.08710, 2016.

    [12] HU H, PENG R, TAI Y-W, 等. Network trimming: A data-driven neuron pruning approach towards efficient deep architectures[J]. arXiv preprint arXiv:1607.03250, 2016.

    [13] LUO J-H, WU J, LIN W. Thinet: A filter level pruning method for deep neural network compression[C]//Proceedings of the IEEE international conference on computer vision. 2017: 5058–5066.

    [14] ZHOU A, YAO A, GUO Y, 等. Incremental network quantization: Towards lossless cnns with low-precision weights[J]. arXiv preprint arXiv:1702.03044, 2017.

    [15] COURBARIAUX M, HUBARA I, SOUDRY D, 等. Binarized neural networks: Training deep neural networks with weights and activations constrained to+ 1 or-1[J]. arXiv preprint arXiv:1602.02830, 2016.

    [16] RASTEGARI M, ORDONEZ V, REDMON J, 等. Xnor-net: Imagenet classification using binary convolutional neural networks[C]//European Conference on Computer Vision. Springer, 2016: 525–542.

    [17] BA J, CARUANA R. Do deep nets really need to be deep?[C]//Advances in neural information processing systems. 2014: 2654–2662.

    [18] CHOLLET F. Xception: Deep learning with depthwise separable convolutions[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2017: 1251–1258.

    [19] LIU Z, SUN M, ZHOU T, 等. Rethinking the value of network pruning[J]. arXiv preprint arXiv:1810.05270, 2018.

    今天没有下期预告

    因为这是“百面深度学习”连载的最后一期

    感谢你一路追更

    与我们共同学习

    《百面深度学习》一书

    预计将在2019年7月下旬上市

    敬请期待

    关注Hulu公众号

    你就是最爱学习的仔~

    展开全文
  • 带有标签
  • *导言《百面深度学习》自上市以来,获得了众多读者的关注与支持,一直高居京东计算机与互联网类新书榜单的前列,大家的热情是我们精益求精的源源动力。为了更好地与大家进行分享与交流,我们从书中节...

    导言

    《百面深度学习》自上市以来,获得了众多读者的关注与支持,一直高居京东计算机与互联网类新书榜单的前列,大家的热情是我们精益求精的源源动力。为了更好地与大家进行分享与交流,我们从书中节选了几个关注度比较高的“热门“知识点,重新加以整理,内容涵盖推荐系统、计算广告、自然语言处理、计算机视觉、视频处理、生成式对抗网络等领域的相关知识,供大家试读。

    《百面深度》试读第四篇

    [1] DONG C, LOY C C, HE K, 等. Learning a deep convolutional network for image super-resolution[C]//European Conference on Computer Vision. Springer, 2014: 184–199.

    [2] KIM J, KWON LEE J, MU LEE K. Accurate image super-resolution using very deep convolutional networks[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016: 1646–1654.

    [3] LIM B, SON S, KIM H, 等. Enhanced deep residual networks for single image super-resolution[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops. 2017: 136–144.

    [4] LEDIG C, THEIS L, HUSZÁR F, 等. Photo-realistic single image super-resolution using a generative adversarial network[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2017: 4681–4690.

    [5] ZHANG Y, LI K, LI K, 等. Image super-resolution using very deep residual channel attention networks[C]//Proceedings of the European Conference on Computer Vision (ECCV). 2018: 286–301.

    [6] WANG Z, CHEN J, HOI S C. Deep learning for image super-resolution: A survey[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, IEEE, 2020.

    长按关注Hulu动态

    阅读更多《百面》好文

    ↓ 点击“阅读原文”

    跳转购买《百面深度学习》

    展开全文
  • *导言《百面深度学习》自上市以来,获得了众多读者的关注与支持,一直高居京东计算机与互联网类新书榜单的前列,大家的热情是我们精益求精的源源动力。为了更好地与大家进行分享与交流,我们从书中节...

    导言

    《百面深度学习》自上市以来,获得了众多读者的关注与支持,一直高居京东计算机与互联网类新书榜单的前列,大家的热情是我们精益求精的源源动力。为了更好地与大家进行分享与交流,我们从书中节选了几个关注度比较高的“热门“知识点,重新加以整理,内容涵盖推荐系统、计算广告、自然语言处理、计算机视觉、视频处理、生成式对抗网络等领域的相关知识,供大家试读。

    《百面深度学习》试读系列第一篇


    长按关注Hulu动态

    阅读更多《百面》好文

    ↓ 点击“阅读原文”

    跳转购买《百面面深度学习》

    展开全文
  • 深度学习

    千次阅读 2019-03-25 16:53:18
    本书1-4章将带你了解一些基本概念:什么是深度学习,它可以用来做什么以及它如何工作。此外,还将让你熟悉使用深度学习解决数据问题的典型工作流程。如果你还没怎么了解深度学习,你需要明确的从part I开始读取,...
  • 深度学习方法已成为完成此任务的最合适方法。 它们使检查系统可以通过简单地显示一些示例来学习检测表面异常图片。 该论文文提出了一种基于分割的深度学习架构,该架构旨在检测和分割表面异常,并在表面裂纹检测...
  • 最近,我有一个朋友安利我一本新书《百面深度学习》,深度学习面试的扛鼎之作。 大家听到这个名字是不是很熟悉,没错,这本书就是爆款《百面机器学习》的续作, 又叫葫芦书(封面有一只巨大的葫芦)! 行走江湖,...
  • (1)假如是为了找工作,或者短时间内解决问题,我建议最好的入门书是:《Python 深度学习》和《Scikit-Learn与TensorFlow机器学习实用指南(影印版)》和《TensorFlow:实战Google深度学习框架(第2版)》,三本书...
  • 机器学习&深度学习系统实战!

    万人学习 2017-06-07 13:18:11
    数学原理推导与案例实战紧密结合,由机器学习经典算法过度到深度学习的世界,结合深度学习两大主流框架Caffe与Tensorflow,选择经典项目实战人脸检测与验证码识别。原理推导,形象解读,案例实战缺一不可!具体课程...
  • Python深度学习(一)深度学习基础

    千次阅读 多人点赞 2019-04-24 09:17:00
    第一章 深度学习基础:https://www.jianshu.com/p/6c08f4ceab4c 第二章 深度学习的数学构建模块:https://www.jianshu.com/p/ba51e470b736 第三章 神经网络入门:https://www.jianshu.com/p/f1332c58ca86 第四章 ...
  • 深度学习基础知识整理

    万次阅读 多人点赞 2018-07-23 11:51:43
     之前本博客整理过数千道微软等公司的面试题,侧重数据结构、算法、海量数据处理,详见:微软面试100题系列,今17年,近期和团队整理BAT机器学习面试1000题系列,侧重机器学习、深度学习。我们将通过这个系列索引绝...
  • 百面机器学习

    千次阅读 2019-09-29 04:05:34
    百面机器学习是一本记录面试问题的书,一方面,学习里面的问题和解答有助于我们更好的掌握机器学习,另一方面,以目录为索引,可以扩展我们的知识面,掌握应届生从事机器学习必备的技能。下面以章节为单位,记录书本...
  • 作者:陈迪豪,小米深度学习工程师,负责小米云深度学习平台的架构和实现,目前专注于TensorFlow和Kubernetes社区。 责编:何永灿,欢迎人工智能领域技术投稿、约稿、给文章纠错,请发送邮件至heyc#csdn.net(#改...
  • 去年3月份开始学习机器学习开始,7月份学习深度学习、强化学习,经过一年多的学习终于算勉强入门。把自己搜集到的一些书籍和不错的视频推荐给大家,希望帮助大家快速入门AI,同时也是作为自己学习的一个阶段性总结。...
  • 深度学习-CNN提取图像特征

    万次阅读 多人点赞 2019-01-30 15:14:37
    一、卷积层 ... 作为机器学习的一个分支,深度学习同样需要计算机获得强大的学习能力,那么问题来了,我们究竟要计算机学习什么东西?答案当然是图像特征了。将一张图像看做是一个个像素值组成的...
  • 什么是深度学习? -45分钟理解深度神经网络和深度学习 刘利刚 中国科学技术大学图形与几何计算实验室 http://staff.ustc.edu.cn/~lgliu 【绪言】 近年来,人工智能(Artificial Intelligence, AI)和深度...
  • 需求说明:深度学习FPGA实现知识储备 来自:时间的诗 第一部分:博客大牛(深度学习方向) 1、http://blog.csdn.net/zouxy09 研究方向:机器学习、计算机视觉、人机交互和人工智能等领域 作品:Deep ...
  • 全部笔记的汇总贴:《百面机器学习》-读书笔记汇总 强化学习近年来在机器学习领域越来越火,也受到了越来越多人的关注。强化学习是一个20世纪80年代兴起的,受行为心理学启发而来的一个机器学习领域,它关注身处某个...
  • 作为生产制造过程中必不可少的一步,表面缺陷检测广泛应用于各工业领域,包括3C、半导体及电子、汽车、化工、医药、轻工、军工等行业,催生了众多上下游企业。自20世纪开始,表面缺陷检测大致经历了三个阶段,分别是...
  • 深度学习 资料整理

    千次阅读 2016-04-28 16:23:03
    Deep Learning(深度学习) ufldl的2个教程(这个没得说,入门绝对的好教程,Ng的,逻辑清晰有练习):一 ufldl的2个教程(这个没得说,入门绝对的好教程,Ng的,逻辑清晰有练习):二 Bengio团队的deep learni
  • 3D深度学习总结(聚焦3D深度学习的现在于未来) 本文经机器之心(微信公众号:almosthuman2014)授权转载,禁止二次转载 选自The gradient【点击此处】,作者:Mihir Garimella、Prathik Naidu ...
  • 小白深度学习入门系列 深度学习的兴起:从NN到DNN神经网络的历史沿革缘起1943年,神经生理学家和神经元解剖学家 Warren McCull...
  • 深度学习面试准备

    千次阅读 2019-08-22 22:23:49
    深度可分离卷积(depthwise separable convolutions,即Xception变体结构)来构建轻量级深度神经网络 。 MobileNet描述了一个高效的网络架构,允许通过 两个超参数直接构建非常小、低延迟 、 易满足嵌入式设备要求的...
  • 深度学习方法及应用PDF高清晰完整版,针对深度学习的完整资料
  • 本课程讲解了机器学习基本概念,对训练集,测试集,特征值,监督学习,实列监督学习,非监督学习,分类与回归,在语音处理,图像处理和计算机视觉,声音识别和用自然语言处理方面的... 帮助学员理解机器学习和深度学习
  • 《统计学习方法》 ... python3实现。 《百面机器学习算法工程师带你去面试》 ...2、学习百面机器学习》1.1-1.7,2.1-2.7 本节将会向大家介绍特征工程和模型评估当中的一些知识点。特征工程是对原始...
  • 深度学习解决机器阅读理解任务的研究进展

    万次阅读 多人点赞 2016-10-16 19:05:36
    本文是对深度学习在机器阅读理解领域最近进展的综述文章。
  • 来源:《产业智能官》想要了解深度学习各领域的最新进展?看个视频就足矣。该课程的PPT资料,下载地址如下:https://www.dropbox.com/s/v3rq389...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 17,690
精华内容 7,076
关键字:

百面深度学习