
- 外文名
- Deep Learning
- 提出时间
- 2006年
- 提出者
- Geoffrey Hinton,Yoshua Bengio,Yann LeCun 等
- 中文名
- 深度学习
- 学 科
- 人工智能
- 应 用
- 计算机视觉,自然语言处理,生物信息学 等
-
基于PyTorch的深度学习入门教程(一)——PyTorch安装和配置
2017-11-30 12:01:42因此,我们将要介绍的深度学习,指的是构建神经网络结构,并且运用各种深度学习算法训练网络参数,进而解决各种任务。本文从PyTorch环境配置开始。PyTorch是一种Python接口的深度学习框架,使用灵活,学习方便。...前言
深度神经网络是一种目前被广泛使用的工具,可以用于图像识别、分类,物体检测,机器翻译等等。深度学习(DeepLearning)是一种学习神经网络各种参数的方法。因此,我们将要介绍的深度学习,指的是构建神经网络结构,并且运用各种深度学习算法训练网络参数,进而解决各种任务。本文从PyTorch环境配置开始。PyTorch是一种Python接口的深度学习框架,使用灵活,学习方便。还有其他主流的深度学习框架,例如Caffe,TensorFlow,CNTK等等,各有千秋。笔者认为,初期学习还是选择一种入门,不要期望全都学会。须知,发力集中才能深入挖掘。乱花渐欲迷人眼,选择适合自己的,从一而终,相信会对科研大有裨益!
***************************************************
说明:本文乃至本系列全部文章都是在PyTorch0.2版本下做的。现在版本更新了很多,会有一些API的更改,请大家注意Follow最新的变化,以免由于版本问题受到困扰。
***************************************************
1. 环境说明
PyTorch目前支持OSX和Linux两种系统,并且支持多种安装方式。在官网上介绍了基于conda,pip和源代码编译几种不同的安装方式。支持的Python版本有2.7,3.5和3.6。鉴于深度学习需要的计算量一般比较大,强烈建议找到一个有独立显卡的电脑来展开学习,当然没有显卡也能用,就是计算慢很多了。
如果你的电脑是Windows,那么可以安装一个虚拟机来运行Linux,但是性能可能会折扣。我的电脑操作系统是Ubuntu16.04,所以我会以此为例子来介绍后面的内容。
2. Anaconda 和Python
PackageManager我们选择conda,于是我们需要安装Anaconda这个功能强大的包,下载地质:https://www.anaconda.com/download/#linux 。里面包含了conda工具,也有Python,以及很多Python需要的扩展工具包。选择2.7版本,下载并安装即可。接下来,如果有显卡,进入第3步;没有显卡直接到第4步。
3. 显卡驱动和CUDA
要使用显卡进行运算,你需要使用支持CUDA的NVIDIA显卡,目前比较好的显卡有NVIDIATITANX、GTX1080Ti 等。好的显卡将会是深度学习研究的有力武器。当然,普通的显卡例如GTX970、GTX1060等也是可以用的。实在没有显卡,那只能做简单的小数据量的实验,效果不会太好。
在Ubuntu16.04上可以采用以下方法安装显卡驱动,这种方式比较稳定。打开“SystemSettings”——“Software&Updates” —— “AdditionalDrivers”,联网状态会自动搜索可用的显卡驱动,选择可用的版本,点击“ApplyChanges”即可。可能重启动后显卡驱动才能生效。
接下来安装CUDAToolkit。因为最新的CUDA是9.0版本,但是PyTorch只能支持到8.0。所以转到该网址“https://developer.nvidia.com/cuda-80-ga2-download-archive”,选择对应的参数,下方会有对应的CUDA文件。例如,下图是我选择的版本。选择deb文件,发现有1.9G大小,下载下来,按照baseinstaller的指示来完成安装。附加的cuBLAS也可以下载下来安装上。
CUDA安装完成后,在主目录下打开“.bachrc”文件,在末尾添加如下代码:
export PATH=/usr/local/cuda-8.0/bin${PATH:+:${PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda-8.0/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda-8.0/lib${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}4. 运行PyTorch的安装命令
如果你和我一样,采用8.0CUDA,2.7版本Python,可以运行以下命令:
conda install pytorch torchvision cuda80 -c soumith
如果没有显卡,2.7版本Python,可以这样:
conda install pytorch torchvision -c soumith
5. 验证安装是否成功
要显示显卡信息,在终端输入:
sudo lshw -c video
要显示CUDA信息,在终端输入:
nvcc -V
查看Phthon版本,在终端输入:
python --version
验证pytorch是否安装成功,在终端输入:
python
此时进入python环境。然后,继续输入
import torch
import torchvision
不报错就表明安装成功。
-
机器学习&深度学习系统实战!
2017-06-07 13:18:11数学原理推导与案例实战紧密结合,由机器学习经典算法过度到深度学习的世界,结合深度学习两大主流框架Caffe与Tensorflow,选择经典项目实战人脸检测与验证码识别。原理推导,形象解读,案例实战缺一不可!具体课程... -
Deep Learning(深度学习)学习笔记整理系列之(一)
2013-04-08 23:35:33Deep Learning(深度学习)学习笔记整理系列 zouxy09@qq.com http://blog.csdn.net/zouxy09 作者:Zouxy version 1.0 2013-04-08 声明: 1)该Deep Learning的学习系列是整理自网上很大牛和机器学习专家...Deep Learning(深度学习)学习笔记整理系列
作者:Zouxy
version 1.0 2013-04-08
声明:
1)该Deep Learning的学习系列是整理自网上很大牛和机器学习专家所无私奉献的资料的。具体引用的资料请看参考文献。具体的版本声明也参考原文献。
2)本文仅供学术交流,非商用。所以每一部分具体的参考资料并没有详细对应。如果某部分不小心侵犯了大家的利益,还望海涵,并联系博主删除。
3)本人才疏学浅,整理总结的时候难免出错,还望各位前辈不吝指正,谢谢。
4)阅读本文需要机器学习、计算机视觉、神经网络等等基础(如果没有也没关系了,没有就看看,能不能看懂,呵呵)。
5)此属于第一版本,若有错误,还需继续修正与增删。还望大家多多指点。大家都共享一点点,一起为祖国科研的推进添砖加瓦(呵呵,好高尚的目标啊)。请联系:zouxy09@qq.com
目录:
六、浅层学习(Shallow Learning)和深度学习(Deep Learning)
七、Deep learning与Neural Network
9.3、Restricted Boltzmann Machine(RBM)限制波尔兹曼机
9.5、Convolutional Neural Networks卷积神经网络
一、概述
Artificial Intelligence,也就是人工智能,就像长生不老和星际漫游一样,是人类最美好的梦想之一。虽然计算机技术已经取得了长足的进步,但是到目前为止,还没有一台电脑能产生“自我”的意识。是的,在人类和大量现成数据的帮助下,电脑可以表现的十分强大,但是离开了这两者,它甚至都不能分辨一个喵星人和一个汪星人。
图灵(图灵,大家都知道吧。计算机和人工智能的鼻祖,分别对应于其著名的“图灵机”和“图灵测试”)在 1950 年的论文里,提出图灵试验的设想,即,隔墙对话,你将不知道与你谈话的,是人还是电脑。这无疑给计算机,尤其是人工智能,预设了一个很高的期望值。但是半个世纪过去了,人工智能的进展,远远没有达到图灵试验的标准。这不仅让多年翘首以待的人们,心灰意冷,认为人工智能是忽悠,相关领域是“伪科学”。
但是自 2006 年以来,机器学习领域,取得了突破性的进展。图灵试验,至少不是那么可望而不可及了。至于技术手段,不仅仅依赖于云计算对大数据的并行处理能力,而且依赖于算法。这个算法就是,Deep Learning。借助于 Deep Learning 算法,人类终于找到了如何处理“抽象概念”这个亘古难题的方法。
2012年6月,《纽约时报》披露了Google Brain项目,吸引了公众的广泛关注。这个项目是由著名的斯坦福大学的机器学习教授Andrew Ng和在大规模计算机系统方面的世界顶尖专家JeffDean共同主导,用16000个CPU Core的并行计算平台训练一种称为“深度神经网络”(DNN,Deep Neural Networks)的机器学习模型(内部共有10亿个节点。这一网络自然是不能跟人类的神经网络相提并论的。要知道,人脑中可是有150多亿个神经元,互相连接的节点也就是突触数更是如银河沙数。曾经有人估算过,如果将一个人的大脑中所有神经细胞的轴突和树突依次连接起来,并拉成一根直线,可从地球连到月亮,再从月亮返回地球),在语音识别和图像识别等领域获得了巨大的成功。
项目负责人之一Andrew称:“我们没有像通常做的那样自己框定边界,而是直接把海量数据投放到算法中,让数据自己说话,系统会自动从数据中学习。”另外一名负责人Jeff则说:“我们在训练的时候从来不会告诉机器说:‘这是一只猫。’系统其实是自己发明或者领悟了“猫”的概念。”
2012年11月,微软在中国天津的一次活动上公开演示了一个全自动的同声传译系统,讲演者用英文演讲,后台的计算机一气呵成自动完成语音识别、英中机器翻译和中文语音合成,效果非常流畅。据报道,后面支撑的关键技术也是DNN,或者深度学习(DL,DeepLearning)。
2013年1月,在百度年会上,创始人兼CEO李彦宏高调宣布要成立百度研究院,其中第一个成立的就是“深度学习研究所”(IDL,Institue of Deep Learning)。
为什么拥有大数据的互联网公司争相投入大量资源研发深度学习技术。听起来感觉deeplearning很牛那样。那什么是deep learning?为什么有deep learning?它是怎么来的?又能干什么呢?目前存在哪些困难呢?这些问题的简答都需要慢慢来。咱们先来了解下机器学习(人工智能的核心)的背景。
二、背景
机器学习(Machine Learning)是一门专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能的学科。机器能否像人类一样能具有学习能力呢?1959年美国的塞缪尔(Samuel)设计了一个下棋程序,这个程序具有学习能力,它可以在不断的对弈中改善自己的棋艺。4年后,这个程序战胜了设计者本人。又过了3年,这个程序战胜了美国一个保持8年之久的常胜不败的冠军。这个程序向人们展示了机器学习的能力,提出了许多令人深思的社会问题与哲学问题(呵呵,人工智能正常的轨道没有很大的发展,这些什么哲学伦理啊倒发展的挺快。什么未来机器越来越像人,人越来越像机器啊。什么机器会反人类啊,ATM是开第一枪的啊等等。人类的思维无穷啊)。
机器学习虽然发展了几十年,但还是存在很多没有良好解决的问题:
例如图像识别、语音识别、自然语言理解、天气预测、基因表达、内容推荐等等。目前我们通过机器学习去解决这些问题的思路都是这样的(以视觉感知为例子):
从开始的通过传感器(例如CMOS)来获得数据。然后经过预处理、特征提取、特征选择,再到推理、预测或者识别。最后一个部分,也就是机器学习的部分,绝大部分的工作是在这方面做的,也存在很多的paper和研究。
而中间的三部分,概括起来就是特征表达。良好的特征表达,对最终算法的准确性起了非常关键的作用,而且系统主要的计算和测试工作都耗在这一大部分。但,这块实际中一般都是人工完成的。靠人工提取特征。
截止现在,也出现了不少NB的特征(好的特征应具有不变性(大小、尺度和旋转等)和可区分性):例如Sift的出现,是局部图像特征描述子研究领域一项里程碑式的工作。由于SIFT对尺度、旋转以及一定视角和光照变化等图像变化都具有不变性,并且SIFT具有很强的可区分性,的确让很多问题的解决变为可能。但它也不是万能的。
然而,手工地选取特征是一件非常费力、启发式(需要专业知识)的方法,能不能选取好很大程度上靠经验和运气,而且它的调节需要大量的时间。既然手工选取特征不太好,那么能不能自动地学习一些特征呢?答案是能!Deep Learning就是用来干这个事情的,看它的一个别名UnsupervisedFeature Learning,就可以顾名思义了,Unsupervised的意思就是不要人参与特征的选取过程。
那它是怎么学习的呢?怎么知道哪些特征好哪些不好呢?我们说机器学习是一门专门研究计算机怎样模拟或实现人类的学习行为的学科。好,那我们人的视觉系统是怎么工作的呢?为什么在茫茫人海,芸芸众生,滚滚红尘中我们都可以找到另一个她(因为,你存在我深深的脑海里,我的梦里 我的心里 我的歌声里……)。人脑那么NB,我们能不能参考人脑,模拟人脑呢?(好像和人脑扯上点关系的特征啊,算法啊,都不错,但不知道是不是人为强加的,为了使自己的作品变得神圣和高雅。)
近几十年以来,认知神经科学、生物学等等学科的发展,让我们对自己这个神秘的而又神奇的大脑不再那么的陌生。也给人工智能的发展推波助澜。
三、人脑视觉机理
1981 年的诺贝尔医学奖,颁发给了 David Hubel(出生于加拿大的美国神经生物学家) 和TorstenWiesel,以及 Roger Sperry。前两位的主要贡献,是“发现了视觉系统的信息处理”:可视皮层是分级的:
我们看看他们做了什么。1958 年,DavidHubel 和Torsten Wiesel 在 JohnHopkins University,研究瞳孔区域与大脑皮层神经元的对应关系。他们在猫的后脑头骨上,开了一个3 毫米的小洞,向洞里插入电极,测量神经元的活跃程度。
然后,他们在小猫的眼前,展现各种形状、各种亮度的物体。并且,在展现每一件物体时,还改变物体放置的位置和角度。他们期望通过这个办法,让小猫瞳孔感受不同类型、不同强弱的刺激。
之所以做这个试验,目的是去证明一个猜测。位于后脑皮层的不同视觉神经元,与瞳孔所受刺激之间,存在某种对应关系。一旦瞳孔受到某一种刺激,后脑皮层的某一部分神经元就会活跃。经历了很多天反复的枯燥的试验,同时牺牲了若干只可怜的小猫,David Hubel 和Torsten Wiesel 发现了一种被称为“方向选择性细胞(Orientation Selective Cell)”的神经元细胞。当瞳孔发现了眼前的物体的边缘,而且这个边缘指向某个方向时,这种神经元细胞就会活跃。
这个发现激发了人们对于神经系统的进一步思考。神经-中枢-大脑的工作过程,或许是一个不断迭代、不断抽象的过程。
这里的关键词有两个,一个是抽象,一个是迭代。从原始信号,做低级抽象,逐渐向高级抽象迭代。人类的逻辑思维,经常使用高度抽象的概念。
例如,从原始信号摄入开始(瞳孔摄入像素 Pixels),接着做初步处理(大脑皮层某些细胞发现边缘和方向),然后抽象(大脑判定,眼前的物体的形状,是圆形的),然后进一步抽象(大脑进一步判定该物体是只气球)。
这个生理学的发现,促成了计算机人工智能,在四十年后的突破性发展。
总的来说,人的视觉系统的信息处理是分级的。从低级的V1区提取边缘特征,再到V2区的形状或者目标的部分等,再到更高层,整个目标、目标的行为等。也就是说高层的特征是低层特征的组合,从低层到高层的特征表示越来越抽象,越来越能表现语义或者意图。而抽象层面越高,存在的可能猜测就越少,就越利于分类。例如,单词集合和句子的对应是多对一的,句子和语义的对应又是多对一的,语义和意图的对应还是多对一的,这是个层级体系。
敏感的人注意到关键词了:分层。而Deep learning的deep是不是就表示我存在多少层,也就是多深呢?没错。那Deep learning是如何借鉴这个过程的呢?毕竟是归于计算机来处理,面对的一个问题就是怎么对这个过程建模?
因为我们要学习的是特征的表达,那么关于特征,或者说关于这个层级特征,我们需要了解地更深入点。所以在说Deep Learning之前,我们有必要再啰嗦下特征(呵呵,实际上是看到那么好的对特征的解释,不放在这里有点可惜,所以就塞到这了)。
下续
-
深度学习导论 - 读李宏毅《1天搞懂深度学习》
2017-05-22 23:44:02”《1天搞懂深度学习》,300多页的ppt,台湾李宏毅教授写的,非常棒。不夸张地说,是我看过最系统,也最通俗易懂的,关于深度学习的文章。“PPT下载地址 废话少说,先上干货,整个PPT的思维导图如下: 深度...”《1天搞懂深度学习》,300多页的ppt,台湾李宏毅教授写的,非常棒。不夸张地说,是我看过最系统,也最通俗易懂的,关于深度学习的文章。“
PPT下载地址废话少说,先上干货,整个PPT的思维导图如下:
深度学习概论
介绍深度学习
作者非常浅显的指出机器(深度)学习过程非常简单,分为定义方法、判断方法的优劣、挑选出最佳的方法。
对于深度学习,首先第一步定义方法 - 神经网络。深度学习顾名思义是指多层的神经网络。
神经网络的思想来源于对于人脑的生理上的研究,人脑由数亿个神经元组成,神经元通过轴突互相连接通信。神经网络和人脑类似,存在多个层级(layer),每个层级都有多个节点(神经元),层级和层级之间相互连接(轴突),最终输出结果。
对于神经网络的计算能力可以理解为通过一层层Layer的计算归纳,逐步的将抽象的原始数据变的具体。以图片识别为例,输入是一个个像素点,经过每层神经网络,逐步变化成为线、面、对象的概念,然后机器有能力能够识别出来。
第二步,评估方法的优劣。
Loss function是用于评估方法优劣,通常我们用学习出来的参数对测试数据进行计算,得出对应的预测(y)然后和真实的测试数据的目标值(t)进行比对,y和t之间的差距往往就是Loss。那么评估一个算法的好坏,就是要尽可能的降低Loss。
第三步,如何获得最佳的学习方法
获得最佳的学习是采用梯度下降算法,作者也提到梯度下降算法存在局部最优解的问题。人们往往认为机器无所不能,实际上更像是在一个地图上面拓荒,对周边一无所知。神经网络计算梯度的算法是反向传播算法,简称BP。
Why Deep?
作者首先指出越多的参数往往带来越好的预测能力,所以神经网络往往参数越多越好。那么如果是同样的参数情况下,为什么层级较多的表现会更好呢?
作者认为深度网络可以带来模块化的好处,随着网络的层级,神经网络会将像素元素逐渐归纳出一些基本的特征,进而变成纹理,进而变成对象。
训练方法
作者总结下来训练过程中会发现了两种情况:
1. 没有办法得到很好的训练结果 ---》 重新选择训练方式
2. 没有办法得到很好的测试结果 ---》 往往由于过度拟合导致,需要重新定义方法
优化训练方法的手段:
1. 选择合适的Loss function:使用Cross Entropy效果要优于Mean Square Error
2. Mini-batch: 每次训练使用少量数据而不是全量数据效率更高
3. Activation Function:使用ReLU替代Sigmoid可以解决梯度消失的问题,可以训练更深的神经网络
4. Adaptive Learning Rate:可以随着迭代不断自我调整,提高学习效率
5. Momentum: 可以一定程度上避免陷入局部最低点的问题
避免过度拟合(overfitting)的方法:
1. Early Stopping:使用cross validation的方式,不断对validation data进行检验,一旦发现预测精度下降则停止。
2. Weight Decay:参数正则化的一种方式?
3. Dropout:通过随机去掉一些节点的连接达到改变网络形式,所以会产生出多种网络形态,然后汇集得到一个最佳结果
4. Network Structure: 例如CNN等其他形态的网络
神经网络变体
Convolutional Neural Network (CNN)
通常情况下,一个CNN包含多次的卷积、池化,然后Flatten,最终再通过一个深度神经网络进行学习预测。CNN在图像、语音识别取得非常好的成绩,核心的想法在于一些物体的特征往往可以提取出来,并且可能出现在图片的任何位置,而且通过卷积、池化可以大大减少输入数据,加快训练效率。
Recurrent Neural Network (RNN)
RNN的想法是可以将hidden layer的数据存储下来,然后作为输入给下一个网络学习。这种网络的想法可以解决自然语言中前后词语是存在关联性的,所以RNN可以把这些关联性放到网络中进行学习。
其他前沿技术
Ultra Deep Network:2015年出现了152层的Residual Net实现了图片3.57%错误率
Reinforcement Learning: 通过奖励机制强化学习,并且做出相应的动作
Unsupervised Learning:
1. Deep Style
2. 生成图片
3. 无需人工介入理解文字的含义
-
python系列文章(基础,应用,后端,运维,自动化测试,爬虫,数据分析,可视化,机器学习,深度学习系列...
2019-06-27 13:38:41python基础教程 python基础系列教程——Python的安装与测试:python解释器、PyDev编辑器、pycharm编译器 python基础系列教程——Python库的安装与卸载 ...python基础系列教程——Python3.x标准模块库目录 ...python基础教程
python基础系列教程——Python的安装与测试:python解释器、PyDev编辑器、pycharm编译器
python基础系列教程——Python3.x标准模块库目录
python基础系列教程——Python中的编码问题,中文乱码问题
python数据分析系列教程——python对象与json字符串的相互转化,json文件的存储与读取
python基础系列教程——数据结构(列表、元组、字典、集合、链表)
python应用教程
python应用系列教程——python使用socket创建udp服务器端和客户端
python应用系列教程——python使用socket创建tcp服务器和客户端
python应用系列教程——python使用SocketServer实现网络服务器,socket实现客户端
python应用系列教程——python使用scapy监听网络数据包、按TCP/IP协议进行解析
python应用系列教程——python使用smtp上传邮件,使用pop3下载邮件
python应用系列教程——python使用smtp协议发送邮件:html文本邮件、图片邮件、文件附件邮件
python应用系列教程——python中ftp操作:连接、登录、获取目录,重定向、上传下载,删除更改
python应用系列教程——python操作office办公软件word
python应用系列教程——python操作office办公软件(excel)
python应用系列教程——python的GUI界面编程Tkinter全解
python后端
接口文档
swagger入门和实践(含docker部署swagger)
django
python后台架构Django开发全解python后台架构Django教程——admin管理员站点
python后台架构Django教程——templates模板
python后台架构Django教程——manage.py命令
python后台架构Django教程——项目配置setting
python后台架构Django教程——连接读写mysql数据库
tornado
flask
asyncio
python后台——asyncio,aiohttp入门教程,多进程+asyncio
grpc
gunicorn
aiohttp/flask python后端单元测试,单元测试覆盖率测试
python工具
python文件夹,文件监听工具(pyinotify,watchdog)
python自动化测试教程
python测试系列教程——python+Selenium自动化测试框架
python网络爬虫教程
python网络爬虫系列教程——python中urllib、urllib2、cookie模块应用全解
python网络爬虫系列教程——python中pyquery库应用全解
python网络爬虫系列教程——python中lxml库应用全解(xpath表达式)
python网络爬虫系列教程——python中requests库应用全解
python网络爬虫系列教程——python中BeautifulSoup4库应用全解
python网络爬虫系列教程——PhantomJS包应用全解
python网络爬虫系列教程——Python+PhantomJS +Selenium组合应用
python网络爬虫系列教程——python网络数据爬虫误区,让你的爬虫更像人类
python数据分析存储教程
python数据存储系列教程——python对象与json字符串的相互转化,json文件的存储与读取
python数据存储系列教程——python(pandas)读写csv文件
python数据存储系列教程——python操作sqlite数据库:连接、增删查改、指令执行
python数据存储系列教程——python中mysql数据库操作:连接、增删查改、指令执行
python数据存储系列教程——python中mongodb数据库操作:连接、增删查改、多级路径
python可视化教程
python数据可视化系列教程——matplotlib绘图全解
python爬虫助手
腾讯股票接口、和讯网股票接口、新浪股票接口、雪球股票数据、网易股票数据
python爬虫案例
python爬虫案例系列教程——根据网址爬取中文网站,获取标题、子连接、子连接数目、连接描述、中文分词列表
python爬虫案例系列教程——python爬取百度新闻RSS数据
python机器学习算法案例
特征工程:
关联挖掘:
python机器学习案例系列教程——关联分析(Apriori、FP-growth)
分类:
python机器学习案例系列教程——决策树(ID3、C4.5、CART)
python机器学习案例系列教程——K最近邻算法(KNN)、kd树
python机器学习案例系列教程——文档分类器,朴素贝叶斯分类器,费舍尔分类器
python机器学习案例系列教程——优化,寻找使成本函数最小的最优解
python机器学习案例系列教程——线性函数、线性回归、正则化
python机器学习案例系列教程——逻辑分类/逻辑回归/一般线性回归
python机器学习案例系列教程——支持向量机SVM、核方法
python机器学习案例系列教程——集成学习(Bagging、Boosting、RF、AdaBoost、GBDT、xgboost)
python机器学习案例系列教程——GBDT算法、XGBOOST算法
python机器学习案例系列教程——CTR/CVR中的FM、FFM算法
聚类:
python机器学习案例系列教程——k均值聚类、k中心点聚类
[python机器学习案例系列教程——网格聚类]
推荐系统:
搜索引擎:
python数据挖掘案例系列教程——python神经网络实现搜索引擎
图论:
python机器学习案例系列教程——最小生成树(MST)的Prim算法和Kruskal算法机器学习总结
机器学习案例系列教程——优化方法总结(梯度下降法、牛顿法、拟牛顿法、共轭梯度法等)
python机器学习库教程
python机器学习系列教程——深度学习框架比较TensorFlow、Theano、Caffe、SciKit-learn、Keras
python自然语言处理库教程
python机器学习库sklearn教程
python机器学习库sklearn——K最近邻、K最近邻分类、K最近邻回归
python机器学习库sklearn——DBSCAN密度聚类
python机器学习库sklearn——岭回归(Ridge、RidgeCV)(L2正则化)
python机器学习库sklearn——Lasso回归(L1正则化)
python机器学习库sklearn——神经网络(分类、回归)
python机器学习库sklearn——集成方法(Bagging、Boosting、随机森林RF、AdaBoost、GBDT)
python机器学习库sklearn——多类、多标签、多输出
python机器学习库sklearn——参数优化(网格搜索GridSearchCV、随机搜索RandomizedSearchCV)
python机器学习库sklearn——交叉验证(K折、留一、留p、随机)
python深度学习系列教程
python深度学习案例教程
python神经网络案例——FC全连接神经网络实现mnist手写体识别
python神经网络案例——CNN卷积神经网络实现mnist手写体识别
python深度学习库tensorflow教程
python深度学习库tensorflow——实现FC全连接神经网络识别mnist手写体
python深度学习库keras教程
python深度学习库keras实例教程
python机器学习库keras——线性回归、逻辑回归、一般逻辑回归
python机器学习库keras——CNN卷积神经网络识别手写体
python机器学习库keras——CNN卷积神经网络人脸识别
python机器学习库keras——AutoEncoder自编码、特征压缩
python深度学习库教程
-
AI深度学习
2020-01-17 18:10:32AI深度学习 -
完结撒花!吴恩达DeepLearning.ai《深度学习》课程笔记目录总集
2018-04-12 14:49:26吴恩达 Coursera DeepLearning.ai《深度学习》系列课程笔记目录总集 -
深度学习入门
2017-11-05 21:23:46深度学习 -
深度学习框架Tensorflow案例实战视频课程
2017-01-24 10:01:04深度学习框架Tensorflow案例实战视频培训课程概况: Tensorflow是谷歌开源的深度学习(包括机器学习)框架,伴随着人工智能业的兴盛其大名早已响彻云霄。本课程从Tensorflow安装开始讲起,从基本计算结构到深度学习... -
【深度学习】深度学习论文阅读路线图!一文掌握深度学习!
2019-12-14 17:14:18Deep-Learning-Papers-Reading-Roadmap(深度学习论文阅读路线图) 深度学习基础及历史 1.0 书 深度学习圣经:Bengio, Yoshua, Ian J. Goodfellow, and Aaron Courville. “Deep learning.” An MIT Press book. ... -
深度学习入门笔记(一):深度学习引言
2019-09-09 18:02:57第一门课 神经网络和深度学习(Neural Networks and Deep Learning) 文章目录第一门课 神经网络和深度学习(Neural Networks and Deep Learning)第一周:深度学习引言(Introduction to Deep Learning)1.1 欢迎... -
深度学习之学习规划
2019-08-22 10:48:06深度学习 -
深度学习入门视频课程
2017-01-24 13:38:50进入学习群,获取唐宇迪老师答疑 ... 课程首先通俗讲解神经网络核心知识点再对整体网络构架进行分析与实例应用,针对计算机视觉与自然语言处理两大...整体风格通俗易懂,最接地气的深度学习入门实战课程! -
深度学习与计算机视觉
2020-07-13 17:12:354、学习完后,你将具有深度学习与计算视觉的项目能力,比如大学生学完可以具备独立完成机器视觉类毕业设计的能力,在求职过程中可以体系化的讲解机器视觉核心知识点,初步达到人工智能领域机器视觉工程师的水平 ... -
基于深度学习的命名实体识别与关系抽取
2019-07-18 22:12:50基于深度学习的命名实体识别与关系抽取 摘要:构建知识图谱包含四个主要的步骤:数据获取、知识抽取、知识融合和知识加工。其中最主要的步骤是知识抽取。知识抽取包括三个要素:命名实体识别(NER)、实体关系抽取... -
深度学习与PyTorch实战
2019-12-30 10:00:44系列课程包括深度学习中经典网络架构,结合计算机视觉与自然语言处理两大核心模块展开原理 分析与项目实战。通俗讲解深度学习中两大经典网络架构CNN与RNN模型,结合当下最主流PyTorch框架进行实战演练,选择当下NLP... -
深度学习入门及深度学习学习路线
2017-08-30 15:13:20前段时间无意间看到一些深度学习方面的资料,个人觉得写的实在是太精彩了,必须得推荐给他大家。目前只更新了7篇博客,里面包含了原理(即数学推导)和实践(代码实现),对于入门来讲实在是合适不过的了。 声明:... -
深度学习(一)深度学习学习资料
2015-05-01 20:22:28hjimce一、学习清单1、综合类(1)收集了各种最新最经典的文献,神经网络的资源列表:https://github.com/robertsdionne/neural-network-papers 里面包含了深度学习领域经典、以及最新最牛逼的算法,如果把这个列表学... -
深度学习(1): 深度学习简介
2019-08-09 11:10:29文章目录1 什么是深度学习?2 深度学习应用2.1 机器学习的一般方法2.2 深度学习的一般方法3 GPU的迅速发展3.1 GPU与显卡的区别3.2 GPU 与 CPU 区别3.3 GPU种类参考资料 注:转载请标明原文出处链接:... -
机器学习:深度学习入门及深度学习学习路线
2019-01-22 17:42:34入门深度学习部分 第一部分:感知机部分 零基础入门深度学习-感知机 第二部分:线性单元和梯度下降 零基础入门深度学习-线性单元和梯度下降 第三部分:神经网络和反向传播算法 零基础入门深度学习-神经网络和反向... -
2019 年最佳机器学习和深度学习书籍的名单!建议收藏!
2020-03-01 21:48:09深度学习入门书籍推荐: 想入门深度学习却不知道该如何下手?我整理了这份知识清单。 希望能够节省你的时间,对你有所帮助。 2019 年最佳机器学习和深度学习书籍的名单: 《深度学习》by Ian Goodfellow, Yoshua ... -
深度学习及机器学习
2018-11-21 21:15:23深度学习深度学习基础论文阅读机器学习模型 深度学习基础 【深度学习基础】《深度学习》李宏毅 【深度学习基础】正则化 (18.11.21) 【深度学习基础】正反向传播 (18.11.21) 论文阅读 YOLO mask-RCNN SSD 机器... -
[深度学习概念]·深度学习简介
2019-01-19 14:13:22目录 有监督的学习 半监督学习 无监督学习(又名Hebbian学习...从社交网络过滤到自动驾驶汽车,再到电影推荐,金融欺诈检测,药物发现……深度学习影响着我们的生活和决策。 在这一文章中,将尽可能简单易懂地解... -
【深度学习】神经网络与深度学习学习笔记
2020-10-31 18:46:36深度学习(DL):深度学习是机器学习的一个分支,是指一类问题以及解决这类问题的方法。 神经网络(ANNs):又称人工神经网络,是由人工神经元以及神经元之间的连接构成,其中有两类特殊的神经元: 一类是用来接受外部... -
深度学习100题(2)
2020-09-29 21:47:41—《深度学习》,2016。 在循环神经网络中,梯度爆炸会导致网络不稳定,无法利用训练数据学习,最好的结果是网络无法学习长的输入序列数据。 32、如何确定是否出现梯度爆炸? 解析: 训练过程中 -
系统学习深度学习(一) --深度学习与神经网络关系
2017-01-10 11:14:39最近开始学习深度学习,基本上都是zouxy09博主的文章,写的蛮好,很全面,也会根据自己的思路,做下删减,细化。 Deep Learning的基本思想 假设我们有一个系统S,它有n层(S1,…Sn),它的输入是I,输出是O,... -
【深度学习】为什么深度学习需要大内存?
2017-05-12 15:30:50介绍深度学习中内存的开销来源,以及降低内存需求的几种解决方案。 -
深度学习30天系统实训
2018-07-20 11:36:26系列课程从深度学习最核心模块神经网络开始讲起,将复杂的神经网络分模块攻克。由神经网络过度到深度学习,详解深度学习中最核心网络卷积神经网络与递归神经网络。选择深度学习当下最流行框架Tensorflow进行案例实战... -
[深度学习]如何选择深度学习框架
2019-04-03 20:47:53不管是前端技术框架还是后端技术框架以及在深度学习技术框架,我们在决定使用前,都需要考虑以下几个方面,也就是我们在选型上通用的依据,这里以深度学习框架选型举例子: 1) 性能方面 性能方面一部分主要由实现...
-
牛津深圳版英语七年级上册Module4Funtime《Unit8CollectingThingsPeriod3》.ppt
-
SpringCloud学习(5):Rest学习环境搭建:服务消费者
-
03 哈希表和解析式
-
scrapy爬虫学习系列七:scrapy常见问题解决方案
-
String Matching(上交复试上机)
-
注解类的定义和使用
-
MRF图像分割步骤与MATLAB程序
-
python去掉txt文件行尾换行
-
我的见面礼(不知道怎么说。。)
-
WPF上位机数据采集与监控系统零基础实战
-
呼吸生理1ppt课件
-
【数据分析-随到随学】Hadoop数据分析
-
前端架构师-速成
-
模板方法参数类型选择使用泛型
-
C#文件传输、Socket通信、大文件断点续传
-
【比特币挖矿】神奇的比喻,比特币是“正在冒烟的切尔诺贝利”
-
吴恩达机器学习笔记——十五、异常检测
-
云计算在电信运营商中的应用研究
-
学习日记2021-1-21 zero tier内网穿透
-
Python入门到项目直通车