前言

深度神经网络是一种目前被广泛使用的工具，可以用于图像识别、分类，物体检测，机器翻译等等。深度学习（DeepLearning）是一种学习神经网络各种参数的方法。因此，我们将要介绍的深度学习，指的是构建神经网络结构，并且运用各种深度学习算法训练网络参数，进而解决各种任务。本文从PyTorch环境配置开始。PyTorch是一种Python接口的深度学习框架，使用灵活，学习方便。还有其他主流的深度学习框架，例如Caffe，TensorFlow，CNTK等等，各有千秋。笔者认为，初期学习还是选择一种入门，不要期望全都学会。须知，发力集中才能深入挖掘。乱花渐欲迷人眼，选择适合自己的，从一而终，相信会对科研大有裨益!

***************************************************

说明：本文乃至本系列全部文章都是在PyTorch0.2版本下做的。现在版本更新了很多，会有一些API的更改，请大家注意Follow最新的变化，以免由于版本问题受到困扰。

***************************************************

1. 环境说明

PyTorch目前支持OSX和Linux两种系统，并且支持多种安装方式。在官网上介绍了基于conda，pip和源代码编译几种不同的安装方式。支持的Python版本有2.7，3.5和3.6。鉴于深度学习需要的计算量一般比较大，强烈建议找到一个有独立显卡的电脑来展开学习，当然没有显卡也能用，就是计算慢很多了。

如果你的电脑是Windows，那么可以安装一个虚拟机来运行Linux，但是性能可能会折扣。我的电脑操作系统是Ubuntu16.04，所以我会以此为例子来介绍后面的内容。



 

2. Anaconda 和Python

PackageManager我们选择conda，于是我们需要安装Anaconda这个功能强大的包，下载地质：https://www.anaconda.com/download/#linux 。里面包含了conda工具，也有Python，以及很多Python需要的扩展工具包。选择2.7版本，下载并安装即可。接下来，如果有显卡，进入第3步；没有显卡直接到第4步。



 

3. 显卡驱动和CUDA

要使用显卡进行运算，你需要使用支持CUDA的NVIDIA显卡，目前比较好的显卡有NVIDIATITANX、GTX1080Ti 等。好的显卡将会是深度学习研究的有力武器。当然，普通的显卡例如GTX970、GTX1060等也是可以用的。实在没有显卡，那只能做简单的小数据量的实验，效果不会太好。

在Ubuntu16.04上可以采用以下方法安装显卡驱动，这种方式比较稳定。打开“SystemSettings”——“Software&Updates” —— “AdditionalDrivers”，联网状态会自动搜索可用的显卡驱动，选择可用的版本，点击“ApplyChanges”即可。可能重启动后显卡驱动才能生效。

接下来安装CUDAToolkit。因为最新的CUDA是9.0版本，但是PyTorch只能支持到8.0。所以转到该网址“https://developer.nvidia.com/cuda-80-ga2-download-archive”，选择对应的参数，下方会有对应的CUDA文件。例如，下图是我选择的版本。选择deb文件，发现有1.9G大小，下载下来，按照baseinstaller的指示来完成安装。附加的cuBLAS也可以下载下来安装上。

CUDA安装完成后，在主目录下打开“.bachrc”文件，在末尾添加如下代码：

export PATH=/usr/local/cuda-8.0/bin${PATH:+:${PATH}}

export LD_LIBRARY_PATH=/usr/local/cuda-8.0/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}

export LD_LIBRARY_PATH=/usr/local/cuda-8.0/lib${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}

 

 

 

4. 运行PyTorch的安装命令

如果你和我一样，采用8.0CUDA，2.7版本Python，可以运行以下命令：

conda install pytorch torchvision cuda80 -c soumith

如果没有显卡，2.7版本Python，可以这样：

conda install pytorch torchvision -c soumith

 

5. 验证安装是否成功

要显示显卡信息，在终端输入：

sudo lshw -c video

 

要显示CUDA信息，在终端输入：

nvcc -V

 

查看Phthon版本，在终端输入：

python --version

 

验证pytorch是否安装成功，在终端输入：

python

此时进入python环境。然后，继续输入

import torch

import torchvision

不报错就表明安装成功。

 

 

 

Deep Learning（深度学习）学习笔记整理系列
zouxy09@qq.com
http://blog.csdn.net/zouxy09
作者：Zouxy
version 1.0  2013-04-08
 
声明：
1）该Deep Learning的学习系列是整理自网上很大牛和机器学习专家所无私奉献的资料的。具体引用的资料请看参考文献。具体的版本声明也参考原文献。
2）本文仅供学术交流，非商用。所以每一部分具体的参考资料并没有详细对应。如果某部分不小心侵犯了大家的利益，还望海涵，并联系博主删除。
3）本人才疏学浅，整理总结的时候难免出错，还望各位前辈不吝指正，谢谢。
4）阅读本文需要机器学习、计算机视觉、神经网络等等基础（如果没有也没关系了，没有就看看，能不能看懂，呵呵）。
5）此属于第一版本，若有错误，还需继续修正与增删。还望大家多多指点。大家都共享一点点，一起为祖国科研的推进添砖加瓦（呵呵，好高尚的目标啊）。请联系：zouxy09@qq.com
 

目录：
一、概述
二、背景
三、人脑视觉机理
四、关于特征
       4.1、特征表示的粒度
       4.2、初级（浅层）特征表示
       4.3、结构性特征表示
       4.4、需要有多少个特征？
五、Deep Learning的基本思想
六、浅层学习（Shallow Learning）和深度学习（Deep Learning）
七、Deep learning与Neural Network
八、Deep learning训练过程
       8.1、传统神经网络的训练方法
       8.2、deep learning训练过程
九、Deep Learning的常用模型或者方法
       9.1、AutoEncoder自动编码器
       9.2、Sparse Coding稀疏编码
       9.3、Restricted Boltzmann Machine(RBM)限制波尔兹曼机
       9.4、Deep BeliefNetworks深信度网络
       9.5、Convolutional Neural Networks卷积神经网络
十、总结与展望
十一、参考文献和Deep Learning学习资源
 
一、概述
       Artificial Intelligence，也就是人工智能，就像长生不老和星际漫游一样，是人类最美好的梦想之一。虽然计算机技术已经取得了长足的进步，但是到目前为止，还没有一台电脑能产生“自我”的意识。是的，在人类和大量现成数据的帮助下，电脑可以表现的十分强大，但是离开了这两者，它甚至都不能分辨一个喵星人和一个汪星人。
       图灵（图灵，大家都知道吧。计算机和人工智能的鼻祖，分别对应于其著名的“图灵机”和“图灵测试”）在 1950 年的论文里，提出图灵试验的设想，即，隔墙对话，你将不知道与你谈话的，是人还是电脑。这无疑给计算机，尤其是人工智能，预设了一个很高的期望值。但是半个世纪过去了，人工智能的进展，远远没有达到图灵试验的标准。这不仅让多年翘首以待的人们，心灰意冷，认为人工智能是忽悠，相关领域是“伪科学”。
        但是自 2006 年以来，机器学习领域，取得了突破性的进展。图灵试验，至少不是那么可望而不可及了。至于技术手段，不仅仅依赖于云计算对大数据的并行处理能力，而且依赖于算法。这个算法就是，Deep Learning。借助于 Deep Learning 算法，人类终于找到了如何处理“抽象概念”这个亘古难题的方法。



       2012年6月，《纽约时报》披露了Google Brain项目，吸引了公众的广泛关注。这个项目是由著名的斯坦福大学的机器学习教授Andrew Ng和在大规模计算机系统方面的世界顶尖专家JeffDean共同主导，用16000个CPU Core的并行计算平台训练一种称为“深度神经网络”（DNN，Deep Neural Networks）的机器学习模型（内部共有10亿个节点。这一网络自然是不能跟人类的神经网络相提并论的。要知道，人脑中可是有150多亿个神经元，互相连接的节点也就是突触数更是如银河沙数。曾经有人估算过，如果将一个人的大脑中所有神经细胞的轴突和树突依次连接起来，并拉成一根直线，可从地球连到月亮，再从月亮返回地球），在语音识别和图像识别等领域获得了巨大的成功。
       项目负责人之一Andrew称：“我们没有像通常做的那样自己框定边界，而是直接把海量数据投放到算法中，让数据自己说话，系统会自动从数据中学习。”另外一名负责人Jeff则说：“我们在训练的时候从来不会告诉机器说：‘这是一只猫。’系统其实是自己发明或者领悟了“猫”的概念。”
  
       2012年11月，微软在中国天津的一次活动上公开演示了一个全自动的同声传译系统，讲演者用英文演讲，后台的计算机一气呵成自动完成语音识别、英中机器翻译和中文语音合成，效果非常流畅。据报道，后面支撑的关键技术也是DNN，或者深度学习（DL，DeepLearning）。
       2013年1月，在百度年会上，创始人兼CEO李彦宏高调宣布要成立百度研究院，其中第一个成立的就是“深度学习研究所”（IDL，Institue of Deep Learning）。
 
       为什么拥有大数据的互联网公司争相投入大量资源研发深度学习技术。听起来感觉deeplearning很牛那样。那什么是deep learning？为什么有deep learning？它是怎么来的？又能干什么呢？目前存在哪些困难呢？这些问题的简答都需要慢慢来。咱们先来了解下机器学习（人工智能的核心）的背景。
 
二、背景
      机器学习（Machine Learning）是一门专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能的学科。机器能否像人类一样能具有学习能力呢？1959年美国的塞缪尔(Samuel)设计了一个下棋程序，这个程序具有学习能力，它可以在不断的对弈中改善自己的棋艺。4年后，这个程序战胜了设计者本人。又过了3年，这个程序战胜了美国一个保持8年之久的常胜不败的冠军。这个程序向人们展示了机器学习的能力，提出了许多令人深思的社会问题与哲学问题（呵呵，人工智能正常的轨道没有很大的发展，这些什么哲学伦理啊倒发展的挺快。什么未来机器越来越像人，人越来越像机器啊。什么机器会反人类啊，ATM是开第一枪的啊等等。人类的思维无穷啊）。
        机器学习虽然发展了几十年，但还是存在很多没有良好解决的问题：



        例如图像识别、语音识别、自然语言理解、天气预测、基因表达、内容推荐等等。目前我们通过机器学习去解决这些问题的思路都是这样的（以视觉感知为例子）：



        从开始的通过传感器（例如CMOS）来获得数据。然后经过预处理、特征提取、特征选择，再到推理、预测或者识别。最后一个部分，也就是机器学习的部分，绝大部分的工作是在这方面做的，也存在很多的paper和研究。
        而中间的三部分，概括起来就是特征表达。良好的特征表达，对最终算法的准确性起了非常关键的作用，而且系统主要的计算和测试工作都耗在这一大部分。但，这块实际中一般都是人工完成的。靠人工提取特征。



       截止现在，也出现了不少NB的特征（好的特征应具有不变性（大小、尺度和旋转等）和可区分性）：例如Sift的出现，是局部图像特征描述子研究领域一项里程碑式的工作。由于SIFT对尺度、旋转以及一定视角和光照变化等图像变化都具有不变性，并且SIFT具有很强的可区分性，的确让很多问题的解决变为可能。但它也不是万能的。



       然而，手工地选取特征是一件非常费力、启发式（需要专业知识）的方法，能不能选取好很大程度上靠经验和运气，而且它的调节需要大量的时间。既然手工选取特征不太好，那么能不能自动地学习一些特征呢？答案是能！Deep Learning就是用来干这个事情的，看它的一个别名UnsupervisedFeature Learning，就可以顾名思义了，Unsupervised的意思就是不要人参与特征的选取过程。
       那它是怎么学习的呢？怎么知道哪些特征好哪些不好呢？我们说机器学习是一门专门研究计算机怎样模拟或实现人类的学习行为的学科。好，那我们人的视觉系统是怎么工作的呢？为什么在茫茫人海，芸芸众生，滚滚红尘中我们都可以找到另一个她（因为，你存在我深深的脑海里，我的梦里 我的心里 我的歌声里……）。人脑那么NB，我们能不能参考人脑，模拟人脑呢？（好像和人脑扯上点关系的特征啊，算法啊，都不错，但不知道是不是人为强加的，为了使自己的作品变得神圣和高雅。）
        近几十年以来，认知神经科学、生物学等等学科的发展，让我们对自己这个神秘的而又神奇的大脑不再那么的陌生。也给人工智能的发展推波助澜。
 
三、人脑视觉机理
       1981 年的诺贝尔医学奖，颁发给了 David Hubel（出生于加拿大的美国神经生物学家） 和TorstenWiesel，以及 Roger Sperry。前两位的主要贡献，是“发现了视觉系统的信息处理”：可视皮层是分级的：



        我们看看他们做了什么。1958 年，DavidHubel 和Torsten Wiesel 在 JohnHopkins University，研究瞳孔区域与大脑皮层神经元的对应关系。他们在猫的后脑头骨上，开了一个3 毫米的小洞，向洞里插入电极，测量神经元的活跃程度。
      然后，他们在小猫的眼前，展现各种形状、各种亮度的物体。并且，在展现每一件物体时，还改变物体放置的位置和角度。他们期望通过这个办法，让小猫瞳孔感受不同类型、不同强弱的刺激。
       之所以做这个试验，目的是去证明一个猜测。位于后脑皮层的不同视觉神经元，与瞳孔所受刺激之间，存在某种对应关系。一旦瞳孔受到某一种刺激，后脑皮层的某一部分神经元就会活跃。经历了很多天反复的枯燥的试验，同时牺牲了若干只可怜的小猫，David Hubel 和Torsten Wiesel 发现了一种被称为“方向选择性细胞（Orientation Selective Cell）”的神经元细胞。当瞳孔发现了眼前的物体的边缘，而且这个边缘指向某个方向时，这种神经元细胞就会活跃。
       这个发现激发了人们对于神经系统的进一步思考。神经-中枢-大脑的工作过程，或许是一个不断迭代、不断抽象的过程。
       这里的关键词有两个，一个是抽象，一个是迭代。从原始信号，做低级抽象，逐渐向高级抽象迭代。人类的逻辑思维，经常使用高度抽象的概念。
        例如，从原始信号摄入开始（瞳孔摄入像素 Pixels），接着做初步处理（大脑皮层某些细胞发现边缘和方向），然后抽象（大脑判定，眼前的物体的形状，是圆形的），然后进一步抽象（大脑进一步判定该物体是只气球）。



      这个生理学的发现，促成了计算机人工智能，在四十年后的突破性发展。
      总的来说，人的视觉系统的信息处理是分级的。从低级的V1区提取边缘特征，再到V2区的形状或者目标的部分等，再到更高层，整个目标、目标的行为等。也就是说高层的特征是低层特征的组合，从低层到高层的特征表示越来越抽象，越来越能表现语义或者意图。而抽象层面越高，存在的可能猜测就越少，就越利于分类。例如，单词集合和句子的对应是多对一的，句子和语义的对应又是多对一的，语义和意图的对应还是多对一的，这是个层级体系。
      敏感的人注意到关键词了：分层。而Deep learning的deep是不是就表示我存在多少层，也就是多深呢？没错。那Deep learning是如何借鉴这个过程的呢？毕竟是归于计算机来处理，面对的一个问题就是怎么对这个过程建模？
       因为我们要学习的是特征的表达，那么关于特征，或者说关于这个层级特征，我们需要了解地更深入点。所以在说Deep Learning之前，我们有必要再啰嗦下特征（呵呵，实际上是看到那么好的对特征的解释，不放在这里有点可惜，所以就塞到这了）。


下续

”《1天搞懂深度学习》，300多页的ppt，台湾李宏毅教授写的，非常棒。不夸张地说，是我看过最系统，也最通俗易懂的，关于深度学习的文章。“
PPT下载地址

废话少说，先上干货，整个PPT的思维导图如下：



 

深度学习概论

介绍深度学习

作者非常浅显的指出机器（深度）学习过程非常简单，分为定义方法、判断方法的优劣、挑选出最佳的方法。



对于深度学习，首先第一步定义方法 - 神经网络。深度学习顾名思义是指多层的神经网络。

神经网络的思想来源于对于人脑的生理上的研究，人脑由数亿个神经元组成，神经元通过轴突互相连接通信。神经网络和人脑类似，存在多个层级（layer），每个层级都有多个节点（神经元），层级和层级之间相互连接（轴突），最终输出结果。

对于神经网络的计算能力可以理解为通过一层层Layer的计算归纳，逐步的将抽象的原始数据变的具体。以图片识别为例，输入是一个个像素点，经过每层神经网络，逐步变化成为线、面、对象的概念，然后机器有能力能够识别出来。



 

 第二步，评估方法的优劣。

Loss function是用于评估方法优劣，通常我们用学习出来的参数对测试数据进行计算，得出对应的预测（y）然后和真实的测试数据的目标值（t）进行比对，y和t之间的差距往往就是Loss。那么评估一个算法的好坏，就是要尽可能的降低Loss。

 

第三步，如何获得最佳的学习方法

获得最佳的学习是采用梯度下降算法，作者也提到梯度下降算法存在局部最优解的问题。人们往往认为机器无所不能，实际上更像是在一个地图上面拓荒，对周边一无所知。神经网络计算梯度的算法是反向传播算法，简称BP。



 

Why Deep？

作者首先指出越多的参数往往带来越好的预测能力，所以神经网络往往参数越多越好。那么如果是同样的参数情况下，为什么层级较多的表现会更好呢？



 

作者认为深度网络可以带来模块化的好处，随着网络的层级，神经网络会将像素元素逐渐归纳出一些基本的特征，进而变成纹理，进而变成对象。



 

训练方法



 

作者总结下来训练过程中会发现了两种情况：

1. 没有办法得到很好的训练结果 ---》 重新选择训练方式

2. 没有办法得到很好的测试结果 ---》 往往由于过度拟合导致，需要重新定义方法

 

 

优化训练方法的手段：

1. 选择合适的Loss function：使用Cross Entropy效果要优于Mean Square Error

2. Mini-batch: 每次训练使用少量数据而不是全量数据效率更高

3. Activation Function：使用ReLU替代Sigmoid可以解决梯度消失的问题，可以训练更深的神经网络

4. Adaptive Learning Rate：可以随着迭代不断自我调整，提高学习效率

5. Momentum: 可以一定程度上避免陷入局部最低点的问题

 



避免过度拟合（overfitting）的方法：

1. Early Stopping：使用cross validation的方式，不断对validation data进行检验，一旦发现预测精度下降则停止。

2. Weight Decay：参数正则化的一种方式？

3. Dropout：通过随机去掉一些节点的连接达到改变网络形式，所以会产生出多种网络形态，然后汇集得到一个最佳结果

4. Network Structure: 例如CNN等其他形态的网络

 

神经网络变体

Convolutional Neural Network (CNN)



通常情况下，一个CNN包含多次的卷积、池化，然后Flatten，最终再通过一个深度神经网络进行学习预测。CNN在图像、语音识别取得非常好的成绩，核心的想法在于一些物体的特征往往可以提取出来，并且可能出现在图片的任何位置，而且通过卷积、池化可以大大减少输入数据，加快训练效率。

 

Recurrent Neural Network (RNN)



RNN的想法是可以将hidden layer的数据存储下来，然后作为输入给下一个网络学习。这种网络的想法可以解决自然语言中前后词语是存在关联性的，所以RNN可以把这些关联性放到网络中进行学习。

 

其他前沿技术

Ultra Deep Network：2015年出现了152层的Residual Net实现了图片3.57%错误率



 

Reinforcement Learning: 通过奖励机制强化学习，并且做出相应的动作



Unsupervised Learning:

1. Deep Style



2. 生成图片



 

3. 无需人工介入理解文字的含义

 

    
python基础教程
python基础系列教程——Python的安装与测试：python解释器、PyDev编辑器、pycharm编译器
python基础系列教程——Python库的安装与卸载
python基础系列教程——Python3.x标准模块库目录
python基础系列教程——Python中的编码问题，中文乱码问题
python基础系列教程——python基础语法全解
python基础系列教程——python中的正则表达式全解
 python数据分析系列教程——python对象与json字符串的相互转化，json文件的存储与读取
python基础系列教程——python面向对象编程全解
python基础系列教程——数据结构（列表、元组、字典、集合、链表）
python应用教程
python应用系列教程——python使用socket创建udp服务器端和客户端
python应用系列教程——python使用socket创建tcp服务器和客户端
python应用系列教程——python使用SocketServer实现网络服务器，socket实现客户端
python应用系列教程——python使用scapy监听网络数据包、按TCP/IP协议进行解析
python应用系列教程——python使用smtp上传邮件，使用pop3下载邮件
python应用系列教程——python使用smtp协议发送邮件：html文本邮件、图片邮件、文件附件邮件
python应用系列教程——python中ftp操作：连接、登录、获取目录，重定向、上传下载，删除更改
python应用系列教程——python操作office办公软件word
python应用系列教程——python操作office办公软件（excel）
python应用系列教程——python的GUI界面编程Tkinter全解
python后端
接口文档
swagger入门和实践（含docker部署swagger）
django
python后台架构Django开发全解
python后台架构Django教程——admin管理员站点
python后台架构Django教程——路由映射urls
python后台架构Django教程——templates模板
python后台架构Django教程——视图views渲染
python后台架构Django教程——数据模型Model
python后台架构Django教程——manage.py命令
python后台架构Django教程——项目配置setting
python后台架构Django教程——连接读写mysql数据库
python后台架构Django教程——日志系统
tornado
Tornado请求分析request,   获取请求参数
tornado使用mysql 连接池（torndb）
flask
python后台Flask 快速入门
asyncio
python后台——asyncio，aiohttp入门教程，多进程+asyncio
aiohttp进阶教程
grpc
gRPC传输协议使用(python教程)
protobuf序列化协议python教程
gunicorn
python之gunicorn的配置
aiohttp/flask python后端单元测试，单元测试覆盖率测试
python工具
python相关工具使用技巧(pip)
virtualenv虚拟独立python环境使用
Python下APScheduler的快速指南
python文件夹，文件监听工具（pyinotify，watchdog）
python命令行解析库——argparse库的使用
python分布式多进程框架 Ray
python自定义包的发布与安装
python调试利器pysnooper
python自动化测试教程
python测试系列教程 —— 单元测试unittest
python测试系列教程 —— 调试日志logging
python测试系列教程——python+Selenium自动化测试框架
python网络爬虫教程
抓包工具Fiddler的使用说明
python网络爬虫系列教程——python中urllib、urllib2、cookie模块应用全解
python网络爬虫系列教程——python中pyquery库应用全解
python网络爬虫系列教程——python中lxml库应用全解（xpath表达式）
python网络爬虫系列教程——python中requests库应用全解
python网络爬虫系列教程——python中BeautifulSoup4库应用全解
python网络爬虫系列教程——PhantomJS包应用全解
python网络爬虫系列教程——Scrapy框架应用全解
python网络爬虫系列教程——Python+PhantomJS +Selenium组合应用
python网络爬虫系列教程——python网络数据爬虫误区，让你的爬虫更像人类
python数据分析存储教程
python数据分析系列教程——NumPy全解
python数据分析系列教程——Pandas全解
python数据存储系列教程——xls文件的读写
python数据存储系列教程——python对象与json字符串的相互转化，json文件的存储与读取
python数据存储系列教程——python（pandas）读写csv文件
python数据存储系列教程——python操作sqlite数据库：连接、增删查改、指令执行
python数据存储系列教程——python中mysql数据库操作：连接、增删查改、指令执行
python数据存储系列教程——python中mongodb数据库操作：连接、增删查改、多级路径
python可视化教程
python数据可视化系列教程——matplotlib绘图全解
python爬虫助手
各大网站RSS订阅源地址
腾讯股票接口、和讯网股票接口、新浪股票接口、雪球股票数据、网易股票数据
抓包工具Fiddler的使用说明
python爬虫案例
python爬虫案例——csdn数据采集
python爬虫案例——糗事百科数据采集
python爬虫案例——百度贴吧数据采集
python爬虫案例——爬取西刺免费代理服务器IP等信息
python爬虫案例——东方财富股票数据采集
python爬虫案例——证券之星股票数据采集
python爬虫案例——新浪腾讯股票数据采集
python爬虫案例系列教程——根据网址爬取中文网站，获取标题、子连接、子连接数目、连接描述、中文分词列表
python爬虫案例系列教程——python爬取百度新闻RSS数据
python机器学习算法案例
机器学习书籍推荐
人工智能、机器学习、深度学习、数据挖掘、数据分析区分
数据挖掘工程师知识体系
特征工程：
python机器学习案例系列教程——GBDT构建新特征
关联挖掘：
python机器学习案例系列教程——关联分析（Apriori、FP-growth）
分类：
python机器学习案例系列教程——决策树（ID3、C4.5、CART）
python机器学习案例系列教程——基于规则的分类器
python机器学习案例系列教程——K最近邻算法(KNN)、kd树
python机器学习案例系列教程——极大似然估计、EM算法
python机器学习案例系列教程——文档分类器，朴素贝叶斯分类器，费舍尔分类器
python机器学习案例系列教程——优化，寻找使成本函数最小的最优解
python机器学习案例系列教程——线性函数、线性回归、正则化
python机器学习案例系列教程——逻辑分类/逻辑回归/一般线性回归
python机器学习案例系列教程——支持向量机SVM、核方法
python机器学习案例系列教程——集成学习（Bagging、Boosting、RF、AdaBoost、GBDT、xgboost）
python机器学习案例系列教程——GBDT算法、XGBOOST算法
python机器学习案例系列教程——CTR/CVR中的FM、FFM算法
python机器学习案例系列教程——LightGBM算法
聚类：
python机器学习案例系列教程——层次聚类
python机器学习案例系列教程——BIRCH聚类
python机器学习案例系列教程——k均值聚类、k中心点聚类
python机器学习案例系列教程——DBSCAN密度聚类
[python机器学习案例系列教程——网格聚类]
python机器学习案例系列教程——聚类算法总结
推荐系统：
python机器学习案例系列教程——推荐系统
搜索引擎：
python数据挖掘案例系列教程——python神经网络实现搜索引擎
图论：
python机器学习案例系列教程——最小生成树（MST）的Prim算法和Kruskal算法
机器学习总结
机器学习案例系列教程——算法总结
机器学习案例系列教程——损失函数总结
机器学习案例系列教程——优化方法总结（梯度下降法、牛顿法、拟牛顿法、共轭梯度法等）
机器学习案例系列教程——距离度量方法总结
机器学习案例系列教程——模型评估总结
python机器学习库教程
python机器学习系列教程——深度学习框架比较TensorFlow、Theano、Caffe、SciKit-learn、Keras
python机器学习库xgboost——xgboost算法
python自然语言处理库教程
NLP自然语言处理库系列教程——结巴中文分词
NLP自然语言处理库系列教程——gensim库
python机器学习库sklearn教程
python机器学习库sklearn——生成样本数据
python机器学习库sklearn——数据预处理
python机器学习库sklearn——特征提取
python机器学习库sklearn——特征选择
python机器学习库sklearn——K最近邻、K最近邻分类、K最近邻回归
python机器学习库sklearn——决策树
python机器学习库sklearn——k均值聚类
python机器学习库sklearn——BIRCH聚类
python机器学习库sklearn——DBSCAN密度聚类
python机器学习库sklearn——文档贝叶斯分类器
python机器学习库sklearn——线性回归
python机器学习库sklearn——岭回归（Ridge、RidgeCV）（L2正则化）
python机器学习库sklearn——Lasso回归（L1正则化）
python机器学习库sklearn——逻辑分类
python机器学习库sklearn——支持向量机svm
python机器学习库sklearn——SGD梯度下降法
python机器学习库sklearn——降维
python机器学习库sklearn——神经网络（分类、回归）
python机器学习库sklearn——集成方法（Bagging、Boosting、随机森林RF、AdaBoost、GBDT）
python机器学习库sklearn——多类、多标签、多输出
python机器学习库sklearn——参数优化（网格搜索GridSearchCV、随机搜索RandomizedSearchCV）
python机器学习库sklearn——交叉验证（K折、留一、留p、随机）
python机器学习库sklearn——模型度量
python深度学习系列教程
零基础入门深度学习(1) - 感知器
零基础入门深度学习(2) - 线性单元和梯度下降
零基础入门深度学习(3) - 神经网络和反向传播算法
零基础入门深度学习(4) - 卷积神经网络
零基础入门深度学习(5) - 循环神经网络
零基础入门深度学习(6) - 长短时记忆网络(LSTM)
零基础入门深度学习(7) - 递归神经网络
python深度学习案例教程
python神经网络案例——FC全连接神经网络实现mnist手写体识别
python神经网络案例——CNN卷积神经网络实现mnist手写体识别
python深度学习库tensorflow教程
python深度学习库tensorflow——实现FC全连接神经网络识别mnist手写体
python深度学习库keras教程
 python深度学习库keras——安装
python深度学习库keras——各类网络层
python深度学习库keras——网络建模
python深度学习库keras实例教程
python机器学习库keras——线性回归、逻辑回归、一般逻辑回归
python机器学习库keras——CNN卷积神经网络识别手写体
python机器学习库keras——CNN卷积神经网络人脸识别
python机器学习库keras——AutoEncoder自编码、特征压缩
python深度学习库教程
python深度学习库系列教程——python调用opencv库教程