2017-12-18 22:45:37 macro_xjq 阅读数 150
  • 机器学习入门30天实战

    购买课程后,可扫码进入学习群,获取唐宇迪老师答疑 系列课程包含Python机器学习库,机器学习经典算法原理推导,基于真实数据集案例实战3大模块。从入门开始进行机器学习原理推导,以通俗易懂为基础形象解读晦涩难懂的机器学习算法工作原理,案例实战中使用Python工具库从数据预处理开始一步步完成整个建模工作!具体内容涉及Python必备机器学习库、线性回归算法原理推导、Python实现逻辑回归与梯度下降、案例实战,信用卡欺诈检测、决策树与集成算法、支持向量机原理推导、SVM实例与贝叶斯算法、机器学习常规套路与Xgboost算法、神经网络。

    7605 人正在学习 去看看 唐宇迪

下面为我所吸纳的西瓜书内的知识:

1980s-1990s      符号机器学习是主流研究派系(西瓜书没有介绍,但是我字面臆测,可能就是给所有逻辑语言或者是事件,加上一个符号标记,然后通过对符号的适应学习,从而能够对对应的逻辑事件进行学习,纯属臆测,如有雷同,纯属我TM运气好(niu bi )


1990s-nowadays    统计机器学习是主流研究派系

         统计机器学习因为是对已经存在的一些数据进行归纳,所以比起符号,更符合和贴近现实,所以算是把机器学习从纯粹的理论研究和模型研究发展到以解决现实生活中实际问题为目的的应用研究 。所以才会出现现在社会上,最近几年,人工智能很大程度集中于 统计学和大数据!


那么问题来了,只有这么多机器学习流派吗?

     小明答:肯定不止,我只归纳了这两个,也算是带有跨时代的意义的两个!

那么问题又来了,这两个流派到底谁更好,符号机器学习有可能会东山再起吗?

     小明答: 王珏教授曾经说过:“统计机器学习不会一帆风顺”他会盛“螺旋型上升趋势”。因为统计机器学习算法都是基于样本数据独立同分布假设的!但是社会上所有的问题都符合独立同分布吗?回答是NONONO滴!   但是还是会有所进步和成长,也没有人能够预测将来机器学习的走向! 所有的学术趋势都是和当时的现实所呼应的,但是谁都无法预料将来的现实讲问题如何变化! 因为太多因素了!


关于机器学习,大家可能不熟悉,又或者很多人入门和我一样,是另外一个名词 “深度学习”

      但是有很多学者说,深度学习掀起的热潮也许大过于其本身的真正的贡献。只是因为硬件技术的革命,计算机的速度提高了!从而使人们采用复杂度很高很高的算法,从而得到比过去更精细的结果。

    

现在对机器学习的一些基本认知也有了一部分了,只是你不会去问,机器学习到底有哪些发展历史和跨时代变换!  换句话说,你可以用这些东西来装逼了!!!不推荐不推荐,人呐是吧,啧啧啧,还是谦虚一点!



2019-08-15 20:44:34 sxau_zhangtao 阅读数 1025
  • 机器学习入门30天实战

    购买课程后,可扫码进入学习群,获取唐宇迪老师答疑 系列课程包含Python机器学习库,机器学习经典算法原理推导,基于真实数据集案例实战3大模块。从入门开始进行机器学习原理推导,以通俗易懂为基础形象解读晦涩难懂的机器学习算法工作原理,案例实战中使用Python工具库从数据预处理开始一步步完成整个建模工作!具体内容涉及Python必备机器学习库、线性回归算法原理推导、Python实现逻辑回归与梯度下降、案例实战,信用卡欺诈检测、决策树与集成算法、支持向量机原理推导、SVM实例与贝叶斯算法、机器学习常规套路与Xgboost算法、神经网络。

    7605 人正在学习 去看看 唐宇迪

人工智能

概述

人工智能(Artificial Intelligence),英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是计算机科学的一个分支,它试图了解智能的实质,并生产出一种新的能以人类智能相似的方式作出反应的智能机器。

python与java

  • 利用python解析数据集速度、效率方面比较轻量级
    i.轻量级指的是部署到服务器里面,可以提高服务器访问并发!
    ii.轻量级指的是业务与业务之间的逻辑性很强,兼容性很强、降低耦合度!
    iii.轻量级指的是业务与数据之间的一种关系体现很轻,简单说:获取数据集的方式很快、多样化
  • java语言也可以实现人工智能的操作数据但是不建议!—重量级
    i.重量级的操作,不适合"数据集的"采集操
    ii.重量级操作不适合数据集的清理操作
    iii.重量级的业务与数据之间很难进行数据解析操作!

人工智能分类

  • 弱人工智能Artificial Narrow Intelligence(ANI)
    弱人工智能是擅长于单个方面的人工智能。
  • 强人工智能Artificial General Intelligence(AGI)
    人类级别的人工智能。强人工智能是指在各方面都能喝人类比肩的人工智能,人类能干的脑力活它都能干。
  • 超人工智能Artificial Super Intelligence(ASI)
    知名人工智能思想家Nick Bostrom把超级智能定义为”在几乎所有领域都比最聪明的人类大脑都聪明很多,包括科学创新、通识和社交技能“。

人工智能的历史

在这里插入图片描述

机器学习

机器学习定义

  • Machine Learning(ML) is a scientific discipline that deals with the
    construction and study of algorithms that can learn from data
  • 机器学习是一门从数据中研究算法的科学学科。
  • 机器学习直白来讲,是根据已有的数据,进行算法选择,并基于算法和数据构建模型,最终对未来进行预测
    在这里插入图片描述

“数据”-----------到 --------“算法”
如何实现 “数据” 到 "算法"的过程?
数据采集(Python)—>数据分析(Python)—> 数据挖掘(hadoop)—> 模型建立(算法)—> 预测未来 (机器)

  • 基本概念
    输入: x ∈X(属性值)
    输出: y ∈Y(目标值 )
    获得一个目标函数(target function):f : X —> Y(理想的公式)
    输入数据:D={(x1,y1),(x2,y2)·····(xn,yn)}(历史记录信息)==数据集!
    最终具有最优性能的假设公式:g : X —> Y(学习得到的最终公式 )

机器学习概念

•美国卡内基梅隆大学(Carnegie Mellon University)机器学习研究领域的著名教授Tom Mitchell对机器学习的经典定义

  • A program can be said to learn from experience E with respect to some class of tasks T and performance measure P , If its performance at tasks in T, as measured by P, improves with experience E
  • 对于某给定的任务T,在合理的性能度量方案P的前提下,某计算机程序可以自主学习任务T的经验E;随着提供合适、优质、大量的经验E,该程序对于任务T的性能逐步提高。
  • 其中重要的机器学习对象:
    • 任务Task T,一个或多个、经验Experience E、度量性能Performance P
    • 即:随着任务的不断执行,经验的累积会带来计算机性能的提升。

在这里插入图片描述
①算法(T):根据业务需要和数据特征选择的相关算法, 也就是一个数学公式
②模型(E):基于数据和算法构建出来的模型
③评估/测试( P):对模型进行评估的策略

机器学习概念性含义

机器学习是人工智能的一个分支。我们使用计算机设计一个系统,使它能够根据提供的训练数据按照一定的方式来学习;随着训练次数的增加,该系统可以在性能上不断学习和改进;通过参数优化的学习模型,能够用于预测相关问题的输出。

  • 训练数据
    训练指的是一种学习行为 将学到的转化为:“经验”-----通过经验采集的数据才是训练数据!

     训练数据是存在很大的不合理性! 并不能满足机器的学习使用!
    
  • 数据集
    数据集就是一种算法的实现!

    数据集不是训练数据,能满足机器的学习使用!
    
  • x(i)
    表示第i个样本的x向量

  • xi : x向量的第i维度的值

  • 拟合
    构建的算法符合给定数据的特征

  • 鲁棒性
    健壮性、稳健性、强健性,是系统的健壮性;当存在异常数据的时候,算法也会拟合数据

  • 过拟合
    算法太符合样本数据的特征,对于实际生产中的数据特征无法拟合

  • 欠拟合
    算法不太符合样本的数据特征

常见应用框架

  • sciket-learn(Python)
    http://scikit-learn.org/stable/
    于Python语言开发的人工智能 ----大量使用 <效率最高的 >
  • Mahout(Hadoop生态圈基于MapReduce)
    http://mahout.apache.org/
    基于大数据hadoop的人工智能-----不建议 (大数据直接和AI结合)----成本太高!–国内:AI技术<科大讯飞>
  • Spark MLlib
    http://spark.apache.org/
    基于Spark MLlib 是处理数据解析 —数据集 --它处理数据集的速度高出hadoop的百倍

人工智能的应用场景

  • 个性化推荐:个性化指的是根据各种因素来改变用户体验和呈现给用户内容,这些因素可能包含用户的行为数据和外部因素;推荐常指系统向用户呈现一个用户可能感兴趣的物品列表。
  • 精准营销:从用户群众中找出特定的要求的营销对象。
  • 客户细分:试图将用户群体分为不同的组,根据给定的用户特征进行客户分组。
  • 预测建模及分析:根据已有的数据进行建模,并使用得到的模型预测未来

机器学习、数据分析、数据挖掘区别与联系

  • 数据分析:数据分析是指用适当的统计分析方法对收集的大量数据进行分析并提取有用的信息,以及形成结论,从而对数据进行详细的研究和概括过程。在实际工作中,数据分析可帮助人们做出判断;数据分析一般而言可以分为统计分析、探索性数据分析和验证性数据分析三大类。
  • 数据挖掘:一般指从大量的数据中通过算法搜索隐藏于其中的信息的过程。通常通过统计、检索、机器学习、模式匹配等诸多方法来实现这个过程。
  • 机器学习:是数据分析和数据挖掘的一种比较常用、比较好的手段。

机器学习分类

有监督学习
定义

已知某种或某些特性的样本作为训练集,以建立一个数学模型,再用已建立的模型来预测未知样本,此种方法被称为有监督学习,是最常用的一种机器学习方法。是从标签化训练数据集中推断出模型的机器学习任务。

算法
  • 判别式模型(Discriminative Model)
    直接对条件概率p(y|x)进行建模,常见判别模型有:线性回归、决策树、支持向量机SVM、k近邻、神经网络等;
  • 生成式模型(Generative Model)
    对联合分布概率p(x,y)进行建模,常见生成式模型有:隐马尔可夫模型HMM、朴素贝叶斯模型、高斯混合模型GMM、LDA等;
  • 区别:
    ①生成式模型更普适;判别式模型更直接,目标性更强
    ②生成式模型关注数据是如何产生的,寻找的是数据分布模型;判别式模型关注的数据的差异性,寻找的是分类面
    ③由生成式模型可以产生判别式模型,但是由判别式模式没法形成生成式模型
无监督学习
定义

与监督学习相比,无监督学习的训练集中没有人为的标注的结果,在非监督的学习过程中,数据并不被特别标识,学习模型是为了推断出数据的一些内在结构。

算法

无监督学习试图学习或者提取数据背后的数据特征,或者从数据中抽取出重要的特征信息,常见的算法有聚类、降维、文本处理(特征抽取)等。

无监督学习一般是作为有监督学习的前期数据处理,功能是从原始数据中抽取出必要的标签信息。

半监督学习
定义

考虑如何利用少量的标注样本大量的未标注样本进行训练分类的问题,是有监督学习和无监督学习的结合。半监督学习对于减少标注代价,提高学习机器性能具有非常重大的实际意义。
它的成立依赖于模型假设,主要分为三大类:平滑假设、聚类假设、流行假设;其中流行假设更具有普遍性。

算法

主要分为四大类:半监督分类、半监督回归、半监督聚类、半监督降维。

缺点

抗干扰能力弱,仅适合于实验室环境,其现实意义还没有体现出来;未来的发展主要是聚焦于新模型假设的产生。

机器学习算法TOP10

算法名称 算法描述
C4.5 分类决策树算法,决策树的核心算法,ID3算法的改进算法。
CART 分类与回归树(Classification and Regression Trees)
kNN K近邻 分类算法;如果一个样本在特征空间中的k个最相似的样本中大多数属于某一个类别,那么该样本也属于该类别
NaiveBayes 贝叶斯分类模型;该模型比较适合属性相关性比较小的时候,如果属性相关性比较大的时候,决策树模型比贝叶斯分类模型效果好(原因:贝叶斯模型假设属性之间是互不影响的)
SVM 支持向量机,一种有监督学习的统计学习方法,广泛应用于统计分类和回归分析中。
EM 最大期望算法,常用于机器学习和计算机视觉中的数据集聚领域
Apriori 关联规则挖掘算法
K-Means 聚类算法,功能是将n个对象根据属性特征分为k个分割(k<n); 属于无监督学习
PageRank Google搜索重要算法之一
AdaBoost 迭代算法;利用多个分类器进行数据

机器学习、人工智能和深度学习的关系

  • 深度学习是机器学习的子类;深度学习是基于传统的神经网络算法发展到’多隐层’的一种算法体现。
  • 机器学习是人工智能的一个子类;
    在这里插入图片描述

机器学习开发流程

  • 数据收集
  • 数据预处理(数据清洗和转换)
  • 特征提取
  • 模型构建
  • 模型测试评估
  • 投入使用(模型部署与整合)
  • 迭代优化
    在这里插入图片描述
数据收集
数据来源
  • 用户访问行为数据-----页面数据
  • 业务数据-----后台 Python 和 java
  • 外部第三方数据-----接口数据
数据存储
  • 需要存储的数据:原始数据、预处理后数据、模型结果
  • 存储设施:mysql、HDFS、HBase、Solr、Elasticsearch、Kafka、Redis等
数据收集方式
  • Flume & Kafka
机器学习可用公开数据集

在实际工作中,我们可以使用业务数据进行机器学习开发,但是在学习过程中,没有业务数据,此时可以使用公开的数据集进行开发,常用数据集如下:
http://archive.ics.uci.edu/ml/datasets.html
https://aws.amazon.com/cn/public-datasets/
https://www.kaggle.com/competitions
http://www.kdnuggets.com/datasets/index.html
http://www.sogou.com/labs/resource/list_pingce.php
https://tianchi.aliyun.com/datalab/index.htm
http://www.pkbigdata.com/common/cmptIndex.html

数据预处理

指的是将采集的 "数据集"通过 算法,变为满足无监督 、有监督、半监督的学习过程数据!

预处理的操作
  • 数据过滤
  • 处理数据缺失
  • 处理可能的异常、错误或者异常值
  • 合并多个数据源数据
  • 数据汇总

对数据进行初步的预处理,需要将其转换为一种适合机器学习模型的表示形式,对许多模型类型来说,这种表示就是包含数值数据的向量或者矩阵

  • 将类别数据编码成为对应的数值表示(一般使用1-of-k方法)-dumy
  • 从文本数据中提取有用的数据(一般使用词袋法或者TF-IDF)
  • 处理图像或者音频数据(像素、声波、音频、振幅等<傅里叶变换>)
  • 数值数据转换为类别数据以减少变量的值,比如年龄分段
  • 对数值数据进行转换,比如对数转换
  • 对特征进行正则化、标准化,以保证同一模型的不同输入变量的值域相同
  • 对现有变量进行组合或转换以生成新特征,比如平均数 (做虚拟变量)不断尝试
模型构建
  • 对特定任务最优建模方法的选择或者对特定模型最佳参数的选择。
  • 在训练数据集上运行模型(算法)并在测试数据集中测试效果,迭代进行数据模型的修改,这种方式被称为交叉验证(将数据分为训练集和测试集,使用训练集构建模型,并使用测试集评估模型提供修改建议)
  • 模型的选择会尽可能多的选择算法进行执行,并比较执行结果
模型测试评估

模型的测试一般以以下几个方面来进行比较,分别是准确率/召回率/精准率/F值
①准确率(Accuracy)=提取出的正确样本数/总样本数
②召回率(Recall)=正确的正例样本数/样本中的正例样本数——覆盖率
③精准率(Precision)=正确的正例样本数/预测为正例的样本数
④F值=PrecisionRecall2 / (Precision+Recall) (即F值为正确率和召回率的调和平均值
附:
在这里插入图片描述

投入使用
  • 当模型构建好后,将训练好的模型存储到数据库中,方便其它使用模型的应用加载(构建好的模型一般为一个矩阵)
  • 模型需要周期性,比如:一个月、一周
模型的监控与反馈
  • 当模型一旦投入到实际生产环境中,模型的效果监控是非常重要的,往往需要关注业务效果和用户体验,所以有时候会进行A/B测试
  • 模型需要对用户的反馈进行响应操作,即进行模型修改,但是要注意异常反馈信息对模型的影响,故需要进行必要的数据预处理操作
2017-09-20 08:38:43 u013032116 阅读数 595
  • 机器学习入门30天实战

    购买课程后,可扫码进入学习群,获取唐宇迪老师答疑 系列课程包含Python机器学习库,机器学习经典算法原理推导,基于真实数据集案例实战3大模块。从入门开始进行机器学习原理推导,以通俗易懂为基础形象解读晦涩难懂的机器学习算法工作原理,案例实战中使用Python工具库从数据预处理开始一步步完成整个建模工作!具体内容涉及Python必备机器学习库、线性回归算法原理推导、Python实现逻辑回归与梯度下降、案例实战,信用卡欺诈检测、决策树与集成算法、支持向量机原理推导、SVM实例与贝叶斯算法、机器学习常规套路与Xgboost算法、神经网络。

    7605 人正在学习 去看看 唐宇迪

主成分分析(PCA)
在1901年由Pearson发明,之后由Hotelling在1930s命名。主要用于探索性数据分析,以及构建预测模型。

线性判别分析(LDA)
跟方差分析(ANOVA)和回归分析关系密切,旨在把因变量作为其他特征(自变量)的线性组合表示。不同之处在于,方差分析的自变量是分类变量,因变量是连续变量。判别分析的自变量是连续变量,因变量是分类变量。
线性判别分析和主成分分析、因子分析也很相关。

核回归(kernel regression)
在1964提出,是一种非参数统计方法,用于估计随机变量的条件期望,也就是寻找两个随机变量之间的非线性关系。
E(Y|X)=m(X)
m就是要估计的函数

隐马尔可夫模型(HMM)
主要由Baum从1966-1972发展而来,是一种最简单的动态贝叶斯网络。最常应用于强化学习,模式识别,例如语音、手写字体、姿势识别。
是一种推广的混合模型,其中的隐变量控制混合部分,通过马尔科夫过程相关,而不是相互独立。
“Statistical Inference for Probabilistic Functions of Finite State Markov Chains”
“An inequality with applications to statistical estimation for probabilistic functions of Markov processes and to a model for ecology”
“Growth transformations for functions on manifolds”
“A Maximization Technique Occurring in the Statistical Analysis of Probabilistic Functions of Markov Chains”
“An Inequality and Associated Maximization Technique in Statistical Estimation of Probabilistic Functions of a Markov Process”

EM算法
1977年在“Maximum Likelihood from Incomplete Data via the EM Algorithm”论文中首次命名。论文中指出在此前在不同场合被提出过数次。
该算法用于寻找统计模型的等式不能直接 求解的最大似然参数。
卷积神经网络(CNN)
从1980s提出的neocognitron,一种多层次的人工神经网络。这是受到1959年提出的视觉神经元的交互的启发,而提出的模型。之后在1988年,诞生了LeNet,是现代cnn的雏形,2012年诞生了AlexNet。
cnn是一种深度、前馈的人工神经网络。前馈的意思是单元之间的联系不会构成循环。信息只会从输入节点,经过隐藏层节点,到达输出节点的单一方向移动。

循环神经网络(RNN)
在1980s发展起来,人工神经网络的一种,单元之间的联系构成有向循环。能展示动态的暂时的行为,可利用内部记忆处理任意输入序列。可用应用于无分段、无连接的手写字识别或者语音识别。

奇异值分解(SVD)
在1983年提出

分类回归树(CART)
Breiman和Friedman在1983年的文章中“Classification and Regression Trees.”提出的。

受限玻尔兹曼机(Restricted Boltzmann Machine,简称RBM)
由Hinton和Sejnowski于1986年提出的一种生成式随机神经网络(generative stochastic neural network),该网络由一些可见单元(visible unit,对应可见变量,亦即数据样本)和一些隐藏单元(hidden unit,对应隐藏变量)构成,可见变量和隐藏变量都是二元变量,亦即其状态取{0,1}。整个网络是一个二部图,只有可见单元和隐藏单元之间才会存在边,可见单元之间以及隐藏单元之间都不会有边连接。

长短期记忆(LSTM)
1997年发明,从2007年开始变革语音识别。

梯度上升决策树(GBDT)
在 1999年由 Jerome Friedman提出,将 GBDT 模型应用于 ctr 预估,最早见于 yahoo。

条件随即场(CRF)
Lafferty等人于2001年提出 “Conditional random fields: Probabilistic models for segmenting and labeling sequence data”,结合了最大熵模型和隐马尔可夫模型的特点,是一种无向图模型,也是一种判别式概率模型,近年来在分词、词性标注和命名实体识别等序列标注任务中取得了很好的效果。

自动编码(autoencoder)
2009年提出,用于人工神经网络的非监督式编码。主要是为了降维。进来编码器概念逐渐被广泛用于生成模型。al-and-quick-reference


参考
【卷积神经网络-进化史】从LeNet到AlexNet
Convolutional neural network
Linear discriminant analysis
Kemaswill
机器学习 数据挖掘 推荐系统
受限玻尔兹曼机(Restricted Boltzmann Machine, RBM) 简介

xgboost导读和实战

2018-01-17 23:18:45 onesilver 阅读数 293
  • 机器学习入门30天实战

    购买课程后,可扫码进入学习群,获取唐宇迪老师答疑 系列课程包含Python机器学习库,机器学习经典算法原理推导,基于真实数据集案例实战3大模块。从入门开始进行机器学习原理推导,以通俗易懂为基础形象解读晦涩难懂的机器学习算法工作原理,案例实战中使用Python工具库从数据预处理开始一步步完成整个建模工作!具体内容涉及Python必备机器学习库、线性回归算法原理推导、Python实现逻辑回归与梯度下降、案例实战,信用卡欺诈检测、决策树与集成算法、支持向量机原理推导、SVM实例与贝叶斯算法、机器学习常规套路与Xgboost算法、神经网络。

    7605 人正在学习 去看看 唐宇迪

机器学习

  • 从历史数据找出规律
  • 数据代替expert

业务系统的发展历史

  • 基于专家经验
  • 基于统计-分维度统计
  • 机器学习-在线学习

机器学习模式

  • 离线机器学习-通过定时任务来训练算法,具有缺点,不具有实时性。
  • 在线学习-实时学习

机器学习的典型应用

  • 关联规则-啤酒和纸尿裤-购物篮分析-捆绑销售-货物摆放位置的挑战-数据挖掘
  • 聚类-用户细分精准营销
  • 朴素贝叶斯-垃圾邮件识别
  • 决策树-信用卡欺诈-银行用来风险识别
  • ctr预估-互联网广告
  • 协同过滤-电商推荐系统
  • 自然语言处理-情感分析,实体识别
  • 深度学习-图像识别(模式识别)

机器学习和数据分析的区别

  • 数据分析-交易信息-少量数据
  • 机器学习-行为数据-海量数据-》大数据
  • 数据分析使用采样分析,行为数据使用全量分析-云计算
  • 解决业务问题不同
  • 分析方法不同,数据分析通过用户驱动,交互式分析,数据挖掘通过数据驱动,自动

进行知识发现机器学习算法分类

  • 有监督学习-分类算法,回归算法
  • 无监督学习-聚类
  • 半监督学习(强化学习)
  • 分类与回归
  • 聚类
  • 标注-文本词性的标注

算法本质分类

  • 生成模型
  • 判别模型

机器学习算法排名

排名 算法类别 算法名称 说明
1 分类 C4.5
2 聚类 K-Means
3 统计学习 SVM
4 关联分析 Apriori (多次访问数据,淘汰)FP-Growth后来居上
5 统计分析 EM (算法框架)
6 链接挖掘 PageRank (谷歌)
7 集装与推进 AdaBoost (人脸识别)-决策树
8 分类 kNN
9 分类 Naive Bayes (朴素贝叶斯)
10 分类 CART

机器学习常见算法

  • FP-Growth
  • 逻辑回归
  • RF,GBDT
  • 推荐算法
  • LDA(自然语言处理)
  • Word2Vector(文本挖掘)
  • HMM,CRF(文本挖掘)
  • 深度学习

机器学习解决问题的框架

  • 确定目标-业务需求-数据-特征工程(数据预处理)
  • 数据决定机器学习的效果
  • 训练模型
    • 定义模型
    • 定义损失函数
    • 优化算法
  • 模型评估
    • 交叉验证
    • 效果评估
2018-09-05 18:21:20 SIGAI_CSDN 阅读数 9929
  • 机器学习入门30天实战

    购买课程后,可扫码进入学习群,获取唐宇迪老师答疑 系列课程包含Python机器学习库,机器学习经典算法原理推导,基于真实数据集案例实战3大模块。从入门开始进行机器学习原理推导,以通俗易懂为基础形象解读晦涩难懂的机器学习算法工作原理,案例实战中使用Python工具库从数据预处理开始一步步完成整个建模工作!具体内容涉及Python必备机器学习库、线性回归算法原理推导、Python实现逻辑回归与梯度下降、案例实战,信用卡欺诈检测、决策树与集成算法、支持向量机原理推导、SVM实例与贝叶斯算法、机器学习常规套路与Xgboost算法、神经网络。

    7605 人正在学习 去看看 唐宇迪

其它机器学习、深度学习算法的全面系统讲解可以阅读《机器学习-原理、算法与应用》,清华大学出版社,雷明著,由SIGAI公众号作者倾力打造。

机器学习是现阶段解决很多人工智能问题的主流方法,作为一个独立的方向,正处于高速发展之中。最早的机器学习算法可以追溯到20世纪初,到今天为止,已经过去了100多年。从1980年机器学习称为一个独立的方向开始算起,到现在也已经过去了近40年。在这100多年中,经过一代又一代人的努力,诞生出了大量经典的方法,在本文中,SIGAI将分有监督学习,无监督学习,概率图模型,深度学习,强化学习4个大方向对历史上出现的经典算法进行整理与总结,帮助大家理清机器学习这100多年来的发展历史,完成对机器学习的寻根问祖之旅。限于篇幅,我们无法对所有算法一一列举,只介绍有代表性的一部分。

 

算法的分类

总体上,机器学习算法可以分为有监督学习,无监督学习,强化学习3种类型。半监督学习可以认为是有监督学习与无监督学习的结合,不在本文讨论的范围之类。

有监督学习通过训练样本学习得到一个模型,然后用这个模型进行推理。例如,我们如果要识别各种水果的图像,则需要用人工标注(即标好了每张图像所属的类别,如苹果,梨,香蕉)的样本进行训练,得到一个模型,接下来,就可以用这个模型对未知类型的水果进行判断,这称为预测。如果只是预测一个类别值,则称为分类问题;如果要预测出一个实数,则称为回归问题,如根据一个人的学历、工作年限、所在城市、行业等特征来预测这个人的收入。

无监督学习则没有训练过程,给定一些样本数据,让机器学习算法直接对这些数据进行分析,得到数据的某些知识。其典型代表是聚类,例如,我们抓取了1万个网页,要完成对这些网页的归类,在这里,我们并没有事先定义好的类别,也没有已经训练好的分类模型。聚类算法要自己完成对这1万个网页的归类,保证同一类网页是同一个主题的,不同类型的网页是不一样的。无监督学习的另外一类典型算法是数据降维,它将一个高维向量变换到低维空间中,并且要保持数据的一些内在信息和结构。

强化学习是一类特殊的机器学习算法,算法要根据当前的环境状态确定一个动作来执行,然后进入下一个状态,如此反复,目标是让得到的收益最大化。如围棋游戏就是典型的强化学习问题,在每个时刻,要根据当前的棋局决定在什么地方落棋,然后进行下一个状态,反复的放置棋子,直到赢得或者输掉比赛。这里的目标是尽可能的赢得比赛,以获得最大化的奖励。

总结来说,这些机器学习算法要完成的任务是:

分类算法-是什么?即根据一个样本预测出它所属的类别。

回归算法-是多少?即根据一个样本预测出一个数量值。

聚类算法-怎么分?保证同一个类的样本相似,不同类的样本之间尽量不同。

强化学习-怎么做?即根据当前的状态决定执行什么动作,最后得到最大的回报。

 

有监督学习

我们首先来看有监督学习,这是机器学习算法中最庞大的一个家族。下图列出了经典的有监督学习算法(深度学习不在此列):

 

线性判别分析(LDA)[1]是Fisher发明的,其历史可以追溯到1936年,那时候还没有机器学习的概念。这是一种有监督的数据降维算法,它通过线性变换将向量投影到低维空间中,保证投影后同一种类型的样本差异很小,不同类的样本尽量不同。

贝叶斯分类器起步于1950年代,基于贝叶斯决策理论,它把样本分到后验概率最大的那个类。

logistic回归[2]的历史同样悠久,可以追溯到1958年。它直接预测出一个样本属于正样本的概率,在广告点击率预估、疾病诊断等问题上得到了应用。

感知器模型[3]是一种线性分类器,可看作是人工神经网络的前身,诞生于1958年,但它过于简单,甚至不能解决异或问题,因此不具有实用价值,更多的起到了思想启蒙的作用,为后面的算法奠定了思想上的基础。

kNN算法[7]诞生于1967年,这是一种基于模板匹配思想的算法,虽然简单,但很有效,至今仍在被使用。

在1980年之前,这些机器学习算法都是零碎化的,不成体系。但它们对整个机器学习的发展所起的作用不能被忽略。

从1980年开始,机器学习才真正成为一个独立的方向。在这之后,各种机器学习算法被大量的提出,得到了快速发展。

决策树的3种典型实现:ID3[4],CART[5],C4.5[6]是1980年代到1990年代初期的重要成果,虽然简单,但可解释性强,这使得决策树至今在一些问题上仍被使用。

1986年诞生了用于训练多层神经网络的真正意义上的反向传播算法[11],这是现在的深度学习中仍然被使用的训练算法,奠定了神经网络走向完善和应用的基础。

1989年,LeCun设计出了第一个真正意义上的卷积神经网络[13],用于手写数字的识别,这是现在被广泛使用的深度卷积神经网络的鼻祖。

在1986到1993年之间,神经网络的理论得到了极大的丰富和完善,但当时的很多因素限制了它的大规模使用。

1990年代是机器学习百花齐放的年代。在1995年诞生了两种经典的算法-SVM[9]和AdaBoost[12],此后它们纵横江湖数十载,神经网络则黯然失色。SVM代表了核技术的胜利,这是一种思想,通过隐式的将输入向量映射到高维空间中,使得原本非线性的问题能得到很好的处理。而AdaBoost则代表了集成学习算法的胜利,通过将一些简单的弱分类器集成起来使用,居然能够达到惊人的精度。

现在大红大紫的LSTM[51]在2000年就出现了,这让很多同学会感到惊讶。当在很长一段时间内一直默默无闻,直到2013年后与深度循环神经网络整合,在语音识别上取得成功。

随机森林[10]出现于2001年,于AdaBoost算法同属集成学习,虽然简单,但在很多问题上效果却出奇的好,因此现在还在被大规模使用。

2009年距离度量学习的一篇经典之作[8]算是经典机器学习算法中年轻的小兄弟,在后来,这种通过机器学习得到距离函数的想法被广泛的研究,出现了不少的论文。

从1980年开始到2012年深度学习兴起之前,有监督学习得到了快速的发展,这有些类似于春秋战国时代,各种思想和方法层出不穷,相继登场。另外,没有一种机器学习算法在大量的问题上取得压倒性的优势,这和现在的深度学习时代很不一样。

 

无监督学习

相比于有监督学习,无监督学习的发展一直和缓慢,至今仍未取得大的突破。下面我们按照聚类和数据降维两类问题对这些无监督学习算法进行介绍。

 

聚类

聚类算法的历史与有监督学习一样悠久。层次聚类算法出现于1963年[26],这是非常符合人的直观思维的算法,现在还在使用。它的一些实现方式,包括SLINK[27],CLINK[28]则诞生于1970年代。

 

k均值算法[25]可谓所有聚类算法中知名度最高的,其历史可以追溯到1967年,此后出现了大量的改进算法,也有大量成功的应用,是所有聚类算法中变种和改进型最多的。

大名鼎鼎的EM算法[29]诞生于1977年,它不光被用于聚类问题,还被用于求解机器学习中带有缺数数据的各种极大似然估计问题。

Mean Shift算法[32]早在1995年就被用于聚类问题,和DBSCAN算法[30],OPTICS算法[31]一样,同属于基于密度的聚类算法。

谱聚类算法[33]是聚类算法家族中年轻的小伙伴,诞生于2000年左右,它将聚类问题转化为图切割问题,这一思想提出之后,出现了大量的改进算法。

 

数据降维

下面来说数据降维算法。经典的PCA算法[14]诞生于1901年,这比第一台真正的计算机的诞生早了40多年。LDA在有监督学习中已经介绍,在这里不再重复。

 

此后的近100年里,数据降维在机器学习领域没有出现太多重量级的成果。直到1998年,核PCA[15]作为非线性降维算法的出现。这是核技术的又一次登台,与PCA的结合将PCA改造成了非线性的降维算法。

从2000年开始,机器学习领域刮起了一阵流形学习的旋风,这种非线性方法是当时机器学习中炙手可热的方向,这股浪潮起始于局部线性嵌入LLL[16]。此后,拉普拉斯特征映射,局部保持投影,等距映射等算法相继提出[17-19]。流形学习在数学上非常优美,但遗憾的是没有多少公开报道的成功的应用。

t-SNE是降维算法中年轻的成员,诞生于2008年,虽然想法很简单,效果却非常好。

 

概率图模型

概率图模型是机器学习算法中独特的一个分支,它是图与概率论的完美结合。在这种模型中,每个节点表示随机变量,边则表示概率。因为晦涩难以理解,让很多同学谈虎色变,但如果你悟透了这类方法的本质,其实并不难。

赫赫有名的隐马尔可夫模型[21]诞生于1960年,在1980年代,它在语音识别中取得了成功,一时名声大噪,后来被广泛用于各种序列数据分析问题,在循环神经网络大规模应用之前,处于主导地位。

 

马尔可夫随机场诞生于1974年[23],也是一种经典的概率图模型算法。贝叶斯网络[22]是概率推理的强大工具,诞生于1985年,其发明者是概率论图模型中的重量级人物,后来获得了图灵奖。条件随机场[24]是概率图模型中相对年轻的成员,被成功用于中文分词等自然语言处理,还有其他领域的问题,也是序列标注问题的有力建模工具。

 

深度学习

虽然真正意义上的人工神经网络诞生于1980年代,反向传播算法也早就被提出,卷积神经网络、LSTM等早就别提出,但遗憾的是神经网络在过去很长一段时间内并没有得到大规模的成功应用,在于SVM等机器学习算法的较量中处于下风。原因主要有:算法本身的问题,如梯度消失问题,导致深层网络难以训练。训练样本数的限制。计算能力的限制。直到2006年,情况才慢慢改观。

对神经网络改进一直在进行着,在深度学习的早期,自动编码器和受限玻尔兹曼机被广泛的研究,典型的改进和实现就有去噪自动编码器[34],收缩自动编码器[36],变分自动编码器[35],DBN[37],DBM[38]等轮流出场,虽然热闹,但还是没有真正得到成功应用。

 

后来在语音识别中大显身手的CTC(连接主义时序分类)[39]早在2006年就被提出,然而生不逢时,在后面一直默默无闻。情况真正被改变发生在2012年,Alex网络的成功[41]使得深度神经网络卷土重来。在这之后,卷积神经网络被广泛的应用于机器视觉的各类问题。循环神经网络则被用于语音识别、自然语言处理等序列预测问题。整合了循环神经网络和编码器-解码器框架的seq2seq技术[40],巧妙了解决了大量的实际应用问题。而GAN[42]作为深度生成模型的典型代表,可以生成逼真的图像,得到了不可思议的效果,是现在深度学习中热门的研究方向。

历史选择了神经网络并非偶然,它有万能逼近定理作为保障,可以拟合闭区间上任意一个连续函数。另外,我们可以人为控制网络的规模,用来拟合非常复杂的函数,这是其他机器学习算法不具备的。深度学习的出现,让图像、语音等感知类问题取得了真正意义上的突破,离实际应用已如此之近。

 

强化学习

相比有监督学习和无监督学习,强化学习在机器学习领域的起步更晚。虽然早在1980年代就出现了时序差分算法[42-44],但对于很多实际问题,我们无法用表格的形式列举出所有的状态和动作,因此这些抽象的算法无法大规模实用。

 

神经网络与强化学习的结合,即深度强化学习46-50],才为强化学习带来了真正的机会。在这里,深度神经网络被用于拟合动作价值函数即Q函数,或者直接拟合策略函数,这使得我们可以处理各种复杂的状态和环境,在围棋、游戏、机器人控制等问题上真正得到应用。神经网络可以直接根据游戏画面,自动驾驶汽车的摄像机传来的图像,当前的围棋棋局,预测出需要执行的动作。其典型的代表是DQN[46]这样的用深度神经网络拟合动作价值函数的算法,以及直接优化策略函数的算法[47-50]。

 

参考文献

[1] Fisher, R. A. (1936). The Use of Multiple Measurements in Taxonomic Problems. Annals of Eugenics. 7 (2): 179–188.

[2] Cox, DR (1958). The regression analysis of binary sequences (with discussion). J Roy Stat Soc B. 20 (2): 215–242.

[3] Rosenblatt, F. (1958). "The Perceptron: A Probalistic Model For Information Storage And Organization In The Brain". Psychological Review. 65 (6): 386–408.

[4] Quinlan, J. R. 1986. Induction of Decision Trees. Mach. Learn. 1, 1 (Mar. 1986), 81–106

[5] Breiman, L., Friedman, J. Olshen, R. and Stone C. Classification and Regression Trees, Wadsworth, 1984.

[6] Quinlan, J. R. C4.5: Programs for Machine Learning. Morgan Kaufmann Publishers, 1993.

[7] Thomas M Cover, Peter E Hart. Nearest neighbor pattern classification. IEEE Transactions on Information Theory, 1967.

[8] Kilian Q Weinberger, Lawrence K Saul. Distance Metric Learning for Large Margin Nearest Neighbor Classification. 2009, Journal of Machine Learning Research.

[9] Cortes, C. and Vapnik, V. Support vector networks. Machine Learning, 20, 273-297, 1995

[10] Breiman, Leo. Random Forests. Machine Learning 45 (1), 5-32, 2001.

[11] David E. Rumelhart, Geoffrey E. Hinton, and Ronald J. Williams. Learning internal representations by back-propagating errors. Nature, 323(99): 533-536, 1986.

[12] Freund, Y. Boosting a weak learning algorithm by majority. Information and Computation, 1995.

[13] Y. LeCun, B. Boser, J. S. Denker, D. Henderson, R. E. Howard, W. Hubbard, L. D. Jackel, Backpropagation Applied to Handwritten Zip Code Recognition. 1989.

 

[14] Pearson, K. (1901). On Lines and Planes of Closest Fit to Systems of Points in Space. Philosophical Magazine. 2 (11): 559–572.

[15] Schölkopf, Bernhard (1998). "Nonlinear Component Analysis as a Kernel Eigenvalue Problem". Neural Computation. 10: 1299–1319.

[16] Roweis, Sam T and Saul, Lawrence K. Nonlinear dimensionality reduction by locally linear embedding. Science, 290(5500). 2000: 2323-2326.

[17] Belkin, Mikhail and Niyogi, Partha. Laplacian eigenmaps for dimensionality reduction and data representation. Neural computation. 15(6). 2003:1373-1396.

[18] He Xiaofei and Niyogi, Partha. Locality preserving projections. NIPS. 2003:234-241.

[19] Tenenbaum, Joshua B and De Silva, Vin and Langford, John C. A global geometric framework for nonlinear dimensionality reduction. Science, 290(5500). 2000: 2319-2323.

[20] Laurens Van Der Maaten, Geoffrey E Hinton. Visualizing Data using t-SNE. 2008, Journal of Machine Learning Research.

 

[21] Stratonovich, R.L. (1960). "Conditional Markov Processes". Theory of Probability and its Applications. 5 (2): 156–178.

[22] Pearl J (1985). Bayesian Networks: A Model of Self-Activated Memory for Evidential Reasoning (UCLA Technical Report CSD-850017). Proceedings of the 7th Conference of the Cognitive Science Society, University of California, Irvine, CA. pp. 329–334. Retrieved 2009-05-01.

[23] Moussouris, John (1974). "Gibbs and Markov random systems with constraints". Journal of Statistical Physics. 10 (1): 11–33.

[24] Lafferty, J., McCallum, A., Pereira, F. (2001). "Conditional random fields: Probabilistic models for segmenting and labeling sequence data". Proc. 18th International Conf. on Machine Learning. Morgan Kaufmann. pp. 282–289.

 

[25] MacQueen, J. B. (1967). Some Methods for classification and Analysis of Multivariate Observations. Proceedings of 5th Berkeley Symposium on Mathematical Statistics and Probability. 1. University of California Press. pp. 281–297. MR 0214227. Zbl 0214.46201. Retrieved 2009-04-07.

[26] Ward, Joe H. (1963). "Hierarchical Grouping to Optimize an Objective Function". Journal of the American Statistical Association. 58 (301): 236–244. doi:10.2307/2282967. JSTOR 2282967. MR 0148188.

[27] R. Sibson (1973). "SLINK: an optimally efficient algorithm for the single-link cluster method" (PDF). The Computer Journal. British Computer Society. 16 (1): 30–34. doi:10.1093/comjnl/16.1.30.

[28] D. Defays (1977). "An efficient algorithm for a complete-link method". The Computer Journal. British Computer Society. 20 (4): 364–366. doi:10.1093/comjnl/20.4.364.

[29] Dempster, A.P.; Laird, N.M.; Rubin, D.B. (1977). "Maximum Likelihood from Incomplete Data via the EM Algorithm". Journal of the Royal Statistical Society, Series B. 39 (1): 1–38. JSTOR 2984875. MR 0501537.

[30] Ester, Martin; Kriegel, Hans-Peter; Sander, Jörg; Xu, Xiaowei (1996). Simoudis, Evangelos; Han, Jiawei; Fayyad, Usama M., eds. A density-based algorithm for discovering clusters in large spatial databases with noise. Proceedings of the Second International Conference on Knowledge Discovery and Data Mining (KDD-96). AAAI Press. pp. 226–231.

[31] Mihael Ankerst, Markus M. Breunig, Hans-Peter Kriegel, Jörg Sander (1999). OPTICS: Ordering Points To Identify the Clustering Structure. ACM SIGMOD international conference on Management of data. ACM Press. pp. 49–60.

[32] Yizong Cheng. Mean Shift, Mode Seeking, and Clustering. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1995.

[33] Jianbo Shi and Jitendra Malik, "Normalized Cuts and Image Segmentation", IEEE Transactions on PAMI, Vol. 22, No. 8, Aug 2000.

 

[34] Pascal Vincent, Hugo Larochelle, Yoshua Bengio, Pierreantoine Manzagol. Extracting and composing robust features with denoising auto encoders. international conference on machine learning, 2008.

[35] Diederik P Kingma; Welling, Max (2013). "Auto-Encoding Variational Bayes". arXiv:1312.6114

[36] Salah Rifai, Pascal Vincent, Xavier Muller, Xavier Glorot, Yoshua Bengio. Contractive Auto-Encoders: Explicit Invariance During Feature Extraction. international conference on machine learning, 2011.

[37]Ruslan Salakhutdinov, Geoffrey E Hinton. Deep Boltzmann Machines. international conference on artificial intelligence and statistics, 2009.

[38]Hinton G (2009). "Deep belief networks". Scholarpedia. 4 (5): 5947.

[39]Alex Graves, Santiago Fernandez, Faustino J Gomez, Jurgen Schmidhuber. Connectionist temporal classification: labelling unsegmented sequence data with recurrent neural networks.international conference on machine learning. 2006.

[40]Ilya Sutskever, Oriol Vinyals, Quoc V Le. Sequence to Sequence Learning with Neural Networks. neural information processing systems. 2014.

[41]Alex Krizhevsky, Ilya Sutskever, Geoffrey E.Hinton. ImageNet Classification with Deep Convolutional Neural Networks. 2012.

[42]Goodfellow Ian, Pouget-Abadie J, Mirza M, et al. Generative adversarial nets. Advances in Neural Information Processing Systems, 2672-2680, 2014.

 

[42]Richard Sutton (1988). "Learning to predict by the methods of temporal differences". Machine Learning. 3 (1): 9–44.

[43]Watkins, C.J.C.H. (1989), Learning from Delayed Rewards (PDF) (Ph.D. thesis), Cambridge University.

[44]Online Q-Learning using Connectionist Systems" by Rummery & Niranjan (1994)

[45]van Hasselt, Hado (2011). "Double Q-learning" (PDF). Advances in Neural Information Processing Systems. 23: 2613–2622.

[46]Volodymyr Mnih, Koray Kavukcuoglu, David Silver, Alex Graves, Ioannis Antonoglou. Playing Atari with Deep Reinforcement Learning. NIPS 2013.

[47]Mnih, V., Badia, A. P., Mirza, M., Graves, A., Harley, T., Lillicrap, T. P., Silver, D., and Kavukcuoglu, K. (2016). Asynchronous methods for deep reinforcement learning. In the International Conference on Machine Learning (ICML).

[48]Williams, R. J. (1992). Simple statistical gradient-following algorithms for connectionist reinforcement learning. Machine Learning, 8(3):229–256.

[49]Silver, D., Lever, G., Heess, N., Degris, T., Wierstra, D., and Riedmiller, M. (2014). Deterministic

policy gradient algorithms. In the International Conference on Machine Learning (ICML).

[50]Lillicrap, T. P., Hunt, J. J., Pritzel, A., Heess, N., Erez, T., Tassa, Y., Silver, D., and Wierstra, D.

(2016). Continuous control with deep reinforcement learning. In the International Conference on

Learning Representations (ICLR).

 

[51]S. Hochreiter, J. Schmidhuber. Long short-term memory. Neural computation, 9(8): 1735-1780, 1997.

[52] David Silver, et al. Mastering the Game of Go with Deep Neural Networks and Tree Search. Nature, 2016.

 

推荐阅读

[1]机器学习-波澜壮阔40年【获取码】SIGAI0413.

[2]学好机器学习需要哪些数学知识?【获取码】SIGAI0417.

[3] 人脸识别算法演化史【获取码】SIGAI0420.

[4]基于深度学习的目标检测算法综述 【获取码】SIGAI0424.

[5]卷积神经网络为什么能够称霸计算机视觉领域?【获取码】SIGAI0426.

[6] 用一张图理解SVM的脉络【获取码】SIGAI0428.

[7] 人脸检测算法综述【获取码】SIGAI0503.

[8] 理解神经网络的激活函数 【获取码】SIGAI2018.5.5.

[9] 深度卷积神经网络演化历史及结构改进脉络-40页长文全面解读【获取码】SIGAI0508.

[10] 理解梯度下降法【获取码】SIGAI0511.

[11] 循环神经网络综述—语音识别与自然语言处理的利器【获取码】SIGAI0515

[12] 理解凸优化 【获取码】 SIGAI0518

[13] 【实验】理解SVM的核函数和参数 【获取码】SIGAI0522

[14]【SIGAI综述】行人检测算法 【获取码】SIGAI0525

[15] 机器学习在自动驾驶中的应用—以百度阿波罗平台为例(上)【获取码】SIGAI0529

[16]理解牛顿法【获取码】SIGAI0531

[17] 【群话题精华】5月集锦—机器学习和深度学习中一些值得思考的问题【获取码】SIGAI 0601

[18] 大话Adaboost算法 【获取码】SIGAI0602

[19] FlowNet到FlowNet2.0:基于卷积神经网络的光流预测算法【获取码】SIGAI0604

[20] 理解主成分分析(PCA)【获取码】SIGAI0606

[21] 人体骨骼关键点检测综述 【获取码】SIGAI0608

[22]理解决策树 【获取码】SIGAI0611

[23] 用一句话总结常用的机器学习算法【获取码】SIGAI0611

[24] 目标检测算法之YOLO 【获取码】SIGAI0615

[25] 理解过拟合 【获取码】SIGAI0618

[26]理解计算:从√2到AlphaGo ——第1季 从√2谈起 【获取码】SIGAI0620

[27] 场景文本检测——CTPN算法介绍 【获取码】SIGAI0622

[28] 卷积神经网络的压缩和加速 【获取码】SIGAI0625

[29] k近邻算法 【获取码】SIGAI0627

[30]自然场景文本检测识别技术综述 【获取码】SIGAI0627

[31] 理解计算:从√2到AlphaGo ——第2季 神经计算的历史背景 【获取码】SIGAI0704

[32] 机器学习算法地图【获取码】SIGAI0706

[33] 反向传播算法推导-全连接神经网络【获取码】SIGAI0709

[34] 生成式对抗网络模型综述【获取码】SIGAI0709.

[35]怎样成为一名优秀的算法工程师【获取码】SIGAI0711.

[36] 理解计算:从根号2到AlphaGo——第三季 神经网络的数学模型【获取码】SIGAI0716

[37]【技术短文】人脸检测算法之S3FD 【获取码】SIGAI0716

[38] 基于深度负相关学习的人群计数方法【获取码】SIGAI0718

[39] 流形学习概述【获取码】SIGAI0723

[40] 关于感受野的总结 【获取码】SIGAI0723

[41] 随机森林概述 【获取码】SIGAI0725

[42] 基于内容的图像检索技术综述——传统经典方法【获取码】SIGAI0727

[43] 神经网络的激活函数总结【获取码】SIGAI0730

[44] 机器学习和深度学习中值得弄清楚的一些问题【获取码】SIGAI0802

[45] 基于深度神经网络的自动问答系统概述【获取码】SIGAI0803

[46] 反向传播算法推导——卷积神经网络 【获取码】SIGAI0806

[47] 机器学习与深度学习核心知识点总结 写在校园招聘即将开始时 【获取 码】SIGAI0808

[48] 理解Spatial Transformer Networks【获取码】SIGAI0810

[49]AI时代大点兵-国内外知名AI公司2018年最新盘点【获取码】SIGAI0813

[50] 理解计算:从√2到AlphaGo ——第2季 神经计算的历史背景 【获取码】SIGAI0815

[51] 基于内容的图像检索技术综述--CNN方法 【获取码】SIGAI0817

[52]文本表示简介 【获取码】SIGAI0820

[53]机器学习中的最优化算法总结【获取码】SIGAI0822

[54]【AI就业面面观】如何选择适合自己的舞台?【获取码】SIGAI0823

[55]浓缩就是精华-SIGAI机器学习蓝宝书【获取码】SIGAI0824

[56]DenseNet详解【获取码】SIGAI0827

[57]AI时代大点兵国内外知名AI公司2018年最新盘点【完整版】【获取码】SIGAI0829

[58]理解Adaboost算法【获取码】SIGAI0831

[59]深入浅出聚类算法 【获取码】SIGAI0903


原创声明:本文为 SIGAI 原创文章,仅供个人学习使用,未经允许,不能用于商业目的

 

机器学习(一) 历史

阅读数 152

机器学习历史

阅读数 600

机器学习概述

阅读数 90

机器学习简介

阅读数 144

没有更多推荐了,返回首页