精华内容
下载资源
问答
  • 机器学习与应用》是一本适合人门系统学习的教材,理论推导证明详细、深入,结构清晰,详细地调述主要算法的工程实现细节,配以著名开源库的源代码分析(包括libsvm 、liblinear 、OpenCV、Caffe等开源库),让...


    《机器学习与应用》是一本适合人门与系统学习的教材,理论推导与证明详细、深入,结构清晰,详细地调述主要算法的工程实现细节,配以著名开源库的源代码分析(包括libsvm 、liblinear 、OpenCV、Caffe等开源库),让读者不仅知其然,还知其所以然, 真正理解算法、学会使用算法。对于计算机、人工智能及相关专业的本科生和研究生,对于从事人工智能和机器学习产品研发的工程技术人员,具有很强的参考价值。

    下载: https://pan.baidu.com/s/1FHl5JuGd0ZYc2zNyFvGFYg
    提取码: 3mmr

    《机器学习与应用》高清PDF,589页,带书签目录,文字可以复制。雷明 著。

    《机器学习与应用》由21 章组成,共分为三大部分。
    第1 ~ 3 章为第一部分,介绍机器学习的基本原理、所需的数学知识(包括微积分、线性代数、概率论和最优化方法), 以及机器学习中的核心概念。
    第4 ~ 20 章为第二部分,是主体部分,介绍各种常用的有监督学习算法、无监督学习算法、半监督学习算法和强化学习算法。对于每种算法,从原理与推导、工程实现和实际应用3 个方面进行介绍,对于大多数算法都配有实验程序。
    第21章为第三部分,介绍机器学习和深度学习算法实际应用时面对的问题,并给出典型的解决方案。
    附录A 给出各种机器学习算法的总结, 附录B 给出梯度下降法的演化关系,附录C给出EM算法的推导。

    《机器学习与应用》是机器学习和深度学习领域的入门与提高教材,系统、深入地讲述机器学习与深度学习的主流方法与理论,并紧密结合工程实践与应用。

     

    《深度学习核心技术与实践》PDF,530页,带书签目录,文字可以复制。

    配套代码和资源链接。

    下载: https://pan.baidu.com/s/1Ij3wlFb8_wWBrKZbQ-JjcQ
    提取码: e8k5

    《深度学习核心技术与实践》适合深度学习从业人士或者相关研究生作为参考资料,也可以作为入门教程来大致了解深度学习的相关前沿技术。

    《深度学习核心技术与实践》主要介绍深度学习的核心算法,以及在计算机视觉、语音识别、自然语言处理中的相关应用。《深度学习核心技术与实践》的作者们都是业界一线的深度学习从业者,所以书中所写内容和业界联系紧密,所涵盖的深度学习相关知识点比较全面。

    《深度学习核心技术与实践》主要讲解原理,较少贴代码。

     《深度学习核心技术与实践》来自一直盛产人工智能黑科技的神秘之师,他们也是开源分布式系统ytk-learn和ytk-mp4j的作者。 用一线工程视角,透过关键概念、模型、算法原理和实践经验,为入坑者破解深度学习“炼金术”。 算法、代码容易获取,结合产品需求落地机器学习才是难题,本书旨在让算法真正在团队扎根长大。 胸怀全局、了如指掌才能在实践中少走弯路,用理论滋养创新能力,这也是本书导向的至臻境界。

     

    转载于:https://www.cnblogs.com/shuaizjz/p/10459158.html

    展开全文
  • 本书的前身为《机器学习与应用》,雷明著,清华大学出版社。在第一版的基础上做了大幅度优化,并经过反复校对,最终形成此书。由于之前是第一次写书,缺乏经验,导致了书的内容过多,里面存在大量开源库代码占据篇幅...

    为什么要写本书?

    本书的前身为《机器学习与应用》,雷明著,清华大学出版社。在第一版的基础上做了大幅度优化,并经过反复校对,最终形成此书。由于之前是第一次写书,缺乏经验,导致了书的内容过多,里面存在大量开源库代码占据篇幅。这一版改进了这些问题,且增加了不少新的内容,更为系统和全面,品质也得到了不小的提升。

    在这里插入图片描述

    SIGAI微信公众号自去年4月份发布第一篇文章“机器学习-波澜壮阔40年”起,到今天为止,已经累计发布文章164篇,在各个平台的阅读次数超过超过300万次,深受人工智能学习者和从业者的喜爱,其中不乏大量的精品文章。此公众号创立之初的目的是为了帮助大家学习和掌握人工智能技术,用于学术研究和产品研发,传播人工智能技术。

    作为公众号文章的早期的主要作者,我之前写了大量阅读量深受大家喜爱的文章,如:

    学好机器学习需要哪些数学知识?

    基于深度学习的目标检测算法综述

    用一张图理解SVM的脉络

    深度卷积神经网络演化历史及结构改进脉络

    理解梯度下降法

    用一句话总结常用的机器学习算法

    机器学习算法地图

    深度学习算法地图

    其他的不再一一列举。这些文章有一个共同的特点:脉络清晰,深入浅出,一针见血。它们将一些复杂的理论和算法用很浅显易懂的方式表达出来。这是我写作的初衷,读者真正需要的是能看懂,而不是看不懂!

    由于时间仓促,且不是正规的出版物,这些文章的质量无法得到完全的保证。为了让内容更为系统,准确,帮助大家学好机器学习与深度学习,我一直有写一本机器学习教材的想法。但是,市面上已经有不少这方面的经典教材,国外的如《PRML,Pattern Recognition and Machine Learning》,《ESL,The Elements of Statistical Learning》,《Pattern Classification》,《MLAPP,Machine Learning-A Probabilistic Perspective》,《Deep Learning》。国内的有大家耳熟能详的《机器学习 西瓜书》以及《统计学习方法》。这些经典教材经过了市场检验,其质量之高,是毋庸置疑的!既然已经有这么多经典教材,还有“重复造轮子”的必要吗?

    笔者的回答是有必要。这里面国外的经典教材,笔者当年基本上都读过,国内的教材,也大致翻了一遍。作为一个过来人,我觉得这些教材在如下方面还可以做出改进:

    1.内容是否系统性全面,是否老化。仔细读过这些教材的读者会发现,要真正做到这一点并不容易。机器学习和深度学习最近几年发展很快,新方法和理论层出不穷。若非频繁的更新,经典的教材要跟上时代的步伐绝非易事。另外,由于作者自己的知识面和偏好,能够全面覆盖机器学习和深度学习主要算法的书屈指可数。当然,是否要在一本书里同时讲机器学习和深度学习也是有争议的。

    2.表述是否浅显易懂而又不失深度。在这方面,PRML堪称优秀代表,作者语言朴实易懂,将各种算法和理论阐述的非常清晰。而有的教材,看上去则晦涩难懂,尤其是对初学者。

    3.对理论的讲述是否细致深入。这一点的优秀代表是《统计学习方法》和《PRML》,《ESL》以及《MLAPP》。要将算法的推导和证明做的很细,是非常耗费时间和精力的。

    4.对实际的应用是否有系统性的阐述。要知道,人工智能,乃至整个计算机科学,是偏实践和应用的学科。很多读者在学完机器学习之后并不知道怎么用的。而正式的教材,一般也不提及实际应用。这会造成很多困惑:这个算法到底有什么用?应该怎么用?

    笔者发现,市面上能同时满足这几点的经典教材目前还空缺,因此下定决心,写出一本系统而全面,让读者能够读懂,且知道怎么用的教材来。事实上,这一计划在2014年就开始了,本书的部分内容也始于这一年。笔者深感自己功力有限,为了不班门弄斧,在写此书之前阅读了大量经典论文,有不少都经过了反复推敲和锤炼。写书所耗费的时间和精力大幅度的超出了我的预期。

    为什么要选择这本书?

    本书适合作为高等学习本科,研究生的机器学习和深度学习教材,也可作为人工智能领域研发人员的参考书。作为一本机器学习、深度学习入门与提高,尤其是入门的教材,在笔者看来,需要具备以下特点:

    1.内容全面系统。作为教材,对一个领域的阐述必须是全面而系统的,而非支离破碎的知识点。本书做到了这一点,内容包括了有监督学习,无监督学习,强化学习的核心算法,共计54种。内容的组织合理,条理清晰。结合SIGAI的“机器学习算法地图”,“深度学习算法地图”使用,效果更佳。如果完整的学习本书,可以让你对机器学习和深度学习有全面而系统的理解。为了让读者理解数学公式,本书特意在第2章安排了数学知识的讲解。

    2.深入浅出。写书的目的是让读者能够看到,且更容易看懂,即将复杂的问题简单化,而不是相反。本书的内容在深度上与经典教材相当,在表述上下足了功夫,用浅显易懂的语言将复杂的机器学习算法阐述清楚。对于这一领域公认的难以理解的点,如SVM,EM算法,反向传播算法,流形学习等有非常清晰而易懂的讲述。化抽象为具体,变复杂为简单。对于很多关键点,一针见血,直指问题的本质。这是一本读者真正能够读懂的机器学习教材。

    3.理论讲述详细。对主要的机器学习算法和理论,从思想起源讲起,有详细的推导和证明,很多内容是市面上的教材所不曾有的。笔者亲手推导了几乎所有公式,证明了大量的核心结论。为了让读者对算法的实现不再困惑,对实现时的要点有系统性的阐述。

    4.系统的阐述了具体应用。对主要算法在机器视觉,语音识别,自然语言处理等领域的应用有详细的阐述,帮助读者理解算法的使用,养成实际建模的能力。

    5.配有大量实验程序源代码。对主要的机器学习算法,均配有实验程序,使用python语言编写,基于sklearn,libsvm,liblinear等开源库。为了节约篇幅,所有代码均不在书中出现,通过扫描二维码免费下载。通过实验程序可以更好的理解算法的原理,掌握算法和开源库的使用。

    6.配有大量讲解视频。对书中的难点,配有共计35个讲解视频,清晰而透彻。这些视频之前已经被国内外各层次的高校学生和老师大量使用,得到了广泛的好评。通过扫描二维码可以免费观看讲解视频。

    7.参考文献齐全。各章均列出了主要的参考文献,供读者进一步阅读。

    对于有意向将本书作为教材的高校,我们将在后续免费提供习题集和配套PPT。

    在这里插入图片描述

    本书的目录

    下面列出这本书的目录,供大家参考,全书共397页,23章。由基本概念与数学知识,主要的机器学习算法与理论,工程实践问题3部分构成。第一部分介绍了机器学习领域的基本概念与所需的核心数学知识点。第二部分内容含括了有监督学习,降维,聚类,半监督学习,强化学习的核心算法。第三部分内容讲述了工程实践中的若干重要问题。

    第一部分基本概念与数学知识

    第1章机器学习简介3

    1.1机器学习是什么3

    1.1.1一个简单的例子3

    1.1.2为什么需要机器学习5

    1.2典型应用7

    1.2.1语音识别7

    1.2.2人脸检测8

    1.2.3人机对弈9

    1.2.4机器翻译10

    1.2.5自动驾驶11

    1.3发展历程11

    1.3.1历史成就11

    1.3.2当前进展12

    1.4关于本书13

    参考文献13

    第2章数学知识15

    2.1微积分和线性代数15

    2.1.1导数15

    2.1.2向量与矩阵17

    2.1.3偏导数与梯度19

    2.1.4雅可比矩阵20

    2.1.5Hessian矩阵21

    2.1.6泰勒展开22

    2.1.7行列式22

    2.1.8特征值与特征向量23

    2.1.9奇异值分解24

    2.1.10二次型24

    2.1.11向量与矩阵求导24

    2.2最优化方法25

    2.2.1梯度下降法25

    2.2.2牛顿法26

    2.2.3坐标下降法27

    2.2.4拉格朗日乘数法28

    2.2.5凸优化28

    2.2.6拉格朗日对偶32

    2.2.7KKT条件34

    2.2.8拟牛顿法35

    2.2.9面临的问题36

    2.3概率论37

    2.3.1随机事件与概率37

    2.3.2条件概率37

    2.3.3随机变量38

    2.3.4数学期望与方差39

    2.3.5随机向量39

    2.3.6最大似然估计40

    参考文献41

    第3章基本概念42

    3.1算法分类42

    3.1.1监督信号42

    3.1.2分类问题与回归问题43

    3.1.3判别模型与生成模型45

    3.1.4强化学习45

    3.2模型评价指标46

    3.2.1精度与召回率46

    3.2.2ROC曲线46

    3.2.3混淆矩阵48

    3.2.4交叉验证48

    3.3模型选择48

    3.3.1过拟合与欠拟合48

    3.3.2偏差与方差分解49

    3.3.3正则化50

    参考文献52

    第二部分主要的机器学习算法与理论

    第4章贝叶斯分类器55

    4.1贝叶斯决策55

    4.2朴素贝叶斯分类器56

    4.2.1离散型特征56

    4.2.2连续型特征57

    4.3正态贝叶斯分类器57

    4.3.1训练算法57

    4.3.2预测算法58

    4.4实验程序59

    4.5应用61

    参考文献61

    第5章决策树62

    5.1树形决策过程62

    5.2分类与回归树63

    5.3训练算法64

    5.3.1递归分裂过程64

    5.3.2寻找最佳分裂64

    5.3.3叶子节点值的设定67

    5.3.4属性缺失问题67

    5.3.5剪枝算法68

    5.3.6训练算法的流程69

    5.3.7计算变量的重要性70

    5.4实验程序70

    5.5应用71

    参考文献71

    第6章k近邻算法72

    6.1基本概念72

    6.2预测算法72

    6.3距离定义73

    6.3.1常用距离定义74

    6.3.2距离度量学习74

    6.4实验程序75

    6.5应用76

    参考文献76

    第7章数据降维78

    7.1主成分分析78

    7.1.1数据降维问题78

    7.1.2计算投影矩阵78

    7.1.3向量降维81

    7.1.4向量重构81

    7.2流形学习81

    7.2.1局部线性嵌入82

    7.2.2拉普拉斯特征映射83

    7.2.3局部保持投影86

    7.2.4等距映射87

    7.2.5随机近邻嵌入88

    7.2.6t分布随机近邻嵌入89

    7.3实验程序90

    7.4应用91

    参考文献91

    第8章线性判别分析92

    8.1用投影进行分类92

    8.2投影矩阵92

    8.2.1一维的情况92

    8.2.2推广到高维94

    8.3实验程序96

    8.4应用96

    参考文献97

    第9章人工神经网络98

    9.1多层前馈型神经网络98

    9.1.1神经元98

    9.1.2网络结构99

    9.1.3正向传播算法100

    9.2反向传播算法101

    9.2.1一个简单的例子101

    9.2.2完整的算法105

    9.3实验程序109

    9.4理论解释110

    9.4.1数学性质110

    9.4.2与神经系统的关系111

    9.5面临的问题111

    9.5.1梯度消失111

    9.5.2退化111

    9.5.3局部极小值111

    9.5.4鞍点111

    9.6实现细节问题112

    9.6.1输入值与输出值112

    9.6.2网络规模112

    9.6.3激活函数112

    9.6.4损失函数113

    9.6.5权重初始化113

    9.6.6正则化113

    9.6.7学习率的设定114

    9.6.8动量项114

    9.7应用114

    参考文献115

    第10章支持向量机118

    10.1线性分类器118

    10.1.1线性分类器概述118

    10.1.2分类间隔118

    10.2线性可分的问题119

    10.2.1原问题119

    10.2.2对偶问题120

    10.3线性不可分的问题123

    10.3.1原问题123

    10.3.2对偶问题123

    10.4核映射与核函数126

    10.5SMO算法129

    10.5.1求解子问题129

    10.5.2优化变量的选择132

    10.6多分类问题133

    10.7实验程序134

    10.8libsvm简介136

    10.8.1求解算法137

    10.8.2库的使用140

    10.9应用142

    参考文献143

    第11章线性模型145

    11.1logistic回归145

    11.1.1第一种表述145

    11.1.2第二种表述147

    11.1.3L2正则化原问题148

    11.1.4L2正则化对偶问题151

    11.1.5L1正则化原问题152

    11.1.6实验程序154

    11.2线性支持向量机156

    11.2.1L2正则化L1loss SVC原问题156

    11.2.2L2正则化L2loss SVC原问题156

    11.2.3L2正则化SVC对偶问题157

    11.2.4L1正则化L2loss SVC原问题158

    11.2.5多类线性支持向量机158

    11.2.6实验程序160

    11.3liblinear简介160

    11.3.1求解的问题161

    11.3.2库的使用161

    11.4softmax回归162

    11.5应用164

    参考文献165

    第12章随机森林166

    12.1集成学习166

    12.1.1随机抽样166

    12.1.2Bagging算法167

    12.2随机森林概述167

    12.3训练算法167

    12.4变量的重要性168

    12.5实验程序169

    12.6应用169

    参考文献169

    第13章Boosting算法171

    13.1AdaBoost算法171

    13.1.1强分类器与弱分类器171

    13.1.2训练算法172

    13.1.3训练误差分析174

    13.2广义加法模型176

    13.3各种AdaBoost算法177

    13.3.1离散型AdaBoost177

    13.3.2实数型AdaBoost179

    13.3.3LogitBoost180

    13.3.4Gentle型AdaBoost181

    13.4实现细节问题182

    13.4.1弱分类器182

    13.4.2弱分类器的数量182

    13.4.3样本权重削减183

    13.5实验程序183

    13.6梯度提升算法183

    13.6.1梯度提升框架184

    13.6.2回归问题185

    13.6.3分类问题185

    13.6.4XGBoost187

    13.7应用——目标检测189

    13.7.1VJ框架的原理190

    13.7.2模型训练192

    参考文献193

    第14章深度学习概论195

    14.1机器学习面临的挑战195

    14.1.1人工特征196

    14.1.2机器学习算法197

    14.2深度学习技术197

    14.3进展与典型应用199

    14.3.1计算机视觉200

    14.3.2语音识别202

    14.3.3自然语言处理202

    14.3.4计算机图形学203

    14.3.5推荐系统203

    14.3.6深度强化学习204

    14.4自动编码器204

    14.4.1自动编码器简介204

    14.4.2去噪自动编码器205

    14.4.3稀疏自动编码器205

    14.4.4收缩自动编码器206

    14.4.5多层编码器206

    14.5受限玻尔兹曼机206

    14.5.1玻尔兹曼分布206

    14.5.2受限玻尔兹曼机结构207

    14.5.3训练算法209

    14.5.4深度玻尔兹曼机210

    14.5.5深度置信网210

    参考文献210

    第15章卷积神经网络218

    15.1网络结构218

    15.1.1卷积层219

    15.1.2池化层222

    15.1.3全连接层222

    15.2训练算法223

    15.2.1卷积层223

    15.2.2池化层226

    15.2.3随机梯度下降法227

    15.2.4迁移学习228

    15.3典型网络228

    15.3.1LeNet5网络228

    15.3.2AlexNet网络229

    15.3.3VGG网络230

    15.3.4GoogLeNet网络231

    15.4理论分析232

    15.4.1反卷积运算232

    15.4.2卷积层可视化233

    15.4.3理论解释235

    15.5挑战与改进措施236

    15.5.1卷积层236

    15.5.2池化层236

    15.5.3激活函数237

    15.5.4损失函数237

    15.5.5网络结构237

    15.5.6批量归一化241

    15.6实现细节242

    15.6.1卷积层242

    15.6.2激活函数244

    15.6.3内积层244

    15.6.4损失层245

    15.6.5求解器248

    15.7应用——计算机视觉251

    15.7.1人脸检测251

    15.7.2通用目标检测254

    15.7.3人脸关键点定位262

    15.7.4人脸识别263

    15.7.5图像分割265

    参考文献266

    第16章循环神经网络270

    16.1网络结构270

    16.1.1循环层270

    16.1.2输出层271

    16.1.3一个简单的例子272

    16.1.4深层网络272

    16.2网络的训练273

    16.2.1一个简单的例子273

    16.2.2完整的算法275

    16.3挑战与改进措施277

    16.3.1梯度消失277

    16.3.2长短期记忆模型278

    16.3.3门控循环单元279

    16.3.4双向网络279

    16.4序列预测问题280

    16.4.1序列标注问题280

    16.4.2连接主义时序分类281

    16.4.3序列到序列学习285

    16.5应用——语音识别287

    16.5.1语音识别问题287

    16.5.2GMM-HMM框架288

    16.5.3深度模型288

    16.6应用——自然语言处理291

    16.6.1中文分词292

    16.6.2词性标注293

    16.6.3命名实体识别293

    16.6.4文本分类294

    16.6.5自动摘要296

    16.6.6机器翻译296

    参考文献298

    第17章生成对抗网络302

    17.1随机数据生成302

    17.2生成对抗网络结构303

    17.2.1生成模型303

    17.2.2判别模型304

    17.3模型的训练304

    17.3.1目标函数304

    17.3.2训练算法305

    17.3.3理论分析306

    17.4应用与改进307

    17.4.1改进方案308

    17.4.2典型应用311

    参考文献313

    第18章聚类算法314

    18.1问题定义314

    18.2层次聚类315

    18.3基于质心的算法315

    18.4基于概率分布的算法316

    18.4.1高斯混合模型316

    18.4.2EM算法317

    18.5基于密度的算法322

    18.5.1DBSCAN算法322

    18.5.2OPTICS算法324

    18.5.3Mean Shift算法326

    18.6基于图的算法328

    18.7算法评价指标331

    18.7.1内部指标331

    18.7.2外部指标331

    18.8实验程序332

    18.9应用332

    参考文献332

    第19章半监督学习334

    19.1问题假设334

    19.1.1连续性假设334

    19.1.2聚类假设334

    19.1.3流形假设334

    19.1.4低密度分割假设334

    19.2启发式算法335

    19.2.1自训练335

    19.2.2协同训练335

    19.3生成模型335

    19.4低密度分割336

    19.5基于图的算法336

    19.6半监督深度学习337

    参考文献338

    第20章隐马尔可夫模型340

    20.1马尔可夫模型340

    20.2隐马尔可夫模型简介343

    20.2.1模型结构343

    20.2.2中文分词345

    20.3估值问题345

    20.4解码问题347

    20.5训练算法349

    20.6应用352

    参考文献352

    第21章条件随机场353

    21.1马尔可夫随机场353

    21.1.1概率图模型353

    21.1.2马尔可夫随机场354

    21.2条件随机场概述355

    21.2.1条件随机场简介355

    21.2.2线性链条件随机场355

    21.3推断算法357

    21.4训练算法359

    21.5应用360

    参考文献360

    第22章强化学习361

    22.1强化学习简介361

    22.1.1问题定义361

    22.1.2马尔可夫决策过程362

    22.2基于动态规划的算法366

    22.2.1策略迭代算法366

    22.2.2价值迭代算法368

    22.3蒙特卡洛算法369

    22.3.1算法简介369

    22.3.2状态价值函数估计370

    22.3.3动作价值函数估计371

    22.3.4蒙特卡洛控制371

    22.4时序差分学习372

    22.4.1Sarsa算法372

    22.4.2Q学习373

    22.5深度强化学习374

    22.5.1深度Q网络375

    22.5.2策略梯度算法378

    22.6应用381

    参考文献381

    第三部分工程实践问题

    第23章工程实践问题概述385

    23.1实现细节问题385

    23.1.1训练样本385

    23.1.2特征预处理386

    23.1.3模型选择386

    23.1.4过拟合问题386

    23.2安全性问题387

    23.2.1对抗样本387

    23.2.2形成原因分析389

    23.3实现成本问题390

    23.3.1训练样本量390

    23.3.2计算与存储成本390

    23.4深度模型优化391

    23.4.1剪枝与编码391

    23.4.2二值化网络392

    23.4.3卷积核分离396

    参考文献397

    如何使用本书

    学习本书需要读者具有大学本科理工科的数学基础,以及基本的程序设计知识。包括:

    微积分/高等数学

    线性代数

    概率论

    书中有大量涉及最优化方法,对于国内高校的大部分学生是没有学过这门课的,但通过阅读本书第2章,能够有效弥补这些知识。

    如果有至少一种程序设计语言的知识,已经数据结构和算法的基础知识,阅读起来会更为顺畅。要阅读和修改本书的实验程序则需要读者掌握python语言程序设计。

    对于要学机器学习或深度学习课程的同学,建议系统的阅读本书,以保证能够理解内容,知识系统。对于要实际使用机器学习或深度学习算法的工程技术人员,可以根据自己的需要进行裁剪,阅读所需的章节,以节约时间和精力。

    作者简介

    雷明,2009年毕业于清华大学计算机系,研究方向为机器学习,机器视觉。曾发表论文数篇。毕业后曾就职于百度,任高级软件工程师;zmodo/meshare,任CTO。有超过15年机器学习学术研究与产品研发经验。SIGAI微信公众号早期主要作者。

    如何购买本书

    在这里插入图片描述

    本书已经在京东预售,购买链接为:

    https://item.jd.com/12685964.html?dist=jd

    由于水平有限,时间仓促,书中难免会有错误。本书的勘误可以在:

    http://www.tensorinfinity.com/paper_78.html

    免费获取

    文中所提及的深受人民群众喜爱的机器学习算法地图和深度学习算法地图可以在:

    http://www.tensorinfinity.com/paper_158.html

    http://www.tensorinfinity.com/paper_18.html

    免费获取

    致谢

    本书在写作和优化过程中收到了大量读者和同事、同行的反馈。这本书的诞生凝聚了清华大学出版社白立军老师的大量心血,得到了出版社领导和老师的大力支持。数位热心读者为本书审稿。上海交通大学计算机系严骏驰教授为本书作序,哈佛大学数学中心教授、丘成桐先生的弟子顾险峰教授,前优酷首席科学家李卓桓师兄,笔者的好友刘彬先生,师弟欧阳鹏博士,张振博士为本书写推荐。

    在此一并表示感谢!

    展开全文
  • 相信许多做机器学习研究的小伙伴都有着或多或少的数学知识方面的困扰,下面这本书是宾夕法尼亚大学计算机和信息科学系教授Jean Gallier的开源书籍,不但涵盖了与机器学习相关数学知识的,...

    相信许多做机器学习研究的小伙伴都有着或多或少的数学知识方面的困扰,下面这本书是宾夕法尼亚大学计算机和信息科学系教授Jean Gallier的开源书籍,不但涵盖了与机器学习相关数学知识的,而且对于其应用方面也做了相关介绍。

    Jean Gallier,宾夕法尼亚大学计算机和信息科学系教授。主要研究方向为计算机图形学、计算机视觉、机器人技术等。

    内容简介:

    本书共分为十篇,全面系统地介绍了机器学习主要涉及的数学知识,包括:线性代数、仿射与射影几何、双线性形式的几何、拓扑、微分学等等方面,适用于想要打好相关数学基础知识的学习者们。

    资源下载:

    为了节约大家的时间,小编已经将这份书籍的电子版 PDF 打包好了。获取步骤如下:

    1.扫码 “人工智能与深度学习” 公众号

    2.后台回复关键词:7012

    ▲长按扫描,回复7012即可获取

    完整目录

    第一篇:线性代数


    第二篇:仿射与射影几何

    第三篇:双线性形式的几何

    第四篇:几何:PID、UFD、诺特环、张量、PID 上的模块、规范

    第五篇:拓扑、微分学

    第六篇:最优化理论基础

    第七篇:线性优化

    第八篇:非线性优化

    第九篇:机器学习方面应用

    第十篇:附录

    资源下载:

    为了节约大家的时间,小编已经将这份书籍的电子版 PDF 打包好了。获取步骤如下:

    1.扫码 “人工智能与深度学习” 公众号

    2.后台回复关键词:7012

    ▲长按扫描,回复7012即可获取

    展开全文
  • 机器学习算法地图

    千次阅读 多人点赞 2018-07-05 12:10:07
    其它机器学习、深度学习算法的全面系统讲解可以阅读《机器学习-原理、算法与应用》,清华大学出版社,雷明著,由SIGAI公众号作者倾力打造。 书的购买链接 书的勘误,优化,源代码资源 文章《机器学习算法地图》系...

    其它机器学习、深度学习算法的全面系统讲解可以阅读《机器学习-原理、算法与应用》,清华大学出版社,雷明著,由SIGAI公众号作者倾力打造。

    •  

    文章《机器学习算法地图》系SIGAI原创,仅供个人学习使用,未经允许,不得转载,不能用于商业目的。如需获取原版PDF全文,可搜索关注VX公众号SIGAICN。(https://0x9.me/dxRg5)

     

     

    很多同学在学机器学习和深度学习的时候都有一个感受:所学的知识零散、不系统,缺乏整体感,这是普遍存在的一个问题。在这里,SIGAI对常用的机器学习和深度学习算法进行了总结,整理出它们之间的关系,以及每种算法的核心点,各种算法之间的比较。由此形成了一张算法地图,以帮助大家更好的理解和记忆这些算法。

    如果你对这张图感兴趣,可以关注SIGAI公众号,给公众号发消息,得到电子版的下载地址,用作电脑桌面是非常不错的,绝对有逼格!我们把这张图用精美的纸打印出来了,如果你想要纸质版的,也可以给我们的公众号发消息,我们会用快递发送给你(快递费自付),贴在墙上也是不错的!

    下面先看这张图:

    关注微信公众号:SIGAICN,回复“算法地图”,即可获得高清电子版

     

    图的左半部分列出了常用的机器学习算法与它们之间的演化关系,分为有监督学习,无监督学习,强化学习3大类。右半部分列出了典型算法的总结比较,包括算法的核心点如类型,预测函数,求解的目标函数,求解算法。

    理解和记忆这张图,对你系统化的掌握机器学习与深度学习会非常有帮助!

    我们知道,整个机器学习算法可以分为有监督学习,无监督学习,强化学习3大类。除此之外还有半监督学习,但我们可以把它归到有监督学习中。算法的演变与发展大多在各个类的内部进行,但也可能会出现大类间的交叉,如深度强化学习就是深度神经网络与强化学习技术的结合。

    根据样本数据是否带有标签值(label),可以将机器学习算法分成有监督学习和无监督学习两类。如果要识别26个英文字母图像,我们要将每张图像和它是哪个字符即其所属的类型对应起来,这个类型就是标签值。

    有监督学习(supervised learning)的样本数据带有标签值,它从训练样本中学习得到一个模型,然后用这个模型对新的样本进行预测推断。它的样本由输入值x与标签值y组成:

    其中x为样本的特征向量,是模型的输入值;y为标签值,是模型的输出值。标签值可以是整数也可以是实数,还可以是向量。有监督学习的目标是给定训练样本集,根据它确定映射函数:

    确定这个函数的依据是函数能够很好的解释训练样本,让函数输出值f(x)与样本真实标签值y之间的误差最小化,或者让训练样本集的对数似然函数最大化。这里的训练样本数是有限的,而样本所有可能的取值集合在很多情况下是一个无限集,因此只能从中选取一部分样本参与训练。

    日常生活中的很多机器学习应用,如垃圾邮件分类,手写文字识别,人脸识别,语音识别等都是有监督学习。这类问题需要先收集训练样本,对样本进行进行标注,用标注好的训练样本训模型,然后根据模型对新的样本进行预测。

    无监督学习(unsupervised learning)对没有标签的样本进行分析,发现样本集的结构或者分布规律。无监督学习的典型代表是聚类和数据降维。

    强化学习是一类特殊的机器学习算法,它根据输入数据确定要执行的动作,在这里。输入数据是环境参数。和有监督学习算法类似,这里也有训练过程中。在训练时,对于正确的动作做出奖励,对错误的动作做出惩罚,训练完成之后就用得到的模型进行预测。

    在有监督学习算法中,我们列出了5个分支:

    关注微信公众号:SIGAICN,回复“算法地图”,即可获得高清电子版

    分别是决策树,贝叶斯,线性模型,kNN,LDA(线性判别分析),集成学习。LDA也可以归类到线性模型中,但因为它是一种有监督的投影技术,我们单独列出。

    决策树是一种基于规则的方法,它的规则是通过训练样本学习得到的,典型的代表是ID3,C4.5,以及分类与回归树。

    集成学习是机器学习中一类重要的算法,它通过将多个简单的模型进行集成,得到一个更强大的模型,简单的模型称为弱学习器。决策树与集成学习算法相结合,诞生了随机森林,Boosting这两类算法(事实上,Boosting算法的弱学习器不仅可以用决策树,还可以用其他算法)。

    线性模型是最大的一个分支,从它最后衍生除了一些复杂的非线性模型。如果用于分类问题,最简单的线性模型是线性回归,加上L2和L1正则化项之后,分别得到岭回归和LASSO回归。对于分类问题,最简单的是感知器模型,从它衍生出了支持向量机,logistic回归,神经网络3大分支。而神经网络又衍生出了各种不同的结构。包括自动编码器,受限玻尔兹曼机,卷积神经网络,循环神经网络,生成对抗网络等。当然,还有其他一些类型的神经网络,因为使用很少,所以在这里不列出。

    kNN算法基于模板匹配的思想,是最简单的一种机器学习算法,它依赖于距离定义,而距离同样可以由机器学习而得到,这就是距离度量学习。

    贝叶斯也是有监督学习算法中的一个大分支,最简单的是贝叶斯分类器,更复杂的有贝叶斯网络。而贝叶斯分类器又有朴素贝叶斯和正态贝叶斯两种实现。

    接下来说无监督学习,它可以分为数据降维算法和聚类算法两大类。演变关系如下图所示:

    关注微信公众号:SIGAICN,回复“算法地图”,即可获得高清电子版

    无监督的降维算法可以分为线性降维和非线性降维两大类。前者的典型代表是主成分分析(PCA),通过使用核技术,可以把它扩展为非线性的版本。流形学习是非线性降维技术的典型实现,代表性的算法有局部线性嵌入(LLE),拉普拉斯特征映射,等距映射,局部保持投影,它们都基于流形假设。流形假设不仅在降维算法中有用,在半监督学习、聚类算法中同样有使用。

    聚类算法可以分为层次距离,基于质心的聚类,基于概率分布的距离,基于密度的聚类,基于图的聚类这几种类型。它们从不同的角度定义簇(cluster)。基于质心的聚类典型代表是k均值算法。基于概率分布的聚类典型代表是EM算法。基于密度的聚类典型代表是DBSCAN算法,OPTICS算法,Mean shift算法。基于图的聚类典型代表是谱聚类算法。

    强化学习是机器学习中的一个特殊分支,用于决策、控制问题。这类算法的演变关系如下图所示:

    关注微信公众号:SIGAICN,回复“算法地图”,即可获得高清电子版

     

    整个强化学习的理论模型可以抽象成马尔可夫决策过程。核心任务是求解使得回报最大的策略。如果直接用动态规划求解,则有策略迭代和价值迭代两类算法。他们都要求有精确的环境模型,即状态转移概率和奖励函数。如果做不到这一点,只能采用随机算法,典型的代表是蒙特卡罗算法和时序差分算法。强化学习与深度学习相结合,诞生了深度强化学习算法,典型代表是深度Q网络(DQN)以及策略梯度算法(策略梯度算法不仅可用神经网络作为策略函数的近似,还可以用其他函数)。

    下面我们来分别介绍每种算法的核心知识点以及它们之间的关系。

    有监督学习

    先看有监督学习算法,它是当前实际应用中使用最广的机器学习算法。进一步可以分为分类问题与回归问题两大类。前面说过,有监督学习算法的预测函数为:

     

    即根据输入数据x预测出输出数据y。如果y是整数的类别编号,则称为分类问题;如果y是实数值,则为回归问题。

    贝叶斯分类器

    分类问题中样本的特征向量取值x与样本所属类型y具有因果关系。因为样本属于类型y,所以具有特征值x。分类器要做的则相反,是在已知样本的特征向量为x的条件下反推样本所属的类别y。根据贝叶斯公式有:

     

    只要知道特征向量的概率分布p(x),每一类出现的概率p(y),以及每一类样本的条件概率p(x|y),就可以计算出样本属于每一类的概率p(y|x)。如果只要确定类别,比较样本属于每一类的概率的大小,找出该值最大的那一类即可。因此可以忽略p(x),因为它对所有类都是一样的。简化后分类器的判别函数为:

    训练时的目标是确定p(x|y)的参数,一般使用最大似然估计。如果假设样本特征向量的各个分量之间相互独立,则称为朴素贝叶斯分类器。如果假设特征向量x服从多维正态分布,则称为正态贝叶斯分类器。正态贝叶斯分类器的预测函数为:

    贝叶斯分类器是一种生成模型,是非线性模型,它天然的支持多分类问题。下图是正态贝叶斯分类器对异或问题的分类结果(来自SIGAI云端实验室):

    决策树家族

    决策树是基于规则的方法,它用一组嵌套的规则进行预测,在树的每个决策节点处,根据判断结果进入一个分支,反复执行这种操作直到到达叶子节点,得到决策结果。决策树的这些规则通过训练得到,而不是人工制定的。下图是决策树的一个例子:

    决策树是一种判别模型,也是非线性模型,天然支持多类分类问题。它既可以用于分类问题,也可以用于回归问题,具有很好的解释性,符合人类的思维习惯。常用的决策树有ID3,C4.5,分类与回归树(CART)等。

    分类树对应的映射函数是多维空间的分段线性划分,即用平行于各个坐标轴的超平面对空间进行切分;回归树的映射函数是一个分段常数函数。决策树是分段线性函数但不是线性函数,它具有非线性建模的能力。只要划分的足够细,分段常数函数可以逼近闭区间上任意函数到任意指定精度,因此决策树在理论上可以对任意复杂度的数据进行分类或者回归。

    下图是决策树进行空间划分的一个例子。在这里有红色和蓝色两类训练样本,用下面两条平行于坐标轴的直线可以将这两类样本分开(来自SIGAI云端实验室):

    这个划分方案对应的决策树如下图所示:

     

     

    推荐文章

    往期文章汇总

    [1] 机器学习-波澜壮阔40年 SIGAI 2018.4.13.

    [2] 学好机器学习需要哪些数学知识?SIGAI 2018.4.17.

    [3] 人脸识别算法演化史 SIGAI 2018.4.20.

    [4] 基于深度学习的目标检测算法综述 SIGAI 2018.4.24.

    [5] 卷积神经网络为什么能够称霸计算机视觉领域? SIGAI 2018.4.26.

    [6] 用一张图理解SVM的脉络 SIGAI 2018.4.28.

    [7] 人脸检测算法综述 SIGAI 2018.5.3.

    [8] 理解神经网络的激活函数 SIGAI 2018.5.5.

    [9] 深度卷积神经网络演化历史及结构改进脉络-40页长文全面解读 SIGAI 2018.5.8.

    [10] 理解梯度下降法 SIGAI 2018.5.11.

    [11] 循环神经网络综述—语音识别与自然语言处理的利器 SIGAI 2018.5.15

    [12] 理解凸优化 SIGAI 2018.5.18

    [13]【实验】理解SVM的核函数和参数 SIGAI 2018.5.22

    [14] 【SIGAI综述】行人检测算法 SIGAI 2018.5.25

    [15] 机器学习在自动驾驶中的应用—以百度阿波罗平台为例(上) SIGAI 2018.5.29

    [16] 理解牛顿法 SIGAI 2018.5.31

    [17]【群话题精华】5月集锦—机器学习和深度学习中一些值得思考的问题 SIGAI 2018.6.1

    [18] 大话Adaboost算法 SIGAI 2018.6.2

    [19] FlowNet到FlowNet2.0:基于卷积神经网络的光流预测算法 SIGAI 2018.6.4

    [20] 理解主成分分析(PCA) SIGAI 2018.6.6

    [21] 人体骨骼关键点检测综述 SIGAI 2018.6.8

    [22] 理解决策树 SIGAI 2018.6.11

    [23] 用一句话总结常用的机器学习算法 SIGAI 2018.6.13

    [24] 目标检测算法之YOLO SIGAI 2018.6.15

    [25] 理解过拟合 SIGAI 2018.6.18

    [26] 理解计算:从√2到AlphaGo ——第1季 从√2谈起 SIGAI 2018.6.20

    [27] 场景文本检测——CTPN算法介绍 SIGAI 2018.6.22

    [28] 卷积神经网络的压缩和加速 SIGAI 2018.6.25

    [29] k近邻算法 SIGAI 2018.6.27

    [30] 自然场景文本检测识别技术综述 SIGAI 2018.6.27

    [31] 理解计算:从√2到AlphaGo ——第2季 神经计算的历史背景 SIGAI 2018.7.4

    [32] 机器学习算法地图 SIGAI2018.7.6

    展开全文
  • Python 程序员深度学习的“四大名著”:这四本书着实很不错!我们都知道现在机器学习、深度学习的资料太多了,面对海量资源,往往陷入到“无从下手”的困惑出境。而且并非所有的书籍都是优质资...
  • 机器学习发展历史回顾

    万次阅读 多人点赞 2018-09-05 18:21:20
    其它机器学习、深度学习算法的全面系统讲解可以阅读《机器学习-原理、算法与应用》,清华大学出版社,雷明著,由SIGAI公众号作者倾力打造。 书的购买链接 书的勘误,优化,源代码资源 机器学习是现阶段解决很多...
  • 机器学习中的编码器-解码器结构哲学

    万次阅读 多人点赞 2019-02-27 17:50:43
    机器学习中体现着各种工程和科学上的哲学思想,大的有集成学习,没有免费午餐,奥卡姆剃刀;小的有最大化类间差异、最小化类内差异。对于很多问题,存在着一类通行的解决思路,其中的一个典型代表就是“编码器-解码...
  • 其它机器学习、深度学习算法的全面系统讲解可以阅读《机器学习-原理、算法与应用》,清华大学出版社,雷明著,由SIGAI公众号作者倾力打造。书的购买链接书的勘误,优化,源代码资源PDF全文链接:深度学习算法地图自...
  • 2-1 概率分布函数概率密度函数 2-2 均值、方差、标准差、协方差 2-3 高斯分布(正态分布)中心极限定理 3 信息论相关 前言 最近看材料的时候发现有些数学内容看得模凌两可,比如向量化编程时直接对矩阵求导,...
  • 其它机器学习、深度学习算法的全面系统讲解可以阅读《机器学习-原理、算法与应用》,清华大学出版社,雷明著,由SIGAI公众号作者倾力打造。 书的购买链接 书的勘误,优化,源代码资源 PDF全文链接:深度学习模型...
  • 其它机器学习、深度学习算法的全面系统讲解可以阅读《机器学习-原理、算法与应用》,清华大学出版社,雷明著,由SIGAI公众号作者倾力打造。书的购买链接书的勘误,优化,源代码资源获取全文PDF请查看:基于深度学习...
  • 后4章则介绍了随机数字信号处理的知识,主要学习多速率数字信号处理、线性预测、自适应滤波以及功率谱估计。《国外电子通信教材系列·数字信号处理(第4版)》内容全面丰富、系统性强、概念清晰、叙述深入浅出,为了...
  • 自然场景文本检测识别技术综述

    万次阅读 多人点赞 2018-06-30 09:05:52
    其它机器学习、深度学习算法的全面系统讲解可以阅读《机器学习-原理、算法与应用》,清华大学出版社,雷明著,由SIGAI公众号作者倾力打造。 书的购买链接 书的勘误,优化,源代码资源 番外青蛇: 姐, 图像文本...
  • 其它机器学习、深度学习算法的全面系统讲解可以阅读《机器学习-原理、算法与应用》,清华大学出版社,雷明著,由SIGAI公众号作者倾力打造。 书的购买链接 书的勘误,优化,源代码资源 理解...
  • 场景文本检测—CTPN算法介绍

    千次阅读 2018-06-25 13:14:37
    其它机器学习、深度学习算法的全面系统讲解可以阅读《机器学习-原理、算法与应用》,清华大学出版社,雷明著,由SIGAI公众号作者倾力打造。 书的购买链接 书的勘误,优化,源代码资源 SIGAI特约作者:沪东三哥 ...
  • 理解主成分分析 (PCA)

    千次阅读 多人点赞 2018-06-12 13:32:57
    其它机器学习、深度学习算法的全面系统讲解可以阅读《机器学习-原理、算法与应用》,清华大学出版社,雷明著,由SIGAI公众号作者倾力打造。 书的购买链接 书的勘误,优化,源代码资源 导言 主成分分析法 (PCA) ...
  • 网络安全应用管明

    2019-04-01 19:08:17
    项目十三网络安全应用管明 项目学习目标 理解防火墙的概念工作原理; 2.熟练掌握Windows防火墙综合配置; 3.能够对计算机系统漏洞进行监测和升级;4.能够对计算机防火墙配置状况进行测试。 学习难点 Windows...
  • 2021-07-02

    2021-07-02 21:14:05
    我用#CSDN#这个app发现了有技术含量的博客,小伙伴们求同去《最新机器学习:原理、算法与应用雷明高清PDF完整带书签》, 一起来围观吧 ...app_version=4.10.0&code=app_1562916241&uLinkId=usr1mkqgl919blen ...
  • 本文及其它机器学习、深度学习算法的全面系统讲解可以阅读《机器学习与应用》,清华大学出版社,雷明著,由SIGAI公众号作者倾力打造,自2019年1月出版以来已重印3次。 书的购买链接 书的勘误,优化,源代码资源 番...
  • 本文及其它机器学习、深度学习算法的全面系统讲解能够阅读《机器学习与应用》,清华大学出版社,雷明著,由SIGAI公众号做者倾力打造,自2019年1月出版以来已重印3次。html 书的购买连接 书的勘误,优化,源代码...
  • 其它机器学习、深度学习算法的全面系统讲解可以阅读《机器学习-原理、算法与应用》,清华大学出版社,雷明著,由SIGAI公众号作者倾力打造。书的购买链接书的勘误,优化,源代码资源PDF全文链接:GAN生成图像综述摘要...
  • 弯曲文字检测之SPCNet

    千次阅读 2019-01-21 15:18:58
    其它机器学习、深度学习算法的全面系统讲解可以阅读《机器学习-原理、算法与应用》,清华大学出版社,雷明著,由SIGAI公众号作者倾力打造。 书的购买链接 书的勘误,优化,源代码资源 获取全文PDF请查看:弯曲文字...
  • 其它机器学习、深度学习算法的全面系统讲解可以阅读《机器学习-原理、算法与应用》,清华大学出版社,雷明著,由SIGAI公众号作者倾力打造。书的购买链接书的勘误,优化,源代码资源获取全文PDF请查看:Deep Learning...
  • 其它机器学习、深度学习算法的全面系统讲解可以阅读《机器学习-原理、算法与应用》,清华大学出版社,雷明著,由SIGAI公众号作者倾力打造。 书的购买链接 书的勘误,优化,源代码资源 获取全文PDF;请查看...
  • 拥有良好的数学基础,有利于大家在后续课程的学习中更好的理解机器学习和深度学习的相关算法内容。同时对于AI研究尤为重要,例如人工智能中的智能很大一部分依托“概率论”实现的。 PDF下载地址...
  • 2018顶会论文汇编

    千次阅读 2018-12-27 13:59:57
    其它机器学习、深度学习算法的全面系统讲解可以阅读《机器学习-原理、算法与应用》,清华大学出版社,雷明著,由SIGAI公众号作者倾力打造。 书的购买链接 书的勘误,优化,源代码资源 CVPR 2018 大会时间:6月18...
  • 基于单目视觉的三维重建算法综述

    千次阅读 2019-01-28 17:30:25
    三维计算机视觉在计算机视觉是偏基础的方向,随着2010年阿凡达在全球热映以来,三维计算机视觉的应用从传统工业领域逐渐走向生活、娱乐、服务等,比如AR/VR,SLAM,自动驾驶等都离不开三维视觉的技术。 三维重建包含...
  • 【SIGAI综述】行人检测算法

    万次阅读 多人点赞 2018-06-14 15:42:33
    其它机器学习、深度学习算法的全面系统讲解可以阅读《机器学习-原理、算法与应用》,清华大学出版社,雷明著,由SIGAI公众号作者倾力打造。 书的购买链接 书的勘误,优化,源代码资源 本文为SIGAI原创文章,仅供...

空空如也

空空如也

1 2 3
收藏数 45
精华内容 18
关键字:

机器学习与应用雷明pdf