精华内容
下载资源
问答
  • 今天我们来谈谈这个话题:学好机器学习究竟需要哪些数学知识?先看知乎上的回答: 大部分读者看到这样的答案之后内心是凄凉的。实变函数,拓扑,泛函分析,除了数学系之外,很少有其他专业会这些课程。 真的需要...
  • 机器学习需要的基本数学知识的资料合集。学习完成后更便于将来学习机器学习
  • 机器学习系列01——机器学习需要这些数学知识

    千次阅读 热门讨论 2016-02-06 22:41:53
    机器学习中涉及到的数学知识

    机器学习系列01——机器学习需要这些数学知识

    1、前言

           放假在家想写写机器学习系列的文章,除夕前先来开个头,后面会一直写下去,搞机器学习算法也有一年多了,体会多少还是有一些的,这里记录在博客中,一来为自己后面的面试做点储备,二来是为了分享,因为很多都是从大家的博客中去学习的,所以这里也要将我理解的新的内容反馈出来,大家一起学习进步。

    2、机器学习中涉及到的数学知识

           数学在计算机中的重要性不言而喻,这里也不多说了,先在这里罗列一下机器学习中涉及到的数学知识,以供大家自己能有思路有方法的学习机器学习相关的知识:

    高等数学

    常见函数求导

    导数运算法则

    复合函数求导

    方向导数与梯度(难点)

    凸集与凸函数

    一元函数求极值

    多元函数求极值(了解)

    拉格朗日乘子法

    泰勒公式展开

    空间解析几何和向量代数

    线性代数

     

    矩阵的定义,矩阵的转置

    单位矩阵,三角矩阵,对称矩阵

    向量内积,相关性

    正交向量组,标准正交基,正交矩阵

    特征值分解

    概率论

    事件的关系与运算

    条件概率,全概率公式,贝叶斯公式

    随机变量的期望,方差

    协方差,相关系数,协方差矩阵

    概率分布:0-1分布,二项分布,高斯分布

    极大似然函数估计

    大数定律,伯努利大数定律,中心极限定理

    对于上面的相关的内容大多数都已经总结了文档,放在自己的群文件共享中,后面在写机器学习算法的时候,会提到相关的数学内容,如果大家需要就留下QQ邮箱,看到我会发给大家的。

    展开全文
  • 那么你需要这样一本帮你解决学习机器学习数学问题的书,首选《机器学习数学》,本书覆盖了人工智能领域中与机器学习相关的数学知识体系,不仅囊括了微积分和线性代数等基本数学原理,还详细讲解了概率论、信息论...

     

    如何解决机器学习领域的数学问题,打下坚实的数学基础?是很多初学者乃至进阶者关心的话题。我们把这个问题拆解成下面几个问题:

    1. 为什么需要数学?

    2. 机器学习中究竟用到了哪些数学知识?

    3. 如何掌握这些数学知识?

     

    那么你需要这样一本帮你解决学习机器学习的数学问题的书,首选《机器学习的数学》,本书覆盖了人工智能领域中与机器学习相关的数学知识体系,不仅囊括了微积分和线性代数等基本数学原理,还详细讲解了概率论、信息论、最优化方法等诸多内容,这些知识是机器学习中的目标函数构造、模型优化以及各种机器学习算法的核心和基础。

    本书希望通过对数学知识的讲解帮助读者深刻理解算法背后的机理,并厘清各种算法之间的内在联系。 本书重视理论与实践相结合,在讲解数学知识的同时也对其在机器学习领域的实际应用进行了举例说明,方便读者更具象化地理解抽象的数学理论,同时对机器学习算法有更深刻的认识。 本书语言精练,条理清晰,内容翔实全面,公式推导严格周密,将理论与工程实践相结合, 展示了机器学习方法背后的数学原理,是集专业性与通俗性为一体的上乘之作。通过本书,初学 者可以奠定扎实的数学基础,从而为后续掌握机器学习的具体技术和应用铺平道路。从业者也可 以利用本书强化巩固基础知识,从技术背后的数学本质出发来解决工程问题。

     

    《机器学习的数学》

    第1章介绍一元函数微积分的核心知识,包括有关基础知识、一元函数微分学、一元函数积分学,以及常微分议程,它们是理解后面各章的基础。

    第2章介绍线性代数与矩阵论的核心知识,包括向量与矩阵、行列式、线性方程组、矩阵的特征值与特征向量、二次型,以及矩阵分解,它们是学习多元函数微积分、最优化方法、概率论,以及图论等知识的基础。

    第3章介绍多元函数微积分、包括多元函数微分、多元函数积分,以及无穷级数。

    第4章介绍最优化方法,侧重于连续化优问题,包括各种数值优化算法、凸优化问题、带约束的约化问题、多目标优化问题、变分法,以及目标函数的构造,它们在机器学习中处于核心地位。

    第5章介绍概率论的核心知识,包括随机事件与概率、随机变量与概率分布、极限定理、参数估计问题、在机器学习中常用的随机算法。以及采样算法。用概率论的观点对机器学习问题进行建模是一类重要的方法。

    第6章介绍信息论的知识,包括熵、交叉熵、KL散度等,它们被广泛用于构造目标函数,对机器学习算法进行理论分析。

    第7章介绍随机过程,包括马尔可夫过程与高斯过程,以及马尔可夫链采样算法。高斯过程回归是贝叶斯优化的基础。

    第8章介绍图论的核心知识,包括基本概念。机器学习中使用的各种典型的图、图的重要算法,以及谱图理论。它们于流于学习、谱聚类、概率图模型、图神经网络等机器学习算法。

    专业评论

    从机器学习的角度讲述数学,从数学的角度讲述机器学习。语言精炼,知识点密集,学习路线清晰,是一本帮助掌握数学知识和理解机器学习算法原理的好书,可以满足不同层次读者的需求。——知名Python讲师,16本Python 系列图书作者 董付国


    数学是很多读者学习机器学习、深度学习、强化学习感到困难的最主要原因之一,只有掌握了所需的数学知识,才能理解机器学习算法的原理。本书清晰地讲述了这些数学知识的原理,精准地覆盖了所需的数学知识。是一本帮助这一领域读者奠定基础的力作。——Yi+AI联合创始人兼CTO,前阿里巴巴和百度IDL深度学习算法专家 刘彬


    掌握数学知识是学好机器学习的前提,如何精确而系统地掌握机器学习所需的数学知识,是很多读者关注的问题。本书为此问题提供了一个很好的解决方案。全书用浅显易懂的语言讲述微积分、线性代数与矩阵论、最优化方法、概率论、信息论、随机过程、图论等核心的数学知识,并介绍了它们在机器学习领域的应用,做到了理论与应用的无缝衔接。推荐机器学习领域和广大数学爱好者阅读。——前优酷首席科学家,谷歌机器学习开发者专家 李卓桓

    目录

    第1 章一元函数微积分1

    1.1 极限与连续 1

    1.1.1 可数集与不可数集 1

    1.1.2 数列的极限 3

    1.1.3 函数的极限 7

    1.1.4 函数的连续性与间断点 9

    1.1.5 上确界与下确界 11

    1.1.6 李普希茨连续性 12

    1.1.7 无穷小量 13

    1.2 导数与微分 14

    1.2.1 一阶导数 14

    1.2.2 机器学习中的常用函数 20

    1.2.3 高阶导数 22

    1.2.4 微分 24

    1.2.5 导数与函数的单调性 25

    1.2.6 极值判别法则 26

    1.2.7 导数与函数的凹凸性 28

    1.3 微分中值定理 29

    1.3.1 罗尔中值定理 29

    1.3.2 拉格朗日中值定理 29

    1.3.3 柯西中值定理 31

    1.4 泰勒公式 31

    1.5 不定积分 33

    1.5.1 不定积分的定义与性质 33

    1.5.2 换元积分法 35

    1.5.3 分部积分法 36

    1.6 定积分 37

    1.6.1 定积分的定义与性质 38

    1.6.2 牛顿-莱布尼茨公式 39

    1.6.3 定积分的计算 40

    1.6.4 变上限积分 41

    1.6.5 定积分的应用 42

    1.6.6 广义积分 44

    1.7 常微分方程 45

    1.7.1 基本概念 45

    1.7.2 一阶线性微分方程 46

    第2 章线性代数与矩阵论49

    2.1 向量及其运算 49

    2.1.1 基本概念 49

    2.1.2 基本运算 51

    2.1.3 向量的范数 53

    2.1.4 解析几何 55

    2.1.5 线性相关性 57

    2.1.6 向量空间 58

    2.1.7 应用——线性回归 61

    2.1.8 应用——线性分类器与支持

    向量机 62

    2.2 矩阵及其运算 65

    2.2.1 基本概念 65

    2.2.2 基本运算 67

    2.2.3 逆矩阵 72

    2.2.4 矩阵的范数 78

    2.2.5 应用——人工神经网络 78

    2.2.6 线性变换 81

    2.3 行列式 82

    2.3.1 行列式的定义与性质 83

    2.3.2 计算方法 91

    2.4 线性方程组 92

    2.4.1 高斯消元法 92

    2.4.2 齐次方程组 93

    2.4.3 非齐次方程组 95

    2.5 特征值与特征向量 97

    2.5.1 特征值与特征向量 97

    2.5.2 相似变换 105

    2.5.3 正交变换 106

    2.5.4 QR 算法 110

    2.5.5 广义特征值 112

    2.5.6 瑞利商 112

    2.5.7 谱范数与特征值的关系 114

    2.5.8 条件数 114

    2.5.9 应用——谱归一化与谱正则化 115

    2.6 二次型 116

    2.6.1 基本概念 116

    2.6.2 正定二次型与正定矩阵 116

    2.6.3 标准型 119

    2.7 矩阵分解 121

    2.7.1 楚列斯基分解 121

    2.7.2 QR 分解 123

    2.7.3 特征值分解 127

    2.7.4 奇异值分解 128

    第3 章多元函数微积分133

    3.1 偏导数 133

    3.1.1 一阶偏导数 133

    3.1.2 高阶偏导数 134

    3.1.3 全微分 136

    3.1.4 链式法则 136

    3.2 梯度与方向导数 138

    3.2.1 梯度 138

    3.2.2 方向导数 139

    3.2.3 应用——边缘检测与HOG

    特征 139

    3.3 黑塞矩阵 140

    3.3.1 黑塞矩阵的定义与性质 141

    3.3.2 凹凸性 141

    3.3.3 极值判别法则 143

    3.3.4 应用——最小二乘法 145

    3.4 雅可比矩阵 146

    3.4.1 雅可比矩阵的定义和性质 146

    3.4.2 链式法则的矩阵形式 148

    3.5 向量与矩阵求导 150

    3.5.1 常用求导公式 150

    3.5.2 应用——反向传播算法 154

    3.6 微分算法 156

    3.6.1 符号微分 156

    3.6.2 数值微分 157

    3.6.3 自动微分 158

    3.7 泰勒公式 159

    3.8 多重积分 161

    3.8.1 二重积分 161

    3.8.2 三重积分 164

    3.8.3 n 重积分 167

    3.9 无穷级数 170

    3.9.1 常数项级数 170

    3.9.2 函数项级数 173

    第4 章最优化方法176

    4.1 基本概念 176

    4.1.1 问题定义 177

    4.1.2 迭代法的基本思想 179

    4.2 一阶优化算法 180

    4.2.1 梯度下降法 180

    4.2.2 最速下降法 183

    4.2.3 梯度下降法的改进 184

    4.2.4 随机梯度下降法 186

    4.2.5 应用——人工神经网络 187

    4.3 二阶优化算法 188

    4.3.1 牛顿法 188

    4.3.2 拟牛顿法 189

    4.4 分治法 193

    4.4.1 坐标下降法 193

    4.4.2 SMO 算法 194

    4.4.3 分阶段优化 195

    4.4.4 应用——logistic 回归 196

    4.5 凸优化问题 198

    4.5.1 数值优化算法面临的问题 198

    4.5.2 凸集 199

    4.5.3 凸优化问题及其性质 200

    4.5.4 机器学习中的凸优化问题 201

    4.6 带约束的优化问题 202

    4.6.1 拉格朗日乘数法 202

    4.6.2 应用——线性判别分析 204

    4.6.3 拉格朗日对偶 205

    4.6.4 KKT 条件 208

    4.6.5 应用——支持向量机 209

    4.7 多目标优化问题 213

    4.7.1 基本概念 213

    4.7.2 求解算法 215

    4.7.3 应用——多目标神经结构搜

    索 215

    4.8 泛函极值与变分法 216

    4.8.1 泛函与变分 217

    4.8.2 欧拉—拉格朗日方程 218

    4.8.3 应用——证明两点之间直线

    最短 220

    4.9 目标函数的构造 221

    4.9.1 有监督学习 221

    4.9.2 无监督学习 224

    4.9.3 强化学习 225

    第5 章概率论228

    5.1 随机事件与概率 229

    5.1.1 随机事件概率 229

    5.1.2 条件概率 233

    5.1.3 全概率公式 234

    5.1.4 贝叶斯公式 235

    5.1.5 条件独立 236

    5.2 随机变量 236

    5.2.1 离散型随机变量 236

    5.2.2 连续型随机变量 237

    5.2.3 数学期望 240

    5.2.4 方差与标准差 242

    5.2.5 Jensen 不等式 243

    5.3 常用概率分布 244

    5.3.1 均匀分布 244

    5.3.2 伯努利分布 246

    5.3.3 二项分布 247

    5.3.4 多项分布 248

    5.3.5 几何分布 249

    5.3.6 正态分布 250

    5.3.7 t 分布 252

    5.3.8 应用——颜色直方图 253

    5.3.9 应用——贝叶斯分类器 254

    5.4 分布变换 254

    5.4.1 随机变量函数 254

    5.4.2 逆变换采样算法 256

    5.5 随机向量 258

    5.5.1 离散型随机向量 258

    5.5.2 连续型随机向量 260

    5.5.3 数学期望 261

    5.5.4 协方差 262

    5.5.5 常用概率分布 265

    5.5.6 分布变换 268

    5.5.7 应用——高斯混合模型 269

    5.6 极限定理 271

    5.6.1 切比雪夫不等式 271

    5.6.2 大数定律 271

    5.6.3 中心极限定理 273

    5.7 参数估计 273

    5.7.1 最大似然估计 274

    5.7.2 最大后验概率估计 276

    5.7.3 贝叶斯估计 278

    5.7.4 核密度估计 278

    5.7.5 应用——logistic 回归 280

    5.7.6 应用——EM 算法 282

    5.7.7 应用——Mean Shift 算法 286

    5.8 随机算法 288

    5.8.1 基本随机数生成算法 288

    5.8.2 遗传算法 290

    5.8.3 蒙特卡洛算法 293

    5.9 采样算法 295

    5.9.1 拒绝采样 296

    5.9.2 重要性采样 297

    第6 章信息论298

    6.1 熵与联合熵 298

    6.1.1 信息量与熵 298

    6.1.2 熵的性质 300

    6.1.3 应用——决策树 302

    6.1.4 联合熵 303

    6.2 交叉熵 305

    6.2.1 交叉熵的定义 306

    6.2.2 交叉熵的性质 306

    6.2.3 应用——softmax 回归 307

    6.3 Kullback-Leibler 散度 309

    6.3.1 KL 散度的定义 309

    6.3.2 KL 散度的性质 311

    6.3.3 与交叉熵的关系 312

    6.3.4 应用——流形降维 312

    6.3.5 应用——变分推断 313

    6.4 Jensen-Shannon 散度 316

    6.4.1 JS 散度的定义 316

    6.4.2 JS 散度的性质 316

    6.4.3 应用——生成对抗网络 317

    6.5 互信息 320

    6.5.1 互信息的定义 320

    6.5.2 互信息的性质 321

    6.5.3 与熵的关系 322

    6.5.4 应用——特征选择 323

    6.6 条件熵 324

    6.6.1 条件熵定义 324

    6.6.2 条件熵的性质 325

    6.6.3 与熵以及互信息的关系 325

    6.7 总结 326

    第7 章随机过程328

    7.1 马尔可夫过程 328

    7.1.1 马尔可夫性 329

    7.1.2 马尔可夫链的基本概念 330

    7.1.3 状态的性质与分类 333

    7.1.4 平稳分布与极限分布 337

    7.1.5 细致平衡条件 342

    7.1.6 应用——隐马尔可夫模型 343

    7.1.7 应用——强化学习 345

    7.2 马尔可夫链采样算法 348

    7.2.1 基本马尔可夫链采样 349

    7.2.2 MCMC 采样算法 349

    7.2.3 Metropolis-Hastings 算法 351

    7.2.4 Gibbs 算法 353

    7.3 高斯过程 355

    7.3.1 高斯过程性质 355

    7.3.2 高斯过程回归 355

    7.3.3 应用——贝叶斯优化 358

    第8 章图论363

    8.1 图的基本概念 363

    8.1.1 基本概念 363

    8.1.2 应用——计算图与自动微分 365

    8.1.3 应用——概率图模型 370

    8.1.4 邻接矩阵与加权度矩阵 371

    8.1.5 应用——样本集的相似度图 372

    8.2 若干特殊的图 373

    8.2.1 联通图 373

    8.2.2 二部图 374

    8.2.3 应用——受限玻尔兹曼机 374

    8.2.4 有向无环图 376

    8.2.5 应用——神经结构搜索 376

    8.3 重要的算法 380

    8.3.1 遍历算法 380

    8.3.2 最短路径算法 381

    8.3.3 拓扑排序算法 382

    8.4 谱图理论 384

    8.4.1 拉普拉斯矩阵 385

    8.4.2 归一化拉普拉斯矩阵 388

    8.4.3 应用——流形降维 390

    机器学习的数学

     

    雷明 著

    本书的目标是帮助读者全面、系统地学习机器学习所必须的数学知识。全书由8章组成,力求精准、最小地覆盖机器学习的数学知识。包括微积分,线性代数与矩阵论,最优化方法,概率论,信息论,随机过程,以及图论。本书从机器学习的角度讲授这些数学知识,对它们在该领域的应用举例说明,使读者对某些抽象的数学知识和理论的实际应用有直观、具体的认识。 本书内容紧凑,结构清晰,深入浅出,讲解详细。可用作计算机、人工智能、电子工程、自动化、数学等相关专业的教材与教学参考书。对人工智能领域的工程技术人员与产品研发人员,本书也有很强的参考价值。对于广大数学与应用的数学爱好者,本书亦为适合自学的读本。

    展开全文
  • 然而,机器学习(包括深度学习与强化学习)对数学有较高的要求。不少数学知识(如最优化方法、矩阵论、信息论、随机过程、图论)超出了理工科本科和研究生的学习范畴。即使对于理工科学生学习过的微积分、线性代数与...

    自2012年以来,随着深度学习与强化学习的兴起,机器学习与人工智能成为科技领域热门的话题。越来越多的在校生与在职人员开始学习这些知识。然而,机器学习(包括深度学习与强化学习)对数学有较高的要求。不少数学知识(如最优化方法、矩阵论、信息论、随机过程、图论)超出了理工科本科和研究生的学习范畴。即使对于理工科学生学习过的微积分、线性代数与概率论,机器学习中所用到的不少知识超出了本科的教学范畴。看到书或论文中的公式和理论而不知其意,是很多读者面临的一大难题。

    如果你想学好机器学习并打下坚实的数学基础,那么这本《机器学习的数学》再适合不过。

    《机器学习的数学》

    想学习机器学习,数学的问题怎么解决?需要具备哪些数学知识?

     

    • 人工智能深度学习领域经典教程,AI程序员的数学参考书
    • 透彻理解机器学习算法,从数学层面搞懂核心算法原理的逻辑
    • python程序讲解,众多专家学者力荐

    全书共由8章组成,用非常小的篇幅精准而系统地覆盖了机器学习、深度学习、强化学习所必需的数学知识,内容基本上涵盖了这3门课所需的绝大部分数学知识。针对理工科本科阶段的“高等数学/微积分”,“线性代数”,“概率论与数理统计”进行了精确地补充。下面介绍每一章的主要内容。

    第1章 一元函数微积分
    这一章的内容包括极限与连续性,一元函数的导数与微分,微分中值定理,泰勒公式,不定积分,定积分及其应用,以及常微分方程。这一章讲述了可数集与不可数集,上确界与下确界,李普希茨连续性这些常规微积分课程所没有讲述的知识。它们对于理解后续章节以及对机器学习算法的理论分析是至关重要的。作为应用,还对机器学习中常用的logistic函数、ReLU函数等函数的特性与用途进行了介绍。

    第2章 线性代数与矩阵论
    这一章的内容向量及其运算,矩阵及其运算,行列式,线性方程组,特征值与特征向量,二次型,矩阵分解。特别地,本章讲述了向量的范数、向量的阿达玛积,矩阵的范数,Houserholder变换、QR算法、广义特征值、瑞利商、条件数等特征值相关的内容,以及矩阵分解。作为机器学习中的应用实例,本章讲述了线性回归,线性分类器与支持向量机,人工神经网络,谱归一化与谱正则化的原理。

    第3章 多元函数微积分
    这一章的内容包括偏导数,方向导数与梯度,Hessian矩阵,雅克比矩阵,向量与矩阵求导,微分算法,多元函数泰勒公式,多重积分,以及无穷级数。其中,Hessian矩阵、雅克比矩阵、多元函数泰勒公式是本科微积分课程通常没有讲述的。它们对于多元函数极值、凹凸性,以及机器学习算法的推导分析是非常重要的,也是理解最优化方法的基础。微分算法在机器学习算法中非常重要,而绝大多数读者在之前的数学课程中并没有接触过。这一章还讲述了最小二乘法、反向传播算法这些应用实例。

    第4章 最优化方法
    最优化方法在机器学习中处于核心地位,几乎所有机器学习算法最终都归结于求解最优化问题,遗憾的是绝大部分读者之前并没有学习这些课程。这一章系统地介绍了机器学习中的最优化方法,包括基本概念,一阶优化算法(包括梯度下降法,最速下降法,梯度下降法的改进,随机梯度下降法),二阶优化算法(包括牛顿法,拟牛顿法),分治法,凸优化问题,带约束的优化算法(包括拉格朗日乘数法,拉格朗日对偶,KKT条件),多目标优化问题,泛函极值与变分法,以及机器学习中的目标函数构造(包括有监督学习,无监督学习,强化学习)。作为应用实例,讲解了人工神经网络的训练算法,支持向量机的SVM算法,求解logistic回归对偶问题的坐标下降法,机器学习中的典型凸优化问题,线性判别分析,支持向量机原问题与对偶问题的推导以及特性,多目标神经结构搜索。下面这张图是本章的知识结构。

    想学习机器学习,数学的问题怎么解决?需要具备哪些数学知识?

     


    下面这张图列出了机器学习中所用到的最优化方法以及其所用的数学知识。这两张图对于理解机器学习中的优化问题是非常有用的。

    想学习机器学习,数学的问题怎么解决?需要具备哪些数学知识?

     

    第5章 概率论
    概率论对于机器学习来说同样至关重要,用概率论的观点对机器学习问题进行建模,是一种常用的手段。这一章讲述了随机事件与概率,随机变量与概率分布,机器学习中的常用概率分布,概率分布变换,随机向量与联合概率分布,极限定理,参数估计问题,随机算法,以及采样算法。下面这张图是本章的知识结构。

    想学习机器学习,数学的问题怎么解决?需要具备哪些数学知识?

     

    需要重点强调的是,机器学习所用的概率论知识,有不少超出了一般本科概率论课程的范围。典型的包括条件独立性,Jensen不等式,多项分布,t分布,概率分布变换,多元正态分布,最大后验概率估计,贝叶斯估计,核密度估计,随机数生成问题,遗传算法,蒙特卡洛算法,以及采样算法。这一章对这些知识进行了系统的补充。另外还讲解了贝叶斯分类器,高斯混合模型,logistic回归,EM算法,Mean Shift算法等机器学习算法。下图总计了机器学习中的概率模型以及所用的概率论知识。

    想学习机器学习,数学的问题怎么解决?需要具备哪些数学知识?

     


    第6章 信息论
    信息论是绝大部分读者在本科、研究生期间没有学过的课程,而交叉熵、KL散度等频繁的出现在机器学习、深度学习的书籍与论文中。这一章从机器学习的角度讲述信息论的知识,内容包括熵与联合熵,交叉熵,KL散度,JS散度,互信息,以及条件熵。下图对这些常用的信息论概念进行了总结。

    想学习机器学习,数学的问题怎么解决?需要具备哪些数学知识?

     

    作为应用,本章还讲述了决策树的训练算法,softmax回归,流形降维(SNE算法),变分推断,生成对抗网络,特征选择等机器算法与技术。

    第7章 随机过程
    随机过程对于绝大部分读者也是陌生的,而高斯过程、马尔可夫过程等知识在机器学习中被广泛应用。这一章系统地介绍了机器学习里常用的随机过程,包括马尔可夫过程与高斯过程。对于在机器学习中的应用,重点讲述了隐马尔可夫模型,强化学习中的马尔可夫决策过程,马尔可夫链采样算法(MCMC),高斯过程回归,以及贝叶斯优化。随机过程较为抽象,本章力求用机器学习的实际应用来直观地解释这些数学概念。

    第8章 图论
    除计算机、软件工程等专业之外,绝大部分读者并没有学习过图论的知识,但图论对于机器学习的作用丝毫不逊色于对整个计算机科学的作用。流形降维,谱聚类,图神经网络中都离不开它的身影。这一章讲述了机器学习中最常用的图论知识,包括基本概念,一些特殊的图,重要的图算法,以及谱图理论。作为应用,讲述了计算图与自动微分,概率图模型,流形降维与谱聚类中所用的样本集的相似度图,受限玻尔兹曼机,神经结构搜索(NAS),以及流形降维(拉普拉斯特征映射)。

    为何要选择《机器学习的数学》这本书?

    1.用尽可能小的篇幅精准地覆盖了机器学习所需的数学知识

    对于机器学习究竟需要哪些数学知识,本书给出了一个非常精确的答案。力求用最小的篇幅覆盖机器学习领域所需的主要数学知识,以减轻读者的学习负担。只需把本书系统地学习一遍,即可满足几乎绝大部分读者在机器学习、深度学习、强化学习以及它们的各个应用方向做学术、产品研发的要求。

    2.从机器学习的角度讲述数学,从数学的角度讲述机器学习

    本书的一大特色是从机器学习的角度讲述数学,从数学的角度讲授机器学习,实现了二者的无缝衔接。读者之前在学数学课的时候通常面临一个问题:这些数学知识有什么用,应该怎么用?本书通过大量的机器学习实例讲解,在数学与机器学习之间架起了桥梁。既有利于理解数学知识本身,又能培养数学建模思维,同时还理解机器学习算法的数学本质,可谓一举多得。

    3.结构合理,脉络清晰

    对于全书的内容安排以及章节结构,作者有细致的考量。得利于扎实的数学功底以及机器学习领域的造诣。作者非常清晰的知道应该讲述哪些数学知识,以及它们之间的顺序、衔接安排。在更细的粒度上,对于数学、机器学习算法之间的联系与演化脉络,作者也进行了大量的总结。下面是对各种梯度下降法演化关系的总结。

    想学习机器学习,数学的问题怎么解决?需要具备哪些数学知识?

     

    4.讲解透彻,深入浅出

    数学本身是抽象难懂的,如何把一些概念、理论清晰的讲述出来,是一个非常有挑战的问题。在这一方面,作者也进行了大量的思考与设计,力求用浅显易懂的语言把晦涩的知识讲述清楚。下面是对Householder变换的讲解。

    想学习机器学习,数学的问题怎么解决?需要具备哪些数学知识?

     

    5.推导、证明详细

    对于绝大部分数学知识和机器学习算法的推导,我们都在篇幅允许的范围内做到尽可能的详细,不给读者留下知识的空白。有不少推导和证明过程,以及解释,是读者进行构思的,市面上不曾有过。

    关于作者

    雷明 资深机器学习、机器视觉专家。2009年毕业于清华大学计算机系,研究方向为机器视觉、机器学习,曾发表论文数篇。《机器学习-原理、算法与应用》(清华大学出版社,2019.09)作者,该书为清华大学出版社2019年度畅销书,销量超过2万册。曾就职于百度,任高级软件工程师、项目经理;zmodo/meShare公司CTO、平台研发中心负责人。2018年创立SIGAI,致力于研发零编程、可视化的机器视觉框架,用标准化的算法赋能各个行业,已于2020年6月完成pre-A轮融资。

    展开全文
  • 机器学习学习中,数学最重要!

    千次阅读 2018-10-10 13:33:40
    机器学习学习中,数学最重要!   https://mp.weixin.qq.com/s/VnTeccReWUiuFA1Z5H6L6A   01.机器学习工程师的边界是什么?   大多数的事物都是有边界的。那机器学习的边界又是什么呢? 对,就是数学。...

    机器学习学习中,数学最重要!

     

    https://mp.weixin.qq.com/s/VnTeccReWUiuFA1Z5H6L6A

     

    01.机器学习工程师的边界是什么?

     

    大多数的事物都是有边界的。那机器学习的边界又是什么呢?

    对,就是数学。掌握了数学这个机器学习的底层基础,不仅可以加深对算法的理解,还能在模型优化阶段更加游刃有余。

     

     

    02.如何打破边界?

    希望以下的内容能给你参考思路。

     

       机器学习中的数学基础

    方法建议:将实际意义与兴趣赋予看似枯燥的学习之后,尽量死磕最少必要知识。

     

     

    上图是个使用逻辑回归判断一个男生是否是一位合适的女婿的例子。

     

    其中,Y=w1*身高+w2*品德+w3*财富+w4*颜值+w5*就可以表达为多项式Y=w1*x1+w2*x2+w3*x3+w4*x4+w5*5,通过Sigmoid函数后,转化为该男生可能成为优秀女婿的概率问题。

     

    这里会涉及sigmoid函数、求导算法、梯度下降、正则项控制过拟合等数学知识。遇到问题解决问题,死磕关键点,才不会钻入牛角尖,陷入数学知识的汪洋大海中孤立无援。

     

    •   机器学习中的线性代数

    方法建议:尽量将线性代数与现实意义结合起来

     

    对于线性代数,理解它与机器学习的关键在于:理解线性代数与现实世界的巧妙的耦合。

     

     

    上图中的x,y可以分别代表观察事物的2个维度。

     

    x,y各自有大量的线性组合,意味着事物的2个维度有大量不同的看法,

     

    将这些看法用机器来进行计算、归纳、演绎,并组合大量个别的看法,抽离出符合大多数的平衡点,从而得出普遍适用的结论。这不就是一件奇妙的巧妙而耦合的事件嘛~

     

    •   机器学习中的概率统计

    方法建议:尽量将看似无味的概率统计知识与感兴趣的话题结合起来理解

     

    隐马尔科夫(HMM)算法是机器学习中的一个概率图模型,也是很多算法岗位面试中的考察难点。来自知乎的王蒟蒻,就用一个游戏的场景清楚的解释了隐马尔科夫(HMM)算法的原理。

    https://www.zhihu.com/question/20962240/answer/33614574(链接)

     

    我是一战士,修炼出了三种战斗形态,分别为暴怒态,正常状态和防御态。同时我也会三个被动技能,分别是普通平A,爆击(攻击伤害翻倍),吸血(生命汲取)。


    我在暴怒状态下打出暴击的概率是80%,打出吸血概率为5%;
    在平衡形态下,打出暴击的比率为30%,打出吸血的概率是20%;
    在防御形态下,暴击成功概率为5%,吸血概率为60%。


    总结一下,战士在不同状态下能打出技能的概率不一样。

     

    本来,战士这个职业在暴怒态时,身边会有一圈红光环;防御态时,会有一圈蓝光环。但是,现在我正在玩游戏,游戏突然出了个bug:有个傻x程序员改了游戏的代码,他给写崩了,从此战士身边光环都看不见了。那我没法通过看脚下的光环知道战士在爆什么状态了。

     

    话说,现在问题来了:由于看不到脚下光环,我只能估计“战士”在爆什么状态;但我现在打一boss,砍10次,发现8次都是暴击,血哗哗地翻倍在掉,你觉得我这战士最可能是爆了什么状态?

     

    所以,通过自己感兴趣的话题来理解深奥的概率问题,就轻松很多了。

     

     

    03.打破边界的误区

     

    也许你早已意识到高等数学、线性代数、概率统计对做机器学习的重要性,也在积极补课中,于是一头扎进大学的教材中。但埋头死磕了好多次,每次都半途而费,学了很多,学到的很少。

     

    因为教材始终更偏向理论。优点是每一步都可靠,逻辑严谨;但缺点就是很难理解。

     

    古语有云:“独学而无友则孤陋而寡闻”,多人学习,协作学习能较快认识到打破机器学习边界的误区,尽可能的使用合适的学习方法。 

     

    展开全文
  • 机器学习中的数学基础怎么

    万次阅读 多人点赞 2018-07-21 10:35:51
    首先给出小编的态度:机器学习中涉及的数学课程比较多,要想一下子去穷尽所有课程显然也不现实,大可不必打好所有的数学基础再去学机器学习,最好的做法是当你对机器学习本身的理解达到一定瓶颈的时候,你可以补一补...
  • 在过去的几个月里,我一直和一些人交流,他们已经开始切入数据科学领域并积极使用机器学习(ML)技术来探索统计规律、或构建完善的数据驱动产品。然而,我发现很多情况下统计分析结果不尽人意的原因是是缺乏必要的...
  • 列出机器学习需要数学知识,对入门机器学习者指点方向,快速找到需要学习的数学知识。
  • 我们专业在学机器学习这门课程,因为还没有概率学机器学习爱论,老师给我们找的关于学机器学习的相关数学知识点的总结,适合初学者以及想学机器学习的小伙伴,放在cdsn里面以防以后找不到可以直接来平台看。
  • 简单总结:机器学习涉及的数学知识有线性代数,概率论和统计学,多变量微积分,算法和复杂优化,以及其他等。原文:...
  • 近期因工作需要,开始学习机器学习。学习心得体会,定期更新梳理出来,首次接触,可能有理解和解释不到位的地方,望批评指正,也算是自我提升。提到机器学习,楼主第一反应是各种复杂的公式,各种搞不定的矩阵计算、...
  • 1. 不要从头开始学数学如果不是一点数学都不会,你没有必要从零学起。用上个把月,把微积分、线性代数、以及概率统计复习一遍就够了。我自己因为没有学过高数,所以花了半年时间,甚至读了数学分析、泛函分析和测度...
  • 机器学习中的数学基础

    千次阅读 2017-08-14 14:38:37
    本文将讲述机器学习中所涉及的数学基础。
  • 机器学习中的数学修炼(含勘误表!)

    千次阅读 多人点赞 2016-06-06 15:59:59
    机器学习中的数学修炼——为你打开一道通往机器学习世界的数学之门:笔者系统地整理并介绍了机器学习中所涉及的必备数学基础,这些都是笔者从浩如烟海的数学知识中精心萃取的,在学习和研究机器学习技术时所必须的...
  • 放假在家想写写机器学习系列的文章,除夕前先来开个头,后面会一直写下去,搞机器学习算法也有... 机器学习中涉及到的数学知识    数学在计算机中的重要性不言而喻,这里也不多说了,先在这里罗列一下机器学习...
  • 机器学习背后的数学:希尔伯特空间

    万次阅读 多人点赞 2016-01-16 16:38:16
    核理论(Kernel)在机器学习中是非常重要的一个概念,例如在SVM中,借助Kernel可以使得那些本来线性不可分的数据集在新空间中变得线性可分,此外,还有Kernel PCA等。而在学习与Kernel有关的一些知识或阅读文献时,...
  • 可以加速学习过程的办法,这个办法是通过随机选择训练输入的少量样本,并只计算这些样本的∇Cx∇Cx的平均值来估算梯度 nablaC。通过计算这些少量样本的平均值,我们可以很快估算出梯度∇C∇C的真实值,从而加速梯度...
  • Python机器学习中的数学原理详解(补充勘误表)

    万次阅读 多人点赞 2015-12-09 15:42:53
    为了帮助读者加深理解并强化所,本书还从上述数学基础出发进一步介绍了回归、分类、聚类、流形学习、集成学习,以及概率图模型等机器学习领域中的重要话题。其间,本书将引领读者循序渐进地拆解各路算法的核心设计...
  • 机器学习数学基础知识(一)

    千次阅读 2018-10-03 10:43:59
    以前自己就对机器学习很感兴趣,做了一些了解和尝试性地学习,也看了一点经典的林轩田和吴恩达系列的视频,个人觉得再经典的机器学习视频也需要一个良好的数学基础来入门。  第一集的视频主要是系统介绍了机器学习...
  • 机器学习中的数学(全集)

    千次阅读 多人点赞 2020-07-15 23:30:01
    其中包含了大量非科班出身或者从其他行业切换赛道转行而来的朋友们,大家在学习的过程中发现学习曲线陡峭、难度较大,普遍的心声就是:机器学习难,首要就是数学知识需要的太多了! 大学数学,为什么还是不会用...
  • 机器学习数学知识回顾。
  • 机器学习算法背后的数学原理

    千次阅读 多人点赞 2020-09-06 09:29:04
    在本文中,我们将介绍一些机器学习算法的功能,以及在这些算法中实现的有助于它们学习的一些数学方程。 机器学习算法的类型 机器学习算法大致可以分为以下四类: **监督学习:**用于预测的目标是已知的情况。这些算法...
  • 如今大数据、机器学习与人工智能越来越受人追捧,那么步入这一领域需要有怎样的数学基础?下面笔者给大家一点建议。做机器学习需要有怎样的数学基础,笔者建议大家可以先直接看一些开源模块的理论的文档 ,或者一些...
  • 机器学习需要掌握的数学知识点---详细整理第一篇 线性代数篇第一章 排队!排队!什么是向量第二章 矩阵第三章 距离第二篇 概率偏由暗恋引发的思考机器学习中的概率研究贝叶斯问题第三篇 数学篇函数的基本概念第八章 ...
  • 机器学习需要数学基础知识—矩阵(1) 本系列文章为机器学习需要数学基础知识,在机器学习文章中如需要,会给出本系列文章的链接,如有问题欢迎给我留言。数学公式使用Letex编辑,原文博客...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 148,055
精华内容 59,222
关键字:

机器学习需要学的数学