• 本文是机器学习数学基础知识的第二集视频,主要内容是微积分选讲,共三部分知识点,与机器学习直接相关的是第二部分知识点微积分的两个机器学习算法——牛顿法和梯度下降法。 一 极限 极限的知识点是微分学...

    本文是机器学习与数学基础知识的第二集视频,主要内容是微积分选讲,共三部分知识点,与机器学习直接相关的是第二部分知识点微积分中的两个机器学习算法——牛顿法和梯度下降法。

    一 极限

    极限的知识点是微分学的基础,是导数定义的基础。

    1极限的通俗语言,数学记号,精确描述

    2无穷小的比较:比较趋于0的快慢,以“无穷小阶数”衡量

    3重要极限:第1和4个式子是大学高数课本上的,注意第2个和3个式子,指数函数,对数函数和冥函数的关系

    二 微分学:线性逼近

    微分学的知识点,重点关注其核心思想:线性逼近,即对于复杂的曲线,用“以直代曲”进行线性逼近,以便于研究。同时,第二部分的知识点,是本文的重点所在,而微分学的知识点,重点在于关注,如何表示和实现“线性逼近”。

    1一元函数的一阶导数的线性逼近

        如上图所示,导数的这种极限定义形式,我们都很熟悉;而其等价定义形式,我们很少关注,而这种等价定义形式即为线性逼近,将f(x)的值用f(x0)+L(x-x0)这种一次函数的直线形式逼近,o(x-x0)表示的是无穷小,即x趋近x0时,o(x-x0)等于0。

        对于n阶导数,可以用n-1阶导数进行线性逼近。

    2多元函数的微分

        如上图所示,二元函数表示的曲面,仿照一元函数的导数,可以用全微分(偏导数)进行线性逼近

    同理,仿照一元函数的n阶导数,同样可以用高阶偏导数进行线性逼近,如上图所示

    3泰勒级数:多项式逼近

    正如图中所标识的,泰勒级数是一元函数微分学的顶峰。说白了,微分学的知识点1其实就是泰勒级数的多项式逼近。小编本科阶段学习泰勒级数,只知道这个公式不好记,从没想到它有如此重要的作用和地位。下面是一些函数的泰勒级数公式,相信经历过本科阶段的同志会很熟悉。

    泰勒级数应用于与逼近相关的数学问题,下面举两个泰勒级数的例子。

    第一个例子是洛必达法则的推导,这里注意理解“大括号”部分是一阶泰勒级数的线性逼近;对于“圈住”的两部分,是为了大家更好的理解这步推导。

    第二个例子是微分方程的求解,(1)式为泰勒级数的定义,(2)是(1)式的二阶导数,这里需要注意,(2)写成这样的形式,是为了与(1)式中x的指数n一致,便于写出(3)式中系数之间的关系,求出泰勒级数的表达式,反推出(4)。

    4牛顿法(一元函数二次逼近)与梯度下降法(多元函数):代价函数的极小值

    首先,我们先有一个概念:机器学习中的很多问题,是优化问题,即转化为求解一个损失函数的极小值的问题;极小值分为局部的和全局的,在极小值处,对于一元函数,其一阶导数为0,而多元函数,其梯度为0(方向导数的最大值为0)。

    在这里,先看牛顿法,写出二阶泰勒级数,将无穷小除外的其余部分看作二次函数,利用二次函数的极值点,来估计f(x)的极值点;在这里,如下图所示,先假设出极值在初始值x0附近,然后第一次估计得出极值在x1附近,迭代估计得到极值在xn附近。牛顿法,得出的极值点会与初始值的选取有关,选取的好,收敛的也快;同时,牛顿法有其缺陷性,有可能二次函数对应的是开口向上,估计得到的是极大值。

    梯度下降法,针对多元函数(x是一个向量),是多元函数的一阶逼近,本质上,也就是全微分的一阶偏导数的线性逼近。将无穷小除外的其余部分看作一次函数,该函数说明了极小值的方向(这里我也不是很理解,视频中也并未把梯度下降法深入讲,只有这一张ppt,大家可以先有个印象,预计后面的视频中会讲到)

    5 小结

    微分学的知识点,概括而言,即对局部进行线性逼近;然后,分两方面,一元函数,用泰勒级数进行线性逼近,多元函数,用全微分进行线性逼近;牛顿法是泰勒级数线性逼近的应用,梯度下降法是全微分线性逼近的应用。

    三 Jensen不等式

    1凸函数定义的推广

    下面第一张图片为凸函数的定义,第二张图片为Jensen不等式:f[E(x)]<=E[f(x)],即凸函数定义的推广。

    2证明:数学归纳法

    (1)根据定义我们已经知道当 n = 2 的时候此结论成立,即凸函数的定义

    (2)假设当n=N时,结论成立,即:如下图(同时进行了必要的定义)

    (3)那么,当n=N+1时,有:


    本文时我的第二篇博客,欢迎大家留言,共同交流和学习。



    展开全文
  • 在过去的几个月里,我一直和一些人交流,他们已经开始切入数据科学领域并积极使用机器学习(ML)技术来探索统计规律、或构建完善的数据驱动产品。然而,我发现很多情况下统计分析结果不尽人意的原因是是缺乏必要的...
  • 机器学习中数学基础 2016-08-24 10:22:40
    数学基础在人工智能的重要性
  •  最近,朋友分享给我一套“七月在线”的机器学习视频,我几经思量之后,决定从视频量最少的数学基础部分开始看起,今天学习完了第一个视频,长达2小时,感觉老师讲的挺不错的。以前自己就对机器学习很感兴趣,做了...
  • 文章发布于公号【数智物语】(ID:decision_engine...【编者按】机器学习和数据科学离不开数学,本文从数学基础的角度入手,推荐了数据科学和机器学习方面的七本参考书以及两本补充读物。相信对打好数学基础的相关人...
  • 首先给出小编的态度:机器学习中涉及的数学课程比较多,要想一下子去穷尽所有课程显然也不现实,大可不必打好所有的数学基础再去学机器学习,最好的做法是当你对机器学习本身的理解达到一定瓶颈的时候,你可以补一补...
  • 机器学习数学基础.pdf 2020-07-08 09:51:50
    机器学习数学必备
  • 机器学习数学基础
  • 1. 前言本系列文章将总结一些机器学习中应用到的数学基础,想要学好机器学习,首先得去理解其中的数学意义,不一定要到能够轻松自如的推导中间的公式,不过至少要认识这些公式,不然一些相关的论文就看不懂,这个...
  • 机器学习学习数学最重要!   https://mp.weixin.qq.com/s/VnTeccReWUiuFA1Z5H6L6A   01.机器学习工程师的边界是什么?   大多数的事物都是有边界的。那机器学习的边界又是什么呢? 对,就是数学。...
  • 入门机器学习十分重要的三门数学课包括: 多元微积分, 线性代数, 概率统计. 机器学习&人工智能的高手必须懂数学,没有数学基础,只能做肤浅的事。姚老师使用 DeGroot<<概率统计>>作为讲解的...
  • 点击上方“Python与算法社区”,选择“星标”公众号编辑:zglgOPENNING1 机器学习中数学怎么学?做公众号期间,我和很多老铁探讨过,要想真正做到研究机器学习的...
  • 机器学习数学基础》由Marc Peter Deisenroth、A Aldo Faisal和Cheng Soon Ong撰写,共381页。这本书并没有涵盖前沿的机器学习...
  • 很多同学谈数学色变,但数学机器学习绕不开的基础知识。今天我们来谈谈这个话题:学好机器学习究竟需要哪些数学知识? 先看知乎上的回答: 大部分读者看到这样的答案之后内心是凄凉的。实变函数,拓扑学,泛函...
  • 本课程讲解机器学习及人工智能学习当中所需概率和统计推断。课程为CSDN学院人工智能课程打造,系统全面而又深入浅出的讲解了学习当中需要的各种基础数学知识,公式推导与理解等内容。概率部分包括概率公理及推论、...
  • 今天我们要讲的是我觉得整个学习体系最重要的一本书,由同济大学数学系编制的高等数学上册,这本书非常之经典,是很多大学大一的数学入门教材,也是学习机器学习必备的一本经典书籍。难度适中,知识点齐全,强烈...
  • 机器学习数学基础包含《机器学习之概率与统计推断》4节+《机器学习之矩阵》3节+《机器学习之凸优化》3节
  • 机器学习数学基础--矩阵 2018-12-12 17:40:50
    本课程讲解机器学习及人工智能学习当中所需矩阵计算相关知识。...本课程囊括了机器学习理论所需要的知识。 主要有矩阵的定义、性质、运算、分解以及应用。另外,还会讲解线性空间、范数、生成子空间相关知识。
  • 机器学习必知必会系列】高手必备数学教程-线性代数 机器学习&人工智能的高手必须懂数学,没有数学基础,只能做肤浅的事。姚老师,精选来自麻省理工可汗学院精品数学课程,呕心沥血15个日夜,5本手写...
1 2 3 4 5 ... 20
收藏数 82,994
精华内容 33,197