精华内容
下载资源
问答
  • 泰勒公式推导

    2020-03-24 18:17:15
  • 泰勒公式到梯度下降梯度下降法(Gradient descent)在机器学习领域是非常...本文不谈其他优化函数,我们谈谈如何从泰勒公式的角度推导出梯度下降法法。1、泰勒公式泰勒公式来源于泰勒中值定理,即:如果函数f(x)在含...
    1f34ea308464af5d84a0e4447540c792.png

    从泰勒公式到梯度下降

    梯度下降法(Gradient descent)在机器学习领域是非常常见的一种优化函数,尤其是在深度学习相关领域,就我们现在熟悉的Adam、Momentum、Adagrad等,均是以梯度下降法为基础发展而来,因此梯度下降法在算法领域的位置可见一斑。本文不谈其他优化函数,我们谈谈如何从泰勒公式的角度推导出梯度下降法法。

    1、泰勒公式

    泰勒公式来源于泰勒中值定理,即:如果函数f(x)在含有x_0的某个开区间内具有直到(n+1)阶的导数,则对任一x属于(a,b),有如下公式:

    f7d95edbcbdeb559303a53037ad7a318.png

    其中R_n(x)是一个高阶无穷小量,用以表示误差。

    0ace40fd59b9d919c8228d17cf12a0ce.png

    (其中ξ是介于x和x_0之间的某个值)时,此时的泰勒公式是拉格朗日(Lagrange)型余项,即满足拉格朗日中值定理:

    4c0a8d2edc1bb9f3ee63d3e89cd63aa6.png

    然而,由泰勒中值定理可知,R_n(x)是一个高阶无穷小量的误差表示,如果我们不需要精确表达f(x)时,R_n(x)可以表示为:

    90e7e3b1d8cfe691f402a71f80569f64.png

    此时的泰勒公式是佩亚诺(Peano)型余项。

    当然,泰勒公式还有很多余项表示方式,但是我们此处不再赘述,只需要了解到泰勒公式的推导以及对于余项的简化为高阶无穷小量即可。

    2、梯度下降法

    有了上述泰勒公式的基础,我们来看下梯度下降法。

    我们都知道在机器学习中,需要构造一个损失函数用以优化我们的模型,在构造损失函数时,我们通常将其构造成一个凸函数。此时我们只需要求解这个凸函数的全局最小值,即可找到我们模型的最优参数。

    097e031022fec9743c7eddffdf2c6500.png

    那么我们如果去找寻这个全局最小值呢,通常我们能直接想到的办法就是求偏导数,将偏导数置为0,直接计算偏导数方程组,得出参数值。但是在实际的损失函数中,大多可能存在多个极值点的问题,也就是说我们用求偏导数的方式求出的极值点有若干个,因为极值点不一定是最值点,因此我们可能无法判断哪个极值点使得损失函数最小,所以我们想到用迭代法去求解损失函数参数最小值。

    在了解到上述知识后,我们再返回来看一下泰勒公式,首先我们给出泰勒的一阶形式:

    8650be93b025196fe27b198ec4c5abdc.png

    我们用梯度代替一阶导函数,得:

    bd51e8f41fe06d1a5c6ec8ce192f95a2.png

    我们令

    aa8ae54d4ef2b42efb2477c2e37ae752.png

    ,则上述公式变为:

    39e87fadf975becfcec1917b6a7b341f.png

    我们设x_0+△为最小值点,则:

    9dcc3cd4a4a63dff0f229e1ec3481025.png

    为使

    0ea0a87675d9a89b5cbd10b7d7a0090b.png

    成立,我们要求

    b7d506d26b3bd014a3616c7377d1d006.png

    ,即我们保证了下式恒成立:

    4093c01fc1285a370649b979b4112425.png

    根据泰勒中值定理,上述推导成立的前提条件是我们的任一x属于(a,b),即需要在点x_0的邻域范围有定义,因此如果我们直接令

    197c8f0d13503d4ae6e4fce061e200b9.png

    时可能使得已经越过点x_0的邻域违反泰勒中值定理条件而无法基于泰勒公式的理论基础求解,因此我们令

    153e58ea341bd0568ba0fcd01eafe3b3.png

    ,其中α是步长,是一个较小值。这样我们可以通过α来保证泰勒中值定理的成立,于是,我们的求解变成了如下过程:

    fbfec8c9b05dc7c909c1a81ae8e956d2.png

    这样就可以用迭代的方式一步步逼近我们损失函数的最小值,而使得我们的模型能够求解了。

    另外,我们通常将模型的参数设置为θ,因此上述迭代公式修改为:

    92f4874e908621a457d08e4536dd1df5.png

    这就是我们所谓的梯度下降法了。

    参考文献:

    [1]同济大学数学系.高等数学[M].高等教育出版社:北京,2016:139.

    [2]wiki百科编辑.梯度下降法[EB/OL].https://zh.wikipedia.org/wiki/%E6%A2%AF%E5%BA%A6%E4%B8%8B%E9%99%8D%E6%B3%95,2020.

    [3]wiki百科编辑.泰勒展开[EB/OL].https://zh.wikipedia.org/wiki/%E6%B3%B0%E5%8B%92%E5%85%AC%E5%BC%8F,2020.

    如果你喜欢我的文章,欢迎关注我的微信公众号【软客圈】(ID:recoquan)

    纯手工打造,实属不易,欢迎大家分享和转发~

    原创内容,转载需注明出处,否则视为侵权并将被追诉!

    展开全文
  • 一、泰勒公式的作用:泰勒公式也称为泰勒展开式。是用函数在某点取值,描述该店附近区间的值大小的公式。如果函数足够平滑,在已知函数在该点各阶导数的情况下,泰勒公式利用一个多项式函数来近似函数,故而利用该...

    b1b1a6493d595fcd0ec0b78d5a6f17b1.png

    一、泰勒公式的作用:

    泰勒公式也称为泰勒展开式。是用函数在某点取值,描述该店附近区间的值大小的公式。如果函数足够平滑,在已知函数在该点各阶导数的情况下,泰勒公式利用一个多项式函数来近似函数,故而利用该多项式计算该点邻居域的函数值。

    (那么泰勒公式的作用是什么呢?)

    有些函数过于复杂对其频繁求导比较困难,这是便可以利用一个多项式去逼近该函数,使得多项式表示的图像与该函数表示的图像高度重合(拟合必定是从给定的一个点开始展开)。由于多项式是最简单的一类初等函数,多项式本身的运算仅是有限项加减法和乘法。

    二、函数逼近:

    泰勒公式的本质就是利用多项式函数去逼近目标函数。以函数

                                            56a168caa6c3b9dc88dfbe620ac5bd8a.png

    为例,说明函数逼近的过程。

    • 一次逼近

      利用微分近似计算公式

      7cd58dc4f94d4da4afc60338c11761ec.png

      d03c951a21f581fc68af1c443f4078f2.png

      2f99f90af3f36efbcc6a8542e84798f8.png

      线性逼近形式简单,计算方便,但是离逼近点越远近似度越差。

    • 二次逼近:

    f6a5ffc5b0dc604b90ca141896acfff8.png

    beb767798c751522630473f5186c807f.png

    二次逼近比线性逼近好的多,但范围有一定的局限。

    • 八次逼近:

      6bb98dc98473e7cea75c9b3db6bf3135.png

      三、Taylor公式推导:

    fdad6c3333941b3b9134e377411cca56.png

    9b87b86248721ab23e1c46794a57c236.png

    e50347d97df1e81821b86d55003b6813.png

    四、Taylor公式:

    a4a5b73f69f3027565b5b8c1d01b2997.png

    五、麦克劳林公式:

    fb1fe724868bbb7cf0073bc2f482a5f7.png

    原文参考链接:https://blog.csdn.net/qq_38646027/article/details/88014692?utm_medium=distribute.pc_relevant_t0.none-task-blog-BlogCommendFromMachineLearnPai2-1.edu_weight&depth_1-utm_source=distribute.pc_relevant_t0.none-task-blog-BlogCommendFromMachineLearnPai2-1.edu_weight

    展开全文
  • 比较通俗地讲解一下泰勒公式是什么。泰勒公式,也称泰勒展开式。是用一个函数在某点的信息,描述其附近取值的公式。如果函数足够平滑,在已知函数在某一点的各阶导数值的情况下,泰勒公式可以利用这些导数值来做系数...

    比较通俗地讲解一下泰勒公式是什么。

    泰勒公式,也称泰勒展开式。是用一个函数在某点的信息,描述其附近取值的公式。如果函数足够平滑,在已知函数在某一点的各阶导数值的情况下,泰勒公式可以利用这些导数值来做系数,构建一个多项式近似函数,求得在这一点的邻域中的值

    所以泰勒公式是做什么用的?

    简单来讲就是用一个多项式函数去逼近一个给定的函数(即尽量使多项式函数图像拟合给定的函数图像),注意,逼近的时候一定是从函数图像上的某个点展开。如果一个非常复杂函数,想求其某点的值,直接求无法实现,这时候可以使用泰勒公式去近似的求该值,这是泰勒公式的应用之一。泰勒公式在机器学习中主要应用于梯度迭代。

    ********************************************************************************************************************************

    ********************************************************************************************************************************

    1. 问题的提出

    多项式

    b90161bb151a209257316f7f8998aa9f.png

    是最简单的一类初等函数。关于多项式,由于它本身的运算仅是有限项加减法和乘法,所以在数值计算方面,多项式是人们乐于使用的工具。因此我们经常用多项式来近似表达函数。这也是为什么泰勒公式选择多项式函数去近似表达给定的函数。

    *******************************************************************************************************************************

    *******************************************************************************************************************************

    2. 近似计算举例

    705531f94bfb7f62bf93f7946c12b5d6.png

    79bdc143e920da7db90796476c5e64e1.png

    0180738209216dbe153cdd46c7340b78.png

    3. 泰勒公式的推导

    4bebe91e913fd2c2fb29e7b9f2486a54.png

    6aaa7ecfa782f5ddc728c2e3489fcd21.png

    4. 泰勒公式的定义

    1bd4a958de4362d5dc35995c88b59781.png

    5. 扩展 —— 麦克劳林公式

    d16a197580e0b80966eaf9da9d5bc302.png
    展开全文
  • 什么是泰勒公式?数学中,泰勒公式是一个用函数在某点的信息描述其附近取值的公式。如果函数足够平滑的话,在已知函数在某一点的各阶导数值的情况之下,泰勒公式可以用这些导数值做系数构建一个多项式来近似函数在这...
  • 洛必达法则与泰勒公式的总结应用由于是在word上编辑的文档,但在这个平台上发现很多符号不适用,无穷大符号变为了¥,趋近于的原本箭头符号变为了@序言:首先,我先对那些对数学迷茫,不知道洛必达和泰勒是什么的...
  • 泰勒想到了用仿造函数 g(x) 去逼近这个函数, 然后对 g(x) 求值即可. 1. 一个可以无限求导的函数g(x)用来仿造f(x):   g(x)=a0+a1x1+a2x2...+anxng(x) = a_0+a_1x^1+a_2x^2...+a_nx^ng(x)=a0​+a1​x1+a2​x2...+an...
  • 泰勒公式推导及多元泰勒展开式

    千次阅读 多人点赞 2018-08-30 10:06:52
    在数学中,泰勒公式是一个用函数在某点的信息描述其附近取值的公式。如果函数足够光滑的话,在已知函数在某一点的各阶导数值的情况之下,泰勒公式可以用这些导数值做系数构建一个多项式来近似函数在这一点的邻域中的...
  • 公式推导 本篇文章最大的贡献是,对于上面的形式化优化目标,进行了一步简单的近似(公式(5)(6)): 这种“一步优化”的骚操作,我在Nesterov,MAML等方法中都见过,所以作者做这一近似也可说是合情合理。...
  • 其实,在写这篇文章的时候,由于...S1:函数极限存在情况讨论根据S2的分析,我们知道函数极限在排除有界变量等特殊情况之下,可通过使用泰勒公式分别将分子分母等价位一个x的幂次项(最低幂次),从而化为式 1.极限...
  • 今天的文章我们来讨论大名鼎鼎的泰勒公式泰勒公式真的非常有名,我相信上过高数课的一定都记得它的大名。即使你翘掉了所有的课,也一定会在考前重点里见过。我对它的第一映像就是比较难,而且感觉没有太多意思,...
  • 1.什么是泰勒公式 百度百科中的解释 泰勒公式,应用于数学、物理领域,是一个用函数在某点的信息描述其附近取值的公式。如果函数足够平滑的话,在已知函数在某一点的各阶导数值的情况之下,泰勒公式可以用这些导...
  • 1. 有限差分 Taylor Table这是在数值微分中常用的技巧。可以用等距网格中给定几个点的线性组合表示某一点处的微分,乃至高阶微分,并...现在问题来了:有时我们并不满足于已有公式的精度,想要在等式右边加入更多点...
  • 泰勒公式是非常非常重要的一个工具,同时也是不容易理解消化的知识点。如果你认为这篇文章讲解的好,请分享给身边的大学生,不管是亲戚、朋友。02 cos(x)在0点附近的泰勒分解cos(x)当我们仔细观察 g(x) = cos(x) ...
  • 编编因为好久没有写文案了,所以就有不少读者朋友前来催更了,哈哈看到今天文章的题目啦,就知道这一期我们要讲泰勒公式了。作为重名明星Taylor Swift的忠实粉丝,本期编编当然是要推送她的歌曲啦。话说这些叫Taylor...
  • 泰勒级数的家庭地位胖友们,很久没见了,最近工作确实太忙。离上一篇文章的时间已经有一个多月了。上回说到学习python占用了我很大部分的时间。但是在一次我面试别人与别人的交流中,我醒悟到了一些机器学习理论...
  • 简介匀变速直线运动是高中运动学最重要的运动形式,本篇文章重点介绍匀变速直线运动的公式推导过程。关于匀变速直线运动实验、应用、习题等的其他内容,请关注作者,浏览其他文章。01运动学基础概念根据之前的介绍...
  • Xgboost通过对LOSS二阶泰勒展开求得的结果和我们通过对LOSS化简推导得的结果是相似的。只不过它考虑了二阶导数和模型复杂度的正则参数。 Introduction to Boosted Trees -Tianqi Chen 这样的好处,我遍历切分点的...
  • 【数学】泰勒公式推导(佩亚诺余项)

    千次阅读 2020-04-06 18:53:02
    每次忘了都要查半天,自己推导一遍记录下来 Step 1 设f(x)f(x)f(x)在n阶倒数都可微,根据一阶导数定义: lim⁡x→x0f(x)−f(x0)x−x0=f′(x)\lim\limits_{x\rightarrow x_0}\cfrac{f(x)-f(x_0)}{x-x_0}=f'(x)x→x0...
  • 原作者: 红色石头|来自: AI有道梯度下降算法的公式非常简单,”沿着梯度的反方向(坡度最陡)“是我们日常经验得到的,其本质的原因到底是什么呢?为什么局部下降最快的方向就是梯度的负方向呢?也许很多朋友还不太...
  • 我:可以,面试官:能不能把ID3和C4.5的公式推导一下,我:......我只记得ID3是增益,C4.5是增益率了......于是这次面试就不愉快的结束了。使用XGBoost建模很多年了,从最初对这个算法的盲目崇拜,到后续的不断深入...
  • 涉及的知识泰勒公式 拉格朗日中值定理积分法正文:数学史上被公认为最伟大的数学家有阿基米德、牛顿、欧拉、高斯四人。拉普拉斯曾经说,读读欧拉吧,他是所有人的老师。在北大未名BBS中,ukim(北大数院学生于品,...
  • 本文全部内容均转载自作者的公众号...正因如此,泰勒展开在物理学研究中占有重要的地位,而若按照正常的算法,泰勒展开公式要做若干次求导运算,在绝大多数时候显得极其繁琐,此时我们便会想找一些更便捷的方法去...
  • 一、导言——高中我们学过等差数列求和: 当然,这也可以写为: 或者是高中在讲定积分时用到,但没有深入讲解的公式: 这同样可以写为: 当然,幂为分数也是可以的,不过分数/正实数维展开就会像泰勒展开一样有余项...
  • 泰勒公式的详细推导

    万次阅读 多人点赞 2018-06-01 14:00:50
    在数学中,泰勒公式是一个用函数在某点的信息描述其附近取值的公式。如果函数足够光滑的话,在已知函数在某一点的各阶导数值的情况之下,泰勒公式可以用这些导数值做系数构建一个多项式来近似函数在这一点的邻域中的...
  • 本文尝试给出一种由基本的导数公式和极限定理推导泰勒公式的方法,希望能对读者诸君有所帮助。一、从一阶泰勒公式说起我们首先从一阶导数着手。假设 在 有一阶导数,那么根据定义,就有 现在回顾一下关于函数极限的...
  • 泰勒公式到欧拉公式的推导

    千次阅读 2019-07-19 09:25:59
    一、泰勒公式 1.1泰勒公式的意义 对于一些较复杂的函数,为了便于研究,往往希望用一些简单的函数来近似表达。对于精度要求较高且需要估计误差的时候就必须用高次多项式来近似表达函数,同时给出误差公式。...

空空如也

空空如也

1 2 3 4 5 ... 11
收藏数 201
精华内容 80
关键字:

泰勒公式推导