精华内容
下载资源
问答
  • 链式求导法则

    2019-07-25 09:08:00
    链式法则是微积分中的求导法则,用以求一个复合函数的导数。所谓的复合函数,是指以一个函数作为另一个函数的自变量。 如f(x)=3x,g(x)=x+3,g(f(x))就是一个复合函数,并且g(f(x))=3x+3 链式法则(chain rule):...

    链式法则是微积分中的求导法则,用以求一个复合函数的导数。
    所谓的复合函数,是指以一个函数作为另一个函数的自变量。

    如f(x)=3x,g(x)=x+3,g(f(x))就是一个复合函数,并且g(f(x))=3x+3

     

    链式法则(chain rule):

    若h(x)=f(g(x)),则h'(x)=f'(g(x))g'(x)

    链式法则用文字描述,就是“由两个函数凑起来的复合函数,其导数等于里边函数代入外边函数的值之导数,乘以里边函数的导数。

     

    举例:

    f(x)=x²,g(x)=2x+1, 则 

    {f[g(x)]}'

    =2[g(x)]×g'(x)

    =2[2x+1]×2

    =8x+4

     

    转载于:https://www.cnblogs.com/liuys635/p/11242118.html

    展开全文
  • 详解BP算法之链式求导法则

    千次阅读 2020-12-11 22:57:01
    BP算法的文章很多,但是详解BP算法中的链式求导法则应该只此一家了。包括Hinton关于BP网络的原始论文,对链式求导法则也只是一带而过。 文章先从简化版本的链式法则讲起,再将其应用到BP算法中。 简化版本的链式法则...

    BP算法的文章很多,但是说明白BP算法中的链式求导法则应该只此一家了。
    西瓜书,李宏毅的网课,考研时的高数资料,高赞博客,甚至Hinton的原始论文,对链式求导法则也只是一带而过。

    文章先从简化版本的链式法则讲起,再将其应用到BP算法中。

    简化版本的链式法则

    两层嵌套(复合)函数
    在这里插入图片描述

    如上图所示,E是A1,A2,A3的函数,A1,A2,A3都是B1函数。此时,简单的运用链式求导法则即可求得E关于B1的偏导:
    d E d B 1 = d E d A 1 ∗ d A 1 d B 1 + d E d A 2 ∗ d A 2 d B 1 + d E d A 3 ∗ d A 3 d B 1 \frac{dE}{dB_1}=\frac{dE}{dA_1}*\frac{dA_1}{dB_1}+\frac{dE}{dA_2}*\frac{dA_2}{dB_1}+\frac{dE}{dA_3}*\frac{dA_3}{dB_1} dB1dE=dA1dEdB1dA1+dA2dEdB1dA2+dA3dEdB1dA3

    但是当函数复合了三层以后,又该怎么处理呢?
    三层嵌套(复合)函数

    在这里插入图片描述
    如上图所示,E是A1,A2,A3的函数,A1,A2,A3都是B1,B2,B3函数,B1,B2,B3都是 C 1 C_1 C1的函数。那么E关于 C 1 C_1 C1的偏导该怎么求呢?
    根据函数的嵌套关系,我们很容易就能写出 d E d A i ∗ d A i d B j ∗ d B j d C 1 ( i , j = 1 , 2 , 3 ) \frac{dE}{dA_i}*\frac{dA_i}{dB_j}*\frac{dB_j}{dC_1}(i,j=1,2,3) dAidEdBjdAidC1dBj(i,j=1,2,3)这样的式子,如 d E d A i ∗ d A 1 d B 1 ∗ d B 1 d C 1 , d E d A 1 ∗ d A 1 d B 2 ∗ d B 2 d C 1 . . . \frac{dE}{dA_i}*\frac{dA_1}{dB_1}*\frac{dB_1}{dC_1},\frac{dE}{dA_1}*\frac{dA_1}{dB_2}*\frac{dB_2}{dC_1}... dAidEdB1dA1dC1dB1,dA1dEdB2dA1dC1dB2...。我们可以轻而易举的把i,j=1,2,3的式子穷举出来。但是随之困扰我们的一个问题就是,该用什么符号把这些式子连接起来,是加号,减号或者乘号?
    这个问题困扰了我很久,查了西瓜书,考研时的高数资料,网上的博客,甚至悲催的读了Hinton的原始论文,但是遗憾的是,所有的资料都只描述了两层嵌套的链式法则。因此,用两层嵌套嵌套的链式法则就能解决多层嵌套的求导问题,应当是业界共识。
    思索之后,答案呼之欲出:可以把前面N-1层嵌套压缩成一层嵌套。举例来说,如上图的三层嵌套函数E可以描述为:E是 B 1 , B 2 , B 3 B_1,B_2,B_3 B1,B2,B3的函数, B 1 , B 2 , B 3 B_1,B_2,B_3 B1,B2,B3 C 1 C_1 C1的函数;而E关于 B i B_i Bi的偏导,就是我们在二层嵌套中已经求过的偏导数。这样就可以使用链式法则了,具体如下图所示:在这里插入图片描述

    链式法则在BP中的应用

    如果掌握了上述多层嵌套链式法则,不妨把它运用的实际的BP算法中。
    首先看一个简单的BP网络,为了简化问题,该网络只包含接近输出层的部分: θ \theta θ代表阈值,w代表连接权,x代表输入,y代表输出,激活函数f是sigmoid函数 1 1 + e − x \frac{1}{1+e^{-x}} 1+ex1。另外, y i ^ \hat{y_i} yi^表示样例的第i个输出,E是偏差。在这里插入图片描述
    再用具体的数学表达式明确表示出嵌套关系:

    在这里插入图片描述

    然后我们就可以开始计算了。在BP算法中,从输出层往输入层计算。在本例中,首先从输出层往输入层计算出偏差关于输入的偏导:在这里插入图片描述
    然后再从输出层往输入层计算出偏差关于阈值和连接权的偏导数:在这里插入图片描述

    展开全文
  • 链式求导法则-微积分高数解答版

    千次阅读 2020-08-13 17:06:30
    链式求导法则-微积分高数解答版 看了深度学习的反向计算的链式法则是不是一脸懵,不怕,本文从大学老师的讲解方法让你从根本上理解链式法则 注:本文适合学过高数,但又把知识还给老师的小伙伴。能让你立马回忆...

    链式求导法则-微积分高数解答版

    看了深度学习的反向计算的链式法则是不是一脸懵,不怕,本文从大学老师的讲解方法让你从根本上理解链式法则

     

    注:本文适合学过高数,但又把知识还给老师的小伙伴。能让你立马回忆起链式法则精髓!

     

    关键就是画复合函数关系链接图口诀就是分叉处为偏导直连处为全导

    根据连接图写出公式,再分别计算即可

     

    再来个更复杂的例子回味一下,这个在当时大学课本可是基础链接图形式哦

     

    更复杂,本质还是那样

     

    最后来道题爽一下,能完整写出结果说明你又重拾大学的知识啦!

    这种做题的感觉是不是又找到了当时大学时自习时的感觉,特有成就感。(〃'▽'〃)

    哎,这种纯粹的时光呀,我是很怀恋呢,生活加油吧~

    展开全文
  • 反向传播算法 本文是根据深度学习课程图文做的笔记 ...反向传播算法是一个有效求解梯度的算法,本质是链式求导法则的应用 1. 链式法则 利用链式求导法则:令 q=x+y 它们的微分: 又因为 q = x +y 则: ..
  • 反向传播链式求导法则

    千次阅读 2019-02-02 13:29:57
    求导法则 Sigmod函数求导
  • 这个导数的计算利用的 求导数的链式法则, 把E对w的求导,转换成E对activation a的求导 和 a 对w 的求导. 这个地方因为涉及的式子比较多,我在纸上写了一下,我整个贴上吧: 大家看看,可以讨论一下 ...
  • 这里写自定义目录标题BP算法四个基本方程链式法则一、完备表达如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表...
  • 写得非常好,适合入门! 神经元 神经元和感知器本质上是一样的,只不过我们说感知器的时候,它的激活函数是阶跃函数;而当我们说神经元时,激活函数往往选择为sigmoid函数或tanh函数。如下图所示: ...
  • 第五章Neural Networks由网神主讲,精彩内容有:神经网络做回归和分类的训练目标函数、BP误差后向传播的链式求导法则、正则化、卷积网络等。
  • 高数——复合函数链式求导

    千次阅读 2019-10-21 11:36:32
    链式法则是微积分中的求导法则,用以求一个复合函数的导数。 所谓的复合函数,是指以一个函数作为另一个函数的自变量。如设f(x)=3x,g(x)=x+3,g(f(x))就是一个复合函数,并且g′(f(x))=3 链式法则,若h(x)=f(g(x))...
  • 复合函数求导链式法则

    千次阅读 2021-02-20 17:01:18
    链式法则 至于复合函数的求导公式为什么称为链式法则,原因是如果把表示过程用导数的另外一种符号表示如下: dy=dy du du=dy dudu dx dx\mathrm{d} y=\frac{\mathrm{d} y}{\mathrm{~d} u} \mathrm{~d} u=\frac{\...
  • 深度学习-链式求导

    千次阅读 2019-07-02 14:44:39
    链式法则是微积分中的求导法则,用于求一个复合函数的导数 假设 a,b,c,d,ea,b,c,d,ea,b,c,d,e 存在下面的关系 存在等式: a+b=cb+1=dc×d=c a+b=c \\ b+1=d \\ c\times d=c a+b=cb+1=dc×d=c 假设 a=2...
  • this.p={ m:2,b:2,loftPermalink:'',id:'fks_087067087081082071093085081065072084084066087087095066082',blogTitle:'凑微分法积分是链式法则求导的逆过程',blogAbstract:'不定积分的第一类换元法(俗称“凑微分法...
  • 文章目录矩阵向量求导说明1说明21.定义法1. 用定义法求解标量对向量求导举个例子2.用定义法求解标量对矩阵求导举个例子3.用定义法求解向量对向量的...标量对多个向量的链式求导法则例子3.标量对多个矩阵的链式求导法则
  • 本文给出两种证明方式,第一种高等数学(复杂),第二种维基百科(简单) 一:同济大学高等数学教材给的证明: ...设函数和, 其中 x 为自变量,f(g(x))在个g(x)处可导 ,g(x)在x出可导。...现...
  • 链式求导与图梯度下降法
  • 4.1 常见符合函数的求导规则 4.2 复合函数的链式求导规则 反向链式求导 :每一步都是针对上一级简单函数求偏导,然后把每个步骤中求得的数值进行相乘。 作者主页:文火冰糖(王文兵)的博客_文火冰糖的硅基工坊_...
  • 矩阵(矢量)求导链式法则及应用

    千次阅读 2020-03-31 11:44:08
    矢量对矢量求导的定义 链式求导法则 链式法则的应用1:Jacobi矩阵的逆 链式法则的应用2:标量对矩阵的求导
  • 求导——链式法则

    千次阅读 2018-08-22 15:22:27
    参考文献:https://www.math.hmc.edu/calculus/tutorials/multichainrule/      
  • 矩阵求导链式法则

    2020-02-03 10:31:13
  • 和、差、积、商求导法则  设u=u(x),v=v(x)都可导,则: (Cu)’ = Cu’, C是常数 (u ± v)’ = u’ ± v’ (uv)’ = u’v + uv’ (u/v)’ = (u’v – uv’) / v2  1、2不解释,下面给出3、4的推导过程 乘法...
  • 0.前言 深度学习中最常见的是各种向量还有矩阵运算,经常会涉及到求导操作。因此准确理解向量矩阵的求导操作就显得非常重要,对我们推导计算过程以及代码书写核对有非常大的帮助...1.标量对标量的链式求导 假设x, y,...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 8,168
精华内容 3,267
关键字:

链式求导法则