精华内容
下载资源
问答
  • 神经网络中的常用激活函数导数

    千次阅读 2019-05-17 13:57:19
    神经网络中的常用激活函数导数 1、 sigmoid 函数 y=11+e−x y = \frac{1}{1 + e^{-x}} y=1+e−x1​ 导函数: KaTeX parse error: No such environment: equation at position 8: \begin{̲e̲q̲u̲a̲t̲i̲o̲n...

    1、 sigmoid 函数

    y=11+ex y = \frac{1}{1 + e^{-x}}

    导函数:

    dydx=(1+ex)2(1+ex)=(1+ex)21(ex)=(1+ex)21(ex)(x)=(1+ex)21(ex)(1)=(1+ex)2(ex)=ex(1+ex)2 \begin{aligned} \cfrac{{\rm d}y}{{\rm d}x} &= -(1 + e^{-x})^{-2} \cdot (1 + e^{-x})^\prime \\ &= -(1 + e^{-x})^{-2} \cdot 1 \cdot (e^{-x})^\prime \\ &= -(1 + e^{-x})^{-2} \cdot 1 \cdot (e^{-x}) \cdot (-x) ^\prime \\ &= -(1 + e^{-x})^{-2} \cdot 1 \cdot (e^{-x}) \cdot (-1) \\ &= (1 + e^{-x})^{-2} \cdot (e^{-x}) \\ &= \cfrac{e^{-x}}{(1 + e^{-x})^{2}} \end{aligned}

    又因为 1y=111+ex=1+ex11+ex=ex1+ex1 - y = 1 - \cfrac{1}{1 + e^{-x}} = \cfrac{1 + e^{-x} -1}{1 + e^{-x}} = \cfrac{e^{-x}}{1 + e^{-x}}

    所以 dydx=y[1y]\cfrac{{\rm d}y}{{\rm d}x} = y[1 - y]

    2、Tanh 函数
    y=tanh(x)=exexex+ex=2sigmoid(2x)1 y = {\rm tanh}(x)=\frac{e^x-e^{-x}}{e^x+e^{-x}} = 2{\rm sigmoid}(2x)-1

    导函数:

    dydx=(exexex+ex)=(exex)(ex+ex)(exex)(ex+ex)(ex+ex)2=(ex+ex)(ex+ex)(exex)(exex)(ex+ex)2=e2x+e2x+2(e2x+e2x2)(ex+ex)2=4(ex+ex)2 \begin{aligned} \cfrac{{\rm d}y}{{\rm d}x} &= \left(\cfrac{e^x-e^{-x}}{e^x+e^{-x}}\right)^\prime \\ &= \cfrac{(e^x-e^{-x})^\prime(e^x+e^{-x})-(e^x-e^{-x})(e^x+e^{-x})^\prime}{(e^x+e^{-x})^2} \\ &= \cfrac{(e^x+e^{-x})(e^x+e^{-x})-(e^x-e^{-x})(e^x-e^{-x})}{(e^x+e^{-x})^2} \\ &= \cfrac{e^{2x}+e^{-2x}+2-(e^{2x}+e^{-2x}-2)}{(e^x+e^{-x})^2} \\ &= \cfrac{4}{(e^x+e^{-x})^2} \end{aligned}

    又因为
    1y=1exexex+ex=ex+ex(exex)ex+ex=2exex+ex 1 - y = 1 - \cfrac{e^x-e^{-x}}{e^x+e^{-x}} = \cfrac{e^x+e^{-x}-(e^x-e^{-x})}{e^x+e^{-x}} = \cfrac{2e^{-x}}{e^x+e^{-x}}

    1+y=1+exexex+ex=ex+ex+(exex)ex+ex=2exex+ex 1 + y = 1 + \cfrac{e^x-e^{-x}}{e^x+e^{-x}} = \cfrac{e^x+e^{-x}+(e^x-e^{-x})}{e^x+e^{-x}} = \cfrac{2e^{x}}{e^x+e^{-x}}

    所以

    (1y)(1+y)=1y2=4(ex+ex)2=dydx (1 - y)(1+y) = 1 - y^2 = \cfrac{4}{(e^x+e^{-x})^2} = \cfrac{{\rm d}y}{{\rm d}x}

    即:
    y=tanh(x)=1tanh2(x) y = {\rm tanh}^\prime(x)=1-{\rm tanh}^2(x)

    3、ReLu 函数

    y=f(x)=max(0,x) y = f(x) = \max(0,x)
    导函数
    y=f(x)={1,x>00,x0 y^\prime = f^\prime(x) = \begin{cases} 1,& x > 0\\ 0,& x \le 0 \end{cases}

    4、Leaky ReLu 函数

    y=f(x)={x,x>0αx,x0 y = f(x) = \begin{cases} x,& x > 0\\ \alpha \cdot x,& x \le 0 \end{cases}
    导函数
    y=f(x)={1,x>0α,x0 y^\prime = f^\prime(x) = \begin{cases} 1,& x > 0\\ \alpha,& x \le 0 \end{cases}

    5、Softplus 函数

    y=f(x)=log(1+ex) y = f(x) = \log(1+e^x)

    导函数
    y=f(x)=(1+ex)1+ex=ex1+ex=11+ex=sigmoid(x) y^\prime = f^\prime(x) = \cfrac{(1+e^x)^\prime}{1+e^x} = \cfrac{e^x}{1+e^x} = \cfrac{1}{1+e^{-x}} = {\rm sigmoid}(x)

    (本节完)

    展开全文
  • 常用函数导数

    万次阅读 2016-04-13 18:48:08
    ① C'=0(C为常数函数) ② (x^n)'= nx^(n-1) (n∈R);熟记1/X的导数 ③ (sinx)' = cosx (cosx)' = - sinx (tanx)'=1/(cosx)^2=(secx)^2=1+(tanx)^2 (cotx)'=-1/(sinx)^2=-(cscx)^2=-1-(cotx)^2 (secx)'=tanx·secx ...
    ① C'=0(C为常数函数)
    ② (x^n)'= nx^(n-1) (n∈R);熟记1/X的导数
    ③ (sinx)' = cosx
    (cosx)' = - sinx
    (tanx)'=1/(cosx)^2=(secx)^2=1+(tanx)^2
    (cotx)'=-1/(sinx)^2=-(cscx)^2=-1-(cotx)^2
    (secx)'=tanx·secx
    (cscx)'=-cotx·cscx
    (arcsinx)'=1/(1-x^2)^1/2
    (arccosx)'=-1/(1-x^2)^1/2
    (arctanx)'=1/(1+x^2)
    (arccotx)'=-1/(1+x^2)
    (arcsecx)'=1/(|x|(x^2-1)^1/2)
    (arccscx)'=-1/(|x|(x^2-1)^1/2)
    ④(sinhx)'=coshx
    (coshx)'=sinhx
    (tanhx)'=1/(coshx)^2=(sechx)^2
    (coth)'=-1/(sinhx)^2=-(cschx)^2
    (sechx)'=-tanhx·sechx
    (cschx)'=-cothx·cschx
    (arsinhx)'=1/(x^2+1)^1/2
    (arcoshx)'=1/(x^2-1)^1/2
    (artanhx)'=1/(x^2-1) (|x|<1)
    (arcothx)'=1/(x^2-1) (|x|>1)
    (arsechx)'=1/(x(1-x^2)^1/2)
    (arcschx)'=1/(x(1+x^2)^1/2)
    ⑤ (e^x)' = e^x
    (a^x)' = (a^x)lna (ln为自然对数)
    (Inx)' = 1/x(ln为自然对数)
    (logax)' =x^(-1) /lna(a>0且a不等于1)
    (x^1/2)'=[2(x^1/2)]^(-1)
    

    (1/x)'=-x^(-2)

    展开全文
  • 导数与积分公式

    千次阅读 2020-10-28 08:51:33
    6 基本初等函数n阶导数公式 7 微分公式与微分运算法则 8 微分运算法则 9 基本积分公式 10 下列常用凑微分公式 11 补充下面几个积分公式 12 分部积分法公式 分部积分公式: 13 第二换元积分法...

    1 极限公式

    (系数不为0的情况)
    在这里插入图片描述
    在这里插入图片描述

    2 下列常用等价无穷小关系(x->0)

    在这里插入图片描述

    3 导数的四则运算法则

    在这里插入图片描述

    4 基本导数公式

    在这里插入图片描述

    5 高阶导数的运算法则

    在这里插入图片描述

    6 基本初等函数的n阶导数公式

    在这里插入图片描述

    7 微分公式与微分运算法则

    在这里插入图片描述

    8 微分运算法则

    在这里插入图片描述

    9 基本积分公式

    在这里插入图片描述

    10 下列常用凑微分公式

    在这里插入图片描述

    11 补充下面几个积分公式

    在这里插入图片描述

    12 分部积分法公式

    分部积分公式:
    在这里插入图片描述
    在这里插入图片描述

    13 第二换元积分法中的三角换元公式

    在这里插入图片描述

    14 特殊角的三角函数值

    在这里插入图片描述

    15 三角函数公式

    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

    16 几种常见的微分方程

    在这里插入图片描述

    展开全文
  • 高数第二章——导数&求导法则&高导数&微分1、导数1.1 例题—...链导法则(important)2.4 基本求导法则与导数公式(important)|汇总2.4.1 求导公式(important)2.4.2 函数的线性组合、积、商的求导法则(impo

    0、博主高数相关章节目录

    高数第一章节——极限&无穷&连续与间断
    高数第二章节——导数&求导法则&高阶导数&微分
    高数第三章节——微分中值&洛必达&泰勒&单调性与凹凸性&作图&弧微分与曲率
    高数第四章节——不定积分&换元积分&分部积分
    高数第五章节——定积分&积分上限函数&牛顿——莱布尼兹公式&反常积分与广义积分
    高数第六章节——平面图形的面积&旋转体体积&平面截面体体积&平面曲线的弧长&定积分在物理学中的应用
    高数第七章节——微分方程概念&一阶微分方程&高阶微分方程
    高数竞赛必背重点(随时更)

    1、数列

    1、导数

    在这里插入图片描述

    1.1 例题—导数定义求导(important)

    在这里插入图片描述

    1.2 单侧导数

    在这里插入图片描述

    1.3 例题—判断是否可导

    在这里插入图片描述

    2、函数的求导法则

    2.1 定理一 线性组合求导的传递性

    在这里插入图片描述

    2.2 定理二 反函数的求导法则

    在这里插入图片描述

    2.2.1 例题—利用反函数求导法则求导

    在这里插入图片描述

    2.3 定理三 复合函数的求导法则|链导法则(important)

    在这里插入图片描述

    2.4 基本求导法则与导数公式(important)|汇总

    2.4.1 求导公式(important)

    在这里插入图片描述

    2.4.2 函数的线性组合、积、商的求导法则(important)

    在这里插入图片描述

    2.4.3 反函数的求导法则(important)

    在这里插入图片描述

    2.4.4 复合函数的求导法则

    在这里插入图片描述

    3、高阶导数

    二阶导数:d2ydx2\frac{d^2y}{dx^2}yy''f(2)(x)f^{(2)}(x)
    三阶导数:d3ydx3\frac{d^3y}{dx^3}yy''f(3)(x)f^{(3)}(x)
    四阶导数:d4ydx4\frac{d^4y}{dx^4}yy''f(4)(x)f^{(4)}(x)
    nn阶导数:dnydxn\frac{d^ny}{dx^n}yy''f(n)(x)f^{(n)}(x)

    3.1 例题—高阶导数化简

    在这里插入图片描述

    3.2 莱布尼兹公式(important)

    在这里插入图片描述

    3.3 隐函数及由参数方程所确定的函数的导数

    3.3.1 定义(important)

    在这里插入图片描述

    3.3.2 例题—隐函数求导法

    在这里插入图片描述

    隐函数求导:允许在yy'表达式中含有变量yy在这里插入图片描述

    3.4 例题—对数求导法

    在这里插入图片描述

    3.5 例题—参数方程求导法

    在这里插入图片描述

    4、函数的微分

    4.1 导数与微分的比较(importent)

    在这里插入图片描述
    导数是斜率,微分是yy的改变量

    4.2 微分定义

    在这里插入图片描述

    4.3 微分公式与运算法则

    dy=f(x)dxdy=f'(x)dx

    在这里插入图片描述
    在这里插入图片描述

    4.3.1 求微分

    在这里插入图片描述

    4.3.2 例题—微分在生活中的应用(interesting)

    在这里插入图片描述

    4.3.3 例题—f(x+Δx)f(x0)+f(x0)Δxf(x+\Delta x)\approx f(x_0)+f'(x_0)*\Delta x

    在这里插入图片描述
    在这里插入图片描述

    4.3.4 例题—常用的一次近似公式:n1+x1+1nx^{n}\sqrt{1+x}\approx1+\frac{1}{n}x

    在这里插入图片描述

    展开全文
  • Softmax函数及其导数

    万次阅读 多人点赞 2018-04-26 10:03:16
    Softmax函数及其导数本文翻译自The Softmax function and its derivative基础概念Softmax函数的输入是N维的随机真值向量,输出是另一个N维的真值向量, 且值的范围是(0,1)(0,1),和为1.0。即映射:S(a)=RN→RNS(\...
  • 更复杂些的滤波算子一般是先利用高斯滤波来平滑,然后计算其1和2微分。由于它们滤除高频和低频,因此称为带通滤波器(band-pass filters)。 在介绍具体的带通滤波器前,先介绍必备的图像微分知识。 1 ...
  • 微积分常用公式

    万次阅读 多人点赞 2021-01-12 03:12:28
    四、基本初等函数n阶导数公式 五、微分公式与微分运算法则 六、微分运算法则 七、基本积分公式 八、补充积分公式 九、下列常用凑微分公式 十、分部积分法公式 十一、第二换元积分法中的三角换元公式 ...
  • 图像微分(1、2阶导数和拉普拉斯算子) 文章转载自:http://www.cnblogs.com/pegasus/archive/2011/05/20/2051780.html 更复杂些的滤波算子一般是先利用高斯滤波来平滑,然后计算其1和2微分。由于它们滤...
  • 微分、积分、三角函数、数学公式大全

    万次阅读 多人点赞 2018-10-25 20:35:05
      一、极限公式 (系数不为0的情况)   二、重要公式   三、下列常用等价无穷小关系(x-&gt;0) ...五、基本导数公式 ...六、高导数的运算法则 ...七、基本初等函数n阶导数公式 ...
  • 四、基本初等函数n阶导数公式 五、微分公式与微分运算法则 六、微分运算法则 七、基本积分公式及常用积分方法 八、补充积分公式 九、常用凑微分公式 十、分部积分法公式 十一、第二换元积分法中的三角换元公式 ...
  • 导数与微分常用公式(基础)

    万次阅读 2018-02-17 15:17:54
    导数与微分常用公式(基础) 一。导数的定义; 1.导数的定义: 导数其实就是函数某点附近的 0000\frac{0}{0} 型极限 f′(x)=limh→0f(x+h)−f(x)hf′(x)=limh→0f(x+h)−f(x)hf'(x)=\lim_{h \to 0}\frac{f(x+h)-f...
  • 更复杂些的滤波算子一般是先利用高斯滤波来平滑,然后计算其1和2微分。由于它们滤除高频和低频,因此称为带通滤波器(band-pass filters)。 在介绍具体的带通滤波器前,先介绍必备的图像微分知识。 1 一阶...
  • 四、基本初等函数n阶导数公式 五、微分公式与微分运算法则 六、微分运算法则 七、基本积分公式及常用积分方法 八、补充积分公式 九、常用凑微分公式 十、分部积分法公式 十一、第二换元积分法中的三角换元公式 ...
  • 微分和积分数学公式大全

    万次阅读 多人点赞 2018-01-06 11:23:15
    一、极限公式 (系数不为0的情况) 二、重要公式 ...三、下列常用等价无穷小关系(x->0) ...五、基本导数公式 ...六、高导数的运算法则 ...七、基本初等函数n阶导数公式
  • 常用激活函数(激励函数)理解与总结

    万次阅读 多人点赞 2018-05-13 23:07:19
    学习神经网络的时候我们总是听到激活函数这个词,而且很多资料都会提到常用的激活函数,比如Sigmoid函数、tanh函数、Relu函数。那么我们就来详细了解下激活函数方方面面的知识。本文的内容包括几个部分: 什么是...
  • 导数

    千次阅读 2018-04-02 19:09:25
    导数 导数描述了一个函数的变化率。...求导公式很简单,令原函数为f(n)f(n)f(n),那么 导数就是: [f(n)]′=limΔx→0f(x+Δx)−f(x)Δx[f(n)]′=limΔx→0f(x+Δx)−f(x)Δx[f(n)]'=\lim_{\Delta x\to 0}\fr...
  • 03导数

    2021-02-28 21:42:29
    文章目录一、导数与微分1.... n阶导数3.常用公式易错点注意点补充知识点解题技巧区分注意点没有记住的知识点问题常用结论具体方法1. 展开法求fn(0)f^{n}(0)fn(0) 一、导数与微分 1. 导数的概念 定义:f′(x0
  • 微分和积分公式大全

    万次阅读 多人点赞 2019-05-02 11:29:39
    6 基本初等函数n阶导数公式 7 微分公式与微分运算法则 8 微分运算法则 9 基本积分公式 10 下列常用凑微分公式 11 补充下面几个积分公式 12 分部积分法公式 13 第二换元积分法中的三角换元公式 14 特殊角的...
  • 【复变函数常用公式大全

    千次阅读 2021-03-20 13:52:13
    文章目录#基本公式#几个高斯的公式(其实都是留数法)#留数法#一些公式#一些积分 欢迎纠错 #基本公式 f(z)=u+vi f(z)是一个向量场,记为H,取其共轭H‾ 若该共轭向量场满足C−R方程(无散无旋): ∂u∂...
  • matlab常用函数与常用指令大全

    万次阅读 多人点赞 2016-05-06 14:11:58
    matlab常用函数与常用指令大全 matlab常用函数- - 1、特殊变量与常数 ans 计算结果的变量名 computer 确定运行的计算机 eps 浮点相对精度 Inf 无穷大 I 虚数单位 inputname 输入参数名 NaN 非数 ...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 10,979
精华内容 4,391
关键字:

常用函数的n阶导数公式