激活函数导数
Sigmoid 函数导数
导数为:

$Sigmoid(1 − Sigmoid)$
ReLU 函数导数

LeakyReLU函数导数

Tanh 函数梯度
导数为：
$1 − tanh^2(x)$

深度学习常用的几种激活函数：

sigmoid函数
	
tanh函数 
	
relu函数和leaky relu： max（0，x）， max（0.01x, x)
激活函数的导数：

1. sigmoid函数：（应用范围较小，常用于binary classification)



2. tanh函数 ：（性能由于sigmoid）



3. relu函数和leaky relu（收敛速度快，计算快，应用广泛）

 

 

 

    
激活函数的导数（ Derivatives of activation functions）
Sigmoid函数

导数为：


tanh函数


导数为：


Relu函数


在z=0时，通常给定导数1,0，当然z=0的情况很少。
Leaky Relu函数


在z=0时，通常给定导数1,0.01，当然z=0的情况很少。

转载于:https://www.cnblogs.com/xiaojianliu/articles/9526670.html

1. sigmoid

函数：f(z) = 1 / (1 + exp( − z))

导数：f(z)' = f(z)(1 − f(z))

2.tanh

函数：f(z) = tanh(z)

导数：f(z)' = 1 − (f(z))2