• 函数连续：
  若 $f(x)$ 满足， $$\underset{x\to 0}{\lim }[f(x_0+\Delta x)-f(x_0)]=0$$
  则成 $f(x)$ 在 $x_0$ 连续

• 定义：
  设函数 $f(x)$ 在点 $x_0$ 的某个邻域有定义，当自变量 $x$ 在 $x_0$ 取得增量 $\Delta x$，对应自变量取得增量 $\Delta y$，若 ${\lim }_{\Delta x\to 0}\frac{\Delta y}{\Delta x}$ 存在，那么称函数 $y=f(x)$ 在 $x_0$ 处可导，并将这个极限称做 $y=(x)$ 在 $x_0$ 处的导数，记为 $f^{\prime }(x_0)$
  $$f^{\prime }(x_0)=\underset{\Delta x\to 0}{\lim }\frac{f(x_0+\Delta x)-f(x_0)}{\Delta x}$$

• 常用函数求导

1. 常数函数 $f(x)=C$，$f^{\prime }(x)=0$

2. $f(x)=x^n(n\in N^{\ast })$
   当 $n=1$ 时，$f(x)=1$
   当 $n>1$ 时，
   $$\begin{gathered} f^{\prime }(x)=\underset{\Delta x\to 0}{\lim }\frac{f(x+\Delta x)-f(x)}{\Delta x} \\ =\underset{\Delta x\to 0}{\lim }\frac{(x+\Delta x{)}^n-x^n}{\Delta x} \\ =\underset{\Delta x\to 0}{\lim }n{x}^{n-1}+\left(\genfrac{}{}{0ex}{}{n}{2}\right)x^{n-2}\Delta x+\cdots +\Delta x^{n-1}=n{x}^{n-1} \end{gathered}$$

3. 幂函数 $f(x)=x^{\mu }(\mu \in R)$，设 $x$ 在 $f(x)$ 的定义域内且 $x\ne 0$
   引理1：
   $$\underset{x\to 0}{\lim }\frac{lo{g}_a(1+x)}{x}=\underset{x\to 0}{\lim }lo{g}_a(1+x{)}^{\frac{1}{x}}=\frac{1}{\ln (a)}$$

   引理2：
   $$\begin{gathered} \underset{x\to 0}{\lim }\frac{(1+x{)}^{\mu }-1}{x} \\ =\underset{x\to 0}{\lim }\frac{(1+x{)}^{\mu }-1}{\ln (1+x{)}^{\mu }}\ast \frac{\mu \ln (1+x)}{x} \\ \underset{t\to 0}{\lim }\frac{t}{\ln (1+t)}\ast \underset{x\to 0}{\lim }\frac{\mu \ln (1+x)}{x}=\mu \end{gathered}$$
   故$$\begin{gathered} f^{\prime }(x)=\underset{\Delta x\to 0}{\lim }\frac{f(x+\Delta x)-f(x)}{\Delta x} \\ =\underset{\Delta x\to 0}{\lim }\frac{(x+\Delta x{)}^{\mu }-x^{\mu }}{\Delta x} \\ =\underset{\Delta x\to 0}{\lim }{x}^{\mu -1}\ast \frac{(1+\frac{\Delta x}{x}{)}^{\mu }-1}{\frac{\Delta x}{x}}=\mu x^{\mu -1} \end{gathered}$$

4. $f(x)=\sin x$ 的导数
   引理 ${\lim }_{x\to 0}\frac{\sin x}{x}=1$
   运用夹逼法，得面积关系有 $\tan x>x>\sin x\to \cos x<\frac{\sin x}{x}<1$进而得证（可以自行百度）
   故有
   $$\begin{gathered} f^{\prime }(x)=\underset{\Delta x\to 0}{\lim }\frac{f(x+\Delta x)-f(x)}{\Delta x} \\ =\underset{\Delta x\to 0}{\lim }\frac{\sin (x+\Delta x)-\sin x}{\Delta x} \end{gathered}$$
   和差化积
   $$\begin{gathered} \underset{\Delta x\to 0}{\lim }\frac{\sin (x+\Delta x)-\sin x}{\Delta x} \\ =\underset{\Delta x\to 0}{\lim }\frac{2\sin \frac{\Delta x}{2}\cos (x+\frac{\Delta x}{2})}{\Delta x}=\cos x \end{gathered}$$
   同理可得，$(\cos x{)}^{\prime }=-\sin x$

5. $f(x)=a^x(a>0,a\ne 1)$ 的导数
   引理 ${\lim }_{x\to 0}\frac{a^x-1}{x}=\ln a$
   令 $t=a^x-1$,${\lim }_{x\to 0}\frac{a^x-1}{x}={\lim }_{t\to 0}\frac{t}{lo{g}_a(t+1)}=\ln a$
   $$\begin{gathered} f^{\prime }(x)=\underset{\Delta x\to 0}{\lim }\frac{f(x+\Delta x)-f(x)}{\Delta x} \\ =a^x\underset{\Delta x\to 0}{\lim }\frac{a^{\Delta x}-1}{\Delta x}=\ln a\ast a^x \end{gathered}$$

6. $f(x)={\log }_{a}x(a>0,a\ne 1)$ 的导数
   $$\begin{gathered} f^{\prime }(x)=\underset{\Delta x\to 0}{\lim }\frac{f(x+\Delta x)-f(x)}{\Delta x} \\ =\underset{\Delta x\to 0}{\lim }\frac{1}{\Delta x}{\log }_a\frac{x+\Delta x}{x}= \\ \underset{\Delta x\to 0}{\lim }\frac{1}{x}\ast \frac{x}{\Delta x}{\log }_a(1+\frac{\Delta x}{x})=\frac{1}{x\ln a} \end{gathered}$$
   于是我们有 $(\ln x{)}^{\prime }=\frac{1}{x}$

• 函数求导法则：

• 定理：如果函数 $u=u(x),v=v(x)$ 在 $x$ 均具有导数，那么它们的和，差，积，商（分母不为0），都在 $x$ 点具有导数

1. $[u(x)\pm v(x){]}^{\prime }=u^{\prime }(x)\pm v^{\prime }(x)$
2. $[u(x)v(x){]}^{\prime }=u^{\prime }(x)v(x)+v^{\prime }(x)u(x)$
3. $[\frac{u(x)}{v(x)}{]}^{\prime }=\frac{u^{\prime }(x)v(x)-u(x)v^{\prime }(x)}{v^2(x)}$

法则1略

• 法则2证明：
  $$\begin{gathered} [u(x)v(x){]}^{\prime }=\underset{h\to 0}{\lim }\frac{u(x+h)v(x+h)-u(x)v(x)}{h} \\ =\underset{h\to 0}{\lim }[\frac{u(x+h)-u(x)}{h}v(x+h)-u(x)\frac{v(x+h)-v(x)}{h}] \\ =u^{\prime }(x)v(x)+v^{\prime }(x)u(x) \end{gathered}$$
  其中 ${\lim }_{h\to 0}v(x+h)=v(x)$ 是因为 $v(x)$ 在点 $x$ 连续

• 法则3 证明：
  $$\begin{gathered} [\frac{u(x)}{v(x)}{]}^{\prime }=\underset{h\to 0}{\lim }\frac{\frac{u(x+h)}{v(x+h)}-\frac{u(x)}{v(x)}}{h} \\ =\underset{h\to 0}{\lim }[\frac{u(x+h)v(x)-u(x)v(x+h)}{hv(x+h)v(x)}] \\ =\underset{h\to 0}{\lim }[\frac{(u(x+h)-u(x))v(x)-u(x)(v(x+h)-v(x))}{hv(x+h)v(x)}] \\ =\frac{(u^{\prime }(x)v(x)-u(x)v^{\prime }(x))}{v^2(x)} \end{gathered}$$

• 复合函数求导法则：
  定理：若干 $u=g(x)$ 在点 $x$ 可导，而 $y=f(u)$ 在点 $u=g(x)$ 可导，那么复合函数 $y=f[g(x)]$在点 $x$ 可导，其导函数为
  $$\frac{\text{d}y}{\text{d}x}=f^{\prime }(u)\ast g^{\prime }(x)$$
  证明：
  $$\underset{\Delta u\to 0}{\lim }\frac{\Delta y}{\Delta u}=f^{\prime }(u)$$
  那么我们有
  $$\frac{\Delta y}{\Delta u}=f^{\prime }(u)+\alpha (\Delta u)$$
  其中 $\alpha (\Delta u)$ 是 $\Delta u\to 0$ 时的无穷小，那么
  $$\begin{gathered} \Delta y=f^{\prime }(u)\Delta u+\alpha (\Delta u)\Delta u \\ \frac{\Delta y}{\Delta x}=f^{\prime }(u)\frac{\Delta u}{\Delta x}+\alpha (\Delta u)\frac{\Delta u}{\Delta x} \end{gathered}$$
  由于 $g(x)$ 连续，所以 $\Delta x\to 0$ 时，$\Delta u\to 0$，所以 ${\lim }_{\Delta x\to 0}\alpha (\Delta u)=0$
  所以
  $$\frac{\text{d}x}{\text{d}y}=f^{\prime }(u)\ast g^{\prime }(x)$$

• 还有一些常见函数的求导
  $(tanx{)}^{\prime }=(\frac{sinx}{cosx}{)}^{\prime }=\frac{co{s}^{2}x+si{n}^{2}x}{co{s}^{2}x}=se{c}^{2}x$
  $(cotx{)}^{\prime }=\frac{cosx}{sinx}=\frac{-1}{si{n}^{2}x}=-cs{c}^{2}x$
  $(secx{)}^{\prime }=(\frac{1}{cosx}{)}^{\prime }=\frac{sinx}{co{s}^{2}x}=secxtanx$
  $(cscx{)}^{\prime }=\frac{1}{sinx}=\frac{-cosx}{si{n}^{2}x}=-cscxcotx$
  $(arcsinx{)}^{\prime }=\frac{1}{(siny{)}^{\prime }}=\frac{1}{cosy}=\frac{1}{\sqrt{1-si{n}^{2}y}}=\frac{1}{\sqrt{1-x^2}}$
  $(arccosx{)}^{\prime }=\frac{1}{(cosy{)}^{\prime }}=-\frac{1}{siny}=-\frac{1}{\sqrt{1-x^2}}$
  $(arctanx{)}^{\prime }=\frac{1}{se{c}^{2}y}=\frac{1}{1+ta{n}^{2}y}=\frac{1}{1+x^2}$
  $(arccotx{)}^{\prime }=\frac{-1}{cs{c}^{2}y}=-\frac{1}{1+x^2}$

• 莱布尼兹公式
  $$(uv{)}^{(n)}=\sum _{i=0}^n(\genfrac{}{}{0ex}{}{n}{i})u^{(i)}{v}^{(n-i)}$$

BP算法的文章很多，但是说明白BP算法中的链式求导法则应该只此一家了。
西瓜书，李宏毅的网课，考研时的高数资料，高赞博客，甚至Hinton的原始论文，对链式求导法则也只是一带而过。

文章先从简化版本的链式法则讲起，再将其应用到BP算法中。

简化版本的链式法则

两层嵌套（复合)函数

如上图所示，E是A₁,A₂,A₃的函数，A₁,A₂,A₃都是B₁函数。此时，简单的运用链式求导法则即可求得E关于B₁的偏导：
$\frac{dE}{d{B}_1}=\frac{dE}{d{A}_1}\ast \frac{d{A}_1}{d{B}_1}+\frac{dE}{d{A}_2}\ast \frac{d{A}_2}{d{B}_1}+\frac{dE}{d{A}_3}\ast \frac{d{A}_3}{d{B}_1}$

但是当函数复合了三层以后，又该怎么处理呢？
三层嵌套（复合)函数

如上图所示，E是A₁,A₂,A₃的函数，A₁,A₂,A₃都是B₁,B₂,B₃函数，B₁,B₂,B₃都是$C_1$的函数。那么E关于$C_1$的偏导该怎么求呢？
根据函数的嵌套关系，我们很容易就能写出$\frac{dE}{d{A}_i}\ast \frac{d{A}_i}{d{B}_j}\ast \frac{d{B}_j}{d{C}_1}(i,j=1,2,3)$这样的式子，如$\frac{dE}{d{A}_i}\ast \frac{d{A}_1}{d{B}_1}\ast \frac{d{B}_1}{d{C}_1},\frac{dE}{d{A}_1}\ast \frac{d{A}_1}{d{B}_2}\ast \frac{d{B}_2}{d{C}_1}...$。我们可以轻而易举的把i,j=1,2,3的式子穷举出来。但是随之困扰我们的一个问题就是，该用什么符号把这些式子连接起来，是加号，减号或者乘号？
这个问题困扰了我很久，查了西瓜书，考研时的高数资料，网上的博客，甚至悲催的读了Hinton的原始论文，但是遗憾的是，所有的资料都只描述了两层嵌套的链式法则。因此，用两层嵌套嵌套的链式法则就能解决多层嵌套的求导问题，应当是业界共识。
思索之后，答案呼之欲出：可以把前面N-1层嵌套压缩成一层嵌套。举例来说，如上图的三层嵌套函数E可以描述为：E是$B_1,B_2,B_3$的函数，$B_1,B_2,B_3$是$C_1$的函数；而E关于$B_i$的偏导，就是我们在二层嵌套中已经求过的偏导数。这样就可以使用链式法则了，具体如下图所示：

链式法则在BP中的应用

如果掌握了上述多层嵌套链式法则，不妨把它运用的实际的BP算法中。
首先看一个简单的BP网络，为了简化问题，该网络只包含接近输出层的部分：$\theta$代表阈值，w代表连接权，x代表输入，y代表输出，激活函数f是sigmoid函数$\frac{1}{1+e^{-x}}$。另外，$\widehat{y_i}$表示样例的第i个输出，E是偏差。
再用具体的数学表达式明确表示出嵌套关系：

然后我们就可以开始计算了。在BP算法中，从输出层往输入层计算。在本例中，首先从输出层往输入层计算出偏差关于输入的偏导：
然后再从输出层往输入层计算出偏差关于阈值和连接权的偏导数：