求隐函数二阶导数
 
2.4 高阶导数 一、显函数高阶导数 二、隐函数的二阶导数 三、参数方程确定的函数的二阶导数 四、二阶导数的力学意义 五、 内容小结 作业 * 主要内容: 1.显函数高阶导数. 2.隐函数的二阶导数. 3.参数方程确定的函数的二阶导数. 4.二阶导数的力学意义. 如果函数 y=f(x) 的导数 仍然是x的 可导函数. 则把 的导数叫做函数 y=f(x) 即 类似地，二阶导数 的导数叫做函数 y=f(x)的三阶导数，记作 即 的二阶导数，记作 一般地,函数y=f(x)的(n-1)阶导数的导数叫做 y=f(x) 的 n 阶导数. 记作 即 把函数 y=f(x) 的导数 叫做函数y=f(x)的一阶导数. 把二阶及二阶以上的导数统称为高阶导数． 例１ 解 已知 解 例２ 求函数的n导数时，逐次求出一阶，二阶，三阶导数， 从中发现，总结规律，求出n阶导数的一般表达式． 求函数 的n阶导数. 解 特殊地， 的 n 阶导数. 一般地，可得 例３ 求正弦函数的n阶导数. 解 一般地，可得 用类似方法，可得 例４　 求函数 的n阶导数. 解 一般地，可得 即 例５ 举例说明求隐函数的二阶导数的方法． 对方程两边关于x求导,得 两边再求导，得 将 代入上式得 说明： 求隐函数的二阶导数，要先求出隐函数的一阶导数， 在一阶导数表达式的两边再对x求导数， 例6 解 把求出的一阶表达式代入二阶导数的表达式． 由参数方程 确定的函数 的导数公式为 参数方程确定的函数的二阶导数为： 设 解 例８ 求参数方程 确定的函数的二阶导数． 解 代入公式得 例７ 计算由摆线的参数方程 确定的 的二阶导数． 函数 解 例９ 设物体作变速直线运动，运动方程为 那么它的瞬时度为 若速度v仍是时间 t 的函数，我们可以求速度v对时间t的变化率： ，在力学中把它叫做物体在给定的 时刻加速度，记作 也就是说，物体加速度 是路程 对时间t的二阶导数 , 即 这就是二阶导数的力学意义． 设某质点作直线运动,其运动方程为 求该质点在 t=3 时的加速度. 解 故 已知物体的运动方程为 是常数， 求物体运动的加速度． 解 例10 例11 一 显函数高阶导数 逐次求导，从中发现，总结规律 二　隐函数的二阶导数 求隐函数的二阶导数，先求出一阶导数， 在一阶导数表达式的两边再对 x 求导数， 隐函数的导数的表达式中只能有 x, y 而不能保留 三　参数方程确定的函数的二阶导数 *

目前遇到了一个问题：如何在loss函数定义过程中加入梯度相关的内容。
 
如果直接进行backward与求grad的操作，会导致无法继续求导。例如，先算出结果相对于输入$\hat{h}$的导数，再算结果的模长相对于网络参数的导数：
 
from torch import nn
import torch.nn.functional as F
import torch


class Classifier(nn.Module):
    def __init__(self, dim_in=5):
        super(DomainClassifier, self).__init__()
        self.fc = nn.Linear(dim_in, 1)

    def forward(self, x):
        x = self.fc(x)
        return x


if __name__ == '__main__':
    h_hat = torch.rand(13, 5).requires_grad_()
    d = Classifier()
    opt = torch.optim.Adam(d.parameters())
    opt.zero_grad()
    # 计算h_hat的梯度
    d(h_hat).sum().backward()
    grad = h_hat.grad
    L_grad = torch.norm(grad, p=2)
    print("L_grad", L_grad)
    # L_grad.backward() # 如果直接backward会报错
    # opt.step()
 
解决方案
 
使用torch.autograd.grad函数：
grad = torch.autograd.grad(d(h_hat).sum(), h_hat, create_graph=True)[0]
print(grad)
L_grad = torch.norm(grad, p=2)
print("L_grad", L_grad)
L_grad.backward()
opt.step()
 
第一个backward加上参数create_graph=True，并且后面算第二个导数之前加上zero_grad()：
d(h_hat).sum().backward(create_graph=True)
grad = h_hat.grad
opt.zero_grad()
L_grad = torch.norm(grad, p=2)
L_grad.backward()
opt.step()
 

本文引用与百度百科。
 
简介
 
二阶导数，是原函数导数的导数，将原函数进行二次求导。一般的，函数y=f（x）的导数yˊ=fˊ（x）仍然是x的函数，则y′′=f′′（x）的导数叫做函数y=f（x）的二阶导数。在图形上，它主要表现函数的凹凸性。
 
代数记法
 
 
几何意义
 
 
对于反函数
 
 
性质
 
（1）如果一个函数f(x)在某个区间I上有f''(x)（即二阶导数）>0恒成立，那么对于区间I上的任意x,y，总有：
 
f(x)+f(y)≥2f[(x+y)/2]，如果总有f''(x)<0成立，那么上式的不等号反向。
 
几何的直观解释：如果一个函数f(x)在某个区间I上有f''(x)（即二阶导数）>0恒成立，那么在区间I上f(x)的图象上的任意两点连出的一条线段，这两点之间的函数图象都在该线段的下方，反之在该线段的上方。
 
（2）判断函数极大值以及极小值。
 
结合一阶、二阶导数可以求函数的极值。当一阶导数等于0，而二阶导数大于0时，为极小值点。当一阶导数等于0，而二阶导数小于0时，为极大值点；当一阶导数和二阶导数都等于0时，为驻点。
 
（3）函数凹凸性。
 
设f(x)在[a,b]上连续，在（a,b)内具有一阶和二阶导数，那么，
 
（1）若在（a,b)内f''(x)>0,则f(x)在[a,b]上的图形是凹的；
 
（2）若在（a,b)内f''(x)>0,则f(x)在[a,b]上的图形是凸的。

凸函数：斜率不断上涨，即斜率的导数大于0，即原函数的二阶导数大于0
 
凹函数：斜率不断下跌，即斜率的导数小于0，即原函数的二阶导数小于0