函数
 $$f(x)=\{\begin{array}{ll}{x}^2\sin \frac{1}{x},& x>0\\ 0,& x⩽0\end{array}$$
 
 
解
 $$\begin{array}{rl}{f}_{-}^{\prime }(0)& =\underset{x\to 0^{-}}{\lim }\frac{f(x)-f(0)}{x-0}=\underset{x\to 0^{-}}{\lim }\frac{0-0}{x}=0\\ f_{+}^{\prime }(0)& =\underset{x\to 0^{+}}{\lim }\frac{f(x)-f(0)}{x-0}=\underset{x\to 0^{+}}{\lim }\frac{x^2\sin \frac{1}{x}-0}{x}\\ & =\underset{x\to 0^{+}}{\lim }x\sin \frac{1}{x}=0(\text{ 因无穷小 }\times \text{ 有界量 }=\text{ 无穷小 })\end{array}$$
 所以 $f^{\prime }(0)=0$, 当 $x>0$ 时
 $$f^{\prime }(x)={\left(x^2\sin \frac{1}{x}\right)}^{\prime }=2x\sin \frac{1}{x}+x^2\cos \frac{1}{x}\left(-\frac{1}{x^2}\right)=2x\sin \frac{1}{x}-\cos \frac{1}{x}$$
 当 $x<0$ 时, $f^{\prime }(x)=(0{)}^{\prime }=0$, 所以
 $$f^{\prime }(x)=\{\begin{array}{ll}2x\sin \frac{1}{x}-\cos \frac{1}{x},& x>0\\ 0,& x⩽0\end{array}$$
 因此
 $$f^{\prime }\left(0^{-}\right)=\underset{x\to 0^{-}}{\lim }{f}^{\prime }(x)=\underset{x\to 0^{-}}{\lim }0=0$$
 $f^{\prime }\left(0^{+}\right)={\lim }_{x\to 0^{+}}{f}^{\prime }(x)={\lim }_{x\to 0^{+}}\left(2x\sin \frac{1}{x}-\cos \frac{1}{x}\right)$ 不存在（因为 ${\lim }_{x\to 0}2x\sin \frac{1}{x}=0$, 而 ${\lim }_{x\to 0}\cos \frac{1}{x}$ 属于振荡不存在）.
 
因为在 $(-\infty ,+\infty )$ 上 $f^{\prime }(x)$ 都存在, 所以 $f(x)$ 在 $(-\infty ,+\infty )$ 上连续, 又根据 $f^{\prime }(x)$ 的表达式，显然当 $x\ne 0$ 时, $f^{\prime }(x)$ 连续, 而 $x=0$ 是 $f^{\prime }(x)$ 的第二类振荡间断点.
 
 
2021年9月9日12:55:37

f(x) 处处连续 
 
 $$f(x)= \left \{ \begin{matrix} x^{2}sin(\frac{1}{x}) & x\neq 0 \\ 0 & x=0 \end{matrix} \right.$$  

 

 
f(x) 处处可导 
 
 $$f^{'}(x)=\left \{ \begin{matrix}
2xsin(\frac{1}{x})-cos(\frac{1}{x}) & x\neq 0\\ 
\lim_{ x\to 0}xsin(\frac{1}{x})=0 & x=0
\end{matrix} \right.$$  

 

 
x=0 是第二类间断点（一个震荡间断点）

 
二元函数二阶混合偏导数的近似计算式与误差阶推导
 
问题
引理一：
引理二：
引理三：
引理四：
命题
数值实验
函数一
函数二
   
结论
 

 
问题
 
假设$f(x,y)$在全平面内存在且足够的光滑，求$f_{xy}(x_0,y_0)$的计算式与误差阶
 
引理一：
 
若$f_{xy}(x_0,y_0),f_{yx}(x_0,y_0)$均在$(x_0,y_0)$处存在且连续，则$f_{xy}(x_0,y_0)=f_{yx}(x_0,y_0)$
 
引理二：
 
设$D\subset R^2$为一区域，函数$f(x,y)\in C^2(D)$,且$(x_0,y_0)\in D,(x_0+h,y_0+k)\in D$，则有二元函数带皮亚诺余项的泰勒公式
 $$f(x_0+h,y_0+k)=f(x_0,y_0)+h{f}_x(x_0,y_0)+k{f}_y(x_0,y_0)+\frac{h^2{f}_{xx}(x_0,y_0)+2hk{f}_{xy}(x_0,y_0)+k^2{f}_{yy}(x_0,y_0)}{2}+o({\rho }^2)$$
 其中，$\rho =\sqrt{h^2+k^2}$
 
引理三：
 
(一元函数带拉格朗日余项的泰勒公式)设函数f(x)在包含点$x_0$的区间(a,b)内具有直到n+1阶的导数，则对任意$x\in (a,b)$都有
 $$f(x)=f(x_0)+f^{{}^{\prime }}(x_0)(x-x_0)+\frac{1}{2!}{f}^{{}^{\prime \prime }}(x_0)(x-x_0{)}^2+...+\frac{1}{n!}{f}^{(n)}(x_0)(x-x_0{)}^n+R_n(x)$$
 其中,$R_n(x)=\frac{1}{(n+1)!}{f}^{(n+1)}(\xi )(x-x_0{)}^{(n+1)}$,$\xi$在$x_0$与$x$之间
 
引理四：
 
(二元函数带拉格朗日余项的泰勒公式)设$D\subset R^3$为一区域，函数$f(x,y)\in C^3(D)$,且$(x_0,y_0)\in D,(x_0+h,y_0+k)\in D$，则有
 $f(x_0+h,y_0+k)=f(x_0,y_0)+h{f}_x(x_0,y_0)+k{f}_y(x_0,y_0)+\frac{h^2{f}_{xx}(x_0,y_0)+2hk{f}_{xy}(x_0,y_0)+k^2{f}_{yy}(x_0,y_0)}{2!}$
 
$+\frac{h^3{f}_{xxx}(x_0+\theta h,y_0+\theta k)+3h^{2}k{f}_{xxy}(x_0+\theta h,y_0+\theta k)+3h{k}^2{f}_{xyy}(x_0+\theta h,y_0+\theta k)+k^3{f}_{yyy}(x_0+\theta h,y_0+\theta k)}{3!},\theta \in (0,1)$
 
命题
 
$f_{xy}(x_0,y_0)=\frac{f(x_0+h,y_0+k)-f(x_0-h,y_0+k)-f(x_0+h,y_0-k)+f(x_0-h,y_0-k)}{4hk}$
 
证明：
 由引理四得到
 
$f(x_0+h,y_0+k)=f(x_0,y_0)+h{f}_x(x_0,y_0)+k{f}_y(x_0,y_0)+\frac{h^2{f}_{xx}(x_0,y_0)+2hk{f}_{xy}(x_0,y_0)+k^2{f}_{yy}(x_0,y_0)}{2!}$
 
$+\frac{h^3{f}_{xxx}(x_0+{\theta }_{1}h,y_0+{\theta }_{1}k)+3h^{2}k{f}_{xxy}(x_0+{\theta }_{1}h,y_0+{\theta }_{1}k)+3h{k}^2{f}_{xyy}(x_0+{\theta }_{1}h,y_0+{\theta }_{1}k)+k^3{f}_{yyy}(x_0+{\theta }_{1}h,y_0+{\theta }_{1}k)}{3!}$
 
$f(x_0-h,y_0+k)=f(x_0,y_0)-h{f}_x(x_0,y_0)+k{f}_y(x_0,y_0)+\frac{h^2{f}_{xx}(x_0,y_0)-2hk{f}_{xy}(x_0,y_0)+k^2{f}_{yy}(x_0,y_0)}{2!}$
 
$+\frac{-h^3{f}_{xxx}(x_0-{\theta }_{2}h,y_0+{\theta }_{2}k)+3h^{2}k{f}_{xxy}(x_0-{\theta }_{2}h,y_0+{\theta }_{2}k)-3h{k}^2{f}_{xyy}(x_0-{\theta }_{2}h,y_0+{\theta }_{2}k)+k^3{f}_{yyy}(x_0-{\theta }_{2}h,y_0+{\theta }_{2}k)}{3!}$
 
$f(x_0+h,y_0-k)=f(x_0,y_0)+h{f}_x(x_0,y_0)-k{f}_y(x_0,y_0)+\frac{h^2{f}_{xx}(x_0,y_0)-2hk{f}_{xy}(x_0,y_0)+k^2{f}_{yy}(x_0,y_0)}{2!}$
 
$+\frac{h^3{f}_{xxx}(x_0+{\theta }_{3}h,y_0-{\theta }_{3}k)-3h^{2}k{f}_{xxy}(x_0+{\theta }_{3}h,y_0-{\theta }_{3}k)+3h{k}^2{f}_{xyy}(x_0+{\theta }_{3}h,y_0-{\theta }_{3}k)-k^3{f}_{yyy}(x_0+{\theta }_{3}h,y_0-{\theta }_{3}k)}{3!}$
 
$f(x_0-h,y_0-k)=f(x_0,y_0)-h{f}_x(x_0,y_0)-k{f}_y(x_0,y_0)+\frac{h^2{f}_{xx}(x_0,y_0)+2hk{f}_{xy}(x_0,y_0)+k^2{f}_{yy}(x_0,y_0)}{2!}$
 
$+\frac{-h^3{f}_{xxx}(x_0-{\theta }_{4}h,y_0-{\theta }_{4}k)-3h^{2}k{f}_{xxy}(x_0-{\theta }_{4}h,y_0-{\theta }_{4}k)-3h{k}^2{f}_{xyy}(x_0-{\theta }_{4}h,y_0-{\theta }_{4}k)-k^3{f}_{yyy}(x_0-{\theta }_{4}h,y_0-{\theta }_{4}k)}{3!}$
 
所以，误差等于
 $\frac{f(x_0+h,y_0+k)-f(x_0+h,y_0-k)-f(x_0-h,y_0+k)+f(x_0-h,y_0-k)}{4hk}-f_{yx}(x_0,y_0)$
 
$=\frac{1}{24hk}((h^3{f}_{xxx}(x_0+{\theta }_{1}h,y_0+{\theta }_{1}k)+3h^{2}k{f}_{xxy}(x_0+{\theta }_{1}h,y_0+{\theta }_{1}k)+3h{k}^2{f}_{xyy}(x_0+{\theta }_{1}h,y_0+{\theta }_{1}k)+k^3{f}_{yyy}(x_0+{\theta }_{1}h,y_0+{\theta }_{1}k))$
 
$-(-h^3{f}_{xxx}(x_0-{\theta }_{2}h,y_0+{\theta }_{2}k)+3h^{2}k{f}_{xxy}(x_0-{\theta }_{2}h,y_0+{\theta }_{2}k)-3h{k}^2{f}_{xyy}(x_0-{\theta }_{2}h,y_0+{\theta }_{2}k)+k^3{f}_{yyy}(x_0-{\theta }_{2}h,y_0+{\theta }_{2}k))$
 
$-(h^3{f}_{xxx}(x_0+{\theta }_{3}h,y_0-{\theta }_{3}k)-3h^{2}k{f}_{xxy}(x_0+{\theta }_{3}h,y_0-{\theta }_{3}k)+3h{k}^2{f}_{xyy}(x_0+{\theta }_{3}h,y_0-{\theta }_{3}k)-k^3{f}_{yyy}(x_0+{\theta }_{3}h,y_0-{\theta }_{3}k))$
 
$+(-h^3{f}_{xxx}(x_0-{\theta }_{4}h,y_0-{\theta }_{4}k)-3h^{2}k{f}_{xxy}(x_0-{\theta }_{4}h,y_0-{\theta }_{4}k)-3h{k}^2{f}_{xyy}(x_0-{\theta }_{4}h,y_0-{\theta }_{4}k)-k^3{f}_{yyy}(x_0-{\theta }_{4}h,y_0-{\theta }_{4}k)))$
 
将等式右边合并同类项按照$h^3,h^{2}k,h{k}^2,k^3$分成四类考虑
 
含$h^3$的几项为
 
$\frac{h^3}{24hk}(f_{xxx}(x_0+{\theta }_{1}h,y_0+{\theta }_{1}k)+f_{xxx}(x_0-{\theta }_{2}h,y_0+{\theta }_{2}k)-f_{xxx}(x_0+{\theta }_{3}h,y_0-{\theta }_{3}k)-f_{xxx}(x_0-{\theta }_{4}h,y_0-{\theta }_{4}k))$
 
设$G(\theta )=f_{xxx}(x_0+\theta h,y_0+\theta k),H(\theta )=f_{xxx}(x_0-\theta h,y_0+\theta k)$
 
则上面几项可以化为$\frac{h^2}{24k}((G({\theta }_1)-G(-{\theta }_4)+(H({\theta }_2)-H(-{\theta }_3)))$
 
$=\frac{h^2}{24k}(({\theta }_1+{\theta }_4)G^{{}^{\prime }}({\xi }_1)+({\theta }_2+{\theta }_3)H^{{}^{\prime }}({\xi }_2))$
 
而用链式法则对$G,H$求导，得到
 
$G^{{}^{\prime }}(\theta )=h{f}_{xxxx}(x_0+\theta h,y_0+\theta k)+k{f}_{xxxy}(x_0+\theta h,y_0+\theta k)$
 
$H^{{}^{\prime }}(\theta )=-h{f}_{xxxx}(x_0-\theta h,y_0+\theta k)+k{f}_{xxxy}(x_0-\theta h,y_0+\theta k)$
 
因此，原来几项可以化为
 
$\frac{h^2}{24k}(({\theta }_1+{\theta }_4)(h{f}_{xxxx}(x_0+{\xi }_{1}h,y_0+{\xi }_{1}k)+k{f}_{xxxy}(x_0+{\xi }_{1}h,y_0+{\xi }_{1}k))$
 
$+({\theta }_2+{\theta }_3)(-h{f}_{xxxx}(x_0-{\xi }_{2}h,y_0+{\xi }_{2}k)+k{f}_{xxxy}(x_0-{\xi }_{2}h,y_0+{\xi }_{2}k)))$
 
由于${\theta }_1+{\theta }_4$与${\theta }_2+{\theta }_3$一般不相等，所以无法用拉格朗日中值定理进一步化简
 
因此当$h,k$大小接近的时候，若假设上面的四阶偏导数均有界，则有误差阶数为$O(h^2)$
 
类似地对$h^{2}k,h{k}^2,k^3$讨论，得到在h与k同阶的时候，误差阶数为$O(h^2)$
 
数值实验
 
函数一
 
$f(x,y)=x^{2}sin(y)+e^{x{y}^2}$
 
$f_x(x,y)=2xsin(y)+y^2{e}^{x{y}^2}$
 
$f_y(x,y)=x^{2}cos(y)+2xy{e}^{x{y}^2}$
 
$f_{xy}(x,y)=2xcos(y)+2y{e}^{x{y}^2}+2x{y}^3{e}^{x{y}^2}$
 
	import numpy as np
	def f1(x,y):
	    return x*x*np.sin(y)+np.exp(x*y*y)
	def f1xy(x,y):
	    return 2*x*np.cos(y)+2*y*np.exp(x*y*y)+2*x*y*y*y*np.exp(x*y*y)
	x=2.5
	y=1.8
	h=0.1
	k=0.1
	print("(%.4f,%.4f)二阶混合偏导数真实值:%.10f"%(x,y,f2xy(x,y)))
	print("序号\th,k\t\t近似公式计算值\t\t误差\t\t误差衰减倍数")
	for i in range(20):
	    now=(f1(x+h,y+k)-f1(x-h,y+k)-f1(x+h,y-k)+f1(x-h,y-k))*0.25/h/k
	    print("%d\t%.7f\t%.10f\t%.10f"%(i+1,h,now,now-f1xy(x,y)),end='')
	    if i>0:
	        print("\t%.6f"%(las/(now-f1xy(x,y))))
	    else:
	        print()
	    las=now-f1xy(x,y)
	    h*=0.5
	    k*=0.5
 
(2.5000,1.8000)二阶混合偏导数真实值:2.6708851424
 序号 h,k 近似公式计算值 误差 误差衰减倍数
 1 0.1000000 133118.5135877089 25192.8754518838
 2 0.0500000 113820.5496154785 5894.9114796533 4.273665
 3 0.0250000 109375.4104465985 1449.7723107733 4.066095
 4 0.0125000 108286.6028087446 360.9646729195 4.016383
 5 0.0062500 108015.7871949166 90.1490590915 4.004087
 6 0.0031250 107948.1696480652 22.5315122401 4.001021
 7 0.0015625 107931.2706538942 5.6325180690 4.000256
 8 0.0007813 107927.0462427288 1.4081069037 4.000064
 9 0.0003906 107925.9901575744 0.3520217493 4.000057
 10 0.0001953 107925.7261663675 0.0880305424 3.998859
 11 0.0000977 107925.6601095200 0.0219736948 4.006178
 12 0.0000488 107925.6436347961 0.0054989710 3.995965
 13 0.0000244 107925.6391525269 0.0010167017 5.408637
 14 0.0000122 107925.6431579590 0.0050221338 0.202444
 15 0.0000061 107925.5615234375 -0.0766123876 -0.065553
 16 0.0000031 107925.3906250000 -0.2475108251 0.309531
 17 0.0000015 107925.4882812500 -0.1498545751 1.651673
 18 0.0000008 107926.7578125000 1.1196766749 -0.133837
 19 0.0000004 107917.9687500000 -7.6693858251 -0.145993
 20 0.0000002 107887.5000000000 -38.1381358251 0.201095
 
函数二
 
$f(x,y)=x^{\frac{3}{2}}sin(x+y)$
 
$f_x(x,y)=x^{\frac{3}{2}}cos(x+y)+\frac{3}{2}{x}^{\frac{1}{2}}sin(x+y)$
 
$f_y(x,y)=x^{\frac{3}{2}}cos(x+y)$
 
$f_{xy}(x,y)=-x^{\frac{3}{2}}sin(x+y)+\frac{3}{2}{x}^{\frac{1}{2}}cos(x+y)$
 
	import numpy as np
	def f2(x,y):
	    return x**1.5*np.sin(x+y)
	def f2xy(x,y):
	    return 1.5*(x**0.5)*np.cos(x+y)-x**1.5*np.sin(x+y)
	x=5
	y=5
	h=0.1
	k=0.1
	print("(%.4f,%.4f)二阶混合偏导数真实值:%.10f"%(x,y,f2xy(x,y)))
	print("序号\th,k\t\t近似公式计算值\t\t误差\t\t误差衰减倍数")
	for i in range(15):
	    now=(f2(x+h,y+k)-f2(x-h,y+k)-f2(x+h,y-k)+f2(x-h,y-k))*0.25/h/k
	    print("%d\t%.7f\t%.10f\t%.10f"%(i+1,h,now,now-f2xy(x,y)),end='')
	    if i>0:
	        print("\t%.6f"%(las/(now-f2xy(x,y))))
	    else:
	        print()
	    las=now-f2xy(x,y)
	    h*=0.5
	    k*=0.5
 
(5.0000,5.0000)二阶混合偏导数真实值:3.2680094602
 序号 h,k 近似公式计算值 误差 误差衰减倍数
 1 0.1000000 3.2674426586 -0.0005668017
 2 0.0500000 3.2678703460 -0.0001391142 4.074362
 3 0.0250000 3.2679748435 -0.0000346167 4.018704
 4 0.0125000 3.2680008162 -0.0000086441 4.004682
 5 0.0062500 3.2680072998 -0.0000021604 4.001154
 6 0.0031250 3.2680089201 -0.0000005401 4.000008
 7 0.0015625 3.2680093253 -0.0000001350 4.001843
 8 0.0007813 3.2680094264 -0.0000000338 3.989878
 9 0.0003906 3.2680094504 -0.0000000098 3.446221
 10 0.0001953 3.2680094533 -0.0000000069 1.421488
 11 0.0000977 3.2680094242 -0.0000000360 0.191759
 12 0.0000488 3.2680093311 -0.0000001291 0.278833
 13 0.0000244 3.2680094242 -0.0000000360 3.586371
 14 0.0000122 3.2680064440 -0.0000030162 0.011938
 15 0.0000061 3.2679975033 -0.0000119569 0.252259
 
由上面几个函数的例子可以看出，h和k减小为原来一半时，误差减小为原来的四分之一，因此验证了误差的阶数为平方级别
 
结论
 
对于足够光滑的函数$f(x,y)$,有二阶混合偏导数计算式：
 
$$f_{xy}(x_0,y_0)=\frac{f(x_0+h,y_0+k)-f(x_0-h,y_0+k)-f(x_0+h,y_0-k)+f(x_0-h,y_0-k)}{4hk}$$
 
该计算式的误差阶上界数为二阶
 
由于作者水平有限，如果推导过程中有错误或考虑不周之处，还望不吝指正。

查了很多地方说牛顿法是二阶算法，一直没找到二阶项在哪。花了大半天的时间才弄明白。记录一下。
 牛顿法一般应用场景：
 
求方程的根；
求解最优化方法；
 
比如要求$f(x)=0$的根。
 首先，选择一个接近函数 $f(x)$零点的 $x_0$，计算相应的 $f(x_0)$和切线斜率$f^{\prime }(x_0)$（这里$f^{\prime }$表示函数$f$的导数）。然后我们计算穿过点$(x_0,f(x_0))$并且斜率为$f^{\prime }(x0)$的直线和 $x$ 轴的交点的$x$坐标，也就是求如下方程的解：
 $$f(x_1)-f(x_0)=f^{\prime }\left(x_0\right)\cdot (x_1-x_0)$$
 通常x1会比x0更接近方程f (x) = 0的解。因此我们现在可以利用x1开始下一轮迭代。迭代公式可化简为如下所示：
 $$x_{n+1}=x_n-\frac{f\left(x_n\right)}{f^{\prime }\left(x_n\right)}$$
 已经证明，如果f ’ 是连续的，并且待求的零点x是孤立的，那么在零点x周围存在一个区域，只要初始值x0位于这个邻近区域内，那么牛顿法必定收敛。 并且，如果f ’ (x)不为0, 那么牛顿法将具有平方收敛的性能. 粗略的说，这意味着每迭代一次，牛顿法结果的有效数字将增加一倍。下图为一个牛顿法执行过程的例子。
 
由于牛顿法是基于当前位置的切线来确定下一次的位置，所以牛顿法又被很形象地称为是"切线法"。牛顿法的搜索路径（二维情况）如下图所示：
 
牛顿法搜索动态示例图：
 　关于牛顿法和梯度下降法的效率对比：
 
从本质上去看，牛顿法是二阶收敛，梯度下降是一阶收敛，所以牛顿法就更快。如果更通俗地说的话，比如你想找一条最短的路径走到一个盆地的最底部，梯度下降法每次只从你当前所处位置选一个坡度最大的方向走一步，牛顿法在选择方向时，不仅会考虑坡度是否够大，还会考虑你走了一步之后，坡度是否会变得更大。所以，可以说牛顿法比梯度下降法看得更远一点，能更快地走到最底部。（牛顿法目光更加长远，所以少走弯路；相对而言，梯度下降法只考虑了局部的最优，没有全局思想。）
 
根据wiki上的解释，从几何上说，牛顿法就是用一个二次曲面去拟合你当前所处位置的局部曲面，而梯度下降法是用一个平面去拟合当前的局部曲面，通常情况下，二次曲面的拟合会比平面更好，所以牛顿法选择的下降路径会更符合真实的最优下降路径。
 　　
 　　注：红色的牛顿法的迭代路径，绿色的是梯度下降法的迭代路径。
 
牛顿法的优缺点总结：
 　　优点：二阶收敛，收敛速度快；
 　　缺点：牛顿法是一种迭代算法，每一步都需要求解目标函数的Hessian矩阵的逆矩阵，计算比较复杂。
 
 
当我们将牛顿法用作优化算法的时候，它就是二阶的。
 假设我们有一个凸优化问题
 $$\underset{x}{\min }f(x)$$
 也就是说我们要找一个x来最小化f(x)。对于凸优化问题，f(x)的最小值点就是f(x)的极值点，也就是导数为0的点。那么我们上面的优化问题就转换为了如下的求根问题：
 $$f^{\prime }(x)=0$$
 利用牛顿法求解上面的式子，我们先选取初始点x0，然后进行如下迭代
 $$x_{n+1}=x_n-\frac{f^{\prime }\left(x_n\right)}{f^{\prime \prime }\left(x_n\right)}$$
 直到$|x_{n+1}-x_n|<ϵ$
 综上，牛顿法求根是一阶算法，我们将优化问题转为求根问题需要一阶导数，所以用牛顿法进行最优化是二阶算法。
 
参考资料
 http://sofasofa.io/forum_main_post.php?postid=1000966
 https://www.cnblogs.com/shixiangwan/p/7532830.html