这篇笔记，来自我对支持向量机（SVM）算法原理的学习。支持向量机算法最终归结为二次规划问题，研究二次规划问题，必须先从一般的最优化问题开始分析。如无特别声明，本文最优化问题特指寻求目标函数最小值。

一元函数最优化问题，可以简单归结为极值点必须满足下面两个条件：

$$\frac{df}{dx}=0\text{\hspace{1em}(1)}$$
$$\frac{d^{2}f}{d{x}^2}>0\text{\hspace{1em}(2)}$$

#条件推广：一阶导数为零
二元函数情形，很容易得到第一个条件(1)式的推广形式：
$$\frac{\partial f}{\partial x}=0,\frac{\partial f}{\partial y}=0\text{\hspace{1em}(3)}$$

#条件推广：二阶导数为正
我们可以认为，沿任意方向 $(d{x}_1,d{x}_2)=(\cos \alpha dt,\sin \alpha dt)$，都有
$$\frac{d^{2}f}{d{t}^2}>0\text{\hspace{1em}(4)}$$

下面我们推导一下，看看有什么结果，
$$\frac{df}{dt}=\frac{\partial f}{\partial x_1}\frac{d{x}_1}{dt}+\frac{\partial f}{\partial x_2}\frac{d{x}_2}{dt}=\frac{\partial f}{\partial x_1}\cos \alpha +\frac{\partial f}{\partial x_2}\sin \alpha \text{\hspace{1em}(5)}$$
$$
\frac{d^2f}{dt2}=…=\frac{\partial^2 f}{\partial x_1^2}\cos2 \alpha

• \frac{\partial^2 f}{\partial x_1 \partial x_2}\cos \alpha \sin \alpha
• \frac{\partial^2 f}{\partial x_2 \partial x_1}\cos \alpha \sin \alpha
• \frac{\partial^2 f}{\partial x_2^2}\sin2 \alpha \tag{6}
  $$

对于所有的 $\alpha$ ,要求上式恒大于零，那么函数的这四个二阶偏导应该满足什么条件呢？

#Hessian矩阵
令 $d=(\cos \alpha ,\sin \alpha )$，则有，
$$d^T\left(\begin{array}{cc}\frac{{\partial }^{2}f}{\partial x_1^2}& \frac{{\partial }^{2}f}{\partial x_1\partial x_2}\\ \frac{{\partial }^{2}f}{\partial x_2\partial x_1}& \frac{{\partial }^{2}f}{\partial x_2^2}\end{array}\right)d>0\text{\hspace{1em}(7)}$$
其中，矩阵
$$H(f)=\left(\begin{array}{cc}\frac{{\partial }^{2}f}{\partial x_1^2}& \frac{{\partial }^{2}f}{\partial x_1\partial x_2}\\ \frac{{\partial }^{2}f}{\partial x_2\partial x_1}& \frac{{\partial }^{2}f}{\partial x_2^2}\end{array}\right)\text{\hspace{1em}(8)}$$
称为 Hessian 矩阵，如果函数$f(x)$二阶导数连续，则该矩阵实对称矩阵。我们看到，二元函数取得极小值的另一个条件的推广形式是，函数的 Hessian 矩阵是正定矩阵。其实，这个结论很容易推广到 $n$ 原函数。

由前面讨论可知，(7)式表示函数在方向 $d$ 的二阶导数，这算是 Hessian 矩阵的几何意义吧。

#多元函数极值的判定
如果实值多元函数 $f(x)$ 二阶连续可导，并且在临界点 $\overline{x}$ 处梯度（一阶导数）等于0，即 $\nabla f(\overline{x})=0$ ， 为驻点。仅通过一阶导数无法判断在临界点 处是极大值还是极小值。

记 $f(x)$ 在 $\overline{x}$ 点处的 Hessian 矩阵为 $H(\overline{x})$ 。由于 $f(x)$ 在 $\overline{x}$ 点处连续，所以 $H(\overline{x})$ 是一个 $n\times n$ 的对称矩阵。对于 $H(\overline{x})$ ，有如下结论：

1. 如果 $H(\overline{x})$ 是正定矩阵，则临界点 $\overline{x}$ 处是一个局部的极小值。
2. 如果 $H(\overline{x})$ 是负定矩阵，则临界点 $\overline{x}$ 处是一个局部的极大值。
3. 如果 $H(\overline{x})$ 是不定矩阵，则临界点 $\overline{x}$ 处不是极值。

#正定矩阵的判定

接下来的问题就是如何判断一个矩阵是否为正定矩阵了，这方面参考资料很多，本文不再赘述。

原创不易，如有帮助，敬请点赞、关注、收藏，谢谢支持！

转载自：
https://blog.csdn.net/guoyunfei20/article/details/78246699

Hessian Matrix（海森矩阵）
Hessian Matrix，译作黑塞矩阵、海森矩阵、海瑟矩阵、海塞矩阵等。是一个多元函数的二阶偏导数构成的方阵，描述了函数的局部曲率。Hessian Matrix最早于19世纪由德国数学家Ludwig Otto Hesse提出，并以其名字命名。

Hessian Matrix常用于牛顿法解决优化问题，利用Hessian Matrix可判定多元函数的极值问题。

在工程实际问题的优化设计中，所列的目标函数往往很复杂，为了使问题简化，常常将目标函数在某点邻域展开成泰勒多项式来逼近原函数，此时函数在某点泰勒展开式的矩阵形式中会涉及到Hessian Matrix。

一、二元函数的Hessian Matrix

由高等数学知识可知，若一元函数f(x)在点X0的某个邻域内具有任意阶导数，则f(x)在点X0处的泰勒展开式为：

对于二元函数在点处的泰勒展开式为：

将上式写成矩阵的形式：

上式缩写为：

其中：

就是在点处的Hessian Matrix，它是函数在点处的二阶导数组成的方阵。

二、多元函数的Hessian Matrix

将二元函数的泰勒展开式推广到多元函数，则 在点处的泰勒展开式的矩阵形式为：

其中：

，它是在处的梯度。

为在处的Hessian Matrix。

三、利用Hessian Matrix判定多元函数的极值

设n多元实函数 在点的邻域内有二阶连续偏导，若有：

且

则：

转自：http://hi.baidu.com/imheaventian/item/c8591b19907bd816e2f98612

在数学中，海森矩阵（Hessian matrix 或 Hessian）是一个自变量为向量的实值函数的二阶偏导数组成的方块矩阵，此函数如下：

如果 f 所有的二阶导数都存在，那么 f 的海森矩阵即：

H(f)_ij(x) = D_iD_jf(x)

其中 ，即

可见，多元函数的二阶导数就是一个海森矩阵
 海森矩阵被应用于牛顿法解决的大规模优化问题。

混合偏导数和海森矩阵的对称性

海森矩阵的混合偏导数是海森矩阵非主对角线上的元素。假如他们是连续的，那么求导顺序没有区别，即

上式也可写为

在正式写法中，如果 f 函数在区域 D 内连续并处处存在二阶导数，那么 f的海森矩阵在 D 区域内为对称矩阵。

给定二阶导数连续的函数，海森矩阵的行列式，可用于分辨 f 的临界点是属于鞍点还是极值点。

对于 f 的临界点 (x0,y0) 一点，有 ，然而凭一阶导数不能判断它是鞍点、局部极大点还是局部极小点。海森矩阵可能解答这个问题。

    H > 0 ：若，则(x0,y0)是局部极小点；若，则(x0,y0)是局部极大点。
    H < 0 ：(x0,y0)是鞍点。
    H = 0 ：二阶导数无法判断该临界点的性质，得从更高阶的导数以泰勒公式考虑。

MATLAB中获得Hessian矩阵：

The Hessian of a scalar valued function f:Rn