Hessian Matrix 主要是由 变量的二阶导数所组成，对角线上的元素为：对某一元素的二阶导数，而非对角线元素是对不同元素的混合偏导！它是对称矩阵！
对于多元函数f(x1,x2,x3……xn)二阶连续可导，并且在临界点M=（x1,x2,x3……xn）处梯度为0，M为驻点，仅通过一阶导数无法判断是否为极大、小值点。
记M处的海森矩阵为H(M),由于f(X)在M点连续，所以H(M)是一个(n*n)对称矩阵。对于H(M)有如下结论：
1.如果H(M)是一个正定矩阵，则临界点M点是一个极小值点。
2..如果H(M)是一个负定矩阵，则临界点M点是一个极大值点。
3..如果H(M)是一个不定矩阵，则临界点M点不是极值点。
 
正定矩阵：对于埃米尔特矩阵（对称矩阵的推广），如果有X属于Rn,即X是n维的向量！有X*H(M)X>0, 
负定矩阵：对于埃米尔特矩阵（对称矩阵的推广），如果有X属于Rn,即X是n维的向量！有X*H(M)X<0,
半正定矩阵：对于埃米尔特矩阵（对称矩阵的推广），如果有X属于Rn,即X是n维的向量！有X*H(M)X>=0,
半负定矩阵：对于埃米尔特矩阵（对称矩阵的推广），如果有X属于Rn,即X是n维的向量！有X*H(M)X<=0,
不定矩阵：若它既不是半正定矩阵也不是办负定矩阵则称不定矩阵。
正定矩阵的判别：
1.将矩阵华为P*VP则V为对角矩阵，其对角线上的全部元素为正，则成立。
2.顺序主子式的行列式全为正。
3.……
在高等数学中我们学过，对极值的判定是根据驻点处的二阶导数的值进行判别，一元函数的求值，只是求解其二阶导数就能直接判断，二元函数的求值，对变量求二阶偏导数和各自的混合偏导，然后进行判别，当AC-B^2=0是亦无法进行判别，拓展值更高维度时，我们只是研究出了其具有的必要条件，即低一阶导数的值为0。故此高数中的方法具有很大的局限性！

https://blog.csdn.net/han_xiaoyang/article/details/79080100

https://www.cnblogs.com/wangyarui/p/6407604.html

https://www.cnblogs.com/always-fight/p/9377554.html

在向量分析中, 雅可比矩阵是一阶偏导数以一定方式排列成的矩阵。其行列式称为雅可比行列式。

一、Jacobian矩阵

雅可比矩阵的重要性在于它体现了一个可微方程与给出点的最优线性逼近. 因此, 雅可比矩阵类似于多元函数的导数。





                      



即：



假设F: Rn→Rm是一个从欧式n维空间转换到欧式m维空间的函数。这个函数F由m个实函数组成: y1(x1,…,xn), …, ym(x1,…,xn)。这些函数的偏导数(如果存在)可以组成一个m行n列的矩阵, 这就是所谓的雅可比矩阵(m*n),对应一阶偏导数：



 表示为: 



 

如果p是Rn中的一点, F在p点可微分, 那么在这一点的导数由JF(p)给出(这是求该点导数最简便的方法). 在此情况下, 由F(p)描述的线性算子即接近点p的F的最优线性逼近, x逼近于p:



二、海森矩阵

在数学中，海森矩阵（Hessian matrix 或 Hessian）是一个自变量为向量的实值函数的二阶偏导数组成的方块矩阵，此函数如下：



如果 f 所有的二阶导数都存在，那么 f 的海森矩阵即：



其中 ，即



三、梯度向量、Jacobian矩阵和Hessian矩阵

这里讨论的三个概念：梯度向量、Jacobian矩阵和Hessian矩阵

它的自变量：

因变量有两种情况：

　　一维f(x)：

　　　　此时的一阶导数构成的向量为梯度向量g(x)

　　　　二阶导数构成的矩阵为Hessian矩阵

　　多维：

　　　　此时的一阶导数构成的矩阵为Jacobian矩阵


 

目录
简介
雅各比矩阵
海森矩阵

简介
        二阶导数表示的导数的变化规律，如果函数是一条曲线，且曲线存在二阶导数，那么二阶导数表示的是曲线的曲率，曲率越大，曲线越是弯曲。以此类推，多维空间中的一个点的二阶导数就表示该点梯度下降的快慢。以二维图像为例，一阶导数是图像灰度变化即灰度梯度，二阶导数就是灰度梯度变化程度。
        Jacobian相当于一阶导数，Hessian相当于二阶导数， 一阶导数的零点是函数极值点，二阶导数的零点就是一阶导数的极值点。 信号的一阶导数的极值点反映了信号变化的最剧烈程度。有些时候求解极值点是不方便的，找到二阶导数的零点可以更好的帮助解决问题。
        在工程实际问题的优化设计中，所列的目标函数往往很复杂，为了使问题简化，常常将目标函数在某点邻域展开成泰勒多项式来逼近原函数，此时函数在某点泰勒展开式的矩阵形式中会涉及到海森矩阵。海森矩阵常用于牛顿法解决优化问题，利用海森矩阵可判定多元函数的极值问题。对于非线性优化问题, 牛顿法提供了一种求解的办法：假设任务是优化一个目标函数F(X), 求函数F(x)的极大极小问题,。可以转化为求解函数的导数F′=0的问题, 这样求可以把优化问题看成方程求解问题。海森矩阵被应用于牛顿法解决的大规模(多变量)优化问题。
雅各比矩阵
        雅可比矩阵类似于多元函数的导数，也即是函数对各个自变量的一阶导数.。在某个给定点的雅可比行列式提供了 在接近该点时的表现的重要信息. 例如, 如果连续可微函数F在p点的雅可比行列式不是零, 那么它在该点附近具有反函数. 这称为反函数定理. 更进一步, 如果p点的雅可比行列式是正数, 则F在p点的取向不变；如果是负数, 则F的取向相反. 而从雅可比行列式的绝对值, 就可以知道函数F在p点的缩放因子；

海森矩阵
        对于一个维度为n的函数f

                                      

        其在n维空间某点处的海森矩阵可以表达为如下：

        在二维图像中，海森矩阵是二维正定矩阵，有两个特征值和对应的两个特征向量。两个特征值表示出了图像在两个特征向量所指方向上图像变化的各向异性。
        图像中的点性结构具有各项同性，而线性结构具有各向异性。因此我们可以利用海森矩阵对图像中的线性结构进行增强，滤去点状的结构和噪声点。同样，也可以用于找出图像中的点状结构，滤除其他信息。
        我们在使用海森矩阵时，不需要把图像进行泰勒展开，我们只需要直接求取矩阵中的元素即可。一般，对数字图像进行二阶求导使用的是以下方法；



        但是这种方法鲁棒性很差，容易受到图像中局部信号的干扰， 计算量很大也不实际拿来使用在图像计算中。根据线性尺度空间理论（LOG），对一个函数求导，等于函数与高斯函数导数的卷积。由于高斯模板可以将周围一矩形范围内所有的点的信息都包含进来，这样就不会有误差。所以利用图像求取hessian矩阵中的元素时，将图像与高斯函数的二阶导数做卷积即可，式子如下；


        下面是高斯函数的二阶偏导。


        使用高斯核进行卷积时候，参数sigma 大小以及窗口大小会影响最终结果。求导窗口的大小有关，求导窗口太小，很多粗的结构会出现中空的现象，因为中心区域被认为是点结构了；求导窗口太大，就容易出现细微结构丢失的情况。
更多详细内容可以参考链接