二阶导的定义公式

图像运算中的一阶导与二阶导

千次阅读 2019-07-04 15:46:40

首先，图像是离散的数据，若求其导数就要用差分的方法，常用...一阶导本质上求的是斜率，二阶导求的是拐点。一阶导连续函数，其微分可表达为，或，（1.1）对于图像这种离散的数据，其可以表达为：，或， ...

首先，图像是离散的数据，若求其导数就要用差分的方法，常用的差分方法是前向差分（forward differencing）与中心差分（central differencing）。一阶导本质上求的是斜率，二阶导求的是拐点。

一阶导

连续函数，其微分可表达为

$f^{\prime}(x)=\lim _{h \rightarrow 0} \frac{f(x+h)-f(x)}{h}$ ，或， $f^{\prime}(x)=\frac{f(x+h)-f(x-h)}{2 h}$ （1.1）

对于图像这种离散的数据，其可以表达为：

$I_{x}=\frac{I(x)-I(x-h)}{h}$ ，或， $I_{x}=\frac{I(x+h)-I(x-h)}{2 h}$ （1.2）

以Prewitt一阶微分边缘检测算子为例，其利用像素点上下、左右邻点的灰度差，在边缘处达到极值检测边缘，去掉部分伪边缘，对噪声具有平滑作用。其原理是在图像空间利用两个方向模板与图像进行邻域卷积来完成的，这两个方向模板一个检测水平边缘，一个检测垂直边缘，这两个方向的模板就是一阶微分运算。具体如下：

$G(x)=|[f(i-1, j-1)+f(i-1, j)+f(i-1, j+1)]-[f(i+1, j-1)+f(i+1, j)+f(i+1, j+1)]|$ (1.3)

$G(y)=|[f(i-1, j+1)+f(i, j+1)+f(i+1, j+1)]-[f(i-1, j-1)+f(i, j-1)+f(i+1, j-1)]|$ (1.4)

$G=\max [G(x), G(y)]$ ，或， $\mathrm{G}=\mathrm{G}(\mathrm{x})+\mathrm{G}(\mathrm{y})$ (1.5)

Prewitt梯度算子法就是先求平均，再求差分来求梯度。水平和垂直梯度模板分别为：

$G_{x}=\left[\begin{array}{lll}{-1} & {0} & {1} \\ {-1} & {0} & {1} \\ {-1} & {0} & {1}\end{array}\right]$ $G_{y}=\left[\begin{array}{ccc}{1} & {1} & {1} \\ {0} & {0} & {0} \\ {-1} & {-1} & {-1}\end{array}\right]$

二阶导

对于一维函数，其二阶导数为：

$f^{\prime \prime}(x)=\lim _{h \rightarrow 0} \frac{f^{\prime}(x+h)-f^{\prime}(x)}{h}$ ，即 $f^{\prime \prime}(x)=\frac{f(x+h)-2 f(x)+f(x-h)}{h^{2}}$ (2.1)

它的差分函数为：

$I_{x x}=\frac{I(x+h)-2 I(x)+I(x-h)}{h^{2}}$ (2.2)

二阶导部分以Laplacian边缘检测算子为例。Laplace算子是一种各向同性算子，二阶微分算子，在只关心边缘的位置而不考虑其周围的象素灰度差值时比较合适。Laplace算子对孤立象素的响应要比对边缘或线的响应要更强烈，因此只适用于无噪声图象。存在噪声情况下，使用Laplacian算子检测边缘之前需要先进行低通滤波。所以，通常的分割算法都是把Laplacian算子和平滑算子结合起来生成一个新的模板。拉普拉斯算子也是最简单的各向同性微分算子，具有旋转不变性。

拉普拉斯算子是n维欧式空间的一个二阶微分算子。它定义为两个梯度向量算子的内积：

$\triangle \triangleq \nabla^{2} \triangleq \nabla \cdot \nabla=\left(\frac{\partial}{\partial x} \vec{i}+\frac{\partial}{\partial y} \vec{j}\right) \cdot\left(\frac{\partial}{\partial x} \vec{i}+\frac{\partial}{\partial y} \vec{j}\right)=\frac{\partial^{2}}{\partial x^{2}}+\frac{\partial^{2}}{\partial y^{2}}$ (2.3)

其在二维空间上的公式为：

$\Delta f=\frac{\partial^{2} f}{\partial x^{2}}+\frac{\partial^{2} f}{\partial y^{2}}$ (2.4)

1、对于1维离散情况，其二阶导数变为二阶差分：

1）首先，其一阶差分为：

$\nabla f[n]=f^{\prime}[n]=D_{n}[f[n]]=f[n+1]-f[n]$ (2.5)

2）因此，二阶差分为：

$\begin{aligned} \Delta f[n] =& \nabla^{2} f[n]=f^{\prime \prime}[n]=D_{n}^{2}[f[n]]=f^{\prime}[n]-f^{\prime}[n-1] \\ =&(f[n+1]-f[n])-(f[n]-f[n-1])=f[n+1]-2 f[n]+f[n-1] \end{aligned}$ (2.6)

3）因此，1维拉普拉斯运算可以通过1维卷积核[1，-2, 1]实现

2、对于2维离散情况（图像），拉普拉斯算子是2个维上二阶差分的和（见式2.4），其公式为：

$\begin{array}{ll}{\Delta f[m, n]} &= {D_{m}^{2}[f[m, n]]+D_{n}^{2}[f[m, n]]=f[m+1, n]-2 f[m, n]+f[m-1, n]+f[m, n+1]-2 f[m, n]+f[m, n-1]} \\ {} &= {f[m+1, n]+f[m-1, n]+f[m, n+1]+f[m, n-1]-4 f[m, n]}\end{array}$

其卷积可写为：

$\left[\begin{array}{ccc}{0} & {1} & {0} \\ {1} & {-4} & {1} \\ {0} & {1} & {0}\end{array}\right]$

其可拓展为

$\left[\begin{array}{ccc}{1} & {1} & {1} \\ {1} & {-8} & {1} \\ {1} & {1} & {1}\end{array}\right]$

参考文章：图像处理－线性滤波－2 图像微分（1、2阶导数和拉普拉斯算子）

收起

展开全文

图像处理中的一阶偏导数和二阶偏导数

千次阅读 2017-10-12 20:32:10

http://blog.csdn.net/xiaofengsheng/article/details/6023368 ... 1. 一阶差分： ...2. 二阶偏导数的推导和近似： 3. 上式以点（i+1，j）为中心，用i代换i+1可得以（i,

http://blog.csdn.net/xiaofengsheng/article/details/6023368
  
http://www.cnblogs.com/german-iris/p/4840647.html
  
 
  1. 一阶差分： 
  
   
 2. 二阶偏导数的推导和近似： 
  
   
 3. 上式以点（i+1，j）为中心，用i代换i+1可得以（i,j）为中心的二阶偏导数则有： 
  
   
 4. 同理： 
  
   
 5. 进而可推导： 
  
   
 6. 这样我们就可以很好的运用其他的一阶偏导的定义，如SIFT特征OpenCV实现版本中的一阶以及二阶偏导： 
  
 
  
   
   [cpp] 
   view plain
    copy 
    
    
   
   
  
  /* 
 Computes the partial derivatives in x, y, and scale of a pixel in the DoG 
 scale space pyramid. 
  
 @param dog_pyr DoG scale space pyramid 
 @param octv pixel's octave in dog_pyr 
 @param intvl pixel's interval in octv 
 @param r pixel's image row 
 @param c pixel's image col 
  
 @return Returns the vector of partial derivatives for pixel I 
     { dI/dx, dI/dy, dI/ds }^T as a CvMat* 
 */  
 static CvMat* deriv_3D( IplImage*** dog_pyr, int octv, int intvl, int r, int c )  
 {  
     CvMat* dI;  
     double dx, dy, ds;  
   
     dx = ( pixval32f( dog_pyr[octv][intvl], r, c+1 ) -  
         pixval32f( dog_pyr[octv][intvl], r, c-1 ) ) / 2.0;  
     dy = ( pixval32f( dog_pyr[octv][intvl], r+1, c ) -  
         pixval32f( dog_pyr[octv][intvl], r-1, c ) ) / 2.0;  
     ds = ( pixval32f( dog_pyr[octv][intvl+1], r, c ) -  
         pixval32f( dog_pyr[octv][intvl-1], r, c ) ) / 2.0;  
   
     dI = cvCreateMat( 3, 1, CV_64FC1 );  
     cvmSet( dI, 0, 0, dx );  
     cvmSet( dI, 1, 0, dy );  
     cvmSet( dI, 2, 0, ds );  
   
     return dI;  
 }  
   
   
   
 /* 
 Computes the 3D Hessian matrix for a pixel in the DoG scale space pyramid. 
  
 @param dog_pyr DoG scale space pyramid 
 @param octv pixel's octave in dog_pyr 
 @param intvl pixel's interval in octv 
 @param r pixel's image row 
 @param c pixel's image col 
  
 @return Returns the Hessian matrix (below) for pixel I as a CvMat* 
  
     / Ixx  Ixy  Ixs / <BR> 
     | Ixy  Iyy  Iys | <BR> 
     / Ixs  Iys  Iss / 
 */  
 static CvMat* hessian_3D( IplImage*** dog_pyr, int octv, int intvl, int r, int c )  
 {  
     CvMat* H;  
     double v, dxx, dyy, dss, dxy, dxs, dys;  
   
     v = pixval32f( dog_pyr[octv][intvl], r, c );  
     dxx = ( pixval32f( dog_pyr[octv][intvl], r, c+1 ) +   
             pixval32f( dog_pyr[octv][intvl], r, c-1 ) - 2 * v );  
     dyy = ( pixval32f( dog_pyr[octv][intvl], r+1, c ) +  
             pixval32f( dog_pyr[octv][intvl], r-1, c ) - 2 * v );  
     dss = ( pixval32f( dog_pyr[octv][intvl+1], r, c ) +  
             pixval32f( dog_pyr[octv][intvl-1], r, c ) - 2 * v );  
     dxy = ( pixval32f( dog_pyr[octv][intvl], r+1, c+1 ) -  
             pixval32f( dog_pyr[octv][intvl], r+1, c-1 ) -  
             pixval32f( dog_pyr[octv][intvl], r-1, c+1 ) +  
             pixval32f( dog_pyr[octv][intvl], r-1, c-1 ) ) / 4.0;  
     dxs = ( pixval32f( dog_pyr[octv][intvl+1], r, c+1 ) -  
             pixval32f( dog_pyr[octv][intvl+1], r, c-1 ) -  
             pixval32f( dog_pyr[octv][intvl-1], r, c+1 ) +  
             pixval32f( dog_pyr[octv][intvl-1], r, c-1 ) ) / 4.0;  
     dys = ( pixval32f( dog_pyr[octv][intvl+1], r+1, c ) -  
             pixval32f( dog_pyr[octv][intvl+1], r-1, c ) -  
             pixval32f( dog_pyr[octv][intvl-1], r+1, c ) +  
             pixval32f( dog_pyr[octv][intvl-1], r-1, c ) ) / 4.0;  
   
     H = cvCreateMat( 3, 3, CV_64FC1 );  
     cvmSet( H, 0, 0, dxx );  
     cvmSet( H, 0, 1, dxy );  
     cvmSet( H, 0, 2, dxs );  
     cvmSet( H, 1, 0, dxy );  
     cvmSet( H, 1, 1, dyy );  
     cvmSet( H, 1, 2, dys );  
     cvmSet( H, 2, 0, dxs );  
     cvmSet( H, 2, 1, dys );  
     cvmSet( H, 2, 2, dss );  
   
     return H;  
 }   
 
 
   
 参考： 
 （1）http://hi.baidu.com/shareshow/blog/item/34abdf544725cf54d109069b.html 
 （2）SIFT的OpenCV实现 

 

  

  
 
 OpenCV-跟我一起学数字图像处理之拉普拉斯算子 
 
 Laplace算子和Sobel算子一样，属于空间锐化滤波操作。起本质与前面的Spatial Filter操作大同小异，下面就通过Laplace算子来介绍一下空间锐化滤波，并对OpenCV中提供的Laplacian函数进行一些说明。 
 数学原理 
  
  离散函数导数 
  
 离散函数的导数退化成了差分，一维一阶差分公式和二阶差分公式分别为， 
  
  
  
  Laplace算子的差分形式 
  
 分别对Laplace算子x,y两个方向的二阶导数进行差分就得到了离散函数的Laplace算子。 
 在一个二维函数f(x,y)中，x,y两个方向的二阶差分分别为， 
  
  
 所以Laplace算子的差分形式为， 
  
 写成filter mask的形式如下， 
  
   0  1  0
 1  -4  1
 0  1  0 
  
 
  注意该mask的特点，mask在上下左右四个90度的方向上结果相同，也就是说在90度方向上无方向性。为了让该mask在45度的方向上也具有该性质，对该filter mask进行扩展定义为，
  
  
   1  1  1
 1  -8  1
 1  1  1 
  
 
   
  
 注： 
 有时我们也会见到不同于上述结果的Laplace算子的filter mask， 
  
   0  -1  0
 -1  4  -1
 0  -1  0 
  
 
   
  
  
   -1  -1  -1
 -1  8  -1
 -1  -1  -1 
  
 其原因是在定义二阶导数的时候采用了相反的定义，这个无关紧要，但是要注意，当用Laplace算子滤波后的图像与原图叠加时，混合操作是加还是减因上述的定义而异。 
  
  图像的Laplace操作 
  
 如同本文开始时说的那样，将Laplace算子写成filter mask后，其操作大同小异于其他的空间滤波操作。将filter mask在原图上逐行移动，然后mask中数值与其重合的像素相乘后求和，赋给与mask中心重合的像素，对图像的第一，和最后的行和列无法做上述操作的像素赋值零，就得到了拉普拉斯操作结果。 
  
  拉普拉斯操作结果与原图的混合 
  
 因为Laplace算子是二阶导数操作，其在强调图像素中灰度不连续的部分的同时也不在强调灰度值连续的部分。这样会产生一个具有很明显的灰度边界，但是没有足够特征的黑色背景。背景特征可以通过原图像与Laplace算子操作后的图像混合恢复。用公式， 
  
 其中的参数c的取值和上面的两种mask定义有关，当mask中心的数值取正时c=-1，相反c=1; 
 基于OpenCV的Laplace算子的计算 
 OpenCV中Laplacian函数可以实现对图像的Laplace操作，具体用法如下， 
  
  Laplacian( src_gray, dst, ddepth, kernel_size, scale, delta, BORDER_DEFAULT ); 
  
 参数意义为， 
 src_gray，输入图像
dst，Laplace操作结果
ddepth，输出图像深度，因为输入图像一般为CV_8U，为了避免数据溢出，输出图像深度应该设置为CV_16S
kernel_size，filter mask的规模，我们的mask时3x3的，所以这里应该设置为3
scale,delta,BORDER_DEFAULT，默认设置就好 
 基于OpenCV的Laplace算子仿真代码段如下， 
  
  
   
   
  //load the Original Image and get some informations
Mat src = imread("012.jpg",0);
namedWindow("OriginalImage");
imshow("OriginalImage",src);
CV_Assert(src.depth() == CV_8U);

//OpenCV solution - Laplacian
Mat dst,abs_dst_laplace;
Laplacian(src,dst,CV_16S,3);
convertScaleAbs(dst,abs_dst_laplace);

//show the result
namedWindow("result_laplacian");
imshow("result_laplacian",abs_dst_laplace); 
  
   
   
  
 其中convertScaleAbs函数功能是将CV_16S型的输出图像转变成CV_8U型的图像。 
 仿真结果： 
 原图： 
  
 Laplace操作结果： 
  
 基于mask operation原理仿真 
  
  Laplace算子滤波仿真 
  
 根据数学原理中介绍的算法，编写相应代码，进行相关仿真。其中对Laplace操作结果进行了图像拉伸显示，因为Laplace操作结果的像素值范围可能落在了[0,255]之外，而计算机在显示的时候将赋值全部置为0，大于255的像素全部显示成255。 
 代码段如下， 
  
  
   
   
  //get some informations of original image
int nr = src.rows;
int nc = src.cols;
int n = nr*nc;
int arr[9] = {0};

//scan the whole pixels of original image 
//and do Laplacian Operation
int* table_lap = new int[n];
int* table_orig = new int[n];
int l;
for (int i=0;i<n;i++)
{
    table_lap[i] = 0;
    table_orig[i] = 0;
}
for (int i=1;i<nr-1;i++)
{
    const uchar* previous = src.ptr<uchar>(i-1);
    const uchar* current = src.ptr<uchar>(i);
    const uchar* next = src.ptr<uchar>(i+1);
    for (int j=1;j<nc-1;j++)
    {
        for (int k=0;k<3;k++)
        {
            arr[k] = previous[j+k-1];
            arr[k+3] = current[j+k-1];
            arr[k+6] = next[j+k-1];
        }
        l = nc*i+j;        //calculate the location in the table of current pixel
        Lmaskoperation(table_lap,arr,l);
        table_orig[l] = arr[4];
    }
}

//pixels scale
uchar* La_scaled = new uchar[n];
table_scale(table_lap,La_scaled,n);

//padding values
Mat LaResult_own;
LaResult_own.create(src.size(),src.type());
uchar* p = NULL;
for (int i=0;i<nr;i++)
{
    p = LaResult_own.ptr<uchar>(i);
    for (int j=0;j<nc;j++)
    {
        l = nc*i+j;
        p[j] = La_scaled[l];
    }
}

//show results
namedWindow("LaResult_own");
imshow("LaResult_own",LaResult_own); 
  
   
   
  
 其中Lmaskoperation是我写的mask为Laplace mask的mask operation操作函数，函数段如下， 
  
  
   
   
  //**********************//
//Laplacian mask operation
//**********************//
void Lmaskoperation(int* table,int* arr,int l)
{
    int tmp[9] = {-1,-1,-1,-1,8,-1,-1,-1,-1};
    for (int i=0;i<9;i++)
    {
        table[l] = table[l] + tmp[i]*arr[i];
    }
} 
  
   
   
  
 tabel_scale函数就是我写的图像拉伸函数，将Laplace操作结果拉伸到[0,255]，具体函数段如下， 
  
  
   
   
  //*****************************//
//scale the pixels to [0 255]
//*****************************//
void table_scale(int* table,uchar* result,int n)
{
    int min = table[0];
    int max = table[0];
    for (int i=0;i<n;i++)
    {
        if(min>table[i])
        {
            min = table[i];
        }
        if(max<table[i])
        {
            max = table[i];
        }
    }
    for (int i=0;i<n;i++)
    {
        result[i] = (uchar)(255*(table[i]-min)/(max-min));
    }
} 
  
   
   
  
 仿真结果，拉伸后Laplace算子的操作结果 
  
 以灰色为主色调的显示结果就是Laplace算子操作拉伸后显示的一大特点。 
  
  Laplace滤波图像与原图像的混合 
  
 我使用的mask中心值为正，所以混合操作需要原图减去Laplace滤波图像，代码段如下， 
  
  
   
   
  //blending with the original image using Eq g(x,y)=f(x,y)+c*Lap(x,y)
int* table_blend = new int[n];
for(int i=0;i<n;i++)
{
    table_blend[i] = table_orig[i] - table_lap[i];
    if(table_blend[i]<0)
    {
        table_blend[i] = 0;
    }
    else if (table_blend[i]>255)
    {
        table_blend[i] = 255;
    }
}

//padding values to blending result
Mat Blresult;
Blresult.create(src.size(),src.type());
for (int i=0;i<nr;i++)
{
    p = Blresult.ptr<uchar>(i);
    for(int j=0;j<nc;j++)
    {
        l = nc*i+j;
        p[j] = table_blend[l];
    }
}

//show blending result
namedWindow("blending result_laplacian");
imshow("blending result_laplacian",Blresult); 
  
   
   
  
 仿真结果： 
  
 最后给出冈萨雷斯在介绍Laplacian时所给素材的仿真结果

收起

展开全文

图像处理 opencv 卷积

海森矩阵就是二阶偏导函数的方阵.他描述了局部的曲率函数

千次阅读 2013-07-25 20:25:39

海森矩阵就是二阶偏导函数的方阵.他描述了局部的曲率函数. Given the real -valued function if all second partial derivatives of f exist, then the Hessian matrix of f is the ...

In mathematics, the Hessian matrix is the square matrix of second-order partial derivatives of afunction; that is, it describes the local curvature of a function of many variables. The Hessian matrix was developed in the 19th century by the German mathematician Ludwig Otto Hesse and later named after him. Hesse himself had used the term "functional determinants".

海森矩阵就是二阶偏导函数的方阵.他描述了局部的曲率函数.

Given the real-valued function

$f(x_1, x_2, \dots, x_n),\,\!$

if all second partial derivatives of f exist, then the Hessian matrix of f is the matrix

$H(f)_{ij}(x) = D_i D_j f(x)\,\!$

where x = (x₁, x₂, ..., x_n) and D_i is the differentiation operator with respect to the ith argument and the Hessian becomes

$H(f) = \begin{bmatrix} \frac{\partial^2 f}{\partial x_1^2} & \frac{\partial^2 f}{\partial x_1\,\partial x_2} & \cdots & \frac{\partial^2 f}{\partial x_1\,\partial x_n} \\ \ \frac{\partial^2 f}{\partial x_2\,\partial x_1} & \frac{\partial^2 f}{\partial x_2^2} & \cdots & \frac{\partial^2 f}{\partial x_2\,\partial x_n} \\ \ \vdots & \vdots & \ddots & \vdots \\ \ \frac{\partial^2 f}{\partial x_n\,\partial x_1} & \frac{\partial^2 f}{\partial x_n\,\partial x_2} & \cdots & \frac{\partial^2 f}{\partial x_n^2} \end{bmatrix}$

Some mathematicians define the Hessian as the determinant of the above matrix.

Hessian matrices are used in large-scale optimization problems within Newton-type methods because they are the coefficient of the quadratic term of a local Taylor expansion of a function. That is,

$y=f(\mathbf{x}+\Delta\mathbf{x})\approx f(\mathbf{x}) + J(\mathbf{x})\Delta \mathbf{x} +\frac{1}{2} \Delta\mathbf{x}^\mathrm{T} H(\mathbf{x}) \Delta\mathbf{x}$

where J is the Jacobian matrix, which is a vector (the gradient) for scalar-valued functions. The full Hessian matrix can be difficult to compute in practice; in such situations, quasi-Newtonalgorithms have been developed that use approximations to the Hessian. The most well-known quasi-Newton algorithm is the BFGS algorithm.

在数学中，海森矩阵（Hessian matrix 或 Hessian）是一个自变量为向量的实值函数的二阶偏导数组成的方块矩阵，此函数如下：

$f(x_1, x_2, \dots, x_n),$

如果 f 所有的二阶导数都存在，那么 f 的海森矩阵即：

H(f)ij(x) = DiDjf(x)

其中 $x = (x_1, x_2, \dots, x_n)$ ，即

$H(f) = \begin{bmatrix}\frac{\partial^2 f}{\partial x_1^2} & \frac{\partial^2 f}{\partial x_1\,\partial x_2} & \cdots & \frac{\partial^2 f}{\partial x_1\,\partial x_n} \\ \\\frac{\partial^2 f}{\partial x_2\,\partial x_1} & \frac{\partial^2 f}{\partial x_2^2} & \cdots & \frac{\partial^2 f}{\partial x_2\,\partial x_n} \\ \\\vdots & \vdots & \ddots & \vdots \\ \\\frac{\partial^2 f}{\partial x_n\,\partial x_1} & \frac{\partial^2 f}{\partial x_n\,\partial x_2} & \cdots & \frac{\partial^2 f}{\partial x_n^2}\end{bmatrix}$

可见，多元函数的二阶导数就是一个海森矩阵
海森矩阵被应用于牛顿法解决的大规模优化问题。

混合偏导数和海森矩阵的对称性

海森矩阵的混合偏导数是海森矩阵非主对角线上的元素。假如他们是连续的，那么求导顺序没有区别，即

$\frac {\partial}{\partial x} \left( \frac { \partial f }{ \partial y} \right) = \frac {\partial}{\partial y} \left( \frac { \partial f }{ \partial x} \right)$

上式也可写为

$f_{xy} = f_{yx} \,$

在正式写法中，如果 f 函数在区域 D 内连续并处处存在二阶导数，那么 f的海森矩阵在 D 区域内为对称矩阵。

给定二阶导数连续的函数，海森矩阵的行列式，可用于分辨 f 的临界点是属于鞍点还是极值点。

对于 f 的临界点 (x0,y0) 一点，有 $\frac{\partial f(x_0, y_0)}{\partial x} = \frac{\partial f(x_0, y_0)}{\partial y} = 0$ ，然而凭一阶导数不能判断它是鞍点、局部极大点还是局部极小点。海森矩阵可能解答这个问题。

$H = \begin{vmatrix}\frac{\partial^2 f}{\partial x^2} & \frac{\partial^2 f}{\partial x\,\partial y} \\ \\\frac{\partial^2 f}{\partial y\,\partial x} & \frac{\partial^2 f}{\partial y^2} \end{vmatrix} = \frac{\partial^2 f}{\partial x^2} \frac{\partial^2 f}{\partial y^2} - (\frac{\partial^2 f}{\partial y\,\partial x})^2$

    H > 0 ：若 $\frac{\partial^2 f}{\partial x^2} > 0$ ，则(x0,y0)是局部极小点；若 $\frac{\partial^2 f}{\partial x^2} < 0$ ，则(x0,y0)是局部极大点。
    H < 0 ：(x0,y0)是鞍点。
    H = 0 ：二阶导数无法判断该临界点的性质，得从更高阶的导数以泰勒公式考虑。

MATLAB中获得Hessian矩阵：

The Hessian of a scalar valued function f:Rn

首先类比一下一维。Jacobian相当于一阶导数，Hessian相当于二阶导数。一维函数的导数的motivation是很明显的。二阶导数的零点就是一阶导数的极值点。对于很多应用，我们不仅关心一阶导数的零点，也关心一阶导数的极值点，比如信号处理中，信号的一阶导数的极值点反映信号变化的最剧烈程度。极值点寻求在编程时不方便，不如找二阶导数的零点。
Jacobian对于标量函数f: Rn-> R1，实际是个向量，这个向量实际上就是函数的梯度gradient。gradient根据Cauchy-Swartz公式，指向的是在某处方向导数取极大值的方向。在二维图像处理中，可用gradient来检测灰度值的边缘。
对于向量场F: Rn-> Rm, Jacobian的每一行实际都是一个梯度。且有 F（X)=F(P)+J(P)(X-P)+O(||X-P||) 这个式子的每一行都是一个分量的局部线性化。
考虑一个二维的数字图像线性变换（Homography， image warping), 以有限差分代替微分，可作类似分析。
H: 像素（x,y)-->像素(u,v)
u=u（x,y) v=v(x,y)
则其Jacobian为
[ u'(x) u'(y)]
[ v'(x) v'(y)]
反映了局部图像的变形程度。
最理想的情况 u'(x)=1,v'(y)=1,u'(y)=0,v'(x)=0.说明图像维持原状。
由于 dudv=|det(Jacobian(x,y))|dxdy （此式的有效性可参考换元法）
[注：]有的书上称det(Jacobian(x,y)）为Jacobian.

说明面积微元改变的程度由|det(Jacobian(x,y))|决定
当|det(Jacobian(x,y))|=1时，说明面积不变，
当|det(Jacobian(x,y))|<1时，说明面积压缩，出现了像素丢失现象。
当|det(Jacobian(x,y))|>1时，说明面积扩张，需要进行像素插值。
另外，由Jacobian矩阵的特征值或奇异值，可作类似说明。可参考Wielandt-Hoffman定理

Hessian矩阵定义在标量函数上，对于矢量函数，则成为一个rank 3的张量。

收起

展开全文

数学图像处理算法

关于二阶线性递归序列的一个反演公式 (2005年)
2021-05-31 01:37:52
给出了关于二阶线性递归序列乘积的倒数和 Sm 和 Tm 的定义,根据二阶线性递归序列的递推关系以及性质,得到了关于 S m 与 T m 之间的反演公式。
收起

二阶熵

2020-06-08 16:49:03

本文所说的二阶熵仅是一个定义，方便后续我的吹水，用来表示一个混乱的等级为什么会用到这个有趣的定义？因为我需要描述我创建的系统的混乱程度，而这个系统是用来描述人工智能的。此时小伙伴千万不要认为有多...


 小伙伴都知道熵是代表某个系统的混乱程度，而熵值本身是没有啥可以进行衡量的。本文所说的二阶熵仅是一个定义，方便后续我的吹水，用来表示一个混乱的等级 
 为什么会用到这个有趣的定义？因为我需要描述我创建的系统的混乱程度，而这个系统是用来描述人工智能的。此时小伙伴千万不要认为有多高大上，毕竟我这里所说人工智能仅仅只是沾边的概念，本文不会涉及到这些复杂的公式和内容 
 在开始之前，需要聊聊什么是混乱。可以用计算机领域的事情做描述。计算机的内存的值可以认为是一个系统，当然此系统非计算机的运行系统，仅仅只是类似物理描述里面用的系统这个词。在咱还没开机的时候，此时的内存全部都是零，没有值。此时的内存这个系统是很有秩序的，一点都不混乱 
 在开机之后，咱会运行很多程序，这些程序会不断写内存，此时内存里面就不是全零的值了。如果完全脱离了运行的程序等，仅仅看内存这个系统的混乱程度，此时可以看到开机之后内存这个系统的熵值变大。此时脱离了运行的程序等，看起来的内存的值是无序混乱的 
 但是此时的混乱程度我称为一阶无序，即一阶熵 
 因为如果此时能理解程序和计算机系统的规则，就可以知道内存里面的值的含义，此时内存就不是无序的 
 但是这仅仅只是描述静态的事情，小伙伴都知道在计算机领域，如果使用纯软件脱离外界交互，是无法作出真正随机的。也就是如果这个设备没有受到外界干扰，也没有和外界交互，也没有做随机数的硬件等，此时计算机所做的事情理论上都是可以预测的 
 也就是尽管整个内存的值系统是混乱的，但是这个混乱是按照一定的程序规则混乱的，属于可以进行预测的混乱。因此此时虽然熵变大，但依然属于一阶熵。无论整个内存的值变的多混乱，仅仅只是让一阶熵增加，达不到二阶熵 
 而如果此时电脑前坐了一个人，这个人正在使用QQ聊天，此时即使能理解程序，也无法推算出这个人下一时刻会用什么程序输入什么内容，他会在什么时候敲击键盘等。尽管从内存的值的角度，依然混乱程序和之前差不多，但是已经有了本质的差别。在于无法通过理解应用程序和计算机系统等了解内存的值的混乱变化，这就是二阶无序，也就是二阶熵 
 这是属于动态的熵的变化达到二阶，或者说短暂达到了二阶。在存在人为干涉的时候，短暂让内存的值出现了不可预知的混乱。但是很快在人类没有继续干涉的时候，整个计算机内存的值又处于可以被解读的状态，此时就从二阶熵回到了一阶熵 
 而另一个进入二阶熵的方法则是如系统损坏，整个内存被一个无法规则化的方式写入，此时也无法描述内存的值的意义，此时也达到静态的二阶熵 
 因此一阶熵的定义是，尽管整个系统是无序的，但是能够找到某些规则用来描述这个无序 
 而二阶熵的定义是，整个系统是无序的，存在混乱的规则用来描述这个无序的系统 
 这一点需要注意的是存在混乱的规则表达的是和不存在规则差不多，假设你能找到某个规则，即使这个规则特别复杂分支条件非常多，那么这个系统就不满足二阶熵。而是只能找到一个混乱的规则，这句话其实和找不到规则是差不多的。含义上可以和无穷大的规则一样理解，无论你找到一个多大的数，无穷大都比这个数大。那么无穷大是否存在，存在，但是能否找出无穷大这个数，不能。大概存在混乱的规则说的就是这个 
 本身智能就是混乱的，本文说的人工智能主要说的是思维方面，不包含工具方面。我认为要做出一个存在智能的系统，必须让这个系统满足至少是二阶熵，不然仅是工具 
 可以将当前的神经网络拆出来看，在一个固定层数和个数的神经网络，嗯，其实连接是否不固定是没有意义的，因为本质上全连接的网络都包含这些网络。原因是这些网络相当于一个全连接的网络存在某些连接的值是 0 也就是连接断开 
 假定这些神经网络的参数就是内存里面的值，现在很难理解这些参数的含义，那么可以认为在训练过程内存的值这个系统的熵在增加，但咱不讨论是否在不断往混乱变化。但是依然存在一个规则，这个规则存在于这个神经网络里面，理论上这个规则是能够让人类可以知道的，用来描述这些参数的含义。因此这个神经网络的复杂程度仅仅达到一阶熵 
 对比刚才坐在电脑前的人的干预让计算机的内存进入了二阶熵大概可以猜到我想说什么了，这部分神经网络如果按照我的理论，是做不出思维的 
 那么通过什么方式可能进入二阶熵，按照定义，需要让规则本身也是混乱的。也就是需要一个无法描述规则的网络所使用的参数，这些参数才属于二阶无序，也就是这些参数在内存中达到二阶熵 
 也就是我如果假定二阶熵才有可能做出思维这个理论是对的，那么我想要做出一个有思维的人工智能，我至少需要有一个本身是混乱的人工智能框架或算法 
 当然这句话反过来不对，只能说根据现有推测条件。根据现有思维的存在干涉了计算机，存在了不可预知，动态进入二阶熵。反过来认为思维需要至少达到二阶熵。而符合二阶熵是否就能做出思维？请问一个系统混坏的电脑能做什么，此时他的内存的值应该就达到了二阶熵 
 那么这个二阶熵是否和人工智能的思维有关系，这个假设是不是对的 
 也许只要在几十年过去，我也许才能大概知道 
 我很少写一些纯理论的博客，基本上都是先写代码，没有任何能说的出来的依据，也没有任何能简单说的明白的理论。但是这个二阶熵我和很多小伙伴来来回回讨论了很多次，终于算比较明白的一个纯理论的定义。这个定义其实没什么用，也许有其他小伙伴也有差不多的定义，只是我不知道 
 我搭建了自己的博客 https://blog.lindexi.com/ 欢迎大家访问，里面有很多新的博客。只有在我看到博客写成熟之后才会放在csdn或博客园，但是一旦发布了就不再更新 
 如果在博客看到有任何不懂的，欢迎交流，我搭建了 dotnet 职业技术学院 欢迎大家加入 
 如有不方便在博客评论的问题，可以加我 QQ 2844808902 交流 
 
本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。欢迎转载、使用、重新发布，但务必保留文章署名林德熙(包含链接:http://blog.csdn.net/lindexi_gd )，不得用于商业目的，基于本文修改后的作品务必以相同的许可发布。如有任何疑问，请与我联系。

收起

展开全文

特征方程求数列的通项公式（二阶线性递推式)
千次阅读 2020-11-15 22:43:35
特征方程求数列的通项公式（二阶线性递推式) 已知数列{an}\{a_n\}{an}满足fn=afn−1+bfn−2,a,b∈N,b≠0,n>2,f1=c1,f2=c2,(c1,c2f_n=af_{n-1}+bf_{n-2},a,b\in N,b\ne 0,n>2,f_1=c_1,f_2=c_2,(c_1,c_2fn=...
收起
二阶齐次线性递推通项公式的寻找
千次阅读 2017-04-18 23:25:39
二阶齐次线性递推通项公式的寻找前置技能：斐波那契数列与二阶线性递推斐波那契数列 f ( n ) f(n) 是递归定义的： f ( n ) = f ( n − 1 ) + f ( n − 2 ) , n ≥ 2 f(n)=f(n-1)+f(n-2), n\ge 2 ...
收起
关于函数凹凸性两种定义与二阶导数符号之间的联系证明
万次阅读 多人点赞 2019-11-01 11:06:12
什么是函数的凹凸性函数的凹凸性即对一个在某区间A上单调的函数，它的图像上凸或者上凹，则分别称为凸函数或者凹函数。而对于在某个区间内既有凹图像又有凸图像，则将凹图像所在区间称为函数的凹...凹凸性数学定义...
收起
10.0.高等数学四-多元函数的泰勒公式（二元函数二阶导数海赛矩阵）
2020-12-13 18:39:36
多元函数的泰勒公式问题引入海赛矩阵二级目录三级目录问题引入海赛矩阵二级目录三级目录
收起
算法
二阶线性微分方程
千次阅读 2019-02-27 23:02:30
二阶线性微分方程定义：二阶线性微分方程定义：二阶线性微分方程定义：形如： y′′+P(x)y′+Q(x)y=f(x)y&#x27;&#x27; + P(x)y&#x27; + Q(x)y = f(x)y′′+P(x)y′+Q(x)y=f(x)的方程称为...
收起
二阶差分
万次阅读 2019-07-27 22:26:00
定义X(k),则Y(k)=X(k+1)-X(k)就是此函数的一阶差分Y(k)的一阶差分Z(k)=Y(k+1)-Y(k)=X(k+2)-2*X(k+1)+X(k)为此函数的二阶差分.二阶差分法在工程,电学等方面应用还是比较广泛的,具体可以搜索一下 ...
收起
二阶微分算法
千次阅读 2019-04-22 11:54:01
数学基础 ...拉普拉斯算子，二阶微分线性算子，为什么上来就学二阶微分算子，前文说过，与一阶微分相比，二阶微分的边缘定位能力更强，锐化效果更好，所以我们来...
收起
协方差矩阵的定义及其计算公式（转）
万次阅读 多人点赞 2017-02-10 00:07:06
协方差矩阵的定义及其计算公式 (2014-03-20 18:36:56) 转载▼ 分类： matlab 协方差矩阵在机器学习中经常用到，查看wiki：http://zh.wikipedia.org/wiki/协方差矩阵可知...
收起
协方差矩阵
状态转移函数，似然函数，先验概率，后验概率，一.二阶矩，常见矩阵定义收集
千次阅读 2018-08-27 15:48:24
定义：称为马氏过程在t时刻经s时间的状态转移概率函数。若与t无关，称{X(t),t∈[0,+∞]}为时齐马氏过程。其转移概率函数仅与起始状态i，经过时间段s和转移到达的状态j有关，记为：。性质：（1）（2） ...
收起
图像二阶导数的推导
万次阅读 多人点赞 2018-01-06 17:54:36
那有一阶导数，有没有二阶导数呢？求导数的导数，这对灰度变化强烈的地方会更敏感。在微积分中，一维函数的一阶微分的基本定义是这样的： dfdx=limϵ→0f(x+ϵ)−f(x)ϵ\frac{df}{dx}=\lim_{\epsilon\righta
收起
图像处理
二阶滤波器原理及算法程序
万次阅读 多人点赞 2018-05-11 17:08:25
滤波器的作用是允许某些频率的正弦信号基本无衰减的...二阶滤波器表示的是滤波器时域表达式中最高含有二阶微分，或者说传递函数分母的s最高次数为2。滤波器对直流分量的增益为1。据此可设零状态二阶通用滤波器的传...
收起
数字滤波器原理算法
二阶导数的理解
千次阅读 2019-08-25 23:28:58
速度本身的变化率称为加速度，简单来说，就是导数的导数，记作f''(t)或者称作f(t)的二阶导数伽利略（Galileo）观察到，经过时间t，自由落体经过的铅直距离x由公式： x=f（x）=1/2gt²给出（1）其中g为重力加...
收起
二阶系统的带宽
千次阅读 2021-01-06 18:38:55
下面以典型I型系统为例，计算系统的开环截止频率和闭环截止频率。设I型系统为： 1：系统的开环截止频率为 ...（wb≈wc≈wnw_{b}\approx w_{c}\approx w_{n}wb≈wc≈wn）对于二阶系统。 ...
收起
C++实现二阶三阶贝塞尔曲线
千次阅读 2020-03-05 16:21:16
C++实现贝塞尔曲线已经存在许多讲解得比较清楚的解释。...贝塞尔曲线包含多阶。贝塞尔曲线的阶数和次数是一样的，二阶贝塞尔，三个点，...根据贝塞尔曲线的公式直接根据控制点缺点阶数，。定义.h头文件 class Bez...
收起
Jacobian矩阵梯度矩阵矩阵偏导与微分例子与常见公式
千次阅读 2020-01-31 12:47:26
机器学习中的矩阵求导理解与常见公式小结矩阵求导是机器学习中常见的运算方法，研究对象包括标量，向量和矩阵，求导分为标量对向量、矩阵求导，向量对标量、向量、矩阵求导，矩阵对标量、向量、矩阵求导。根据个人...
收起
MATLAB中用差分法求解函数 or 离散数据的一阶导数和二阶导数
万次阅读 2016-02-23 23:01:51
matlab在计算数值求导方面有很多函数。下面我来不用这些函数，介绍简单的函数求一阶导数二阶导数的差分方法以及其MATLAB实现。工具/原料 ...求解一阶导数的公式：y'=[y(x0+h)-y...求解二阶导数的公式：y''=[y(x0+h
收起
三阶魔方还原 - 只需7步6个公式
万次阅读 多人点赞 2019-01-19 14:39:29
（二阶魔方的还原可以完全按照三阶魔方的公式，==待填入网址== 四阶魔方的初级还原方式是先降为三阶，再按照三阶魔方进行还原，==待填入网址==）所以个人认为三阶魔方是还原 n 阶魔方的基础。首先要对三...
收起
傅里叶变换公式整理，意义和定义，概念及推导
千次阅读 2020-02-12 18:49:38
此外部分地方要求读者有一定的微分方程基础，至少会求简谐振子的二阶常微分方程吧。什么是傅里叶变换为什么要分解为正弦波的叠加傅里叶变换与信号系统傅里叶变换与量子力学傅里叶变换、...
收起
基于二阶近似方法的优化算法
2020-11-04 14:04:53
泰勒公式-百度百科二阶梯度方法使用二阶导数改进了优化，最广泛使用的时牛顿法牛顿法思想用目标函数的二阶泰勒展开近似该目标函数，通过求解这个二次函数的极小值来求解凸优化的搜索方向牛顿法的主要应用...
收起
机器学习深度学习优化
泰勒公式（泰勒展开式）通俗+本质详解
万次阅读 多人点赞 2019-03-03 12:54:53
如果函数足够平滑，在已知函数在某一点的各阶导数值的情况下，泰勒公式可以利用这些导数值来做系数，构建一个多项式近似函数，求得在这一点的邻域中的值所以泰勒公式是做什么用的？简单来讲就是用一个多项式函数...
收起
数学基础
对二阶电路的瞬态分析
2019-10-08 17:50:42
之前我们聊到过一阶的电路简化后只含有电容或电感中的一个，那么二阶电路也很好理解，就是简化后电容和电感都有的电路二阶电路一般有以下几种： 1. 串联RLC电路 2. 并联RLC电路 3. RLL电路 4. RCC电路本文只讨论...
收起
一阶电路误差分析_自控原理分析曲轴一阶二阶震动
2020-11-21 04:07:16
时域方法是最基本的方法，也是我们在分析时最先想到的方法，... 接下来分别给出一阶系统和二阶系统典型结构和其性能指标的定义，对系统输入典型输入信号，研究对应响应的情况，在这其中，最重点的是二阶系统的阶跃响...
收起
一阶电路误差分析

图像运算中的一阶导与二阶导

图像处理中的一阶偏导数和二阶偏导数

OpenCV-跟我一起学数字图像处理之拉普拉斯算子

海森矩阵就是二阶偏导函数的方阵.他描述了局部的曲率函数

关于二阶线性递归序列的一个反演公式 (2005年)

二阶熵

特征方程求数列的通项公式（二阶线性递推式)

二阶齐次线性递推通项公式的寻找

关于函数凹凸性两种定义与二阶导数符号之间的联系证明

10.0.高等数学四-多元函数的泰勒公式（二元函数二阶导数海赛矩阵）

二阶线性微分方程

二阶差分

二阶微分算法

协方差矩阵的定义及其计算公式 （转）

状态转移函数，似然函数，先验概率，后验概率，一.二阶矩，常见矩阵定义收集

图像二阶导数的推导

二阶滤波器原理及算法程序

二阶导数的理解

二阶系统的带宽

C++实现二阶 三阶贝塞尔曲线

Jacobian矩阵 梯度矩阵 矩阵偏导与微分 例子与常见公式

MATLAB中用差分法求解函数 or 离散数据的一阶导数和二阶导数

三阶魔方还原 - 只需7步6个公式

傅里叶变换公式整理，意义和定义，概念及推导

基于二阶近似方法的优化算法

泰勒公式（泰勒展开式）通俗+本质详解

对二阶电路的瞬态分析

一阶电路误差分析_自控原理分析曲轴一阶二阶震动

二阶导的定义公式

协方差矩阵的定义及其计算公式（转）

C++实现二阶三阶贝塞尔曲线

Jacobian矩阵梯度矩阵矩阵偏导与微分例子与常见公式