设A、B为n阶方阵，μ为A的特征值。
相关结论
1.矩阵A的所有特征值的和等于A的迹(A的主对角线元素之和)。
2.矩阵A的所有特征值的积等于A的行列式。
3.关于A的矩阵多项式f(A)的特征值为f(μ)。
4.若A可逆，则A−1的特征值为1/μ。
5.若A与B相似，则A与B有相同特征多项式，即A与B特征值相同。
6.属于A的不同特征值的特征向量线性无关。
7.(哈密尔顿定理)若φ(μ)为A的特征多项式，则φ(A)=0。
8.A能对角化的充分必要条件是A有n个线性无关的特征向量。
9.若A的n个特征值互不相同，则A可对角化。
10.若A的k重特征值μ有k个线性无关的特征向量，则A可对角化。
11.若A有k重特征值μ，齐次方程(A−μE)X=0解空间维数为k，则A可对角化。
12.若A有k重特征值，矩阵A−μE的秩为n−k，则A可对角化。
13.若A是对称矩阵，则属于A的不同特征值的特征向量正交。
14.若A是对称矩阵，则A必可对角化。
矩阵A对角化的步骤
1.求可逆矩阵P，使得
P^−1AP=diag(μ1,μ2,⋯,μn)
①求A的特征值μ1,μ2,⋯,μn；
②求上述特征值对应的特征向量p1,p2,⋯,pn；
③写出矩阵P=(p1,p2,⋯,pn)。
2.若A对称，求正交矩阵Q，使得
Q^−1AQ=Q^TAQ=diag(μ1,μ2,⋯,μn)
①求A的特征值μ1,μ2,⋯,μn；
②求上述特征值对应的特征向量p1,p2,⋯,pn；
③将k重特征值μi的k个特征向量施密特正交化；
④将所有n个特征向量单位化；
⑤不妨设经过正交化单位化的特征向量依次为q1,q2,⋯,qn，写出正交矩阵Q=(q1,q2,⋯,qn)。
典型例子

黑塞矩阵（Hessian Matrix），是一个多元函数的二阶偏导数构成的方阵，描述了函数的局部曲率。黑塞矩阵常用于牛顿法解决优化问题，利用黑塞矩阵可判定多元函数的极值问题。在工程实际问题的优化设计中，所列的目标函数往往很复杂，为了使问题简化，常常将目标函数在某点邻域展开成泰勒多项式来逼近原函数，此时函数在某点泰勒展开式的矩阵形式中会涉及到黑塞矩阵。

Hessian Matrix，它有着广泛的应用，如在牛顿方法、求极值以及边缘检测、消除边缘响应等方面的应用，图像处理里，可以抽取图像特征，在金融里可以用来作量化分析。



既然检测到的对应点确认为边缘点，那么我们就有理由消除这个边缘点，所以边缘检测与边缘响应消除的应用是一回事。边缘到底有什么特征呢？如下图所示，一个二维平面上的一条直线，图像的特征具体可以描述为：沿着直线方向，亮度变化极小，垂直于直线方向，亮度由暗变亮，再由亮变暗，沿着这个方向，亮度变化很大。我们可以将边缘图像分布特征与二次型函数图形进行类比，是不是发现很相似，我们可以找到两个方向，一个方向图像梯度变化最慢，另一个方向图像梯度变化最快。那么图像中的边缘特征就与二次型函数的图像对应起来了，其实二次型函数中的hessian矩阵，也是通过对二次型函数进行二阶偏导得到的(可以自己求偏导测试下)，这就是我们为什么可以使用hessian矩阵来对边缘进行检测以及进行边缘响应消除，我想大家应该明白其中的缘由了。还是那句话，数学模型其实就是一种反映图像特征的模型。


 

所以Hessian matrix实际上就是多变量情形下的二阶导数，他描述了各方向上灰度梯度变化，这句话应该很好理解了吧。我们在使用对应点的hessian矩阵求取的特征向量以及对应的特征值，较大特征值所对应的特征向量是垂直于直线的，较小特征值对应的特征向量是沿着直线方向的。对于SIFT算法中的边缘响应的消除可以根据hessian矩阵进行判定。

 

转自：https://blog.csdn.net/qq_34886403/article/details/83589108

https://www.jiqizhixin.com/articles/2018-07-16-17
https://mp.weixin.qq.com/s/s79Dpq5v6ouvCE_vneTYBA


FM：降维版本的特征二阶组合

二阶多项式：

对特征两两相乘（组合）构成新特征(离散化之后其实就是“且”操作)，并对每个新特征分配独立的权重；为了降低该矩阵的维度，可以将其因子分解（Factorization）为两个低维（比如 n∗k）矩阵的相乘。




用神经网络的视角看 FM：嵌入后再进行内积

W*x 部分就是将离散系数特征通过矩阵乘法降维成一个低维稠密向量。这个过程对神经网络来说就叫做嵌入 （embedding）。所以用神经网络视角来看：

• FM 首先是对离散特征进行嵌入。

• 之后通过对嵌入后的稠密向量进行内积来进行二阶特征组合。

• 最后再与线性模型的结果求和进而得到预估点击率。



MLR模型是对线性LR模型的推广，它利用分片线性方式对数据进行拟合。基本思路是采用分而治之的策略：如果分类空间本身是非线性的，则按照合适的方式把空间分为多个区域，每个区域里面可以用线性的方式进行拟合，最后MLR的输出就变为了多个子区域预测值的加权平均。


 是聚类参数，决定分片空间的划分，即某个样本属于某个特定分片的概率；是分类参数，决定分片空间内的预测；u和w都是待学习的参数。最终模型的预测值为所有分片对应的子模型的预测值的期望。
embedding+MLP：深度学习 CTR 预估的通用框架

具体来说， embedding+MLP 的过程如下：

• 对不同领域的 one-hot 特征进行嵌入（embedding），使其降维成低维度稠密特征。

• 然后将这些特征向量拼接（concatenate）成一个隐含层。

• 之后再不断堆叠全连接层，也就是多层感知机(Multilayer Perceptron, MLP，有时也叫作前馈神经网络)。

• 最终输出预测的点击率。



只学习高阶特征组合，对于低阶或者手动的特征组合不够兼容，而且参数较多，学习较困难。
FNN:FM 与 MLP 的串联结合

• 采用 FM 预训练得到的隐含层及其权重作为神经网络的第一层的初始值，之后再不断堆叠全连接层，最终输出预测的点击率。

• 可以将 FNN 理解成一种特殊的 embedding+MLP，其要求第一层嵌入后的各领域特征维度一致，并且嵌入权重的初始化是 FM 预训练好的。

• 这不是一个端到端的训练过程，有贪心训练的思路。而且如果不考虑预训练过程，模型网络结构也没有考虑低阶特征组合。



DeepFM: FM 与 MLP 的并联结合

• 不需要预训练。

• 将考虑领域信息的 FM 部分与 MLP 部分并联起来（借用初中电路的术语），其实就是对两个模型进行联合训练。

• 考虑领域信息的 FM 部分的嵌入向量拼接起来作为 MLP 部分的输入特征，也就是是两个模型共享嵌入后的特征。


NFM:通过逐元素乘法延迟 FM 的实现过程

• 利用二阶交互池化层（Bi-Interaction Pooling）对 FM 嵌入后的向量两两进行元素级别的乘法，形成同维度的向量求和后作为 前馈神经网络的输入。计算图中用圈乘⨂表示逐元素乘法运算。

• NFM 与 DeepFM 的区别是没有单独的 FM 的浅层网络进行联合训练，而是将其整合后直接输出给前馈神经网络。

• 当 MLP 的全连接层都是恒等变换且最后一层参数全为 1 时，NFM 就退化成了 FM。可见，NFM 是 FM 的推广，它推迟了 FM 的实现过程，并在其中加入了更多非线性运算。

• 另一方面，我们观察计算图会发现 NFM 与 FNN 非常相似。它们的主要区别是 NFM 在 embedding 之后对特征进行了两两逐元素乘法。因为逐元素相乘的向量维数不变，之后对这些向量求和的维数仍然与 embedding 的维数一致。因此输入到 MLP 的参数比起直接 concatenate 的 FNN 更少。



AFM: 对简化版 NFM 进行加权求和

• AFM 与 NFM 都是致力于充分利用二阶特征组合的信息，对嵌入后的向量两两进行逐元素乘法，形成同维度的向量。而且 AFM 没有 MLP 部分。

• AFM 通过在逐元素乘法之后形成的向量进行加权求和，而且权重是基于网络自身来产生的。其方法是引入一个注意力子网络 （Attention Net）。

• 当权重都相等时，AFM 退化成无全连接层的 NFM。

• “注意力子网络”的主要操作是进行矩阵乘法，其最终输出结果为 softmax，以保证各分量的权重本身是一个概率分布



PNN:通过改进向量乘法运算延迟 FM 的实现过程

• 利用二阶向量积层（Pair-wisely Connected Product Layer）对 FM 嵌入后的向量两两进行向量积，形成的结果作为之后 MLP 的输入。计算图中用圆点•表示向量积运算。PNN 采用的向量积有内积与外积两种形式。

• 需要说明的是，本计算图中省略了 PNN 中向量与常数 1 进行的乘法运算。这部分其实与 FNN 类似，不是 PNN 的主要创新 点。故在此图中省略。

• 对于内积形式的 PNN，因为两个向量相乘的结果为标量，可以直接把各个标量“拼接”成一个大向量，就可以作为 MLP 的输入 了。

• 当 MLP 的全连接层都是恒等变换且最后一层参数全为 1 时，内积形式的 PNN 就退化成了 FM。

• 对于外积形式的 PNN，因为两个向量相乘相当于列向量与行向量进行矩阵相乘，得到的结果为一个矩阵。各个矩阵向之前内积

形式的操作一样直接拼接起来维数太多，论文的简化方案是直接对各个矩阵进行求和，得到的新矩阵（可以理解成之后对其拉 长成向量）就直接作为 MLP 的输入。

• 观察计算图发现外积形式的 PNN 与 NFM 很像，其实就是 PNN 把 NFM 的逐元素乘法换成了外积。



DCN:高阶 FM 的降维实现




Deep Cross: DCN 由其残差网络思想进化



• 对 embedding+MLP 的改进主要是 MLP 部分增加跳跃连接成为残差网络。

• Deep Cross 与传统的残差网络的区别主要是没有采用卷积操作。其中一个原因是在广告点击率预估领域，特征不具备平移不变性。

• DCN 其实是从 Deep Cross 进化出来的版本。DCN 相对 Deep Cross 的主要贡献是解耦了 Deep 与 Cross（特征交叉）部分。

• 因此 DCN 中的 Cross 部分可以理解为残差网络的变体：其将 Deep Cross 的跨越链接缩短为只有一层，而全连接部分改为与权重向量和输入向量的内积。
DIN:对同领域历史信息引入注意力机制的 MLP

• DIN 考虑对同一领域的历史特征进行加权求和，以加强其感兴趣的特征的影响。

• 用户的每个领域的历史特征权重则由该历史特征及其对应备选广告特征通过一个子网络得到。即用户历史浏览的商户特征与当 前浏览商户特征对应，历史浏览的商品特征与当前浏览商品特征对应。

• 权重子网络主要包括特征之间的元素级别的乘法、加法和全连接等操作。

• AFM 也引入了注意力机制。但是 AFM 是将注意力机制与 FM 同领域特征求和之后进行结合，DIN 直接是将注意力机制与同领 域特征求和之前进行结合


• FM 其实是对嵌入特征进行两两内积实现特征二阶组合；FNN 在 FM 基础上引入了 MLP；

• DeepFM 通过联合训练、嵌入特征共享来兼顾 FM 部分与 MLP 部分不同的特征组合机制；

• NFM、PNN 则是通过改造向量积的方式来延迟 FM 的实现过程，在其中添加非线性成分来提升模型表现力；

• AFM 更进一步，直接通过子网络来对嵌入向量的两两逐元素乘积进行加权求和，以实现不同组合的差异化，也是一种延迟 FM 实现的方式；

• DCN 则是将 FM 进行高阶特征组合的方向上进行推广，并结合 MLP 的全连接式的高阶特征组合机制；

• Wide&Deep 是兼容手工特征组合与 MLP 的特征组合方式，是许多模型的基础框架；

• Deep Cross 是引入残差网络机制的前馈神经网络，给高维的 MLP 特征组合增加了低维的特征组合形式，启发了 DCN；

• DIN 则是对用户侧的某历史特征和广告侧的同领域特征进行组合，组合成的权重反过来重新影响用户侧的该领域各历史特征的求和过程；