前言

本文主要针对线性代数中的正定矩阵、实对称矩阵、矩阵特征值分解以及矩阵 SVD 分解进行总结。

如果你对这篇文章可感兴趣，可以点击「【访客必读 - 指引页】一文囊括主页内所有高质量博客」，查看完整博客分类与对应链接。

正定矩阵

1. 概念

首先正定矩阵是定义在对称矩阵的基础上，其次对于任意非零向量 $\text{x}$，若 ${\text{x}}^T\text{A}\text{x}>0$ 恒成立，则矩阵 $\text{A}$ 为正定矩阵；若${\text{x}}^T\text{A}\text{x}\ge 0$ 恒成立，则矩阵 $\text{A}$ 为半正定矩阵。

2. 物理意义

任意非零向量 $\text{x}$ 经过矩阵 $A$ 线性变换后，与原先向量的夹角 $\le 90$ 度。

3. 其他充要条件

• 充要条件1： 矩阵 $\text{A}$ 的全部特征值都是正数
  • 推论： 若 $\text{A}$ 正定，则 $|\text{A}|>0$，即 $\text{A}$ 可逆（有时会根据矩阵正定来判断是否可逆）
  • 推论： 若 $\text{A}$ 正定，则 $\text{A}$ 与单位阵合同，即存在可逆阵 $\text{C}$，使得 ${\text{C}}^T\text{A}\text{C}=\text{E}$ 成立
• 充要条件2： 矩阵 $\text{A}$ 的各阶顺序主子式都是正数，即 ${\Delta }_i>0$
  • 其中 ${\Delta }_i$ 表示矩阵 $\text{A}$ 前 $i$ 行与前 $i$ 列组成的子矩阵的行列式的值
  • 推论：$|A|>0$ 则 $A$ 一定可逆

实对称矩阵

1. 概念

矩阵为方阵，其中元素均为实数，且 $\text{A}={\text{A}}^T$。

2. 性质

• 性质1： 实对称矩阵的特征值都是实数。
  • 假设 $\lambda$、$\text{x}$ 分别为矩阵 $\text{A}$ 的特征值、特征向量，即 $\text{A}\text{x}=\lambda \text{x}$
  • 等式两边取共轭，即 $\overline{a+bi}=a-bi$，$\overline{\text{A}}\overline{\text{x}}=\overline{\lambda }\overline{\text{x}}$，$\text{A}$ 是实对称矩阵，因此 $\text{A}={\text{A}}^T=\overline{\text{A}}$，即 $\text{A}\overline{\text{x}}=\overline{\lambda }\overline{\text{x}}$
  • 等式两边取转置，则 ${\text{x}}^T\text{A}=\lambda {\text{x}}^T$
  • ${\text{x}}^T\text{A}\overline{x}=\overline{\lambda }{\text{x}}^T\overline{\text{x}}=\lambda {\text{x}}^T\overline{\text{x}}$
  • $(\lambda -\overline{\lambda }){\Vert \text{x}\Vert }_2^2=0$，由于 ${\Vert \text{x}\Vert }_2^2>0$，因此 $\lambda =\overline{\lambda }$，$\lambda$ 为实数
• 性质2： 实对称矩阵不同特征值所对应的特征向量必定正交。
  • 假设 $\text{A}{\text{x}}_1={\lambda }_1{\text{x}}_1$ 与 $\text{A}{\text{x}}_2={\lambda }_2{\text{x}}_2$ 成立
  • ${\text{x}}_1^T\text{A}={\lambda }_1{\text{x}}_1^T$
  • ${\text{x}}_1^T\text{A}{\text{x}}_2={\lambda }_1{\text{x}}_1^T{\text{x}}_2={\lambda }_2{\text{x}}_1^T{\text{x}}_2$
  • $({\lambda }_1-{\lambda }_2){\text{x}}_1^T{\text{x}}_2=0$，因此 ${\text{x}}_1$ 与 ${\text{x}}_2$ 正交
• 性质3： 实对称矩阵相同特征值所对应的特征向量必定线性无关。
  • 证明较繁琐，不详细展开
  • 线性无关的向量可以通过施密特正交化转为正交向量
    • 对于线性无关向量组 ${\text{x}}_1,{\text{x}}_2,...,{\text{x}}_n$，转为正交向量组 ${\text{y}}_1,{\text{y}}_2,...,{\text{y}}_n$
    • ${\text{y}}_1={\text{x}}_1$
    • ${\text{y}}_i={\text{x}}_i-\sum _{j=1}^{i-1}\frac{{\text{x}}_i^T{\text{y}}_j}{{\text{y}}_j^T{\text{y}}_j}{\text{y}}_j$
  • 由于新的正交向量都是原来线性无关向量的线性组合，而原先的线性无关向量对应的特征值均相同，因此新的正交向量也均为该相同特征值对应的特征向量
• 性质4： 任何一个实对称矩阵，都可以正交对角化。
  • 正交对角化，即存在一个正交矩阵 $\text{Q}({\text{Q}}^T={\text{Q}}^{-1})$ 使得 ${\text{Q}}^T\text{A}\text{Q}=\text{D}$，其中 $\text{D}$ 是一个对角矩阵
  • 实对称矩阵，一定有 $n$ 个解，因为实对称矩阵特征值都是实数，因此一共有 $n$ 个实特征值（包括重特征值）—— 性质 $1$
  • 不同特征值对应的特征向量正交，相同特征值也一定存在对应的正交向量 —— 性质 $2,3$
  • 实对称矩阵，一定有 $n$ 个正交特征向量，因此可以特征值分解，即该性质成立
• 性质5： 实对称矩阵的非零特征值个数等于矩阵的秩
  • 矩阵 $\text{A}$ 相似于对角矩阵，${\text{P}}^{-1}\text{A}\text{P}=\text{D}$
  • 对角矩阵 $\text{D}$ 的秩 = 矩阵 $\text{A}$ 的秩 = $\text{D}$ 非零特征值个数
  • 矩阵 $\text{A}$ 与 矩阵 $\text{D}$ 相似，则特征值相同
• 性质6：实对称矩阵不一定可逆，但若可逆，则一定是实对称矩阵
  • 0 矩阵对称不可逆
  • $(A^{-1}{)}^T=(A^T{)}^{-1}=A^{-1}$

矩阵特征值分解

1. 概念

$n\ast n$ 的方阵 $\text{A}$，由 $\text{A}\text{x}=\lambda \text{x}$ 可以得到 $\text{A}\text{V}=\text{V}\Lambda$。

• 如果方阵 $\text{A}$ 有 $n$ 个线性无关的特征向量，则 $\text{V}$ 可逆
• $\text{A}=\text{V}\Lambda {\text{V}}^{-1}$
• 其中矩阵 $\text{V}$ 的列为方阵 $\text{A}$ 的特征向量，$\Lambda =diag({\lambda }_1,{\lambda }_2,...,{\lambda }_n),{\lambda }_i\ge {\lambda }_{i+1}$

矩阵 SVD 分解

1. 概念

任意一个矩阵 $\text{A}$ 都可以分解为 $\text{A}=\text{U}\Sigma {\text{V}}^T$，其中 $\text{U},\text{V}$ 均为正交单位矩阵，$\Sigma$ 为对角矩阵。

2. 证明

• ${\text{A}}^T\text{A}=(\text{U}\Sigma {\text{V}}^T{)}^T\text{U}\Sigma {\text{V}}^T=\text{V}{\Sigma }^2{\text{V}}^T$，由于 ${\text{A}}^T\text{A}$ 为实对称矩阵，因此 $\text{V}$ 为矩阵 ${\text{A}}^T\text{A}$ 对应特征向量组成的正交单位阵。
• $\text{A}{\text{A}}^T=\text{U}\Sigma {\text{V}}^T(\text{U}\Sigma {\text{V}}^T{)}^T=\text{U}{\Sigma }^2{\text{U}}^T$，由于 $\text{A}{\text{A}}^T$ 为实对称矩阵，因此 $\text{U}$ 矩阵 $\text{A}{\text{A}}^T$ 对应特征向量组成的正交单位阵。
• $\text{A}\text{V}=\text{U}\Sigma$，其中 $\Sigma$ 为对角阵，因此 $\text{A}{\text{v}}_i={\sigma }_i{\text{u}}_i$，由此可以得到对角矩阵 $\Sigma$，其中 ${\sigma }_i$ 就是奇异值。
• ${\text{A}}_{m\ast n}={\text{U}}_{m\ast m}{\Sigma }_{m\ast n}{\text{V}}_{n\ast n}^T$

3. 几何角度

矩阵 $U,V$ 仅负责旋转，$\Sigma$ 负责放缩，具体示意图如下：

4. SVD 压缩

如下所示，仅选取前 $r$ 个不为零的奇异值，可以实现无损压缩。注意非零奇异值的个数等于矩阵 $A$ 的秩。

5. 计算伪逆

6. Eckart-Young Theorem

如果矩阵 $\mathbf{B}$ 的秩为 $k$，则 $||A-B||\ge ||A-A_k||$ 对如下三个矩阵范数成立：

• $||A|{|}_2={\sigma }_1$，即最大的奇异值
• $||A|{|}_{Nuclear}=\sum _{i=1}^r{\sigma }_i$
• Frobenius norm $=||A|{|}_{2,1}=||A|{|}_F=(tr(A^{T}A){)}^{1/2}=(\sum _{i=1}^m\sum _{j=1}^n{a}_{ij}^2{)}^{1/2}$

其中 $\mathbf{A}$ 与 ${\mathbf{A}}_{\mathbf{k}}$ 定义如下：
$$\begin{array}{rl}& \mathbf{A}=\mathbf{U}\Sigma {\mathbf{V}}^T=\sum _{i=1}^r{\sigma }_i{\mathbf{u}}_i{\mathbf{v}}_i^T\\ & {\mathbf{A}}_k={\mathbf{U}}_k{\Sigma }_k{\mathbf{V}}_k^T=\sum _{i=1}^k{\sigma }_i{\mathbf{u}}_i{\mathbf{v}}_i^T\end{array}$$

需要注意，矩阵乘上一个正交矩阵，其奇异值不会发生变化，即上述涉及的矩阵范数不会改变。

7. LSI

计算不同 $query$ 之间的相似程度，常用于推荐系统。

更多 SVD 的应用：

• 为数据集推荐算法模型
• 推荐系统、图像去噪等

  矩阵分解是非常常见的操作矩阵方式。尤其是在推荐系统里，我们往往会有一个用户-物品矩阵，这个矩阵非常大，比如100w个用户*1000w个物品矩阵，这个时候我们可以通过矩阵分解一方面降低矩阵的维度，另一方面提取用户和物品各自的信息。

  举个例子，对于100w*1000w的用户-物品矩阵，我们可以得到100w*10的用户矩阵和10*1000w物品矩阵。这样子其中的10维向量就是我们提取的主要特征。一般来说我们会把矩阵先分成三块再得到其中的这两块，具体原因看完这两种分解方式就懂了~

  下面没有涉及公式推导，主要是想整理两者的主要区别和记录一下对基本道理的理解。

特征值分解

  对于维度为n*n并且有n个线性无关的特征向量的矩阵A，按特征值分解，可以分解为：

（下面为了方便打我把中间的符号打成V） 

  其中U是由矩阵的特征向量组成的，V是由矩阵的特征值组成的对角阵。

  这就是特征值分解。

  我感觉特征值分解就是帮助我们我们得到矩阵A的特征向量和特征值的。这样子我们就可以在特征向值V中再选取较大的前几个，再提取它们对应的特征向量进一步提取矩阵的主要特征。

  但很显然特征值分解的条件很苛刻：需要n*n的方阵，并且要求有n个线性无关的特征向量，所以用的并不多。

奇异值分解（SVD）

  特征值分解对矩阵的限制是很大的，需要是一个方阵。如果对于一个m*n的矩阵，则更多用的是svd矩阵分解。

  对于一个m*n的矩阵A，按SVD分解，可以分解为：

  其中分解出的三项分为 m*m矩阵×m*n矩阵×n*n矩阵。

  比如对于一个100w用户*1000w物品的矩阵，通过SVD矩阵分解，我们就得到了：

100w*100w的矩阵，和100w*1000w的矩阵以及1000w*1000w的矩阵。乍一看，好像这分解之后的维度并没有减少，并且还多了几个矩阵出来！？好像没什么用呀？

  实际上，和上面的特征值分解类似，中间的m*n的矩阵也同样是由原矩阵的特征值组成的对角矩阵！因此我们可以只取前k大的特征值（往往这k个特征值对应的特征向量就可以代表矩阵95%甚至99%的信息！）。这样一来，原矩阵A就可以被分解为：m*k的矩阵、k*k的矩阵以及k*n的矩阵了。这样分解，一方面减少了维度和计算量，另一方面提取了主要信息。

  现在对于100w用户*1000w物品的矩阵A，我们得到了100w*k的矩阵U，k*k的矩阵2以及k*1000w的矩阵V的转置（即1000w*k的矩阵V）。这里矩阵U其实就是用户信息，每个用户用k维向量来表示；矩阵V就是物品信息，每个商品的向量也是k维。

  最后对开头问题表达我自己的理解：为什么对于100w*1000w用户-物品矩阵，不直接分解成100w*k和k*1000w的两个矩阵呢？还需要这么麻烦分解出三个？（原来我学推荐系统的时候经常想这个问题，后来也一直是不了了之，一知半解。）现在我认为原因是这样分解并不能通过中间的特征值提取关键信息！就算分出来，也是没有使用意义的，分解出来的k维向量基本就是等于随机抽取而已。

  而通过特征值分解或者奇异值SVD分解的话，有一个存放特征值的中间矩阵充当桥梁作用，可以帮助我们提取特征值最大的特征向量进而提取主要信息~

1. 特征值分解（EVD）

实对称矩阵

在理角奇异值分解之前，需要先回顾一下特征值分解，如果矩阵 $A$ 是一个 $m\times m$ 的实对称矩阵（即 $A=A^T$），那么它可以被分解成如下的形式
$$A=Q\Sigma Q^T=Q\left[\begin{array}{cccc}{\lambda }_1& \dots & \dots & \dots \\ \dots & {\lambda }_2& \dots & \dots \\ \dots & \dots & \ddots & \dots \\ \dots & \dots & \dots & {\lambda }_m\end{array}\right]Q^T$$
其中 $Q$ 为标准正交阵，有 $Q{Q}^T=I$，$\Sigma$为对角矩阵，上面的矩阵维度均为 $m\times m$。${\lambda }_i$ 称为特征值，$q_i$ 是 $Q$（特征矩阵）中的列向量，称为特征向量。它们之间的关系有 $A{q}_i={\lambda }_i{q}_i$，$q_i^T{q}_j=0(i\ne j)$
这里的特征值分解需要被分解的矩阵$A$为实对称矩阵，但是现实中，我们所遇到的问题一般不是实对称矩阵。那么当我们碰到一般的矩阵，即有一个 $m\times n$ 的矩阵 $A$，它是否能被分解成上面的形式呢？当然是可以的，这就是我们下面要讨论的内容。

2. 奇异值分解（SVD）

1. 定义

一个 $m\times n$的实数矩阵$A$，我们需要把它分解成如下的形式
$$A=U\Sigma V^T$$
其中 $U$ 和 $V$ 均为单位正交阵，有 $U{U}^T=I$，$V{V}^T=I$，$U$ 称为左奇异矩阵，$V$ 称为右奇异矩阵，$\Sigma$ 仅在主对角线上有值，称为奇异值，其他元素均为0。上面矩阵的维度分别为 $U\in R^{m\times m}$，$\Sigma \in R^{m\times n}$，$V\in R^{n\times n}$。
那么 $\Sigma$有如下形式
$$\Sigma ={\left[\begin{array}{cccc}{\sigma }_1& 0& 0& 0\\ 0& {\sigma }_2& 0& 0\\ 0& 0& \ddots & 0\\ 0& 0& 0& \ddots \end{array}\right]}_{m\times n}$$

2. 奇异值分解

我们可以利用下面的方法求解 $U,V,\Sigma$
$$\begin{gathered} A{A}^T=U\Sigma V^{T}V{\Sigma }^T{U}^T=U\Sigma {\Sigma }^T{U}^T \\ {A}^{T}A=V\Sigma U^{T}U{\Sigma }^T{V}^T=V{\Sigma }^T\Sigma V^T \end{gathered}$$
这里 $\Sigma {\Sigma }^T$ 和 ${\Sigma }^T\Sigma$ 是不相等的，因为它们的维数不同，$\Sigma {\Sigma }^T\in R^{m\times m}$，${\Sigma }^T\Sigma \in R^{n\times n}$，但是它们在主对角线上的奇异值是相等的，即
$$\Sigma {\Sigma }^T={\left[\begin{array}{cccc}{\sigma }_1^2& 0& 0& 0\\ 0& {\sigma }_2^2& 0& 0\\ 0& 0& \ddots & 0\\ 0& 0& 0& \ddots \end{array}\right]}_{m\times m}{\Sigma }^T\Sigma ={\left[\begin{array}{cccc}{\sigma }_1^2& 0& 0& 0\\ 0& {\sigma }_2^2& 0& 0\\ 0& 0& \ddots & 0\\ 0& 0& 0& \ddots \end{array}\right]}_{n\times n}$$
我们知道 $A{A}^T$ 和 $A^{T}A$ 都是对称矩阵，那么就可以对它们做特征值分解，分别得到矩阵 $U$ 和 $V$，对 $\Sigma {\Sigma }^T$ 或 ${\Sigma }^T\Sigma$ 中的特征值开方，就可以得到所有的奇异值。

3. 求解步骤

1. 先分别求解矩阵 $A{A}^T$ 和 $A^{T}A$ ；
2. 利用
   $$\begin{gathered} A{A}^T=U\Sigma V^{T}V{\Sigma }^T{U}^T=U\Sigma {\Sigma }^T{U}^T \\ {A}^{T}A=V\Sigma U^{T}U{\Sigma }^T{V}^T=V{\Sigma }^T\Sigma V^T \end{gathered}$$
   进行特征值分解，得到矩阵 $U$ 和 $V$；
3. 对2中求得的矩阵 $\Sigma {\Sigma }^T$ 或 ${\Sigma }^T\Sigma$ 的特征值开方，最终得到所有的奇异值。

参考

SVD（奇异值分解）小结