文章目录
为何引入向量范数
一、向量范数
向量加权范数
向量范数的等价性定理
常用范数的等价关系
二、矩阵范数
$m_{1}$ -范数 和F -范数
谱
三、矩阵范数与向量范数的相容
算子范数
矩阵范数具有向量范数的一切性质
Schatten范数
四、Numpy计算范数
参考资料


18 矩阵——矩阵的秩、行阶梯形矩阵与秩、行列式与秩、特征值与秩、二次型与秩、矩阵秩的计算、关于秩的常用结论_
19 矩阵——矩阵的相抵、相抵标准形、秩1矩阵、矩阵的满秩分解
20矩阵——酉矩阵
21矩阵——Schur分解定理、酉相似下的标准型、Hermite正定矩阵、正规矩阵
22矩阵——向量范数和矩阵范数、p范数、m 1 范数 和F -范数、算子范数、向量加权范数、Schatten范数、Numpy计算范数
 23矩阵——LU分解、用LU 分解解线性方程组、LU分解的存在性和唯一性、对称矩阵的 L D L 分解、置换矩阵、PA=LU 分解
24矩阵——条件数与方程组的性态、“病态”矩阵与方程、系数矩阵与右端微小扰动情况、条件数的几何意义
25 矩阵——QR分解、Householder 矩阵、镜面反射
SVD奇异值分解

为何引入向量范数
设 $A x=b$ 有精确解$x^{*}$, 有近似解 $x .$

$x^{*}$ 和 $x$ 的近似程度如何衡量?
如何对方程组进行误差分析?
向量和矩阵的大小如何度量?

为了研究线性方程组近似解的误差估计和迭代法的收 敛性，我们引入度量向量和矩阵的“大小”的量——范数.
向量范数概念是实数的绝对值，复数的模的概念的推广，在数值分析中起着重要作用.
范数的主要意义和作用：

研究矩阵和向量的大小度量和误差估计
研究矩阵序列和向量序列以及级数收敛准则
研究线性方程组解的误差估计

一、向量范数
$\large\color{magenta}{\boxed{\color{brown}{定义 1} }}$ 对任意的复数 $x, y$ 及 $\alpha$, 函数 $f(x)=|x|$ 满足以下三条件:

1、非负性

$|x| \geq 0,|x|=0 \Leftrightarrow x=0$

2、 齐次性

$|a x|=|a||x|$

3、三角不等式

$|x+y| \leq|x|+|y|$

称函数 $|*|$ 为 $C$ 上的一个$\large\color{red}{\boxed{\color{green}{ 模函数   }}}$  。
$\large\color{magenta}{\boxed{\color{brown}{定义 2} }}$  定义在( $n$ 维复向量空间) $C^{n}$ 上的一个非负实值函数，记为$f(x)=\|x\|$, 若该函数满足以下三个条件:
对任意向量 $x$ 和 $y$ 及复数 $\alpha \in C$:
1、非负性

$\|x\| \geq 0,\\\|x\|=0 \Leftrightarrow 当且仅当  x=0_{n \times 1}$

2、齐次性

$\|\alpha \boldsymbol{x}\|=|\alpha| \cdot\|\boldsymbol{x}\|$

3、三角不等式

$\|\boldsymbol{x}+\boldsymbol{y}\| \leq\|\boldsymbol{x}\|+\|\boldsymbol{y}\|$

称函数 $\|*\|$ 为 $C^{n}$ 上的一个$\large\color{red}{\boxed{\color{green}{ 向量范数   }}}$ ，其是连续函数
$\Large\color{violet}{例 1}$  对任给 $x=\left(x_{1}, x_{2}, x_{3}\right)^{T} \in R^{3}$,试问下列函数是否构成向量范数.
(1) $\left|x_{1}\right|+\left|x_{2}\right|-2\left|x_{3}\right|$  :显然不满足非负性!
(2) $\left|x_{1}\right|+\left|x_{2}+2 x_{3}\right|$:取 $x=(0,2,-1)^{T}$, 亦不满足非负性!
(3) $\left|x_{1}\right|^{4}+\left|x_{2}\right|^{4}+\left|x_{3}\right|^{4}$:容易验证，不满足齐次性!
(4) $\left|x_{1}\right|+3\left|x_{2}\right|+2\left|x_{3}\right|$  :可以验证，满足范数定义的所有条件.
结论：以上四个实值函数，只有最后一个构成向量范数.
对于向量 $x=(x_1,x_2,...,x_m)^T$，常用的范数包括


$p$范数

$||x||_p=(\sum_{i=1}^{m}|x_i|^p)^{\frac{1}{p}},1 \leq p<+\infty$

即向量元素绝对值的p次方和的1/p次幂，表示x到零点的p阶闵氏距离。


0范数($L_{0}$)


$\left| \left| x \right| \right|_{0}=非零元素的个数$


1范数 ($L_{1}$)

$\left| \left| x \right| \right|_{1}=\sum_{i=1}^{m}{\left| x_{i} \right|}=\left| x_{1} \right|+\cdot\cdot\cdot+\left| x_{m} \right|$

即向量元素绝对值之和，$x$ 到零点的曼哈顿距离。


2范数  （$L_{2}$, 欧式范数）

$\|\boldsymbol{x}\|_{2}=\left(\sum_{i=1}^{m}\left|\boldsymbol{x}_{i}\right|^{2}\right)^{1 / 2}
=\sqrt{\boldsymbol{x}^{H} \boldsymbol{x}}=\sqrt{(\boldsymbol{x}, \boldsymbol{x})} \\
= (\left| x_{1} \right|^{2}+\cdot\cdot\cdot+\left| x_{m} \right|^{2})^{\frac{1}{2}}$

欧式范数，常用计算向量长度,是应用最为广泛的范数定义，即向量元素绝对值的平方和再开方，表示$x$到零点的欧式距离


$\infty$范数

$||x||_\infty=\max_i |x_i|$

当$p$趋向于正无穷时，即所有向量元素绝对值中的最大值.


$-\infty$范数
$||x||_{-\infty}=\min_i |x_i|\\$

当$p$趋向于负无穷时，即所有向量元素绝对值中的最小值.


向量加权范数
$\large\color{magenta}{\boxed{\color{brown}{定义 3} }}$ 设 $x \in R^{n}, W \in R^{n \times n}$ 为非奇异对角阵, 对给定的任意一种向量范数$\|*\|$,定义 $x$ 的加权范数为

$\|\boldsymbol{x}\|_{\boldsymbol{W}}=\|\boldsymbol{W} \boldsymbol{x}\|$

$W$ 的对角元素为它的每一个分量的权系数.
加权的1-范数: $\quad$

$\|\boldsymbol{x}\|_{W}=\|\boldsymbol{W} \boldsymbol{x}\|_{1}=\sum_{i=1}^{n}\left|\omega_{i} \boldsymbol{x}_{i}\right|$

加权的2-范数:

$\quad\|\boldsymbol{x}\|_{W}=\|\boldsymbol{W} \boldsymbol{x}\|_{2}=\left(\sum_{i=1}^{n}\left|\omega_{i} \boldsymbol{x}_{i}\right|^{2}\right)^{\frac{1}{2}}$
$\Large\color{violet}{例1}$  对任意 $\boldsymbol{x}=\left(\boldsymbol{x}_{1}, \boldsymbol{x}_{2}, \boldsymbol{x}_{3}\right)^{T} \in \mathbf{C}^{3} \quad \boldsymbol{W}=\left(\begin{array}{ccc}1 & 0 & 0 \\ 0 & 3 & 0 \\ 0 & 0 & -2\end{array}\right) \in \mathbf{C}^{3 \times 3}$,

加权的1范数为：

$\|\boldsymbol{x}\|_{W}=\|W \boldsymbol{x}\|_{1}=\left\|\left(\begin{array}{ccc}
1 & 0 & 0 \\
0 & 3 & 0 \\
0 & 0 & -2
\end{array}\right)\left(\begin{array}{c}
\boldsymbol{x}_{1} \\
\boldsymbol{x}_{2} \\
\boldsymbol{x}_{3}
\end{array}\right)\right\|_{1}=\left|\boldsymbol{x}_{1}\right|+3\left|\boldsymbol{x}_{2}\right|+2\left|\boldsymbol{x}_{3}\right|$

$\Large\color{violet}{例2}$: 求向量 $\boldsymbol{x}=(-1, \quad 2,4)^{T}$ 的 $1,2, \infty$, 加权2-范数, 其中矩阵 $\quad \boldsymbol{W}=\left(\begin{array}{ccc}1 & 0 & 0 \\ 0 & 3 & 0 \\ 0 & 0 & -2\end{array}\right) \in \mathbf{C}^{3 \times 3} .$

解:
$\|x\|_{1}=|-1|+2+4=7$
$\|x\|_{2}=\sqrt{|-1|^{2}+2^{2}+4^{2}}=\sqrt{21}$
$\|x\|_{\infty}=\max \{|-1|, 2,4\}=4$
$\|\boldsymbol{x}\|_{W}=\|W x\|_{2}=\left(|-1|^{2}+9 \times 2^{2}+4 \times 4^{2}\right)^{1 / 2}=\sqrt{101}$
各种向量范数，其数值大小一般不同
向量范数为对向量大小的度量方式。
$L_{2}$范数：

对于二维空间内的向量$p(x,y)$而言，$L_{2}(p)=\sqrt{\left| x \right|^{2}+\left|y\right|^{2}}$，代表$p$向量的长度。如果向量$p(x,y,z)$处于三维空间，那么该向量的$L_{2}$范数（即向量长度）为$\sqrt{\left|x\right|^{2}+\left|y\right|^{2}+\left|z\right|^{2}}$，推而广之，$N$维空间内的向量的$L_{2}$范数就是代表该向量的长度。
向量范数的等价性定理
设 $\|\cdot\|_{\beta}$ 和 $\|\cdot\|_{\alpha}$ 为 $\mathbf{C}^{n}$ 上的任意两种向量范数，则存在两个与向量无关的正常数 $c_{1}>0, c_{2}>0$, 使得

$c_{1}\|\mathbf{x}\|_{\beta} \leq\|\boldsymbol{x}\|_{\alpha} \leq c_{2}\|\boldsymbol{x}\|_{\beta}$

并称 $\|\cdot\|_{\alpha}$ 和 $\|\cdot\|_{\beta}$ 为 $\mathbf{C}^{n}$ 上的$\large\color{red}{\boxed{\color{green}{ 等价范数   }}}$。
由向量范数的等价性可知

$\lim _{x \rightarrow 0}\|\boldsymbol{x}\|_{\alpha}=0 \Longrightarrow \lim _{x \rightarrow 0}\|\boldsymbol{x}\|_{\beta}=0$
常用范数的等价关系
特别的，

$\begin{array}{l}
\|\boldsymbol{x}\|_{\infty} \leq\|\boldsymbol{x}\|_{1} \leq n\|\boldsymbol{x}\|_{\infty} \\
\frac{1}{\sqrt{n}}\|\boldsymbol{x}\|_{1} \leq\|\boldsymbol{x}\|_{2} \leq\|\boldsymbol{x}\|_{1} \\
\frac{1}{\sqrt{n}}\|\boldsymbol{x}\|_{2} \leq\|\boldsymbol{x}\|_{\infty} \leq\|\boldsymbol{x}\|_{2}
\end{array}$

或者

$\|\boldsymbol{x}\|_{\infty} \leq\|\boldsymbol{x}\|_{2} \leq\|\boldsymbol{x}\|_{1} \leq \sqrt{n}\|\boldsymbol{x}\|_{2} \leq n\|\boldsymbol{x}\|_{\infty}$
以3)为例证明之,事实上,

$\|\boldsymbol{x}\|_{\infty}^{2}=\max _{1 \leq i \leq n}\left|\boldsymbol{x}_{i}\right|^{2} \leq \sum_{i=1}^{n}\left|x_{i}\right|^{2}=\|\boldsymbol{x}\|_{2}^{2}$

又

$\|\boldsymbol{x}\|_{2}^{2} \leq \sum_{i=1}^{n} \max _{1 \leq i \leq n}\left|\boldsymbol{x}_{i}\right|^{2}=n \cdot\|\boldsymbol{x}\|_{\infty}^{2} \Rightarrow \frac{1}{\sqrt{n}}\|\boldsymbol{x}\|_{2} \leq\|\boldsymbol{x}\|_{\infty}$

$\large\color{magenta}{\boxed{\color{brown}{定义 4} }}$  向量序列收敛
设向量序列 $x^{(k)}=\left(x_{1}^{(k)}, x_{2}^{(k)}, \cdots, x_{n}^{(k)}\right)^{T}, k=0,1, \cdots$,向量 $x^{*}=\left(x_{1}^{*}, x_{2}^{*}, \cdots, x_{n}^{*}\right)^{T}$.称向量序列 $\left\{x^{(k)}\right\}$ 收敛于向量 $x^{*}$, 如果

$\lim _{k \rightarrow \infty}\left\|x^{(k)}-x^{*}\right\|=0$

记作 $\lim _{k \rightarrow \infty} x^{(k)}=x^{*}, \quad$ 或 $x^{(k)} \rightarrow x^{*} .$
二、矩阵范数
$m_{1}$ -范数 和F -范数
对向量范数进行推广，就获得了矩阵范数，因此矩阵范数也是对矩阵的一种度量方式，当然了，由于矩阵并没有长度的概念，因此将矩阵范数看作是对矩阵长度的度量并不可行。
若我们取

$\boldsymbol{E}_{i j}=\left(\begin{array}{ccccc}
0 & \cdots & 0 & \cdots & 0 \\
\vdots & \ddots & \vdots & \cdots & \vdots \\
0 & \cdots & 1 & \cdots & 0 \\
\vdots & \ddots & \vdots & \ddots & \vdots \\
0 & \cdots & 0 & \cdots & 0
\end{array}\right)_{m \times n}$

则 $\left\{E_{i j}\right\}$ 线性无关,而且任意一个 $m \times n$ 矩阵 $A=\left(a_{i j}\right)$ 都可表为 $:$

$\boldsymbol{A}=\sum_{i=1}^{m} \sum_{j=1}^{n}\left(a_{i j} \boldsymbol{E}_{i j}\right)$

这也就是说,全体 $m \times n$ 矩阵构成的空间的维数是 $m n_{\circ}$ 因此,$C ^{m {\times n}} $ 亦可看作一个mn维的向量空间。这样,我们自然想到将向量范数的概念直 接推广到矩阵上。然而这种推广应考虑到矩阵的乘法运算。因而使用 的矩阵范数的定义是按如下方式。
$\large\color{magenta}{\boxed{\color{brown}{定义 5} }}$ 定义在 $\mathrm{C}^{m {\times} п }$ 上的一个非负实值函数,记为   $f(\boldsymbol{A})=\|\boldsymbol{A}\|$, 若该函数满足以下条件:
即对任意矩阵 $\boldsymbol{A}, \boldsymbol{B}$ 以及任意复常数 $\alpha \in \mathbf{C}$
(1) 非负性 $\quad \| A \mathbb{l} \geq 0$ 当且仅当 $A=0_{m \times n}$ 时 $\|A\|=0$
(2) 齐次性 $\quad\|\alpha \boldsymbol{A}\|=|\alpha| \cdot\|\boldsymbol{A}\|$
(3) 三角不等式 $\quad\|\boldsymbol{A}+\boldsymbol{B}\| \leq\|\boldsymbol{A}\|+\|\boldsymbol{B}\|$
(4) 相容性   $\|\boldsymbol{A} \boldsymbol{B}\| \leq\|\boldsymbol{A}\| \cdot\|\boldsymbol{B}\|$  , $\boldsymbol{A} \in \boldsymbol{C}^{n \times I}, \boldsymbol{B} \in \boldsymbol{C}^{\mid \times n}$
则称函数 $\|\cdot\|$为C $^{m \times n}$ 上的一个$\large\color{#70f3ff}{\boxed{\color{brown}{矩阵范数 } }}$  。
将矩阵 $A$ 按列分块成 $\boldsymbol{A}=\left(\boldsymbol{A}_{1} \quad \boldsymbol{A}_{2} \quad \cdots \quad \boldsymbol{A}_{n}\right)$ 其中

$\boldsymbol{A}_{j}=\left(\begin{array}{c}
a_{1 j} \\
a_{2 j} \\
\vdots \\
a_{m j}
\end{array}\right) j=1,2, \cdots, n, \qquad\qquad \begin{aligned}
\sum_{j=1}^{n}\left\|\boldsymbol{A}_{j}\right\|_{1} & =\sum_{j=1}^{n} \sum_{i=1}^{m}\left|a_{i j}\right| \\
 \sum_{j=1}^{n}\left\|\boldsymbol{A}_{j}\right\|_{2}^{2}&=\sum_{j=1}^{n} \sum_{i=1}^{m}\left|a_{i j}\right|^{2}
\end{aligned}$

定义

$\|\boldsymbol{A}\|_{m_{1}} =\sum_{i=1}^{m} \sum_{j=1}^{n}\left|a_{i j}\right| \tag{1}$

$\quad\|\boldsymbol{A}\|_{F}{ } =\left(\sum_{i=1}^{m} \sum_{j=1}^{n}\left|a_{i j}\right|^{2}\right)^{\frac{1}{2}}\tag{2}$
显然上述两个函数均满足矩阵范数定义中的(1)-(4)。分别称由(1)所定义的范数为矩阵的$\large\color{#70f3ff}{\boxed{\color{brown}{m_{1} -范数 } }}$ 和(2) 为 Frobenius范数(简称$\large\color{#70f3ff}{\boxed{\color{brown}{F -范数 } }}$ )。
Frobenius范数可以视作向量的范数对按照矩阵各列依次排列的“拉长向量”

$x = \left[  a_{11},\cdot\cdot\cdot,a_{m1},a_{12},\cdot\cdot\cdot,a_{m2},\cdot\cdot\cdot,a_{1n},\cdot\cdot\cdot,a_{mn}  \right]^{T}$
的推广。
矩阵的Frobenius范数有时也称Euclidean范数

$\left\| \boldsymbol A \right\|_F= \sqrt {{{\left| {{a_{11}}} \right|}^2} +  \cdots  + {{\left| {{a_{mn}}} \right|}^2}} =\sqrt {\sigma _1^2 +  \cdots  + \sigma _r^2}$

元素和奇异值的平方和可以通过SVD分解联系起来，$\boldsymbol A = \boldsymbol {U\varSigma} {\boldsymbol V^T}$中正交矩阵不改变范数，因此矩阵A的范数和奇异值对角阵相同。
Fronebius范数又可写作迹函数的形式

$||A||_F =\left \langle A,A \right \rangle^{\frac{1}{2}}=\sqrt{tr(A^{H}A)}$
元素形式范数与向量范数本质上是相同的。
下面证明 $(1)$ 满足相容条件。
假设矩阵 $A$ 和 $B$ 分别为 $m \times I$ 阶和 $I \times n$ 阶,由定义

$\begin{aligned}\|\boldsymbol{A} \boldsymbol{B}\|_{m_{1}} &=\sum_{i=1}^{m} \sum_{j=1}^{n}\left|(\boldsymbol{A} \boldsymbol{B})_{i j}\right|=\sum_{i=1}^{m} \sum_{j=1}^{n}\left|\sum_{k=1}^{I} a_{i k} \cdot b_{k j}\right| \\ &=\sum_{i=1}^{m} \sum_{j=1}^{n}\left|a_{i 1} b_{1 j}+a_{i 2} b_{2 j}+\cdots+a_{i l} b_{l j}\right| \\ & \leq \sum_{i=1}^{m} \sum_{j=1}^{n}\left(\left|a_{i l} b_{1 j}\right|+\left|a_{i 2} b_{2 j}\right|+\cdots+\left|a_{i l} b_{l j}\right|\right) \\ & \leq \sum_{i=1}^{m} \sum_{j=1}^{n}\left(\left|a_{i \mid}\right|+\left|a_{i 2}\right|+\cdots+\left|a_{i l}\right|\right) \cdot\left(\left|b_{1 j}\right|+\left|b_{2 j}\right|+\cdots+\left|b_{l j}\right|\right) \\ &=\left(\sum_{i=1}^{m} \sum_{k=1}^{I}\left|a_{i k}\right|\right)\left(\sum_{k=1}^{I} \sum_{j=1}^{n}\left|b_{k j}\right|\right)=\|\boldsymbol{A}\|_{m_{1}}\|\boldsymbol{B}\|_{m_{1}} \end{aligned}$

$\Large\color{violet}{例1}$ 若 $\boldsymbol{A}=\left(a_{i j}\right)_{m \times n} \in \mathbf{C}^{m \times n}$, 取 $f(\boldsymbol{A})=\max _{i j}\left|a_{i j}\right|$, 则是否构成 $A$ 的一种范数?
【解】: 取 $\boldsymbol{A}=\left(\begin{array}{ll}1 & 1 \\ 0 & 0 \\ 0 & 0\end{array}\right), \boldsymbol{B}=\left(\begin{array}{lll}1 & 0 & 0 \\ 1 & 0 & 0\end{array}\right)$, 那么, $\boldsymbol{A B}=\left(\begin{array}{lll}2 & 0 & 0 \\ 0 & 0 & 0 \\ 0 & 0 & 0\end{array}\right)$,

则可得出

$f(\boldsymbol{A})=f(\boldsymbol{B})=1, f(\boldsymbol{A} \boldsymbol{B})=2, \text { 即有 } f(\boldsymbol{A} \boldsymbol{B})>f(\boldsymbol{A}) \cdot f(\boldsymbol{B})$

不满足相容性,故不构成A的一种范数。
若定义实值函数: $\|A\|=\sqrt{m \cdot n} \cdot \max _{i j}\left|a_{i j}\right|$, 则可验证其构成A的一种范数。
谱
$\large\color{magenta}{\boxed{\color{brown}{定义 6} }}$   称如下集合为矩阵 $\boldsymbol{A} \in \boldsymbol{C}^{\mathrm{n} \times  n}$     的谱  :

$\sigma(\boldsymbol{A})=\{\lambda \mid \operatorname{det}(\lambda \boldsymbol{I}-\boldsymbol{A})=0\}​$

称如下实数为矩阵 $A \in \mathrm{C}^{n \times n}$ 的谱半径

$\rho(\boldsymbol{A})=\max_i \mid \lambda_{i}\mid$

若矩阵为: $\boldsymbol{A}=\left(\boldsymbol{a}_{i j}\right)_{m \times n}$, 则其复共轭矩阵为: $\boldsymbol{A}^{\boldsymbol{H}}=\left(\overline{\boldsymbol{a}}_{j i}\right)_{m \times n}$  ,即$\boldsymbol{A}^{H}=\overline{\left(\boldsymbol{A}^{T}\right)}$
如: $\boldsymbol{A}=\left(\begin{array}{cc}i & 0 \\ 0 & i \\ 1+i & 1\end{array}\right), \boldsymbol{A}^{H}=\left(\begin{array}{ccc}-i & 0 & 1-i \\ 0 & -i & 1\end{array}\right)$, 则注意到

$\boldsymbol{A}^{H} \boldsymbol{A}=\left(\begin{array}{ccc}-i & 0 & 1-i \\ 0 & -i & 1
\end{array}\right)\left(\begin{array}{cc}i & 0 \\ 0 & i \\ 1+i & 1
\end{array}\right)=\left(\begin{array}{cc}3 & 1-i \\ 1+i & 2\end{array}\right)$
$\boldsymbol{A A}^{H}=\left(\begin{array}{cc}i & 0 \\ 0 & i \\ 1+i & 1
\end{array}\right)
\left(\begin{array}{ccc}-i & 0 & 1-i \\ 0 & -i & 1\end{array}\right)=
\left(\begin{array}{ccc}1 & 0 & 1+i \\ 0 & 1 & i \\ 1-i & -i & 3\end{array}\right)$
为复对称半正定矩阵。
现对任给 $\boldsymbol{x}=\left(\boldsymbol{x}_{1}, \boldsymbol{x}_{2}, \cdots, \boldsymbol{x}_{n}\right)^{T} \in \mathbf{C}^{n}$, 设矩阵 $A \in \mathrm{C}^{m \times n}$,有
(1) $\left(\boldsymbol{A}^{H} \boldsymbol{A}\right)^{H}=\boldsymbol{A}^{H}\left(\boldsymbol{A}^{\boldsymbol{H}}\right)^{H}=\boldsymbol{A}^{H} \boldsymbol{A}$
(2) $\left(\boldsymbol{A}^{\boldsymbol{H}} \boldsymbol{A} \boldsymbol{x}, \boldsymbol{x}\right)=\boldsymbol{x}^{H}\left(\boldsymbol{A}^{H} \boldsymbol{A} \boldsymbol{x}\right)$

$=\boldsymbol{x}^{H} \boldsymbol{A}^{H} \boldsymbol{A} \boldsymbol{x}$

$=(\boldsymbol{A} \boldsymbol{x})^{H}(\boldsymbol{A} \boldsymbol{x})$

$=(\boldsymbol{A} \boldsymbol{x}, \boldsymbol{A} \boldsymbol{x})=\|\boldsymbol{A} \boldsymbol{x}\|_{2}^{2} \geq 0$
即 $A^{H} A$ 为半正定复对称(Hermite)矩阵。 同理 $A A^{H}$ 为半正定复对称(Hermite)矩阵。
三、矩阵范数与向量范数的相容
矩阵与向量的乘积在矩阵计算中经常出现,所以我们自然希望矩阵范数与向量范数之间最好有某种协调性。若将向量看作矩阵的特殊情形,那么由矩阵范数的相容性,我们便得到了这种协调性,即矩阵范数与向量范数的相容性。
$\large\color{magenta}{\boxed{\color{brown}{定义 7} }}$ 对于一种矩阵范数 $\|\cdot\|_{M}$ 和一种向量范数 $\|\cdot\|_{V}$ 如果对任意 $m \times n$ 矩阵 $A$ 和任意 $n$ 维向量 $x$, 满足

$\|\boldsymbol{A} \boldsymbol{x}\|_{V} \leq\|\boldsymbol{A}\|_{M}\|\boldsymbol{x}\|_{V}$

则称矩阵范数 $\|\cdot\|_{M}$ 与向量范数 $\|\cdot\|_{V}$ 是相容的。

矩阵 $m_{1}$ 范数与向量的 $p$ -范数是相容的,即 $\|\boldsymbol{A} \boldsymbol{x}\|_{p} \leq\|\boldsymbol{A}\|_{m_{1}}\|\boldsymbol{x}\|_{p}$
矩阵的 $F$ -范数与向量的2-范数是相容的,即 $\|\boldsymbol{A} \boldsymbol{x}\|_{2} \leq\|\boldsymbol{A}\|_{F}\|\boldsymbol{x}\|_{2}$

可以证明任意一种矩阵范数必然存在与之相容的向量范数
算子范数
$\large\color{magenta}{\boxed{\color{brown}{ 定理1  } }}$ $\mathbf{C}^{n}$ 上的任何向量范数 $\|\cdot\|$ 均为的连续函数。
最常用的矩阵范数为由下面定义引出的算子范数。
$\large\color{magenta}{\boxed{\color{brown}{ 定理2  } }}$ 已知 $C^{m}$ 和 $C^{n}$ 上的同类向量范数 $\|\cdot\|_{V}, \boldsymbol{A}$ 为 $m \times n$ 矩阵, 定义

$\|\boldsymbol{A}\|_{M}=\max _{\boldsymbol{x} \neq 0} \frac{\|\boldsymbol{A} \boldsymbol{x}\|_{V}}{\|\boldsymbol{x}\|_{V}}=\max _{\|\boldsymbol{x}\|_{V}=1}\|\boldsymbol{A} \boldsymbol{x}\|_{V}\tag{3}$

则 $\|\boldsymbol{A}\|_{M}$ 是一种矩阵范数, 且与已知的向量范数相容。
我们称由关系式(1)定义的矩阵范数为从属向量范数的矩阵范数简称$\large\color{#70f3ff}{\boxed{\color{brown}{从属范数 } }}$ 或$\large\color{#70f3ff}{\boxed{\color{brown}{算子范数 } }}$ 。
【证】:首先验证两中表达式的等价性,

$\max _{\boldsymbol{x} \neq 0} \frac{\|\boldsymbol{A} \boldsymbol{x}\|_{V}}{\|\boldsymbol{x}\|_{V}}
=\max _{\boldsymbol{x} \neq 0}\left(\frac{1}{\|\boldsymbol{x}\|_{V}} \cdot\|\boldsymbol{A} 
\boldsymbol{x}\|_{V}\right)=\max _{\boldsymbol{x} \neq 0}\left\|\boldsymbol{A}
\left(\frac{\boldsymbol{x}}{\|\boldsymbol{x}\|_{V}}\right)\right\|_{V
}=\max _{\| \boldsymbol{y}\|_{V} =1}\|\boldsymbol{A} \boldsymbol{y}\|_{V}$

注意到

$y=\frac{\boldsymbol{x}}{\|\boldsymbol{x}\|_{V}},\|y\|_{V}=\left\|\frac{\boldsymbol{x}}{\|\boldsymbol{x}\|_{V}}\right\|_{V}=\frac{\|\boldsymbol{x}\|_{V}}{\|\boldsymbol{x}\|_{V}}=1$

其次验证 $\|A\|_{M}$ 与从属的向量范数相容，由(3)立刻可得到 $\frac{\|\boldsymbol{A} \mathbf{x}\|_{V}}{\|\boldsymbol{x}\|_{V}} \leq\|\boldsymbol{A}\|_{M}$ 即 $\|\boldsymbol{A} \boldsymbol{x}\|_{V} \leq\|\boldsymbol{A}\|_{M}\|\boldsymbol{x}\|_{V}$ 即相容关系成立。
由于 $\|\boldsymbol{A} \boldsymbol{x}\|_{V}$ 是 $\mathbf{C}^{n}$ 中的有界闭集 $\mathbf{D}=\left\{\boldsymbol{x} \mid\|\boldsymbol{x}\|_{V}=1, \boldsymbol{x} \in \mathbf{C}^{n}\right\}$ 上的连续函数,
故对每一个矩阵 $\boldsymbol{A}$ 而言,都能够找到向量 $\boldsymbol{x}_{0}$ ，使得 $\left\|\boldsymbol{x}_{0}\right\|_{V}=1$, 而且

$\|\boldsymbol{A}\|_{M}=\left\|\boldsymbol{A} \boldsymbol{x}_{0}\right\|_{V}=\max _{\|x\|_{V}=1}\|\boldsymbol{A} \boldsymbol{x}\|$

下面证明 $\| A_{M}$ 是一种矩阵范数。
(1) 非负性,当 $A=0$ 时, 对任意 $x \in \mathbf{C}^{n}$, 有 $\|\boldsymbol{A} \boldsymbol{X}\|_{V}=0$, 从而得 $\|A\|_{M}=0$;
而当 $\boldsymbol{A} \neq 0$ 时,存在 $\boldsymbol{x}_{0} \in \mathbf{C}^{n}$, 使 $\boldsymbol{A} \boldsymbol{x}_{0} \neq 0$, 从而 $\|A\|_{M} \geq \frac{\left\|\boldsymbol{A} \boldsymbol{x}_{0}\right\|_{V}}{\left\|\boldsymbol{x}_{0}\right\|_{V}}>0$
(2) 齐次性, 对任意的 $\alpha \in \mathbf{C}$,有

$\|\boldsymbol{A}\|_{M}=\max _{\boldsymbol{x} \neq 0} \frac{\|(\alpha \boldsymbol{A}) \boldsymbol{x}\|_{V}}{\|\boldsymbol{x}\|_{V}}=|\alpha| \cdot \max _{\boldsymbol{x} \neq 0} \frac{\|\boldsymbol{A} \boldsymbol{x}\|_{V}}{\|\boldsymbol{x}\|_{V}}=|\alpha| \cdot\|\boldsymbol{A}\|_{M}$

(3) 三角不等式, 假设 $A$ 和 $\boldsymbol{B}$ 分别为 $m \times n$ 阶矩阵,则

$\begin{aligned}
\|\boldsymbol{A}+\boldsymbol{B}\|_{M} &=\max _{\|x\|_{V}=1}\|(\boldsymbol{A}+\boldsymbol{B}) \boldsymbol{x}\|_{V}=\max _{\|x\|_{V}=1}\|\boldsymbol{A} \boldsymbol{x}+\boldsymbol{B} \boldsymbol{x}\|_{V} \\
& \leq \max _{\|x\|_{V}=1}\|\boldsymbol{A} \boldsymbol{x}\|_{V}+\max _{\|x\|_{V}=1}\|\boldsymbol{B} \boldsymbol{x}\|_{V} \leq\|A\|_{M}+\|\boldsymbol{B}\|_{M}
\end{aligned}$

(4) 相容性, $\boldsymbol{A} \boldsymbol{B}=0$ 时, $\boldsymbol{A}=\left(\begin{array}{ll}1 & 0 \\ 0 & 0\end{array}\right), \boldsymbol{B}=\left(\begin{array}{ll}0 & 0 \\ 0 & 1\end{array}\right), \boldsymbol{A} \boldsymbol{B}=\left(\begin{array}{ll}0 & 0 \\ 0 & 0\end{array}\right)$,

$\|A B\|_{M}=0, \quad\|A\|_{M}\|\boldsymbol{B}\|_{M} \geq 0$

显然, $\|\boldsymbol{A} \boldsymbol{B}\|_{M} \leq\|\boldsymbol{A}\|_{M} \cdot\|\boldsymbol{B}\|_{M}$
设 $\boldsymbol{A B} \neq 0$, 且又假设 $\boldsymbol{A}$ 和 $\boldsymbol{B}$ 分别为 $m \times 1$ 和 $I \times n$ 阶矩阵，令 $\boldsymbol{y}=\boldsymbol{B} \boldsymbol{x} \neq 0$
因此

$\begin{aligned}
\|\boldsymbol{A} \boldsymbol{B}\|_{M} &=\max _{\|x\|_{V}=1}
\|(\boldsymbol{A} \boldsymbol{B}) \boldsymbol{x}\|_{V}=\max _{\|x\|_{V}=1} 
\frac{\|(\boldsymbol{A} \boldsymbol{B}) \boldsymbol{x}\|_{V}}{\|\boldsymbol{B} \boldsymbol{x}\|_{V}}
\|\boldsymbol{B}
\boldsymbol{x}\|_{V}\\
& \leq \max _{y \neq 0} \frac{\|\boldsymbol{A} \boldsymbol{y}\|_{V}}{\|\boldsymbol{y}\|_{V}} \max _{\|x\|_{V}=1}\|\boldsymbol{B} \boldsymbol{x}\|_{M} \leq\|\boldsymbol{A}\|_{M}\|\boldsymbol{B}\|_{M}
\end{aligned}$

因此, $\|\cdot\|_{M}$ 是一种矩阵范数,并且是一种与向量范数 $\|\cdot\|_{V}$ 相容的矩阵范数。
在向量范数中,最常用的范数为向量的1-范数、2-范数和$\infty$-范数, 下面分别给出从属这三种向量范数的矩阵范数。
$\large\color{magenta}{\boxed{\color{brown}{ 定理3  } }}$几种常用的算子范数
(1)  (列和范数 $)$

$\|\boldsymbol{A}\|_{1}=\max _{1 \leq j \leq n} \sum_{i=1}^{m}\left|a_{i j}\right|$

(2) (行和范数)

$\quad\|A\|_{\infty}=\max _{1 \leq i \leq m} \sum_{j=1}^{n}\left|a_{i j}\right|$

(3) (谱范数)

$\|A\|_{2}=\sqrt{\lambda_{\max }\left(\boldsymbol{A}^{H} \boldsymbol{A}\right)}$

其中 $\lambda_{\max }\left(\boldsymbol{A}^{H} \boldsymbol{A}\right)$ 表示矩阵 $\boldsymbol{A}^{H} \boldsymbol{A}$ 的最大特征值,即最大奇异值; $\left(\right.$ 或 $\left.\sqrt{\rho\left(\boldsymbol{A}^{H} \boldsymbol{A}\right)}\right)$
$\large\color{magenta}{\boxed{\color{brown}{ 推论1  } }}$: 对任何算子范数,单位矩阵 $\boldsymbol{I} \in \mathbf{R}^{n \times n}$ 的范数值为1，即

$\|\boldsymbol{I}\|=1$

事实上

$\begin{aligned}
\|\boldsymbol{I}\|=\max _{\boldsymbol{x} \neq 0} \frac{\|\boldsymbol{x}\|}{\|\boldsymbol{x}\|}=\max _{\boldsymbol{x} \neq 0} \frac{\|\boldsymbol{x}\|}{\|\boldsymbol{x}\|}=1
\end{aligned}$

特别地, $\|\boldsymbol{A}\|_{m_{1}},\|\boldsymbol{A}\|_{F}$ 不是算子范数。
事实上

$\|\boldsymbol{I}\|_{m_{1}}=\sum_{i=1}^{n} \sum_{j=1}^{n}\left|a_{i j}\right|=\sum_{i=1}^{n} 1=n \neq 1$
$\|\boldsymbol{I}\|_{F}=\sqrt{\sum_{i=1}^{n} \sum_{j=1}^{n}\left|a_{i j}\right|^{2}}=\sqrt{\sum_{i=1}^{n} 1^{2}}=\sqrt{n} \neq 1$
$\Large\color{violet}{例2}$: 设 $\boldsymbol{A}=\left(\begin{array}{cc}1 & 0 \\ 2 & 4 \\ -2 & 4\end{array}\right)$, 求 $\|\boldsymbol{A}\|_{1},\|\boldsymbol{A}\|_{\infty},\|\boldsymbol{A}\|_{2},\|\boldsymbol{A}\|_{m_{1}},\|\boldsymbol{A}\|_{F}$ 。

$\begin{aligned}& \|\boldsymbol{A}\|_{1}=\max _{1 \leq j \leq 2} \sum_{i=1}^{3}\left|a_{i j}\right|=\max _{1 \leq j \leq n}\{5,8\}=8 \\ & \|\boldsymbol{A}\|_{\infty}=\max _{1 \leq i \leq 3} \sum_{j=1}^{2}\left|a_{i j}\right|=\max _{1 \leq j \leq n}\{1,6,6\}=6 \\ & \|\boldsymbol{A}\|_{m_{1}}=\sum_{i=1}^{3} \sum_{j=1}^{2}\left|a_{i j}\right|=1+2+4+|-2|+4=13 \\ & \|\boldsymbol{A}\|_{F}=\sqrt{\sum_{i=1}^{3} \sum_{j=1}^{2}\left|a_{i j}\right|^{2}}=\sqrt{1+2^{2}+4^{2}+|-2|^{2}+4^{2}}=\sqrt{41}\end{aligned}$

现在计算 $\|\boldsymbol{A}\|_{2}$, 首先,计算

$\boldsymbol{A}^{\boldsymbol{T}} \boldsymbol{A}=\left(\begin{array}{ccc}
1 & 2 & -2 \\
0 & 4 & 4
\end{array}\right)\left(\begin{array}{cc}
1 & 0 \\
2 & 4 \\
-2 & 4
\end{array}\right)=\left(\begin{array}{cc}
9 & 0 \\
0 & 32
\end{array}\right)$

令 $\quad \operatorname{det}\left(\lambda \boldsymbol{I}-\boldsymbol{A}^{T} \boldsymbol{A}\right)=\left|\begin{array}{cc}\lambda-9 & 0 \\ 0 & \lambda-32\end{array}\right|=(\lambda-9)(\lambda-32)=0$
得 $\|\boldsymbol{A}\|_{2}=\sqrt{\lambda_{\max }\left(\boldsymbol{A}^{T} \boldsymbol{A}\right)}=\sqrt{32}=4 \sqrt{2}$
矩阵范数具有向量范数的一切性质
$\large\color{magenta}{\boxed{\color{brown}{ 定理4  } }}$ (矩阵范数的等价性定理)
设 $\|\cdot\|_{\beta}$ 和 $\|\cdot\|_{\alpha}$ 为 $\mathbf{C}^{m \times n}$ 上的任意两种矩阵范数, 则存在两个与矩阵无关的正常数 $\boldsymbol{C}_{1}>0$ 和 $\boldsymbol{C}_{2}>0$, 使得下面的不等式 成立

$c_{1}\|A\|_{\beta} \leq\|\boldsymbol{A}\|_{\alpha} \leq c_{2}\|\boldsymbol{A}\|_{\beta}$

并称 $\|\cdot\|_{\alpha}$ 和 $\|\cdot\|_{\beta}$ 为 $\mathbf{C}^{m \times n}$ 上的等价范数。
由向矩阵范数的等价性可知

$\lim _{\boldsymbol{A} \rightarrow \boldsymbol{0}}\|\boldsymbol{A}\|_{\alpha}=0 \Longrightarrow \lim _{\boldsymbol{A} \rightarrow \boldsymbol{0}}\|\boldsymbol{A}\|_{\beta}=0$

可以证明:


任意给定的矩阵范数必然存在与之相容的向量范数;任意给定的向量范数必然存在与之相容的矩阵范数。(如从属范数)


一个矩阵范数可以与多种向量范数相容; (矩阵的$m_1$-范数与向量的 $p$ -范数相容)


多种矩阵范数可以与一个向量范数相容。(矩阵的F范数、2-范数与向量的2-范数相容)

从属范数一定与所定义的向量范数相容,但是矩阵范数与向量范数相容却未必有从属关系。(矩阵的F-范数与向量的2范数相容,但无从属关系)
并非任意的矩阵范数与任意的向量范数相容。

矩阵2范数小于等于其F范数， 证明如下：
令${x} = \sum_{j=1}^n c_j e_j$, 其中${e}_j$是基向量，$c_j$是${x}$对应于该向量的坐标。不失一般性，令${x}$归一化为单位长度，即$||{x}||_2= 1$,比如$\sum_j|c_j|^2=1$, 则：

$||A{x}||^2 = ||\sum_jc_jA {e}_j||_2^2\le(\sum_j |c_j| \ ||A{e}_j||_2)^2\le (\sum_j |c_j|^2)\sum_j||A{e}_j||^2_2=\sum_j||A{e}_j||^2_2=||A||_F^2$
其中，第一个$\le$是利用三角不等式得到的，第二个$\le$是利用了Cauchy-Schwarz不等式$（|\left <{u}, {v} \right>|\le||{u}||\ ||{v}||）$。
因为${x}$是任意的，则得到：$||A||_2\le||A||_F$
矩阵范数与向量范数不相容的例子:
取

$\boldsymbol{A}=\left(\begin{array}{ll}
1 & 1 \\
0 & 0
\end{array}\right), \boldsymbol{x}=\left(\begin{array}{l}
1 \\
1
\end{array}\right)$

则有 $\|A\|_{1}=1,\|\boldsymbol{x}\|_{\infty}=1, \quad$ 而 $\quad\|\boldsymbol{A} \boldsymbol{x}\|_{\infty}=2>\|\boldsymbol{A}\|_{1} \cdot\|\boldsymbol{x}\|_{\infty}$
故矩阵的$\|\cdot\|_{1}$与向量的 $\|\cdot\|_{\infty}$不相容。
对于西矩阵 $\boldsymbol{U}^{\boldsymbol{H}} \boldsymbol{U}=\boldsymbol{U} \boldsymbol{U}^{\boldsymbol{H}}=\boldsymbol{I}$,我们可有如下的结论:
$\|\boldsymbol{U}\|_{2}=1,\|\boldsymbol{A} \boldsymbol{U}\|_{2}=\|\boldsymbol{U} \boldsymbol{A}\|_{2}=\|\boldsymbol{A}\|_{2}$ (酉矩阵的范数不变性)
事实上

$\begin{array}{l}
\|\boldsymbol{U}\|_{2}^{2}=\rho\left(\boldsymbol{U}^{H} \boldsymbol{U}\right)=\rho(\boldsymbol{I})=1 \\
\|\boldsymbol{U} \boldsymbol{A}\|_{2}^{2}=\rho\left[(\boldsymbol{U} \boldsymbol{A})^{H}(\boldsymbol{U} \boldsymbol{A})\right]=\rho\left(\boldsymbol{A}^{H} \boldsymbol{U}^{H} \boldsymbol{U} \boldsymbol{A}\right)=\rho\left(\boldsymbol{A}^{H} \boldsymbol{A}\right)=\|\boldsymbol{A}\|_{2}^{2} \\
\|\boldsymbol{A} \boldsymbol{U}\|_{2}^{2}=\rho\left[(\boldsymbol{A} \boldsymbol{U})^{H}(\boldsymbol{A} \boldsymbol{U})\right]=\rho\left[\boldsymbol{U}^{H}\left(\boldsymbol{A}^{H} \boldsymbol{A}\right) \boldsymbol{U}\right]=\rho\left(\boldsymbol{A}^{H} \boldsymbol{A}\right) =\|\boldsymbol{A}\|_{2}^{2}
\end{array}$
Schatten范数
Schatten范数是用矩阵的奇异值定义的范数。
在介绍Schatten范数之前，有必要先来简单了解一下酉不变范数的概念：
若$U\in C^{m\times m}$和$V \in C^{n \times n}V \in C^{n \times n}$是两个酉矩阵，满足$\left|\left| A \right|\right| = \left|\left| UAV \right|\right|$的范数称为酉不变范数。令矩阵$A \in C^{m \times n}$有奇异值分解$A = U\Sigma V^{H}$。显然，$\mid \mid A\mid$