文章目录
 
为何引入向量范数
一、向量范数
向量加权范数
向量范数的等价性定理
常用范数的等价关系
   
   
二、矩阵范数
$m_1$ -范数 和F -范数
谱
   
三、矩阵范数与向量范数的相容
算子范数
矩阵范数具有向量范数的一切性质
Schatten范数
   
四、Numpy计算范数
参考资料
 

 
18 矩阵——矩阵的秩、行阶梯形矩阵与秩、行列式与秩、特征值与秩、二次型与秩、矩阵秩的计算、关于秩的常用结论_
19 矩阵——矩阵的相抵、相抵标准形、秩1矩阵、矩阵的满秩分解
20矩阵——酉矩阵
21矩阵——Schur分解定理、酉相似下的标准型、Hermite正定矩阵、正规矩阵
22矩阵——向量范数和矩阵范数、p范数、m 1 范数 和F -范数、算子范数、向量加权范数、Schatten范数、Numpy计算范数
 23矩阵——LU分解、用LU 分解解线性方程组、LU分解的存在性和唯一性、对称矩阵的 L D L 分解、置换矩阵、PA=LU 分解
24矩阵——条件数与方程组的性态、“病态”矩阵与方程、系数矩阵与右端微小扰动情况、条件数的几何意义
25 矩阵——QR分解、Householder 矩阵、镜面反射
SVD奇异值分解
 
为何引入向量范数
 
设 $Ax=b$ 有精确解$x^{\ast }$, 有近似解 $x.$
 
$x^{\ast }$ 和 $x$ 的近似程度如何衡量?
如何对方程组进行误差分析?
向量和矩阵的大小如何度量?
 
为了研究线性方程组近似解的误差估计和迭代法的收 敛性，我们引入度量向量和矩阵的“大小”的量——范数.
 
向量范数概念是实数的绝对值，复数的模的概念的推广，在数值分析中起着重要作用.
 
范数的主要意义和作用：
 
研究矩阵和向量的大小度量和误差估计
研究矩阵序列和向量序列以及级数收敛准则
研究线性方程组解的误差估计
 
一、向量范数
 
$\boxed{定义1}$ 对任意的复数 $x,y$ 及 $\alpha$, 函数 $f(x)=|x|$ 满足以下三条件:
 1、非负性
 $$|x|\ge 0,|x|=0\iff x=0$$
 2、 齐次性
 $$|ax|=|a||x|$$
 3、三角不等式
 $$|x+y|\le |x|+|y|$$
 称函数 $|\ast |$ 为 $C$ 上的一个$\boxed{模函数}$ 。
 
$\boxed{定义2}$ 定义在( $n$ 维复向量空间) $C^n$ 上的一个非负实值函数，记为$f(x)=\Vert x\Vert$, 若该函数满足以下三个条件:
 
对任意向量 $x$ 和 $y$ 及复数 $\alpha \in C$:
 
1、非负性
 $$\begin{gathered} \Vert x\Vert \ge 0, \\ \Vert x\Vert =0\iff 当且仅当x=0_{n\times 1} \end{gathered}$$
 2、齐次性
 $$\Vert \alpha \mathbf{x}\Vert =|\alpha |\cdot \Vert \mathbf{x}\Vert$$
 3、三角不等式
 $$\Vert \mathbf{x}+\mathbf{y}\Vert \le \Vert \mathbf{x}\Vert +\Vert \mathbf{y}\Vert$$
 称函数 $\Vert \ast \Vert$ 为 $C^n$ 上的一个$\boxed{向量范数}$ ，其是连续函数
 
$例1$ 对任给 $x={\left(x_1,x_2,x_3\right)}^T\in R^3$,试问下列函数是否构成向量范数.
 
(1) $\left|x_1\right|+\left|x_2\right|-2\left|x_3\right|$ :显然不满足非负性!
 
(2) $\left|x_1\right|+\left|x_2+2x_3\right|$:取 $x=(0,2,-1{)}^T$, 亦不满足非负性!
 
(3) ${\left|x_1\right|}^4+{\left|x_2\right|}^4+{\left|x_3\right|}^4$:容易验证，不满足齐次性!
 
(4) $\left|x_1\right|+3\left|x_2\right|+2\left|x_3\right|$ :可以验证，满足范数定义的所有条件.
 
结论：以上四个实值函数，只有最后一个构成向量范数.
 
对于向量 $x=(x_1,x_2,...,x_m{)}^T$，常用的范数包括
 
 
$p$范数
 $$||x|{|}_p=(\sum _{i=1}^m|x_i{|}^p{)}^{\frac{1}{p}},1\le p<+\infty$$
 即向量元素绝对值的p次方和的1/p次幂，表示x到零点的p阶闵氏距离。
 
 
0范数($L_0$)
 
 
$${\left|\left|x\right|\right|}_0=非零元素的个数$$
 
 
1范数 ($L_1$)
 $${\left|\left|x\right|\right|}_1=\sum _{i=1}^m\left|x_i\right|=\left|x_1\right|+\cdot \cdot \cdot +\left|x_m\right|$$
 即向量元素绝对值之和，$x$ 到零点的曼哈顿距离。
 
 
2范数 （$L_2$, 欧式范数）
 $$\begin{gathered} \Vert \mathbf{x}{\Vert }_2={\left(\sum _{i=1}^m{\left|{\mathbf{x}}_i\right|}^2\right)}^{1/2}=\sqrt{{\mathbf{x}}^H\mathbf{x}}=\sqrt{(\mathbf{x},\mathbf{x})} \\ =({\left|x_1\right|}^2+\cdot \cdot \cdot +{\left|x_m\right|}^2{)}^{\frac{1}{2}} \end{gathered}$$
 欧式范数，常用计算向量长度,是应用最为广泛的范数定义，即向量元素绝对值的平方和再开方，表示$x$到零点的欧式距离
 
 
$\infty$范数
 $$||x|{|}_{\infty }=\underset{i}{\max }|x_i|$$
 当$p$趋向于正无穷时，即所有向量元素绝对值中的最大值.
 
 
$-\infty$范数
 
$$||x|{|}_{-\infty }=\underset{i}{\min }|x_i|$$
 当$p$趋向于负无穷时，即所有向量元素绝对值中的最小值.
 
 
向量加权范数
 
$\boxed{定义3}$ 设 $x\in R^n,W\in R^{n\times n}$ 为非奇异对角阵, 对给定的任意一种向量范数$\Vert \ast \Vert$,定义 $x$ 的加权范数为
 $$\Vert \mathbf{x}{\Vert }_{\mathbf{W}}=\Vert \mathbf{W}\mathbf{x}\Vert$$
 $W$ 的对角元素为它的每一个分量的权系数.
 
加权的1-范数: 
    
     
      
       
      
      
       \quad
      
     
    
 $$\Vert \mathbf{x}{\Vert }_W=\Vert \mathbf{W}\mathbf{x}{\Vert }_1=\sum _{i=1}^n\left|{\omega }_i{\mathbf{x}}_i\right|$$
 加权的2-范数:
 $$\Vert \mathbf{x}{\Vert }_W=\Vert \mathbf{W}\mathbf{x}{\Vert }_2={\left(\sum _{i=1}^n{\left|{\omega }_i{\mathbf{x}}_i\right|}^2\right)}^{\frac{1}{2}}$$
 
$例1$ 对任意 $\mathbf{x}={\left({\mathbf{x}}_1,{\mathbf{x}}_2,{\mathbf{x}}_3\right)}^T\in {\mathbf{C}}^3\mathbf{W}=\left(\begin{array}{ccc}1& 0& 0\\ 0& 3& 0\\ 0& 0& -2\end{array}\right)\in {\mathbf{C}}^{3\times 3}$,
 加权的1范数为：
 $$\Vert \mathbf{x}{\Vert }_W=\Vert W\mathbf{x}{\Vert }_1={\Vert \left(\begin{array}{ccc}1& 0& 0\\ 0& 3& 0\\ 0& 0& -2\end{array}\right)\left(\begin{array}{c}{\mathbf{x}}_1\\ {\mathbf{x}}_2\\ {\mathbf{x}}_3\end{array}\right)\Vert }_1=\left|{\mathbf{x}}_1\right|+3\left|{\mathbf{x}}_2\right|+2\left|{\mathbf{x}}_3\right|$$
 $例2$: 求向量 $\mathbf{x}=(-1,2,4{)}^T$ 的 $1,2,\infty$, 加权2-范数, 其中矩阵 $\mathbf{W}=\left(\begin{array}{ccc}1& 0& 0\\ 0& 3& 0\\ 0& 0& -2\end{array}\right)\in {\mathbf{C}}^{3\times 3}.$
 解:
 
$\Vert x{\Vert }_1=|-1|+2+4=7$
 
$\Vert x{\Vert }_2=\sqrt{|-1{|}^2+2^2+4^2}=\sqrt{21}$
 

    
     
      
       
        ∥
       
       
        x
       
       
        
         ∥
        
        
         ∞
        
       
       
        =
       
       
        max
       
       
        ⁡
       
       
        {
       
       
        ∣
       
       
        −
       
       
        1
       
       
        ∣
       
       
        ,
       
       
        2
       
       
        ,
       
       
        4
       
       
        }
       
       
        =
       
       
        4
       
      
      
       \|x\|_{\infty}=\max \{|-1|, 2,4\}=4
      
     
    ∥x∥∞​=max{∣−1∣,2,4}=4
 
$\Vert \mathbf{x}{\Vert }_W=\Vert Wx{\Vert }_2={\left(|-1{|}^2+9\times 2^2+4\times 4^2\right)}^{1/2}=\sqrt{101}$
 
各种向量范数，其数值大小一般不同
 
向量范数为对向量大小的度量方式。
 
$L_2$范数：
 对于二维空间内的向量$p(x,y)$而言，$L_2(p)=\sqrt{{\left|x\right|}^2+{\left|y\right|}^2}$，代表$p$向量的长度。如果向量$p(x,y,z)$处于三维空间，那么该向量的$L_2$范数（即向量长度）为$\sqrt{{\left|x\right|}^2+{\left|y\right|}^2+{\left|z\right|}^2}$，推而广之，$N$维空间内的向量的$L_2$范数就是代表该向量的长度。
 
向量范数的等价性定理
 
设 $\Vert \cdot {\Vert }_{\beta }$ 和 $\Vert \cdot {\Vert }_{\alpha }$ 为 ${\mathbf{C}}^n$ 上的任意两种向量范数，则存在两个与向量无关的正常数 $c_1>0,c_2>0$, 使得
 $$c_1\Vert \mathbf{x}{\Vert }_{\beta }\le \Vert \mathbf{x}{\Vert }_{\alpha }\le c_2\Vert \mathbf{x}{\Vert }_{\beta }$$
 并称 $\Vert \cdot {\Vert }_{\alpha }$ 和 $\Vert \cdot {\Vert }_{\beta }$ 为 ${\mathbf{C}}^n$ 上的$\boxed{等价范数}$。
 
由向量范数的等价性可知
 $$\underset{x\to 0}{\lim }\Vert \mathbf{x}{\Vert }_{\alpha }=0⟹\underset{x\to 0}{\lim }\Vert \mathbf{x}{\Vert }_{\beta }=0$$
 
常用范数的等价关系
 
特别的，
 $$\begin{array}{l}\Vert \mathbf{x}{\Vert }_{\infty }\le \Vert \mathbf{x}{\Vert }_1\le n\Vert \mathbf{x}{\Vert }_{\infty }\\ \frac{1}{\sqrt{n}}\Vert \mathbf{x}{\Vert }_1\le \Vert \mathbf{x}{\Vert }_2\le \Vert \mathbf{x}{\Vert }_1\\ \frac{1}{\sqrt{n}}\Vert \mathbf{x}{\Vert }_2\le \Vert \mathbf{x}{\Vert }_{\infty }\le \Vert \mathbf{x}{\Vert }_2\end{array}$$
 或者
 $$\Vert \mathbf{x}{\Vert }_{\infty }\le \Vert \mathbf{x}{\Vert }_2\le \Vert \mathbf{x}{\Vert }_1\le \sqrt{n}\Vert \mathbf{x}{\Vert }_2\le n\Vert \mathbf{x}{\Vert }_{\infty }$$
 
以3)为例证明之,事实上,
 $$\Vert \mathbf{x}{\Vert }_{\infty }^2=\underset{1\le i\le n}{\max }{\left|{\mathbf{x}}_i\right|}^2\le \sum _{i=1}^n{\left|x_i\right|}^2=\Vert \mathbf{x}{\Vert }_2^2$$
 又
 $$\Vert \mathbf{x}{\Vert }_2^2\le \sum _{i=1}^n\underset{1\le i\le n}{\max }{\left|{\mathbf{x}}_i\right|}^2=n\cdot \Vert \mathbf{x}{\Vert }_{\infty }^2\Rightarrow \frac{1}{\sqrt{n}}\Vert \mathbf{x}{\Vert }_2\le \Vert \mathbf{x}{\Vert }_{\infty }$$
 $\boxed{定义4}$ 向量序列收敛
 
设向量序列 $x^{(k)}={\left(x_1^{(k)},x_2^{(k)},\cdots ,x_n^{(k)}\right)}^T,k=0,1,\cdots$,向量 $x^{\ast }={\left(x_1^{\ast },x_2^{\ast },\cdots ,x_n^{\ast }\right)}^T$.称向量序列 $\left\{x^{(k)}\right\}$ 收敛于向量 $x^{\ast }$, 如果
 $$\underset{k\to \infty }{\lim }\Vert x^{(k)}-x^{\ast }\Vert =0$$
 记作 ${\lim }_{k\to \infty }{x}^{(k)}=x^{\ast },$ 或 $x^{(k)}\to x^{\ast }.$
 
二、矩阵范数
 
$m_1$ -范数 和F -范数
 
对向量范数进行推广，就获得了矩阵范数，因此矩阵范数也是对矩阵的一种度量方式，当然了，由于矩阵并没有长度的概念，因此将矩阵范数看作是对矩阵长度的度量并不可行。
 
若我们取
 $${\mathbf{E}}_{ij}={\left(\begin{array}{ccccc}0& \cdots & 0& \cdots & 0\\ ⋮& \ddots & ⋮& \cdots & ⋮\\ 0& \cdots & 1& \cdots & 0\\ ⋮& \ddots & ⋮& \ddots & ⋮\\ 0& \cdots & 0& \cdots & 0\end{array}\right)}_{m\times n}$$
 则 
    
     
      
       
        {
       
       
        
         E
        
        
         
          i
         
         
          j
         
        
       
       
        }
       
      
      
       \left\{E_{i j}\right\}
      
     
    {Eij​} 线性无关,而且任意一个 $m\times n$ 矩阵 $A=\left(a_{ij}\right)$ 都可表为 $:$
 $$\mathbf{A}=\sum _{i=1}^m\sum _{j=1}^n\left(a_{ij}{\mathbf{E}}_{ij}\right)$$
 这也就是说,全体 $m\times n$ 矩阵构成的空间的维数是 $m{n}_{\circ }$ 因此,$C ^{m {\times n}} $ 亦可看作一个mn维的向量空间。这样,我们自然想到将向量范数的概念直 接推广到矩阵上。然而这种推广应考虑到矩阵的乘法运算。因而使用 的矩阵范数的定义是按如下方式。
 
$\boxed{定义5}$ 定义在 ${\mathrm{C}}^{m\times п}$ 上的一个非负实值函数,记为 $f(\mathbf{A})=\Vert \mathbf{A}\Vert$, 若该函数满足以下条件:
 
即对任意矩阵 $\mathbf{A},\mathbf{B}$ 以及任意复常数 $\alpha \in \mathbf{C}$
 
(1) 非负性 $\Vert Al\ge 0$ 当且仅当 $A=0_{m\times n}$ 时 $\Vert A\Vert =0$
 
(2) 齐次性 $\Vert \alpha \mathbf{A}\Vert =|\alpha |\cdot \Vert \mathbf{A}\Vert$
 
(3) 三角不等式 $\Vert \mathbf{A}+\mathbf{B}\Vert \le \Vert \mathbf{A}\Vert +\Vert \mathbf{B}\Vert$
 
(4) 相容性 $\Vert \mathbf{A}\mathbf{B}\Vert \le \Vert \mathbf{A}\Vert \cdot \Vert \mathbf{B}\Vert$ , $\mathbf{A}\in {\mathbf{C}}^{n\times I},\mathbf{B}\in {\mathbf{C}}^{\mid \times n}$
 
则称函数 $\Vert \cdot \Vert$为C ${}^{m\times n}$ 上的一个$\boxed{矩阵范数}$ 。
 
将矩阵 $A$ 按列分块成 $\mathbf{A}=\left({\mathbf{A}}_1{\mathbf{A}}_2\cdots {\mathbf{A}}_n\right)$ 其中
 $${\mathbf{A}}_j=\left(\begin{array}{c}{a}_{1j}\\ a_{2j}\\ ⋮\\ a_{mj}\end{array}\right)j=1,2,\cdots ,n,\begin{array}{rl}\sum _{j=1}^n{\Vert {\mathbf{A}}_j\Vert }_1& =\sum _{j=1}^n\sum _{i=1}^m\left|a_{ij}\right|\\ \sum _{j=1}^n{\Vert {\mathbf{A}}_j\Vert }_2^2& =\sum _{j=1}^n\sum _{i=1}^m{\left|a_{ij}\right|}^2\end{array}$$
 定义
 $$\Vert \mathbf{A}{\Vert }_{m_1}=\sum _{i=1}^m\sum _{j=1}^n\left|a_{ij}\right|\text{\hspace{1em}(1)}$$
 $$\Vert \mathbf{A}{\Vert }_F={\left(\sum _{i=1}^m\sum _{j=1}^n{\left|a_{ij}\right|}^2\right)}^{\frac{1}{2}}\text{\hspace{1em}(2)}$$
 
显然上述两个函数均满足矩阵范数定义中的(1)-(4)。分别称由(1)所定义的范数为矩阵的$\boxed{m_1-范数}$ 和(2) 为 Frobenius范数(简称$\boxed{F-范数}$ )。
 
Frobenius范数可以视作向量的范数对按照矩阵各列依次排列的“拉长向量”
 $$x={\left[a_{11},\cdot \cdot \cdot ,a_{m1},a_{12},\cdot \cdot \cdot ,a_{m2},\cdot \cdot \cdot ,a_{1n},\cdot \cdot \cdot ,a_{mn}\right]}^T$$
 
的推广。
 
矩阵的Frobenius范数有时也称Euclidean范数
 $${\Vert \mathbf{A}\Vert }_F=\sqrt{{\left|a_{11}\right|}^2+\cdots +{\left|a_{mn}\right|}^2}=\sqrt{{\sigma }_1^2+\cdots +{\sigma }_r^2}$$
 元素和奇异值的平方和可以通过SVD分解联系起来，$\mathbf{A}=\mathbf{U}\Sigma {\mathbf{V}}^T$中正交矩阵不改变范数，因此矩阵A的范数和奇异值对角阵相同。
 
Fronebius范数又可写作迹函数的形式
 $$||A|{|}_F={⟨A,A⟩}^{\frac{1}{2}}=\sqrt{tr(A^{H}A)}$$
 
元素形式范数与向量范数本质上是相同的。
 
下面证明 $(1)$ 满足相容条件。
 
假设矩阵 $A$ 和 $B$ 分别为 $m\times I$ 阶和 $I\times n$ 阶,由定义
 $$\begin{array}{rl}\Vert \mathbf{A}\mathbf{B}{\Vert }_{m_1}& =\sum _{i=1}^m\sum _{j=1}^n\left|(\mathbf{A}\mathbf{B}{)}_{ij}\right|=\sum _{i=1}^m\sum _{j=1}^n\left|\sum _{k=1}^I{a}_{ik}\cdot b_{kj}\right|\\ & =\sum _{i=1}^m\sum _{j=1}^n\left|a_{i1}{b}_{1j}+a_{i2}{b}_{2j}+\cdots +a_{il}{b}_{lj}\right|\\ & \le \sum _{i=1}^m\sum _{j=1}^n\left(\left|a_{il}{b}_{1j}\right|+\left|a_{i2}{b}_{2j}\right|+\cdots +\left|a_{il}{b}_{lj}\right|\right)\\ & \le \sum _{i=1}^m\sum _{j=1}^n\left(\left|a_{i\mid }\right|+\left|a_{i2}\right|+\cdots +\left|a_{il}\right|\right)\cdot \left(\left|b_{1j}\right|+\left|b_{2j}\right|+\cdots +\left|b_{lj}\right|\right)\\ & =\left(\sum _{i=1}^m\sum _{k=1}^I\left|a_{ik}\right|\right)\left(\sum _{k=1}^I\sum _{j=1}^n\left|b_{kj}\right|\right)=\Vert \mathbf{A}{\Vert }_{m_1}\Vert \mathbf{B}{\Vert }_{m_1}\end{array}$$
 $例1$ 若 $\mathbf{A}={\left(a_{ij}\right)}_{m\times n}\in {\mathbf{C}}^{m\times n}$, 取 $f(\mathbf{A})={\max }_{ij}\left|a_{ij}\right|$, 则是否构成 $A$ 的一种范数?
 
【解】: 取 $\mathbf{A}=\left(\begin{array}{ll}1& 1\\ 0& 0\\ 0& 0\end{array}\right),\mathbf{B}=\left(\begin{array}{lll}1& 0& 0\\ 1& 0& 0\end{array}\right)$, 那么, $\mathbf{A}\mathbf{B}=\left(\begin{array}{lll}2& 0& 0\\ 0& 0& 0\\ 0& 0& 0\end{array}\right)$,
 则可得出
 $$f(\mathbf{A})=f(\mathbf{B})=1,f(\mathbf{A}\mathbf{B})=2,\text{ 即有 }f(\mathbf{A}\mathbf{B})>f(\mathbf{A})\cdot f(\mathbf{B})$$
 不满足相容性,故不构成A的一种范数。
 
若定义实值函数: $\Vert A\Vert =\sqrt{m\cdot n}\cdot {\max }_{ij}\left|a_{ij}\right|$, 则可验证其构成A的一种范数。
 
谱
 
$\boxed{定义6}$ 称如下集合为矩阵 $\mathbf{A}\in {\mathbf{C}}^{\mathrm{n}\times n}$ 的谱 :
 
     
      
       
        
         σ
        
        
         (
        
        
         A
        
        
         )
        
        
         =
        
        
         {
        
        
         λ
        
        
         ∣
        
        
         det
        
        
         ⁡
        
        
         (
        
        
         λ
        
        
         I
        
        
         −
        
        
         A
        
        
         )
        
        
         =
        
        
         0
        
        
         }
        
        
         ​
        
       
       
         \sigma(\boldsymbol{A})=\{\lambda \mid \operatorname{det}(\lambda \boldsymbol{I}-\boldsymbol{A})=0\}​ 
       
      
     σ(A)={λ∣det(λI−A)=0}​
 称如下实数为矩阵 $A\in {\mathrm{C}}^{n\times n}$ 的谱半径
 $$\rho (\mathbf{A})=\underset{i}{\max }\mid {\lambda }_i\mid$$
 若矩阵为: $\mathbf{A}={\left({\mathbf{a}}_{ij}\right)}_{m\times n}$, 则其复共轭矩阵为: ${\mathbf{A}}^{\mathbf{H}}={\left({\overline{\mathbf{a}}}_{ji}\right)}_{m\times n}$ ,即${\mathbf{A}}^H=\overline{\left({\mathbf{A}}^T\right)}$
 
如: $\mathbf{A}=\left(\begin{array}{cc}i& 0\\ 0& i\\ 1+i& 1\end{array}\right),{\mathbf{A}}^H=\left(\begin{array}{ccc}-i& 0& 1-i\\ 0& -i& 1\end{array}\right)$, 则注意到
 $${\mathbf{A}}^H\mathbf{A}=\left(\begin{array}{ccc}-i& 0& 1-i\\ 0& -i& 1\end{array}\right)\left(\begin{array}{cc}i& 0\\ 0& i\\ 1+i& 1\end{array}\right)=\left(\begin{array}{cc}3& 1-i\\ 1+i& 2\end{array}\right)$$
 
$${\mathbf{A}\mathbf{A}}^H=\left(\begin{array}{cc}i& 0\\ 0& i\\ 1+i& 1\end{array}\right)\left(\begin{array}{ccc}-i& 0& 1-i\\ 0& -i& 1\end{array}\right)=\left(\begin{array}{ccc}1& 0& 1+i\\ 0& 1& i\\ 1-i& -i& 3\end{array}\right)$$
 
为复对称半正定矩阵。
 
现对任给 $\mathbf{x}={\left({\mathbf{x}}_1,{\mathbf{x}}_2,\cdots ,{\mathbf{x}}_n\right)}^T\in {\mathbf{C}}^n$, 设矩阵 $A\in {\mathrm{C}}^{m\times n}$,有
 
(1) ${\left({\mathbf{A}}^H\mathbf{A}\right)}^H={\mathbf{A}}^H{\left({\mathbf{A}}^{\mathbf{H}}\right)}^H={\mathbf{A}}^H\mathbf{A}$
 
(2) $\left({\mathbf{A}}^{\mathbf{H}}\mathbf{A}\mathbf{x},\mathbf{x}\right)={\mathbf{x}}^H\left({\mathbf{A}}^H\mathbf{A}\mathbf{x}\right)$
 $={\mathbf{x}}^H{\mathbf{A}}^H\mathbf{A}\mathbf{x}$
 $=(\mathbf{A}\mathbf{x}{)}^H(\mathbf{A}\mathbf{x})$
 $=(\mathbf{A}\mathbf{x},\mathbf{A}\mathbf{x})=\Vert \mathbf{A}\mathbf{x}{\Vert }_2^2\ge 0$
 
即 $A^{H}A$ 为半正定复对称(Hermite)矩阵。 同理 $A{A}^H$ 为半正定复对称(Hermite)矩阵。
 
三、矩阵范数与向量范数的相容
 
矩阵与向量的乘积在矩阵计算中经常出现,所以我们自然希望矩阵范数与向量范数之间最好有某种协调性。若将向量看作矩阵的特殊情形,那么由矩阵范数的相容性,我们便得到了这种协调性,即矩阵范数与向量范数的相容性。
 
$\boxed{定义7}$ 对于一种矩阵范数 $\Vert \cdot {\Vert }_M$ 和一种向量范数 $\Vert \cdot {\Vert }_V$ 如果对任意 $m\times n$ 矩阵 $A$ 和任意 $n$ 维向量 $x$, 满足
 $$\Vert \mathbf{A}\mathbf{x}{\Vert }_V\le \Vert \mathbf{A}{\Vert }_M\Vert \mathbf{x}{\Vert }_V$$
 则称矩阵范数 $\Vert \cdot {\Vert }_M$ 与向量范数 $\Vert \cdot {\Vert }_V$ 是相容的。
 
矩阵 $m_1$ 范数与向量的 $p$ -范数是相容的,即 $\Vert \mathbf{A}\mathbf{x}{\Vert }_p\le \Vert \mathbf{A}{\Vert }_{m_1}\Vert \mathbf{x}{\Vert }_p$
矩阵的 $F$ -范数与向量的2-范数是相容的,即 $\Vert \mathbf{A}\mathbf{x}{\Vert }_2\le \Vert \mathbf{A}{\Vert }_F\Vert \mathbf{x}{\Vert }_2$
 
可以证明任意一种矩阵范数必然存在与之相容的向量范数
 
算子范数
 
$\boxed{定理1}$ ${\mathbf{C}}^n$ 上的任何向量范数 $\Vert \cdot \Vert$ 均为的连续函数。
 
最常用的矩阵范数为由下面定义引出的算子范数。
 
$\boxed{定理2}$ 已知 $C^m$ 和 $C^n$ 上的同类向量范数 $\Vert \cdot {\Vert }_V,\mathbf{A}$ 为 $m\times n$ 矩阵, 定义
 $$\Vert \mathbf{A}{\Vert }_M=\underset{\mathbf{x}\ne 0}{\max }\frac{\Vert \mathbf{A}\mathbf{x}{\Vert }_V}{\Vert \mathbf{x}{\Vert }_V}=\underset{\Vert \mathbf{x}{\Vert }_V=1}{\max }\Vert \mathbf{A}\mathbf{x}{\Vert }_V\text{\hspace{1em}(3)}$$
 则 $\Vert \mathbf{A}{\Vert }_M$ 是一种矩阵范数, 且与已知的向量范数相容。
 
我们称由关系式(1)定义的矩阵范数为从属向量范数的矩阵范数简称$\boxed{从属范数}$ 或$\boxed{算子范数}$ 。
 
【证】:首先验证两中表达式的等价性,
 $$\underset{\mathbf{x}\ne 0}{\max }\frac{\Vert \mathbf{A}\mathbf{x}{\Vert }_V}{\Vert \mathbf{x}{\Vert }_V}=\underset{\mathbf{x}\ne 0}{\max }\left(\frac{1}{\Vert \mathbf{x}{\Vert }_V}\cdot \Vert \mathbf{A}\mathbf{x}{\Vert }_V\right)=\underset{\mathbf{x}\ne 0}{\max }{\Vert \mathbf{A}\left(\frac{\mathbf{x}}{\Vert \mathbf{x}{\Vert }_V}\right)\Vert }_V=\underset{\Vert \mathbf{y}{\Vert }_V=1}{\max }\Vert \mathbf{A}\mathbf{y}{\Vert }_V$$
 注意到
 $$y=\frac{\mathbf{x}}{\Vert \mathbf{x}{\Vert }_V},\Vert y{\Vert }_V={\Vert \frac{\mathbf{x}}{\Vert \mathbf{x}{\Vert }_V}\Vert }_V=\frac{\Vert \mathbf{x}{\Vert }_V}{\Vert \mathbf{x}{\Vert }_V}=1$$
 其次验证 $\Vert A{\Vert }_M$ 与从属的向量范数相容，由(3)立刻可得到 $\frac{\Vert \mathbf{A}\mathbf{x}{\Vert }_V}{\Vert \mathbf{x}{\Vert }_V}\le \Vert \mathbf{A}{\Vert }_M$ 即 $\Vert \mathbf{A}\mathbf{x}{\Vert }_V\le \Vert \mathbf{A}{\Vert }_M\Vert \mathbf{x}{\Vert }_V$ 即相容关系成立。
 
由于 $\Vert \mathbf{A}\mathbf{x}{\Vert }_V$ 是 ${\mathbf{C}}^n$ 中的有界闭集 
    
     
      
       
        D
       
       
        =
       
       
        
         {
        
        
         x
        
        
         ∣
        
        
         ∥
        
        
         x
        
        
         
          ∥
         
         
          V
         
        
        
         =
        
        
         1
        
        
         ,
        
        
         x
        
        
         ∈
        
        
         
          C
         
         
          n
         
        
        
         }
        
       
      
      
       \mathbf{D}=\left\{\boldsymbol{x} \mid\|\boldsymbol{x}\|_{V}=1, \boldsymbol{x} \in \mathbf{C}^{n}\right\}
      
     
    D={x∣∥x∥V​=1,x∈Cn} 上的连续函数,
 
故对每一个矩阵 $\mathbf{A}$ 而言,都能够找到向量 ${\mathbf{x}}_0$ ，使得 ${\Vert {\mathbf{x}}_0\Vert }_V=1$, 而且
 $$\Vert \mathbf{A}{\Vert }_M={\Vert \mathbf{A}{\mathbf{x}}_0\Vert }_V=\underset{\Vert x{\Vert }_V=1}{\max }\Vert \mathbf{A}\mathbf{x}\Vert$$
 下面证明 $\Vert A_M$ 是一种矩阵范数。
 
(1) 非负性,当 $A=0$ 时, 对任意 $x\in {\mathbf{C}}^n$, 有 $\Vert \mathbf{A}\mathbf{X}{\Vert }_V=0$, 从而得 $\Vert A{\Vert }_M=0$;
 
而当 $\mathbf{A}\ne 0$ 时,存在 ${\mathbf{x}}_0\in {\mathbf{C}}^n$, 使 $\mathbf{A}{\mathbf{x}}_0\ne 0$, 从而 $\Vert A{\Vert }_M\ge \frac{{\Vert \mathbf{A}{\mathbf{x}}_0\Vert }_V}{{\Vert {\mathbf{x}}_0\Vert }_V}>0$
 
(2) 齐次性, 对任意的 $\alpha \in \mathbf{C}$,有
 $$\Vert \mathbf{A}{\Vert }_M=\underset{\mathbf{x}\ne 0}{\max }\frac{\Vert (\alpha \mathbf{A})\mathbf{x}{\Vert }_V}{\Vert \mathbf{x}{\Vert }_V}=|\alpha |\cdot \underset{\mathbf{x}\ne 0}{\max }\frac{\Vert \mathbf{A}\mathbf{x}{\Vert }_V}{\Vert \mathbf{x}{\Vert }_V}=|\alpha |\cdot \Vert \mathbf{A}{\Vert }_M$$
 (3) 三角不等式, 假设 $A$ 和 $\mathbf{B}$ 分别为 $m\times n$ 阶矩阵,则
 $$\begin{array}{rl}\Vert \mathbf{A}+\mathbf{B}{\Vert }_M& =\underset{\Vert x{\Vert }_V=1}{\max }\Vert (\mathbf{A}+\mathbf{B})\mathbf{x}{\Vert }_V=\underset{\Vert x{\Vert }_V=1}{\max }\Vert \mathbf{A}\mathbf{x}+\mathbf{B}\mathbf{x}{\Vert }_V\\ & \le \underset{\Vert x{\Vert }_V=1}{\max }\Vert \mathbf{A}\mathbf{x}{\Vert }_V+\underset{\Vert x{\Vert }_V=1}{\max }\Vert \mathbf{B}\mathbf{x}{\Vert }_V\le \Vert A{\Vert }_M+\Vert \mathbf{B}{\Vert }_M\end{array}$$
 (4) 相容性, $\mathbf{A}\mathbf{B}=0$ 时, $\mathbf{A}=\left(\begin{array}{ll}1& 0\\ 0& 0\end{array}\right),\mathbf{B}=\left(\begin{array}{ll}0& 0\\ 0& 1\end{array}\right),\mathbf{A}\mathbf{B}=\left(\begin{array}{ll}0& 0\\ 0& 0\end{array}\right)$,
 $$\Vert AB{\Vert }_M=0,\Vert A{\Vert }_M\Vert \mathbf{B}{\Vert }_M\ge 0$$
 显然, $\Vert \mathbf{A}\mathbf{B}{\Vert }_M\le \Vert \mathbf{A}{\Vert }_M\cdot \Vert \mathbf{B}{\Vert }_M$
 
设 $\mathbf{A}\mathbf{B}\ne 0$, 且又假设 $\mathbf{A}$ 和 $\mathbf{B}$ 分别为 $m\times 1$ 和 $I\times n$ 阶矩阵，令 $\mathbf{y}=\mathbf{B}\mathbf{x}\ne 0$
 
因此
 $$\begin{array}{rl}\Vert \mathbf{A}\mathbf{B}{\Vert }_M& =\underset{\Vert x{\Vert }_V=1}{\max }\Vert (\mathbf{A}\mathbf{B})\mathbf{x}{\Vert }_V=\underset{\Vert x{\Vert }_V=1}{\max }\frac{\Vert (\mathbf{A}\mathbf{B})\mathbf{x}{\Vert }_V}{\Vert \mathbf{B}\mathbf{x}{\Vert }_V}\Vert \mathbf{B}\mathbf{x}{\Vert }_V\\ & \le \underset{y\ne 0}{\max }\frac{\Vert \mathbf{A}\mathbf{y}{\Vert }_V}{\Vert \mathbf{y}{\Vert }_V}\underset{\Vert x{\Vert }_V=1}{\max }\Vert \mathbf{B}\mathbf{x}{\Vert }_M\le \Vert \mathbf{A}{\Vert }_M\Vert \mathbf{B}{\Vert }_M\end{array}$$
 因此, $\Vert \cdot {\Vert }_M$ 是一种矩阵范数,并且是一种与向量范数 $\Vert \cdot {\Vert }_V$ 相容的矩阵范数。
 
在向量范数中,最常用的范数为向量的1-范数、2-范数和$\infty$-范数, 下面分别给出从属这三种向量范数的矩阵范数。
 
$\boxed{定理3}$几种常用的算子范数
 
(1) (列和范数 $)$
 $$\Vert \mathbf{A}{\Vert }_1=\underset{1\le j\le n}{\max }\sum _{i=1}^m\left|a_{ij}\right|$$
 (2) (行和范数)
 $$\Vert A{\Vert }_{\infty }=\underset{1\le i\le m}{\max }\sum _{j=1}^n\left|a_{ij}\right|$$
 (3) (谱范数)
 $$\Vert A{\Vert }_2=\sqrt{{\lambda }_{\max }\left({\mathbf{A}}^H\mathbf{A}\right)}$$
 其中 ${\lambda }_{\max }\left({\mathbf{A}}^H\mathbf{A}\right)$ 表示矩阵 ${\mathbf{A}}^H\mathbf{A}$ 的最大特征值,即最大奇异值; $($ 或 $\sqrt{\rho \left({\mathbf{A}}^H\mathbf{A}\right)})$
 
$\boxed{推论1}$: 对任何算子范数,单位矩阵 $\mathbf{I}\in {\mathbf{R}}^{n\times n}$ 的范数值为1，即
 $$\Vert \mathbf{I}\Vert =1$$
 事实上
 $$\begin{array}{r}\Vert \mathbf{I}\Vert =\underset{\mathbf{x}\ne 0}{\max }\frac{\Vert \mathbf{x}\Vert }{\Vert \mathbf{x}\Vert }=\underset{\mathbf{x}\ne 0}{\max }\frac{\Vert \mathbf{x}\Vert }{\Vert \mathbf{x}\Vert }=1\end{array}$$
 特别地, $\Vert \mathbf{A}{\Vert }_{m_1},\Vert \mathbf{A}{\Vert }_F$ 不是算子范数。
 
事实上
 $$\Vert \mathbf{I}{\Vert }_{m_1}=\sum _{i=1}^n\sum _{j=1}^n\left|a_{ij}\right|=\sum _{i=1}^{n}1=n\ne 1$$
 
$$\Vert \mathbf{I}{\Vert }_F=\sqrt{\sum _{i=1}^n\sum _{j=1}^n{\left|a_{ij}\right|}^2}=\sqrt{\sum _{i=1}^n{1}^2}=\sqrt{n}\ne 1$$
 
$例2$: 设 $\mathbf{A}=\left(\begin{array}{cc}1& 0\\ 2& 4\\ -2& 4\end{array}\right)$, 求 $\Vert \mathbf{A}{\Vert }_1,\Vert \mathbf{A}{\Vert }_{\infty },\Vert \mathbf{A}{\Vert }_2,\Vert \mathbf{A}{\Vert }_{m_1},\Vert \mathbf{A}{\Vert }_F$ 。
 
     
      
       
        
         
          
           
          
         
         
          
           
            
            
             ∥
            
            
             A
            
            
             
              ∥
             
             
              1
             
            
            
             =
            
            
             
              
               max
              
              
               ⁡
              
             
             
              
               1
              
              
               ≤
              
              
               j
              
              
               ≤
              
              
               2
              
             
            
            
             
              ∑
             
             
              
               i
              
              
               =
              
              
               1
              
             
             
              3
             
            
            
             
              ∣
             
             
              
               a
              
              
               
                i
               
               
                j
               
              
             
             
              ∣
             
            
            
             =
            
            
             
              
               max
              
              
               ⁡
              
             
             
              
               1
              
              
               ≤
              
              
               j
              
              
               ≤
              
              
               n
              
             
            
            
             {
            
            
             5
            
            
             ,
            
            
             8
            
            
             }
            
            
             =
            
            
             8
            
           
          
         
        
        
         
          
           
          
         
         
          
           
            
            
             ∥
            
            
             A
            
            
             
              ∥
             
             
              ∞
             
            
            
             =
            
            
             
              
               max
              
              
               ⁡
              
             
             
              
               1
              
              
               ≤
              
              
               i
              
              
               ≤
              
              
               3
              
             
            
            
             
              ∑
             
             
              
               j
              
              
               =
              
              
               1
              
             
             
              2
             
            
            
             
              ∣
             
             
              
               a
              
              
               
                i
               
               
                j
               
              
             
             
              ∣
             
            
            
             =
            
            
             
              
               max
              
              
               ⁡
              
             
             
              
               1
              
              
               ≤
              
              
               j
              
              
               ≤
              
              
               n
              
             
            
            
             {
            
            
             1
            
            
             ,
            
            
             6
            
            
             ,
            
            
             6
            
            
             }
            
            
             =
            
            
             6
            
           
          
         
        
        
         
          
           
          
         
         
          
           
            
            
             ∥
            
            
             A
            
            
             
              ∥
             
             
              
               m
              
              
               1
              
             
            
            
             =
            
            
             
              ∑
             
             
              
               i
              
              
               =
              
              
               1
              
             
             
              3
             
            
            
             
              ∑
             
             
              
               j
              
              
               =
              
              
               1
              
             
             
              2
             
            
            
             
              ∣
             
             
              
               a
              
              
               
                i
               
               
                j
               
              
             
             
              ∣
             
            
            
             =
            
            
             1
            
            
             +
            
            
             2
            
            
             +
            
            
             4
            
            
             +
            
            
             ∣
            
            
             −
            
            
             2
            
            
             ∣
            
            
             +
            
            
             4
            
            
             =
            
            
             13
            
           
          
         
        
        
         
          
           
          
         
         
          
           
            
            
             ∥
            
            
             A
            
            
             
              ∥
             
             
              F
             
            
            
             =
            
            
             
              
               
                ∑
               
               
                
                 i
                
                
                 =
                
                
                 1
                
               
               
                3
               
              
              
               
                ∑
               
               
                
                 j
                
                
                 =
                
                
                 1
                
               
               
                2
               
              
              
               
                
                 ∣
                
                
                 
                  a
                 
                 
                  
                   i
                  
                  
                   j
                  
                 
                
                
                 ∣
                
               
               
                2
               
              
             
            
            
             =
            
            
             
              
               1
              
              
               +
              
              
               
                2
               
               
                2
               
              
              
               +
              
              
               
                4
               
               
                2
               
              
              
               +
              
              
               ∣
              
              
               −
              
              
               2
              
              
               
                ∣
               
               
                2
               
              
              
               +
              
              
               
                4
               
               
                2
               
              
             
            
            
             =
            
            
             
              41
             
            
           
          
         
        
       
       
         \begin{aligned}& \|\boldsymbol{A}\|_{1}=\max _{1 \leq j \leq 2} \sum_{i=1}^{3}\left|a_{i j}\right|=\max _{1 \leq j \leq n}\{5,8\}=8 \\ & \|\boldsymbol{A}\|_{\infty}=\max _{1 \leq i \leq 3} \sum_{j=1}^{2}\left|a_{i j}\right|=\max _{1 \leq j \leq n}\{1,6,6\}=6 \\ & \|\boldsymbol{A}\|_{m_{1}}=\sum_{i=1}^{3} \sum_{j=1}^{2}\left|a_{i j}\right|=1+2+4+|-2|+4=13 \\ & \|\boldsymbol{A}\|_{F}=\sqrt{\sum_{i=1}^{3} \sum_{j=1}^{2}\left|a_{i j}\right|^{2}}=\sqrt{1+2^{2}+4^{2}+|-2|^{2}+4^{2}}=\sqrt{41}\end{aligned} 
       
      
     ​∥A∥1​=1≤j≤2max​i=1∑3​∣aij​∣=1≤j≤nmax​{5,8}=8∥A∥∞​=1≤i≤3max​j=1∑2​∣aij​∣=1≤j≤nmax​{1,6,6}=6∥A∥m1​​=i=1∑3​j=1∑2​∣aij​∣=1+2+4+∣−2∣+4=13∥A∥F​=i=1∑3​j=1∑2​∣aij​∣2
                    ​=1+22+42+∣−2∣2+42
                    ​=41
                    ​​
 现在计算 $\Vert \mathbf{A}{\Vert }_2$, 首先,计算
 $${\mathbf{A}}^{\mathbf{T}}\mathbf{A}=\left(\begin{array}{ccc}1& 2& -2\\ 0& 4& 4\end{array}\right)\left(\begin{array}{cc}1& 0\\ 2& 4\\ -2& 4\end{array}\right)=\left(\begin{array}{cc}9& 0\\ 0& 32\end{array}\right)$$
 令 $\det \left(\lambda \mathbf{I}-{\mathbf{A}}^T\mathbf{A}\right)=\left|\begin{array}{cc}\lambda -9& 0\\ 0& \lambda -32\end{array}\right|=(\lambda -9)(\lambda -32)=0$
 
得 $\Vert \mathbf{A}{\Vert }_2=\sqrt{{\lambda }_{\max }\left({\mathbf{A}}^T\mathbf{A}\right)}=\sqrt{32}=4\sqrt{2}$
 
矩阵范数具有向量范数的一切性质
 
$\boxed{定理4}$ (矩阵范数的等价性定理)
 
设 $\Vert \cdot {\Vert }_{\beta }$ 和 $\Vert \cdot {\Vert }_{\alpha }$ 为 ${\mathbf{C}}^{m\times n}$ 上的任意两种矩阵范数, 则存在两个与矩阵无关的正常数 ${\mathbf{C}}_1>0$ 和 ${\mathbf{C}}_2>0$, 使得下面的不等式 成立
 $$c_1\Vert A{\Vert }_{\beta }\le \Vert \mathbf{A}{\Vert }_{\alpha }\le c_2\Vert \mathbf{A}{\Vert }_{\beta }$$
 并称 $\Vert \cdot {\Vert }_{\alpha }$ 和 $\Vert \cdot {\Vert }_{\beta }$ 为 ${\mathbf{C}}^{m\times n}$ 上的等价范数。
 
由向矩阵范数的等价性可知
 $$\underset{\mathbf{A}\to 0}{\lim }\Vert \mathbf{A}{\Vert }_{\alpha }=0⟹\underset{\mathbf{A}\to 0}{\lim }\Vert \mathbf{A}{\Vert }_{\beta }=0$$
 可以证明:
 
 
任意给定的矩阵范数必然存在与之相容的向量范数;任意给定的向量范数必然存在与之相容的矩阵范数。(如从属范数)
 
 
一个矩阵范数可以与多种向量范数相容; (矩阵的$m_1$-范数与向量的 $p$ -范数相容)
 
 
多种矩阵范数可以与一个向量范数相容。(矩阵的F范数、2-范数与向量的2-范数相容)
 
从属范数一定与所定义的向量范数相容,但是矩阵范数与向量范数相容却未必有从属关系。(矩阵的F-范数与向量的2范数相容,但无从属关系)
并非任意的矩阵范数与任意的向量范数相容。
 
矩阵2范数小于等于其F范数， 证明如下：
 
令$x={\sum }_{j=1}^n{c}_j{e}_j$, 其中$e_j$是基向量，$c_j$是$x$对应于该向量的坐标。不失一般性，令$x$归一化为单位长度，即$||x|{|}_2=1$,比如${\sum }_j|c_j{|}^2=1$, 则：
 $$||Ax|{|}^2=||\sum _j{c}_{j}A{e}_j|{|}_2^2\le (\sum _j|c_j|||A{e}_j|{|}_2{)}^2\le (\sum _j|c_j{|}^2)\sum _j||A{e}_j|{|}_2^2=\sum _j||A{e}_j|{|}_2^2=||A|{|}_F^2$$
 
其中，第一个$\le$是利用三角不等式得到的，第二个$\le$是利用了Cauchy-Schwarz不等式$（|⟨u,v⟩|\le ||u||||v||）$。
 
因为$x$是任意的，则得到：$||A|{|}_2\le ||A|{|}_F$
 
矩阵范数与向量范数不相容的例子:
 
取
 $$\mathbf{A}=\left(\begin{array}{ll}1& 1\\ 0& 0\end{array}\right),\mathbf{x}=(\begin{array}{l}1\\ 1\end{array}$$