精华内容
下载资源
问答
  • 文章目录为何引入向量范数一、向量范数向量加权范数向量范数的等价性定理常用范数的等价关系二、矩阵范数m1m_{1}m1​ -范数 和F -范数谱三、矩阵范数与向量范数的相容算子范数矩阵范数具有向量范数的一切性质...

    1. 18 矩阵——矩阵的秩、行阶梯形矩阵与秩、行列式与秩、特征值与秩、二次型与秩、矩阵秩的计算、关于秩的常用结论_
    2. 19 矩阵——矩阵的相抵、相抵标准形、秩1矩阵、矩阵的满秩分解
    3. 20矩阵——酉矩阵
    4. 21矩阵——Schur分解定理、酉相似下的标准型、Hermite正定矩阵、正规矩阵
    5. 22矩阵——向量范数和矩阵范数、p范数、m 1 范数 和F -范数、算子范数、向量加权范数、Schatten范数、Numpy计算范数
    6. 23矩阵——LU分解、用LU 分解解线性方程组、LU分解的存在性和唯一性、对称矩阵的 L D L 分解、置换矩阵、PA=LU 分解
    7. 24矩阵——条件数与方程组的性态、“病态”矩阵与方程、系数矩阵与右端微小扰动情况、条件数的几何意义
    8. 25 矩阵——QR分解、Householder 矩阵、镜面反射
    9. SVD奇异值分解

    为何引入向量范数

    A x = b A x=b Ax=b 有精确解 x ∗ x^{*} x, 有近似解 x . x . x.

    • x ∗ x^{*} x x x x近似程度如何衡量?
    • 如何对方程组进行误差分析?
    • 向量和矩阵的大小如何度量?

    为了研究线性方程组近似解的误差估计和迭代法的收 敛性,我们引入度量向量和矩阵的“大小”的量——范数.

    向量范数概念是实数的绝对值,复数的模的概念的推广,在数值分析中起着重要作用.

    范数的主要意义和作用:

    • 研究矩阵和向量的大小度量和误差估计
    • 研究矩阵序列和向量序列以及级数收敛准则
    • 研究线性方程组解的误差估计

    一、向量范数

    定 义 1 \large\color{magenta}{\boxed{\color{brown}{定义 1} }} 1 对任意的复数 x , y x, y x,y α \alpha α, 函数 f ( x ) = ∣ x ∣ f(x)=|x| f(x)=x 满足以下三条件:
    1、非负性
    ∣ x ∣ ≥ 0 , ∣ x ∣ = 0 ⇔ x = 0 |x| \geq 0,|x|=0 \Leftrightarrow x=0 x0,x=0x=0
    2、 齐次性
    ∣ a x ∣ = ∣ a ∣ ∣ x ∣ |a x|=|a||x| ax=ax
    3、三角不等式
    ∣ x + y ∣ ≤ ∣ x ∣ + ∣ y ∣ |x+y| \leq|x|+|y| x+yx+y
    称函数 ∣ ∗ ∣ |*| C C C 上的一个 模 函 数 \large\color{red}{\boxed{\color{green}{ 模函数 }}}

    定 义 2 \large\color{magenta}{\boxed{\color{brown}{定义 2} }} 2 定义在( n n n 维复向量空间) C n C^{n} Cn 上的一个非负实值函数,记为 f ( x ) = ∥ x ∥ f(x)=\|x\| f(x)=x, 若该函数满足以下三个条件:

    对任意向量 x x x y y y 及复数 α ∈ C \alpha \in C αC:

    1、非负性
    ∥ x ∥ ≥ 0 , ∥ x ∥ = 0 ⇔ 当 且 仅 当 x = 0 n × 1 \|x\| \geq 0,\\\|x\|=0 \Leftrightarrow 当且仅当 x=0_{n \times 1} x0,x=0x=0n×1
    2、齐次性
    ∥ α x ∥ = ∣ α ∣ ⋅ ∥ x ∥ \|\alpha \boldsymbol{x}\|=|\alpha| \cdot\|\boldsymbol{x}\| αx=αx
    3、三角不等式
    ∥ x + y ∥ ≤ ∥ x ∥ + ∥ y ∥ \|\boldsymbol{x}+\boldsymbol{y}\| \leq\|\boldsymbol{x}\|+\|\boldsymbol{y}\| x+yx+y
    称函数 ∥ ∗ ∥ \|*\| C n C^{n} Cn 上的一个 向 量 范 数 \large\color{red}{\boxed{\color{green}{ 向量范数 }}} ,其是连续函数

    例 1 \Large\color{violet}{例 1} 1 对任给 x = ( x 1 , x 2 , x 3 ) T ∈ R 3 x=\left(x_{1}, x_{2}, x_{3}\right)^{T} \in R^{3} x=(x1,x2,x3)TR3,试问下列函数是否构成向量范数.

    (1) ∣ x 1 ∣ + ∣ x 2 ∣ − 2 ∣ x 3 ∣ \left|x_{1}\right|+\left|x_{2}\right|-2\left|x_{3}\right| x1+x22x3 :显然不满足非负性!

    (2) ∣ x 1 ∣ + ∣ x 2 + 2 x 3 ∣ \left|x_{1}\right|+\left|x_{2}+2 x_{3}\right| x1+x2+2x3:取 x = ( 0 , 2 , − 1 ) T x=(0,2,-1)^{T} x=(0,2,1)T, 亦不满足非负性!

    (3) ∣ x 1 ∣ 4 + ∣ x 2 ∣ 4 + ∣ x 3 ∣ 4 \left|x_{1}\right|^{4}+\left|x_{2}\right|^{4}+\left|x_{3}\right|^{4} x14+x24+x34:容易验证,不满足齐次性!

    (4) ∣ x 1 ∣ + 3 ∣ x 2 ∣ + 2 ∣ x 3 ∣ \left|x_{1}\right|+3\left|x_{2}\right|+2\left|x_{3}\right| x1+3x2+2x3 :可以验证,满足范数定义的所有条件.

    结论:以上四个实值函数,只有最后一个构成向量范数.

    对于向量 x = ( x 1 , x 2 , . . . , x m ) T x=(x_1,x_2,...,x_m)^T x=(x1,x2,...,xm)T,常用的范数包括

    1. p p p范数
      ∣ ∣ x ∣ ∣ p = ( ∑ i = 1 m ∣ x i ∣ p ) 1 p , 1 ≤ p < + ∞ ||x||_p=(\sum_{i=1}^{m}|x_i|^p)^{\frac{1}{p}},1 \leq p<+\infty xp=(i=1mxip)p1,1p<+
      即向量元素绝对值的p次方和的1/p次幂,表示x到零点的p阶闵氏距离。

    2. 0范数( L 0 L_{0} L0)

    ∣ ∣ x ∣ ∣ 0 = 非 零 元 素 的 个 数 \left| \left| x \right| \right|_{0}=非零元素的个数 x0=

    1. 1范数 ( L 1 L_{1} L1)
      ∣ ∣ x ∣ ∣ 1 = ∑ i = 1 m ∣ x i ∣ = ∣ x 1 ∣ + ⋅ ⋅ ⋅ + ∣ x m ∣ \left| \left| x \right| \right|_{1}=\sum_{i=1}^{m}{\left| x_{i} \right|}=\left| x_{1} \right|+\cdot\cdot\cdot+\left| x_{m} \right| x1=i=1mxi=x1++xm
      即向量元素绝对值之和, x x x 到零点的曼哈顿距离。

    2. 2范数 ( L 2 L_{2} L2, 欧式范数)
      ∥ x ∥ 2 = ( ∑ i = 1 m ∣ x i ∣ 2 ) 1 / 2 = x H x = ( x , x ) = ( ∣ x 1 ∣ 2 + ⋅ ⋅ ⋅ + ∣ x m ∣ 2 ) 1 2 \|\boldsymbol{x}\|_{2}=\left(\sum_{i=1}^{m}\left|\boldsymbol{x}_{i}\right|^{2}\right)^{1 / 2} =\sqrt{\boldsymbol{x}^{H} \boldsymbol{x}}=\sqrt{(\boldsymbol{x}, \boldsymbol{x})} \\ = (\left| x_{1} \right|^{2}+\cdot\cdot\cdot+\left| x_{m} \right|^{2})^{\frac{1}{2}} x2=(i=1mxi2)1/2=xHx =(x,x) =(x12++xm2)21
      欧式范数,常用计算向量长度,是应用最为广泛的范数定义,即向量元素绝对值的平方和再开方,表示 x x x到零点的欧式距离

    3. ∞ \infty 范数
      ∣ ∣ x ∣ ∣ ∞ = max ⁡ i ∣ x i ∣ ||x||_\infty=\max_i |x_i| x=imaxxi
      p p p趋向于正无穷时,即所有向量元素绝对值中的最大值.

    4. − ∞ -\infty 范数

      ∣ ∣ x ∣ ∣ − ∞ = min ⁡ i ∣ x i ∣ ||x||_{-\infty}=\min_i |x_i|\\ x=iminxi
      p p p趋向于负无穷时,即所有向量元素绝对值中的最小值.

    向量加权范数

    定 义 3 \large\color{magenta}{\boxed{\color{brown}{定义 3} }} 3 x ∈ R n , W ∈ R n × n x \in R^{n}, W \in R^{n \times n} xRn,WRn×n 为非奇异对角阵, 对给定的任意一种向量范数 ∥ ∗ ∥ \|*\| ,定义 x x x 的加权范数为
    ∥ x ∥ W = ∥ W x ∥ \|\boldsymbol{x}\|_{\boldsymbol{W}}=\|\boldsymbol{W} \boldsymbol{x}\| xW=Wx
    W W W 的对角元素为它的每一个分量的权系数.

    加权的1-范数: \quad
    ∥ x ∥ W = ∥ W x ∥ 1 = ∑ i = 1 n ∣ ω i x i ∣ \|\boldsymbol{x}\|_{W}=\|\boldsymbol{W} \boldsymbol{x}\|_{1}=\sum_{i=1}^{n}\left|\omega_{i} \boldsymbol{x}_{i}\right| xW=Wx1=i=1nωixi
    加权的2-范数:
    ∥ x ∥ W = ∥ W x ∥ 2 = ( ∑ i = 1 n ∣ ω i x i ∣ 2 ) 1 2 \quad\|\boldsymbol{x}\|_{W}=\|\boldsymbol{W} \boldsymbol{x}\|_{2}=\left(\sum_{i=1}^{n}\left|\omega_{i} \boldsymbol{x}_{i}\right|^{2}\right)^{\frac{1}{2}} xW=Wx2=(i=1nωixi2)21

    例 1 \Large\color{violet}{例1} 1 对任意 x = ( x 1 , x 2 , x 3 ) T ∈ C 3 W = ( 1 0 0 0 3 0 0 0 − 2 ) ∈ C 3 × 3 \boldsymbol{x}=\left(\boldsymbol{x}_{1}, \boldsymbol{x}_{2}, \boldsymbol{x}_{3}\right)^{T} \in \mathbf{C}^{3} \quad \boldsymbol{W}=\left(\begin{array}{ccc}1 & 0 & 0 \\ 0 & 3 & 0 \\ 0 & 0 & -2\end{array}\right) \in \mathbf{C}^{3 \times 3} x=(x1,x2,x3)TC3W=100030002C3×3,
    加权的1范数为:
    ∥ x ∥ W = ∥ W x ∥ 1 = ∥ ( 1 0 0 0 3 0 0 0 − 2 ) ( x 1 x 2 x 3 ) ∥ 1 = ∣ x 1 ∣ + 3 ∣ x 2 ∣ + 2 ∣ x 3 ∣ \|\boldsymbol{x}\|_{W}=\|W \boldsymbol{x}\|_{1}=\left\|\left(\begin{array}{ccc} 1 & 0 & 0 \\ 0 & 3 & 0 \\ 0 & 0 & -2 \end{array}\right)\left(\begin{array}{c} \boldsymbol{x}_{1} \\ \boldsymbol{x}_{2} \\ \boldsymbol{x}_{3} \end{array}\right)\right\|_{1}=\left|\boldsymbol{x}_{1}\right|+3\left|\boldsymbol{x}_{2}\right|+2\left|\boldsymbol{x}_{3}\right| xW=Wx1=100030002x1x2x31=x1+3x2+2x3
    例 2 \Large\color{violet}{例2} 2: 求向量 x = ( − 1 , 2 , 4 ) T \boldsymbol{x}=(-1, \quad 2,4)^{T} x=(1,2,4)T 1 , 2 , ∞ 1,2, \infty 1,2,, 加权2-范数, 其中矩阵 W = ( 1 0 0 0 3 0 0 0 − 2 ) ∈ C 3 × 3 . \quad \boldsymbol{W}=\left(\begin{array}{ccc}1 & 0 & 0 \\ 0 & 3 & 0 \\ 0 & 0 & -2\end{array}\right) \in \mathbf{C}^{3 \times 3} . W=100030002C3×3.
    解:

    ∥ x ∥ 1 = ∣ − 1 ∣ + 2 + 4 = 7 \|x\|_{1}=|-1|+2+4=7 x1=1+2+4=7

    ∥ x ∥ 2 = ∣ − 1 ∣ 2 + 2 2 + 4 2 = 21 \|x\|_{2}=\sqrt{|-1|^{2}+2^{2}+4^{2}}=\sqrt{21} x2=12+22+42 =21

    ∥ x ∥ ∞ = max ⁡ { ∣ − 1 ∣ , 2 , 4 } = 4 \|x\|_{\infty}=\max \{|-1|, 2,4\}=4 x=max{1,2,4}=4

    ∥ x ∥ W = ∥ W x ∥ 2 = ( ∣ − 1 ∣ 2 + 9 × 2 2 + 4 × 4 2 ) 1 / 2 = 101 \|\boldsymbol{x}\|_{W}=\|W x\|_{2}=\left(|-1|^{2}+9 \times 2^{2}+4 \times 4^{2}\right)^{1 / 2}=\sqrt{101} xW=Wx2=(12+9×22+4×42)1/2=101

    各种向量范数,其数值大小一般不同

    向量范数为对向量大小的度量方式。

    L 2 L_{2} L2范数:
    对于二维空间内的向量 p ( x , y ) p(x,y) p(x,y)而言, L 2 ( p ) = ∣ x ∣ 2 + ∣ y ∣ 2 L_{2}(p)=\sqrt{\left| x \right|^{2}+\left|y\right|^{2}} L2(p)=x2+y2 ,代表 p p p向量的长度。如果向量 p ( x , y , z ) p(x,y,z) p(x,y,z)处于三维空间,那么该向量的 L 2 L_{2} L2范数(即向量长度)为 ∣ x ∣ 2 + ∣ y ∣ 2 + ∣ z ∣ 2 \sqrt{\left|x\right|^{2}+\left|y\right|^{2}+\left|z\right|^{2}} x2+y2+z2 ,推而广之, N N N维空间内的向量的 L 2 L_{2} L2范数就是代表该向量的长度。

    向量范数的等价性定理

    ∥ ⋅ ∥ β \|\cdot\|_{\beta} β ∥ ⋅ ∥ α \|\cdot\|_{\alpha} α C n \mathbf{C}^{n} Cn 上的任意两种向量范数,则存在两个与向量无关的正常数 c 1 > 0 , c 2 > 0 c_{1}>0, c_{2}>0 c1>0,c2>0, 使得
    c 1 ∥ x ∥ β ≤ ∥ x ∥ α ≤ c 2 ∥ x ∥ β c_{1}\|\mathbf{x}\|_{\beta} \leq\|\boldsymbol{x}\|_{\alpha} \leq c_{2}\|\boldsymbol{x}\|_{\beta} c1xβxαc2xβ
    并称 ∥ ⋅ ∥ α \|\cdot\|_{\alpha} α ∥ ⋅ ∥ β \|\cdot\|_{\beta} β C n \mathbf{C}^{n} Cn 上的 等 价 范 数 \large\color{red}{\boxed{\color{green}{ 等价范数 }}}

    由向量范数的等价性可知
    lim ⁡ x → 0 ∥ x ∥ α = 0 ⟹ lim ⁡ x → 0 ∥ x ∥ β = 0 \lim _{x \rightarrow 0}\|\boldsymbol{x}\|_{\alpha}=0 \Longrightarrow \lim _{x \rightarrow 0}\|\boldsymbol{x}\|_{\beta}=0 x0limxα=0x0limxβ=0

    常用范数的等价关系

    特别的,
    ∥ x ∥ ∞ ≤ ∥ x ∥ 1 ≤ n ∥ x ∥ ∞ 1 n ∥ x ∥ 1 ≤ ∥ x ∥ 2 ≤ ∥ x ∥ 1 1 n ∥ x ∥ 2 ≤ ∥ x ∥ ∞ ≤ ∥ x ∥ 2 \begin{array}{l} \|\boldsymbol{x}\|_{\infty} \leq\|\boldsymbol{x}\|_{1} \leq n\|\boldsymbol{x}\|_{\infty} \\ \frac{1}{\sqrt{n}}\|\boldsymbol{x}\|_{1} \leq\|\boldsymbol{x}\|_{2} \leq\|\boldsymbol{x}\|_{1} \\ \frac{1}{\sqrt{n}}\|\boldsymbol{x}\|_{2} \leq\|\boldsymbol{x}\|_{\infty} \leq\|\boldsymbol{x}\|_{2} \end{array} xx1nxn 1x1x2x1n 1x2xx2
    或者
    ∥ x ∥ ∞ ≤ ∥ x ∥ 2 ≤ ∥ x ∥ 1 ≤ n ∥ x ∥ 2 ≤ n ∥ x ∥ ∞ \|\boldsymbol{x}\|_{\infty} \leq\|\boldsymbol{x}\|_{2} \leq\|\boldsymbol{x}\|_{1} \leq \sqrt{n}\|\boldsymbol{x}\|_{2} \leq n\|\boldsymbol{x}\|_{\infty} xx2x1n x2nx

    以3)为例证明之,事实上,
    ∥ x ∥ ∞ 2 = max ⁡ 1 ≤ i ≤ n ∣ x i ∣ 2 ≤ ∑ i = 1 n ∣ x i ∣ 2 = ∥ x ∥ 2 2 \|\boldsymbol{x}\|_{\infty}^{2}=\max _{1 \leq i \leq n}\left|\boldsymbol{x}_{i}\right|^{2} \leq \sum_{i=1}^{n}\left|x_{i}\right|^{2}=\|\boldsymbol{x}\|_{2}^{2} x2=1inmaxxi2i=1nxi2=x22

    ∥ x ∥ 2 2 ≤ ∑ i = 1 n max ⁡ 1 ≤ i ≤ n ∣ x i ∣ 2 = n ⋅ ∥ x ∥ ∞ 2 ⇒ 1 n ∥ x ∥ 2 ≤ ∥ x ∥ ∞ \|\boldsymbol{x}\|_{2}^{2} \leq \sum_{i=1}^{n} \max _{1 \leq i \leq n}\left|\boldsymbol{x}_{i}\right|^{2}=n \cdot\|\boldsymbol{x}\|_{\infty}^{2} \Rightarrow \frac{1}{\sqrt{n}}\|\boldsymbol{x}\|_{2} \leq\|\boldsymbol{x}\|_{\infty} x22i=1n1inmaxxi2=nx2n 1x2x
    定 义 4 \large\color{magenta}{\boxed{\color{brown}{定义 4} }} 4 向量序列收敛

    设向量序列 x ( k ) = ( x 1 ( k ) , x 2 ( k ) , ⋯   , x n ( k ) ) T , k = 0 , 1 , ⋯ x^{(k)}=\left(x_{1}^{(k)}, x_{2}^{(k)}, \cdots, x_{n}^{(k)}\right)^{T}, k=0,1, \cdots x(k)=(x1(k),x2(k),,xn(k))T,k=0,1,,向量 x ∗ = ( x 1 ∗ , x 2 ∗ , ⋯   , x n ∗ ) T x^{*}=\left(x_{1}^{*}, x_{2}^{*}, \cdots, x_{n}^{*}\right)^{T} x=(x1,x2,,xn)T.称向量序列 { x ( k ) } \left\{x^{(k)}\right\} {x(k)} 收敛于向量 x ∗ x^{*} x, 如果
    lim ⁡ k → ∞ ∥ x ( k ) − x ∗ ∥ = 0 \lim _{k \rightarrow \infty}\left\|x^{(k)}-x^{*}\right\|=0 klimx(k)x=0
    记作 lim ⁡ k → ∞ x ( k ) = x ∗ , \lim _{k \rightarrow \infty} x^{(k)}=x^{*}, \quad limkx(k)=x, x ( k ) → x ∗ . x^{(k)} \rightarrow x^{*} . x(k)x.

    二、矩阵范数

    m 1 m_{1} m1 -范数 和F -范数

    对向量范数进行推广,就获得了矩阵范数,因此矩阵范数也是对矩阵的一种度量方式,当然了,由于矩阵并没有长度的概念,因此将矩阵范数看作是对矩阵长度的度量并不可行。

    若我们取
    E i j = ( 0 ⋯ 0 ⋯ 0 ⋮ ⋱ ⋮ ⋯ ⋮ 0 ⋯ 1 ⋯ 0 ⋮ ⋱ ⋮ ⋱ ⋮ 0 ⋯ 0 ⋯ 0 ) m × n \boldsymbol{E}_{i j}=\left(\begin{array}{ccccc} 0 & \cdots & 0 & \cdots & 0 \\ \vdots & \ddots & \vdots & \cdots & \vdots \\ 0 & \cdots & 1 & \cdots & 0 \\ \vdots & \ddots & \vdots & \ddots & \vdots \\ 0 & \cdots & 0 & \cdots & 0 \end{array}\right)_{m \times n} Eij=000010000m×n
    { E i j } \left\{E_{i j}\right\} {Eij} 线性无关,而且任意一个 m × n m \times n m×n 矩阵 A = ( a i j ) A=\left(a_{i j}\right) A=(aij) 都可表为 : : :
    A = ∑ i = 1 m ∑ j = 1 n ( a i j E i j ) \boldsymbol{A}=\sum_{i=1}^{m} \sum_{j=1}^{n}\left(a_{i j} \boldsymbol{E}_{i j}\right) A=i=1mj=1n(aijEij)
    这也就是说,全体 m × n m \times n m×n 矩阵构成的空间的维数是 m n ∘ m n_{\circ} mn 因此,$C ^{m {\times n}} $ 亦可看作一个mn维的向量空间。这样,我们自然想到将向量范数的概念直 接推广到矩阵上。然而这种推广应考虑到矩阵的乘法运算。因而使用 的矩阵范数的定义是按如下方式。

    定 义 5 \large\color{magenta}{\boxed{\color{brown}{定义 5} }} 5 定义在 C m × п \mathrm{C}^{m {\times} п } Cm×п 上的一个非负实值函数,记为 f ( A ) = ∥ A ∥ f(\boldsymbol{A})=\|\boldsymbol{A}\| f(A)=A, 若该函数满足以下条件:

    即对任意矩阵 A , B \boldsymbol{A}, \boldsymbol{B} A,B 以及任意复常数 α ∈ C \alpha \in \mathbf{C} αC

    (1) 非负性 ∥ A l ≥ 0 \quad \| A \mathbb{l} \geq 0 Al0 当且仅当 A = 0 m × n A=0_{m \times n} A=0m×n ∥ A ∥ = 0 \|A\|=0 A=0

    (2) 齐次性 ∥ α A ∥ = ∣ α ∣ ⋅ ∥ A ∥ \quad\|\alpha \boldsymbol{A}\|=|\alpha| \cdot\|\boldsymbol{A}\| αA=αA

    (3) 三角不等式 ∥ A + B ∥ ≤ ∥ A ∥ + ∥ B ∥ \quad\|\boldsymbol{A}+\boldsymbol{B}\| \leq\|\boldsymbol{A}\|+\|\boldsymbol{B}\| A+BA+B

    (4) 相容性 ∥ A B ∥ ≤ ∥ A ∥ ⋅ ∥ B ∥ \|\boldsymbol{A} \boldsymbol{B}\| \leq\|\boldsymbol{A}\| \cdot\|\boldsymbol{B}\| ABAB , A ∈ C n × I , B ∈ C ∣ × n \boldsymbol{A} \in \boldsymbol{C}^{n \times I}, \boldsymbol{B} \in \boldsymbol{C}^{\mid \times n} ACn×I,BC×n

    则称函数 ∥ ⋅ ∥ \|\cdot\| 为C m × n ^{m \times n} m×n 上的一个 矩 阵 范 数 \large\color{#70f3ff}{\boxed{\color{brown}{矩阵范数 } }}

    将矩阵 A A A 按列分块成 A = ( A 1 A 2 ⋯ A n ) \boldsymbol{A}=\left(\boldsymbol{A}_{1} \quad \boldsymbol{A}_{2} \quad \cdots \quad \boldsymbol{A}_{n}\right) A=(A1A2An) 其中
    A j = ( a 1 j a 2 j ⋮ a m j ) j = 1 , 2 , ⋯   , n , ∑ j = 1 n ∥ A j ∥ 1 = ∑ j = 1 n ∑ i = 1 m ∣ a i j ∣ ∑ j = 1 n ∥ A j ∥ 2 2 = ∑ j = 1 n ∑ i = 1 m ∣ a i j ∣ 2 \boldsymbol{A}_{j}=\left(\begin{array}{c} a_{1 j} \\ a_{2 j} \\ \vdots \\ a_{m j} \end{array}\right) j=1,2, \cdots, n, \qquad\qquad \begin{aligned} \sum_{j=1}^{n}\left\|\boldsymbol{A}_{j}\right\|_{1} & =\sum_{j=1}^{n} \sum_{i=1}^{m}\left|a_{i j}\right| \\ \sum_{j=1}^{n}\left\|\boldsymbol{A}_{j}\right\|_{2}^{2}&=\sum_{j=1}^{n} \sum_{i=1}^{m}\left|a_{i j}\right|^{2} \end{aligned} Aj=a1ja2jamjj=1,2,,n,j=1nAj1j=1nAj22=j=1ni=1maij=j=1ni=1maij2
    定义
    ∥ A ∥ m 1 = ∑ i = 1 m ∑ j = 1 n ∣ a i j ∣ (1) \|\boldsymbol{A}\|_{m_{1}} =\sum_{i=1}^{m} \sum_{j=1}^{n}\left|a_{i j}\right| \tag{1} Am1=i=1mj=1naij(1)
    ∥ A ∥ F = ( ∑ i = 1 m ∑ j = 1 n ∣ a i j ∣ 2 ) 1 2 (2) \quad\|\boldsymbol{A}\|_{F}{ } =\left(\sum_{i=1}^{m} \sum_{j=1}^{n}\left|a_{i j}\right|^{2}\right)^{\frac{1}{2}}\tag{2} AF=(i=1mj=1naij2)21(2)

    显然上述两个函数均满足矩阵范数定义中的(1)-(4)。分别称由(1)所定义的范数为矩阵的 m 1 − 范 数 \large\color{#70f3ff}{\boxed{\color{brown}{m_{1} -范数 } }} m1 和(2) 为 Frobenius范数(简称 F − 范 数 \large\color{#70f3ff}{\boxed{\color{brown}{F -范数 } }} F )。

    Frobenius范数可以视作向量的范数对按照矩阵各列依次排列的“拉长向量”
    x = [ a 11 , ⋅ ⋅ ⋅ , a m 1 , a 12 , ⋅ ⋅ ⋅ , a m 2 , ⋅ ⋅ ⋅ , a 1 n , ⋅ ⋅ ⋅ , a m n ] T x = \left[ a_{11},\cdot\cdot\cdot,a_{m1},a_{12},\cdot\cdot\cdot,a_{m2},\cdot\cdot\cdot,a_{1n},\cdot\cdot\cdot,a_{mn} \right]^{T} x=[a11,,am1,a12,,am2,,a1n,,amn]T

    的推广。

    矩阵的Frobenius范数有时也称Euclidean范数
    ∥ A ∥ F = ∣ a 11 ∣ 2 + ⋯ + ∣ a m n ∣ 2 = σ 1 2 + ⋯ + σ r 2 \left\| \boldsymbol A \right\|_F= \sqrt {{{\left| {{a_{11}}} \right|}^2} + \cdots + {{\left| {{a_{mn}}} \right|}^2}} =\sqrt {\sigma _1^2 + \cdots + \sigma _r^2} AF=a112++amn2 =σ12++σr2
    元素和奇异值的平方和可以通过SVD分解联系起来, A = U Σ V T \boldsymbol A = \boldsymbol {U\varSigma} {\boldsymbol V^T} A=UΣVT中正交矩阵不改变范数,因此矩阵A的范数和奇异值对角阵相同。

    Fronebius范数又可写作迹函数的形式
    ∣ ∣ A ∣ ∣ F = ⟨ A , A ⟩ 1 2 = t r ( A H A ) ||A||_F =\left \langle A,A \right \rangle^{\frac{1}{2}}=\sqrt{tr(A^{H}A)} AF=A,A21=tr(AHA)

    元素形式范数与向量范数本质上是相同的。

    下面证明 ( 1 ) (1) (1) 满足相容条件。

    假设矩阵 A A A B B B 分别为 m × I m \times I m×I 阶和 I × n I \times n I×n 阶,由定义
    ∥ A B ∥ m 1 = ∑ i = 1 m ∑ j = 1 n ∣ ( A B ) i j ∣ = ∑ i = 1 m ∑ j = 1 n ∣ ∑ k = 1 I a i k ⋅ b k j ∣ = ∑ i = 1 m ∑ j = 1 n ∣ a i 1 b 1 j + a i 2 b 2 j + ⋯ + a i l b l j ∣ ≤ ∑ i = 1 m ∑ j = 1 n ( ∣ a i l b 1 j ∣ + ∣ a i 2 b 2 j ∣ + ⋯ + ∣ a i l b l j ∣ ) ≤ ∑ i = 1 m ∑ j = 1 n ( ∣ a i ∣ ∣ + ∣ a i 2 ∣ + ⋯ + ∣ a i l ∣ ) ⋅ ( ∣ b 1 j ∣ + ∣ b 2 j ∣ + ⋯ + ∣ b l j ∣ ) = ( ∑ i = 1 m ∑ k = 1 I ∣ a i k ∣ ) ( ∑ k = 1 I ∑ j = 1 n ∣ b k j ∣ ) = ∥ A ∥ m 1 ∥ B ∥ m 1 \begin{aligned}\|\boldsymbol{A} \boldsymbol{B}\|_{m_{1}} &=\sum_{i=1}^{m} \sum_{j=1}^{n}\left|(\boldsymbol{A} \boldsymbol{B})_{i j}\right|=\sum_{i=1}^{m} \sum_{j=1}^{n}\left|\sum_{k=1}^{I} a_{i k} \cdot b_{k j}\right| \\ &=\sum_{i=1}^{m} \sum_{j=1}^{n}\left|a_{i 1} b_{1 j}+a_{i 2} b_{2 j}+\cdots+a_{i l} b_{l j}\right| \\ & \leq \sum_{i=1}^{m} \sum_{j=1}^{n}\left(\left|a_{i l} b_{1 j}\right|+\left|a_{i 2} b_{2 j}\right|+\cdots+\left|a_{i l} b_{l j}\right|\right) \\ & \leq \sum_{i=1}^{m} \sum_{j=1}^{n}\left(\left|a_{i \mid}\right|+\left|a_{i 2}\right|+\cdots+\left|a_{i l}\right|\right) \cdot\left(\left|b_{1 j}\right|+\left|b_{2 j}\right|+\cdots+\left|b_{l j}\right|\right) \\ &=\left(\sum_{i=1}^{m} \sum_{k=1}^{I}\left|a_{i k}\right|\right)\left(\sum_{k=1}^{I} \sum_{j=1}^{n}\left|b_{k j}\right|\right)=\|\boldsymbol{A}\|_{m_{1}}\|\boldsymbol{B}\|_{m_{1}} \end{aligned} ABm1=i=1mj=1n(AB)ij=i=1mj=1nk=1Iaikbkj=i=1mj=1nai1b1j+ai2b2j++ailblji=1mj=1n(ailb1j+ai2b2j++ailblj)i=1mj=1n(ai+ai2++ail)(b1j+b2j++blj)=(i=1mk=1Iaik)(k=1Ij=1nbkj)=Am1Bm1
    例 1 \Large\color{violet}{例1} 1 A = ( a i j ) m × n ∈ C m × n \boldsymbol{A}=\left(a_{i j}\right)_{m \times n} \in \mathbf{C}^{m \times n} A=(aij)m×nCm×n, 取 f ( A ) = max ⁡ i j ∣ a i j ∣ f(\boldsymbol{A})=\max _{i j}\left|a_{i j}\right| f(A)=maxijaij, 则是否构成 A A A 的一种范数?

    【解】: 取 A = ( 1 1 0 0 0 0 ) , B = ( 1 0 0 1 0 0 ) \boldsymbol{A}=\left(\begin{array}{ll}1 & 1 \\ 0 & 0 \\ 0 & 0\end{array}\right), \boldsymbol{B}=\left(\begin{array}{lll}1 & 0 & 0 \\ 1 & 0 & 0\end{array}\right) A=100100,B=(110000), 那么, A B = ( 2 0 0 0 0 0 0 0 0 ) \boldsymbol{A B}=\left(\begin{array}{lll}2 & 0 & 0 \\ 0 & 0 & 0 \\ 0 & 0 & 0\end{array}\right) AB=200000000,
    则可得出
    f ( A ) = f ( B ) = 1 , f ( A B ) = 2 ,  即有  f ( A B ) > f ( A ) ⋅ f ( B ) f(\boldsymbol{A})=f(\boldsymbol{B})=1, f(\boldsymbol{A} \boldsymbol{B})=2, \text { 即有 } f(\boldsymbol{A} \boldsymbol{B})>f(\boldsymbol{A}) \cdot f(\boldsymbol{B}) f(A)=f(B)=1,f(AB)=2, 即有 f(AB)>f(A)f(B)
    不满足相容性,故不构成A的一种范数。

    若定义实值函数: ∥ A ∥ = m ⋅ n ⋅ max ⁡ i j ∣ a i j ∣ \|A\|=\sqrt{m \cdot n} \cdot \max _{i j}\left|a_{i j}\right| A=mn maxijaij, 则可验证其构成A的一种范数。

    定 义 6 \large\color{magenta}{\boxed{\color{brown}{定义 6} }} 6 称如下集合为矩阵 A ∈ C n × n \boldsymbol{A} \in \boldsymbol{C}^{\mathrm{n} \times n} ACn×n :
    σ ( A ) = { λ ∣ det ⁡ ( λ I − A ) = 0 } ​ \sigma(\boldsymbol{A})=\{\lambda \mid \operatorname{det}(\lambda \boldsymbol{I}-\boldsymbol{A})=0\}​ σ(A)={λdet(λIA)=0}
    称如下实数为矩阵 A ∈ C n × n A \in \mathrm{C}^{n \times n} ACn×n 的谱半径
    ρ ( A ) = max ⁡ i ∣ λ i ∣ \rho(\boldsymbol{A})=\max_i \mid \lambda_{i}\mid ρ(A)=imaxλi
    若矩阵为: A = ( a i j ) m × n \boldsymbol{A}=\left(\boldsymbol{a}_{i j}\right)_{m \times n} A=(aij)m×n, 则其复共轭矩阵为: A H = ( a ‾ j i ) m × n \boldsymbol{A}^{\boldsymbol{H}}=\left(\overline{\boldsymbol{a}}_{j i}\right)_{m \times n} AH=(aji)m×n ,即 A H = ( A T ) ‾ \boldsymbol{A}^{H}=\overline{\left(\boldsymbol{A}^{T}\right)} AH=(AT)

    如: A = ( i 0 0 i 1 + i 1 ) , A H = ( − i 0 1 − i 0 − i 1 ) \boldsymbol{A}=\left(\begin{array}{cc}i & 0 \\ 0 & i \\ 1+i & 1\end{array}\right), \boldsymbol{A}^{H}=\left(\begin{array}{ccc}-i & 0 & 1-i \\ 0 & -i & 1\end{array}\right) A=i01+i0i1,AH=(i00i1i1), 则注意到
    A H A = ( − i 0 1 − i 0 − i 1 ) ( i 0 0 i 1 + i 1 ) = ( 3 1 − i 1 + i 2 ) \boldsymbol{A}^{H} \boldsymbol{A}=\left(\begin{array}{ccc}-i & 0 & 1-i \\ 0 & -i & 1 \end{array}\right)\left(\begin{array}{cc}i & 0 \\ 0 & i \\ 1+i & 1 \end{array}\right)=\left(\begin{array}{cc}3 & 1-i \\ 1+i & 2\end{array}\right) AHA=(i00i1i1)i01+i0i1=(31+i1i2)

    A A H = ( i 0 0 i 1 + i 1 ) ( − i 0 1 − i 0 − i 1 ) = ( 1 0 1 + i 0 1 i 1 − i − i 3 ) \boldsymbol{A A}^{H}=\left(\begin{array}{cc}i & 0 \\ 0 & i \\ 1+i & 1 \end{array}\right) \left(\begin{array}{ccc}-i & 0 & 1-i \\ 0 & -i & 1\end{array}\right)= \left(\begin{array}{ccc}1 & 0 & 1+i \\ 0 & 1 & i \\ 1-i & -i & 3\end{array}\right) AAH=i01+i0i1(i00i1i1)=101i01i1+ii3

    为复对称半正定矩阵。

    现对任给 x = ( x 1 , x 2 , ⋯   , x n ) T ∈ C n \boldsymbol{x}=\left(\boldsymbol{x}_{1}, \boldsymbol{x}_{2}, \cdots, \boldsymbol{x}_{n}\right)^{T} \in \mathbf{C}^{n} x=(x1,x2,,xn)TCn, 设矩阵 A ∈ C m × n A \in \mathrm{C}^{m \times n} ACm×n,有

    (1) ( A H A ) H = A H ( A H ) H = A H A \left(\boldsymbol{A}^{H} \boldsymbol{A}\right)^{H}=\boldsymbol{A}^{H}\left(\boldsymbol{A}^{\boldsymbol{H}}\right)^{H}=\boldsymbol{A}^{H} \boldsymbol{A} (AHA)H=AH(AH)H=AHA

    (2) ( A H A x , x ) = x H ( A H A x ) \left(\boldsymbol{A}^{\boldsymbol{H}} \boldsymbol{A} \boldsymbol{x}, \boldsymbol{x}\right)=\boldsymbol{x}^{H}\left(\boldsymbol{A}^{H} \boldsymbol{A} \boldsymbol{x}\right) (AHAx,x)=xH(AHAx)
    = x H A H A x =\boldsymbol{x}^{H} \boldsymbol{A}^{H} \boldsymbol{A} \boldsymbol{x} =xHAHAx
    = ( A x ) H ( A x ) =(\boldsymbol{A} \boldsymbol{x})^{H}(\boldsymbol{A} \boldsymbol{x}) =(Ax)H(Ax)
    = ( A x , A x ) = ∥ A x ∥ 2 2 ≥ 0 =(\boldsymbol{A} \boldsymbol{x}, \boldsymbol{A} \boldsymbol{x})=\|\boldsymbol{A} \boldsymbol{x}\|_{2}^{2} \geq 0 =(Ax,Ax)=Ax220

    A H A A^{H} A AHA 为半正定复对称(Hermite)矩阵。 同理 A A H A A^{H} AAH 为半正定复对称(Hermite)矩阵。

    三、矩阵范数与向量范数的相容

    矩阵与向量的乘积在矩阵计算中经常出现,所以我们自然希望矩阵范数与向量范数之间最好有某种协调性。若将向量看作矩阵的特殊情形,那么由矩阵范数的相容性,我们便得到了这种协调性,即矩阵范数与向量范数的相容性

    定 义 7 \large\color{magenta}{\boxed{\color{brown}{定义 7} }} 7 对于一种矩阵范数 ∥ ⋅ ∥ M \|\cdot\|_{M} M 和一种向量范数 ∥ ⋅ ∥ V \|\cdot\|_{V} V 如果对任意 m × n m \times n m×n 矩阵 A A A 和任意 n n n 维向量 x x x, 满足
    ∥ A x ∥ V ≤ ∥ A ∥ M ∥ x ∥ V \|\boldsymbol{A} \boldsymbol{x}\|_{V} \leq\|\boldsymbol{A}\|_{M}\|\boldsymbol{x}\|_{V} AxVAMxV
    则称矩阵范数 ∥ ⋅ ∥ M \|\cdot\|_{M} M 与向量范数 ∥ ⋅ ∥ V \|\cdot\|_{V} V 是相容的。

    • 矩阵 m 1 m_{1} m1 范数与向量的 p p p -范数是相容的,即 ∥ A x ∥ p ≤ ∥ A ∥ m 1 ∥ x ∥ p \|\boldsymbol{A} \boldsymbol{x}\|_{p} \leq\|\boldsymbol{A}\|_{m_{1}}\|\boldsymbol{x}\|_{p} AxpAm1xp
    • 矩阵的 F F F -范数与向量的2-范数是相容的,即 ∥ A x ∥ 2 ≤ ∥ A ∥ F ∥ x ∥ 2 \|\boldsymbol{A} \boldsymbol{x}\|_{2} \leq\|\boldsymbol{A}\|_{F}\|\boldsymbol{x}\|_{2} Ax2AFx2

    可以证明任意一种矩阵范数必然存在与之相容的向量范数

    算子范数

    定 理 1 \large\color{magenta}{\boxed{\color{brown}{ 定理1 } }} 1 C n \mathbf{C}^{n} Cn 上的任何向量范数 ∥ ⋅ ∥ \|\cdot\| 均为的连续函数。

    最常用的矩阵范数为由下面定义引出的算子范数

    定 理 2 \large\color{magenta}{\boxed{\color{brown}{ 定理2 } }} 2 已知 C m C^{m} Cm C n C^{n} Cn 上的同类向量范数 ∥ ⋅ ∥ V , A \|\cdot\|_{V}, \boldsymbol{A} V,A m × n m \times n m×n 矩阵, 定义
    ∥ A ∥ M = max ⁡ x ≠ 0 ∥ A x ∥ V ∥ x ∥ V = max ⁡ ∥ x ∥ V = 1 ∥ A x ∥ V (3) \|\boldsymbol{A}\|_{M}=\max _{\boldsymbol{x} \neq 0} \frac{\|\boldsymbol{A} \boldsymbol{x}\|_{V}}{\|\boldsymbol{x}\|_{V}}=\max _{\|\boldsymbol{x}\|_{V}=1}\|\boldsymbol{A} \boldsymbol{x}\|_{V}\tag{3} AM=x=0maxxVAxV=xV=1maxAxV(3)
    ∥ A ∥ M \|\boldsymbol{A}\|_{M} AM 是一种矩阵范数, 且与已知的向量范数相容。

    我们称由关系式(1)定义的矩阵范数为从属向量范数的矩阵范数简称 从 属 范 数 \large\color{#70f3ff}{\boxed{\color{brown}{从属范数 } }} 算 子 范 数 \large\color{#70f3ff}{\boxed{\color{brown}{算子范数 } }}

    【证】:首先验证两中表达式的等价性,
    max ⁡ x ≠ 0 ∥ A x ∥ V ∥ x ∥ V = max ⁡ x ≠ 0 ( 1 ∥ x ∥ V ⋅ ∥ A x ∥ V ) = max ⁡ x ≠ 0 ∥ A ( x ∥ x ∥ V ) ∥ V = max ⁡ ∥ y ∥ V = 1 ∥ A y ∥ V \max _{\boldsymbol{x} \neq 0} \frac{\|\boldsymbol{A} \boldsymbol{x}\|_{V}}{\|\boldsymbol{x}\|_{V}} =\max _{\boldsymbol{x} \neq 0}\left(\frac{1}{\|\boldsymbol{x}\|_{V}} \cdot\|\boldsymbol{A} \boldsymbol{x}\|_{V}\right)=\max _{\boldsymbol{x} \neq 0}\left\|\boldsymbol{A} \left(\frac{\boldsymbol{x}}{\|\boldsymbol{x}\|_{V}}\right)\right\|_{V }=\max _{\| \boldsymbol{y}\|_{V} =1}\|\boldsymbol{A} \boldsymbol{y}\|_{V} x=0maxxVAxV=x=0max(xV1AxV)=x=0maxA(xVx)V=yV=1maxAyV
    注意到
    y = x ∥ x ∥ V , ∥ y ∥ V = ∥ x ∥ x ∥ V ∥ V = ∥ x ∥ V ∥ x ∥ V = 1 y=\frac{\boldsymbol{x}}{\|\boldsymbol{x}\|_{V}},\|y\|_{V}=\left\|\frac{\boldsymbol{x}}{\|\boldsymbol{x}\|_{V}}\right\|_{V}=\frac{\|\boldsymbol{x}\|_{V}}{\|\boldsymbol{x}\|_{V}}=1 y=xVx,yV=xVxV=xVxV=1
    其次验证 ∥ A ∥ M \|A\|_{M} AM 与从属的向量范数相容,由(3)立刻可得到 ∥ A x ∥ V ∥ x ∥ V ≤ ∥ A ∥ M \frac{\|\boldsymbol{A} \mathbf{x}\|_{V}}{\|\boldsymbol{x}\|_{V}} \leq\|\boldsymbol{A}\|_{M} xVAxVAM ∥ A x ∥ V ≤ ∥ A ∥ M ∥ x ∥ V \|\boldsymbol{A} \boldsymbol{x}\|_{V} \leq\|\boldsymbol{A}\|_{M}\|\boldsymbol{x}\|_{V} AxVAMxV 即相容关系成立。

    由于 ∥ A x ∥ V \|\boldsymbol{A} \boldsymbol{x}\|_{V} AxV C n \mathbf{C}^{n} Cn 中的有界闭集 D = { x ∣ ∥ x ∥ V = 1 , x ∈ C n } \mathbf{D}=\left\{\boldsymbol{x} \mid\|\boldsymbol{x}\|_{V}=1, \boldsymbol{x} \in \mathbf{C}^{n}\right\} D={xxV=1,xCn} 上的连续函数,

    故对每一个矩阵 A \boldsymbol{A} A 而言,都能够找到向量 x 0 \boldsymbol{x}_{0} x0 ,使得 ∥ x 0 ∥ V = 1 \left\|\boldsymbol{x}_{0}\right\|_{V}=1 x0V=1, 而且
    ∥ A ∥ M = ∥ A x 0 ∥ V = max ⁡ ∥ x ∥ V = 1 ∥ A x ∥ \|\boldsymbol{A}\|_{M}=\left\|\boldsymbol{A} \boldsymbol{x}_{0}\right\|_{V}=\max _{\|x\|_{V}=1}\|\boldsymbol{A} \boldsymbol{x}\| AM=Ax0V=xV=1maxAx
    下面证明 ∥ A M \| A_{M} AM 是一种矩阵范数。

    (1) 非负性,当 A = 0 A=0 A=0 时, 对任意 x ∈ C n x \in \mathbf{C}^{n} xCn, 有 ∥ A X ∥ V = 0 \|\boldsymbol{A} \boldsymbol{X}\|_{V}=0 AXV=0, 从而得 ∥ A ∥ M = 0 \|A\|_{M}=0 AM=0;

    而当 A ≠ 0 \boldsymbol{A} \neq 0 A=0 时,存在 x 0 ∈ C n \boldsymbol{x}_{0} \in \mathbf{C}^{n} x0Cn, 使 A x 0 ≠ 0 \boldsymbol{A} \boldsymbol{x}_{0} \neq 0 Ax0=0, 从而 ∥ A ∥ M ≥ ∥ A x 0 ∥ V ∥ x 0 ∥ V > 0 \|A\|_{M} \geq \frac{\left\|\boldsymbol{A} \boldsymbol{x}_{0}\right\|_{V}}{\left\|\boldsymbol{x}_{0}\right\|_{V}}>0 AMx0VAx0V>0

    (2) 齐次性, 对任意的 α ∈ C \alpha \in \mathbf{C} αC,有
    ∥ A ∥ M = max ⁡ x ≠ 0 ∥ ( α A ) x ∥ V ∥ x ∥ V = ∣ α ∣ ⋅ max ⁡ x ≠ 0 ∥ A x ∥ V ∥ x ∥ V = ∣ α ∣ ⋅ ∥ A ∥ M \|\boldsymbol{A}\|_{M}=\max _{\boldsymbol{x} \neq 0} \frac{\|(\alpha \boldsymbol{A}) \boldsymbol{x}\|_{V}}{\|\boldsymbol{x}\|_{V}}=|\alpha| \cdot \max _{\boldsymbol{x} \neq 0} \frac{\|\boldsymbol{A} \boldsymbol{x}\|_{V}}{\|\boldsymbol{x}\|_{V}}=|\alpha| \cdot\|\boldsymbol{A}\|_{M} AM=x=0maxxV(αA)xV=αx=0maxxVAxV=αAM
    (3) 三角不等式, 假设 A A A B \boldsymbol{B} B 分别为 m × n m \times n m×n 阶矩阵,则
    ∥ A + B ∥ M = max ⁡ ∥ x ∥ V = 1 ∥ ( A + B ) x ∥ V = max ⁡ ∥ x ∥ V = 1 ∥ A x + B x ∥ V ≤ max ⁡ ∥ x ∥ V = 1 ∥ A x ∥ V + max ⁡ ∥ x ∥ V = 1 ∥ B x ∥ V ≤ ∥ A ∥ M + ∥ B ∥ M \begin{aligned} \|\boldsymbol{A}+\boldsymbol{B}\|_{M} &=\max _{\|x\|_{V}=1}\|(\boldsymbol{A}+\boldsymbol{B}) \boldsymbol{x}\|_{V}=\max _{\|x\|_{V}=1}\|\boldsymbol{A} \boldsymbol{x}+\boldsymbol{B} \boldsymbol{x}\|_{V} \\ & \leq \max _{\|x\|_{V}=1}\|\boldsymbol{A} \boldsymbol{x}\|_{V}+\max _{\|x\|_{V}=1}\|\boldsymbol{B} \boldsymbol{x}\|_{V} \leq\|A\|_{M}+\|\boldsymbol{B}\|_{M} \end{aligned} A+BM=xV=1max(A+B)xV=xV=1maxAx+BxVxV=1maxAxV+xV=1maxBxVAM+BM
    (4) 相容性, A B = 0 \boldsymbol{A} \boldsymbol{B}=0 AB=0 时, A = ( 1 0 0 0 ) , B = ( 0 0 0 1 ) , A B = ( 0 0 0 0 ) \boldsymbol{A}=\left(\begin{array}{ll}1 & 0 \\ 0 & 0\end{array}\right), \boldsymbol{B}=\left(\begin{array}{ll}0 & 0 \\ 0 & 1\end{array}\right), \boldsymbol{A} \boldsymbol{B}=\left(\begin{array}{ll}0 & 0 \\ 0 & 0\end{array}\right) A=(1000),B=(0001),AB=(0000),
    ∥ A B ∥ M = 0 , ∥ A ∥ M ∥ B ∥ M ≥ 0 \|A B\|_{M}=0, \quad\|A\|_{M}\|\boldsymbol{B}\|_{M} \geq 0 ABM=0,AMBM0
    显然, ∥ A B ∥ M ≤ ∥ A ∥ M ⋅ ∥ B ∥ M \|\boldsymbol{A} \boldsymbol{B}\|_{M} \leq\|\boldsymbol{A}\|_{M} \cdot\|\boldsymbol{B}\|_{M} ABMAMBM

    A B ≠ 0 \boldsymbol{A B} \neq 0 AB=0, 且又假设 A \boldsymbol{A} A B \boldsymbol{B} B 分别为 m × 1 m \times 1 m×1 I × n I \times n I×n 阶矩阵,令 y = B x ≠ 0 \boldsymbol{y}=\boldsymbol{B} \boldsymbol{x} \neq 0 y=Bx=0

    因此
    ∥ A B ∥ M = max ⁡ ∥ x ∥ V = 1 ∥ ( A B ) x ∥ V = max ⁡ ∥ x ∥ V = 1 ∥ ( A B ) x ∥ V ∥ B x ∥ V ∥ B x ∥ V ≤ max ⁡ y ≠ 0 ∥ A y ∥ V ∥ y ∥ V max ⁡ ∥ x ∥ V = 1 ∥ B x ∥ M ≤ ∥ A ∥ M ∥ B ∥ M \begin{aligned} \|\boldsymbol{A} \boldsymbol{B}\|_{M} &=\max _{\|x\|_{V}=1} \|(\boldsymbol{A} \boldsymbol{B}) \boldsymbol{x}\|_{V}=\max _{\|x\|_{V}=1} \frac{\|(\boldsymbol{A} \boldsymbol{B}) \boldsymbol{x}\|_{V}}{\|\boldsymbol{B} \boldsymbol{x}\|_{V}} \|\boldsymbol{B} \boldsymbol{x}\|_{V}\\ & \leq \max _{y \neq 0} \frac{\|\boldsymbol{A} \boldsymbol{y}\|_{V}}{\|\boldsymbol{y}\|_{V}} \max _{\|x\|_{V}=1}\|\boldsymbol{B} \boldsymbol{x}\|_{M} \leq\|\boldsymbol{A}\|_{M}\|\boldsymbol{B}\|_{M} \end{aligned} ABM=xV=1max(AB)xV=xV=1maxBxV(AB)xVBxVy=0maxyVAyVxV=1maxBxMAMBM
    因此, ∥ ⋅ ∥ M \|\cdot\|_{M} M 是一种矩阵范数,并且是一种与向量范数 ∥ ⋅ ∥ V \|\cdot\|_{V} V 相容的矩阵范数。

    在向量范数中,最常用的范数为向量的1-范数、2-范数和 ∞ \infty -范数, 下面分别给出从属这三种向量范数的矩阵范数。

    定 理 3 \large\color{magenta}{\boxed{\color{brown}{ 定理3 } }} 3几种常用的算子范数

    (1) (列和范数 ) ) )
    ∥ A ∥ 1 = max ⁡ 1 ≤ j ≤ n ∑ i = 1 m ∣ a i j ∣ \|\boldsymbol{A}\|_{1}=\max _{1 \leq j \leq n} \sum_{i=1}^{m}\left|a_{i j}\right| A1=1jnmaxi=1maij
    (2) (行和范数)
    ∥ A ∥ ∞ = max ⁡ 1 ≤ i ≤ m ∑ j = 1 n ∣ a i j ∣ \quad\|A\|_{\infty}=\max _{1 \leq i \leq m} \sum_{j=1}^{n}\left|a_{i j}\right| A=1immaxj=1naij
    (3) (谱范数)
    ∥ A ∥ 2 = λ max ⁡ ( A H A ) \|A\|_{2}=\sqrt{\lambda_{\max }\left(\boldsymbol{A}^{H} \boldsymbol{A}\right)} A2=λmax(AHA)
    其中 λ max ⁡ ( A H A ) \lambda_{\max }\left(\boldsymbol{A}^{H} \boldsymbol{A}\right) λmax(AHA) 表示矩阵 A H A \boldsymbol{A}^{H} \boldsymbol{A} AHA 的最大特征值,即最大奇异值; ( \left(\right. ( ρ ( A H A ) ) \left.\sqrt{\rho\left(\boldsymbol{A}^{H} \boldsymbol{A}\right)}\right) ρ(AHA) )

    推 论 1 \large\color{magenta}{\boxed{\color{brown}{ 推论1 } }} 1: 对任何算子范数,单位矩阵 I ∈ R n × n \boldsymbol{I} \in \mathbf{R}^{n \times n} IRn×n 的范数值为1,即
    ∥ I ∥ = 1 \|\boldsymbol{I}\|=1 I=1
    事实上
    ∥ I ∥ = max ⁡ x ≠ 0 ∥ x ∥ ∥ x ∥ = max ⁡ x ≠ 0 ∥ x ∥ ∥ x ∥ = 1 \begin{aligned} \|\boldsymbol{I}\|=\max _{\boldsymbol{x} \neq 0} \frac{\|\boldsymbol{x}\|}{\|\boldsymbol{x}\|}=\max _{\boldsymbol{x} \neq 0} \frac{\|\boldsymbol{x}\|}{\|\boldsymbol{x}\|}=1 \end{aligned} I=x=0maxxx=x=0maxxx=1
    特别地, ∥ A ∥ m 1 , ∥ A ∥ F \|\boldsymbol{A}\|_{m_{1}},\|\boldsymbol{A}\|_{F} Am1,AF 不是算子范数。

    事实上
    ∥ I ∥ m 1 = ∑ i = 1 n ∑ j = 1 n ∣ a i j ∣ = ∑ i = 1 n 1 = n ≠ 1 \|\boldsymbol{I}\|_{m_{1}}=\sum_{i=1}^{n} \sum_{j=1}^{n}\left|a_{i j}\right|=\sum_{i=1}^{n} 1=n \neq 1 Im1=i=1nj=1naij=i=1n1=n=1

    ∥ I ∥ F = ∑ i = 1 n ∑ j = 1 n ∣ a i j ∣ 2 = ∑ i = 1 n 1 2 = n ≠ 1 \|\boldsymbol{I}\|_{F}=\sqrt{\sum_{i=1}^{n} \sum_{j=1}^{n}\left|a_{i j}\right|^{2}}=\sqrt{\sum_{i=1}^{n} 1^{2}}=\sqrt{n} \neq 1 IF=i=1nj=1naij2 =i=1n12 =n =1

    例 2 \Large\color{violet}{例2} 2: 设 A = ( 1 0 2 4 − 2 4 ) \boldsymbol{A}=\left(\begin{array}{cc}1 & 0 \\ 2 & 4 \\ -2 & 4\end{array}\right) A=122044, 求 ∥ A ∥ 1 , ∥ A ∥ ∞ , ∥ A ∥ 2 , ∥ A ∥ m 1 , ∥ A ∥ F \|\boldsymbol{A}\|_{1},\|\boldsymbol{A}\|_{\infty},\|\boldsymbol{A}\|_{2},\|\boldsymbol{A}\|_{m_{1}},\|\boldsymbol{A}\|_{F} A1,A,A2,Am1,AF
    ∥ A ∥ 1 = max ⁡ 1 ≤ j ≤ 2 ∑ i = 1 3 ∣ a i j ∣ = max ⁡ 1 ≤ j ≤ n { 5 , 8 } = 8 ∥ A ∥ ∞ = max ⁡ 1 ≤ i ≤ 3 ∑ j = 1 2 ∣ a i j ∣ = max ⁡ 1 ≤ j ≤ n { 1 , 6 , 6 } = 6 ∥ A ∥ m 1 = ∑ i = 1 3 ∑ j = 1 2 ∣ a i j ∣ = 1 + 2 + 4 + ∣ − 2 ∣ + 4 = 13 ∥ A ∥ F = ∑ i = 1 3 ∑ j = 1 2 ∣ a i j ∣ 2 = 1 + 2 2 + 4 2 + ∣ − 2 ∣ 2 + 4 2 = 41 \begin{aligned}& \|\boldsymbol{A}\|_{1}=\max _{1 \leq j \leq 2} \sum_{i=1}^{3}\left|a_{i j}\right|=\max _{1 \leq j \leq n}\{5,8\}=8 \\ & \|\boldsymbol{A}\|_{\infty}=\max _{1 \leq i \leq 3} \sum_{j=1}^{2}\left|a_{i j}\right|=\max _{1 \leq j \leq n}\{1,6,6\}=6 \\ & \|\boldsymbol{A}\|_{m_{1}}=\sum_{i=1}^{3} \sum_{j=1}^{2}\left|a_{i j}\right|=1+2+4+|-2|+4=13 \\ & \|\boldsymbol{A}\|_{F}=\sqrt{\sum_{i=1}^{3} \sum_{j=1}^{2}\left|a_{i j}\right|^{2}}=\sqrt{1+2^{2}+4^{2}+|-2|^{2}+4^{2}}=\sqrt{41}\end{aligned} A1=1j2maxi=13aij=1jnmax{5,8}=8A=1i3maxj=12aij=1jnmax{1,6,6}=6Am1=i=13j=12aij=1+2+4+2+4=13AF=i=13j=12aij2 =1+22+42+22+42 =41
    现在计算 ∥ A ∥ 2 \|\boldsymbol{A}\|_{2} A2, 首先,计算
    A T A = ( 1 2 − 2 0 4 4 ) ( 1 0 2 4 − 2 4 ) = ( 9 0 0 32 ) \boldsymbol{A}^{\boldsymbol{T}} \boldsymbol{A}=\left(\begin{array}{ccc} 1 & 2 & -2 \\ 0 & 4 & 4 \end{array}\right)\left(\begin{array}{cc} 1 & 0 \\ 2 & 4 \\ -2 & 4 \end{array}\right)=\left(\begin{array}{cc} 9 & 0 \\ 0 & 32 \end{array}\right) ATA=(102424)122044=(90032)
    det ⁡ ( λ I − A T A ) = ∣ λ − 9 0 0 λ − 32 ∣ = ( λ − 9 ) ( λ − 32 ) = 0 \quad \operatorname{det}\left(\lambda \boldsymbol{I}-\boldsymbol{A}^{T} \boldsymbol{A}\right)=\left|\begin{array}{cc}\lambda-9 & 0 \\ 0 & \lambda-32\end{array}\right|=(\lambda-9)(\lambda-32)=0 det(λIATA)=λ900λ32=(λ9)(λ32)=0

    ∥ A ∥ 2 = λ max ⁡ ( A T A ) = 32 = 4 2 \|\boldsymbol{A}\|_{2}=\sqrt{\lambda_{\max }\left(\boldsymbol{A}^{T} \boldsymbol{A}\right)}=\sqrt{32}=4 \sqrt{2} A2=λmax(ATA) =32 =42

    矩阵范数具有向量范数的一切性质

    定 理 4 \large\color{magenta}{\boxed{\color{brown}{ 定理4 } }} 4 (矩阵范数的等价性定理)

    ∥ ⋅ ∥ β \|\cdot\|_{\beta} β ∥ ⋅ ∥ α \|\cdot\|_{\alpha} α C m × n \mathbf{C}^{m \times n} Cm×n 上的任意两种矩阵范数, 则存在两个与矩阵无关的正常数 C 1 > 0 \boldsymbol{C}_{1}>0 C1>0 C 2 > 0 \boldsymbol{C}_{2}>0 C2>0, 使得下面的不等式 成立
    c 1 ∥ A ∥ β ≤ ∥ A ∥ α ≤ c 2 ∥ A ∥ β c_{1}\|A\|_{\beta} \leq\|\boldsymbol{A}\|_{\alpha} \leq c_{2}\|\boldsymbol{A}\|_{\beta} c1AβAαc2Aβ
    并称 ∥ ⋅ ∥ α \|\cdot\|_{\alpha} α ∥ ⋅ ∥ β \|\cdot\|_{\beta} β C m × n \mathbf{C}^{m \times n} Cm×n 上的等价范数。

    由向矩阵范数的等价性可知
    lim ⁡ A → 0 ∥ A ∥ α = 0 ⟹ lim ⁡ A → 0 ∥ A ∥ β = 0 \lim _{\boldsymbol{A} \rightarrow \boldsymbol{0}}\|\boldsymbol{A}\|_{\alpha}=0 \Longrightarrow \lim _{\boldsymbol{A} \rightarrow \boldsymbol{0}}\|\boldsymbol{A}\|_{\beta}=0 A0limAα=0A0limAβ=0
    可以证明:

    1. 任意给定的矩阵范数必然存在与之相容的向量范数;任意给定的向量范数必然存在与之相容的矩阵范数。(如从属范数)

    2. 一个矩阵范数可以与多种向量范数相容; (矩阵的 m 1 m_1 m1-范数与向量的 p p p -范数相容)

    多种矩阵范数可以与一个向量范数相容。(矩阵的F范数、2-范数与向量的2-范数相容)

    1. 从属范数一定与所定义的向量范数相容,但是矩阵范数与向量范数相容却未必有从属关系。(矩阵的F-范数与向量的2范数相容,但无从属关系)
    2. 并非任意的矩阵范数与任意的向量范数相容。

    矩阵2范数小于等于其F范数, 证明如下:

    x = ∑ j = 1 n c j e j {x} = \sum_{j=1}^n c_j e_j x=j=1ncjej, 其中 e j {e}_j ej是基向量, c j c_j cj x {x} x对应于该向量的坐标。不失一般性,令 x {x} x归一化为单位长度,即 ∣ ∣ x ∣ ∣ 2 = 1 ||{x}||_2= 1 x2=1,比如 ∑ j ∣ c j ∣ 2 = 1 \sum_j|c_j|^2=1 jcj2=1, 则:
    ∣ ∣ A x ∣ ∣ 2 = ∣ ∣ ∑ j c j A e j ∣ ∣ 2 2 ≤ ( ∑ j ∣ c j ∣   ∣ ∣ A e j ∣ ∣ 2 ) 2 ≤ ( ∑ j ∣ c j ∣ 2 ) ∑ j ∣ ∣ A e j ∣ ∣ 2 2 = ∑ j ∣ ∣ A e j ∣ ∣ 2 2 = ∣ ∣ A ∣ ∣ F 2 ||A{x}||^2 = ||\sum_jc_jA {e}_j||_2^2\le(\sum_j |c_j| \ ||A{e}_j||_2)^2\le (\sum_j |c_j|^2)\sum_j||A{e}_j||^2_2=\sum_j||A{e}_j||^2_2=||A||_F^2 Ax2=jcjAej22(jcj Aej2)2(jcj2)jAej22=jAej22=AF2

    其中,第一个 ≤ \le 是利用三角不等式得到的,第二个 ≤ \le 是利用了Cauchy-Schwarz不等式 ( ∣ < u , v > ∣ ≤ ∣ ∣ u ∣ ∣   ∣ ∣ v ∣ ∣ ) (|\left <{u}, {v} \right>|\le||{u}||\ ||{v}||) u,vu v

    因为 x {x} x是任意的,则得到: ∣ ∣ A ∣ ∣ 2 ≤ ∣ ∣ A ∣ ∣ F ||A||_2\le||A||_F A2AF

    矩阵范数与向量范数不相容的例子:


    A = ( 1 1 0 0 ) , x = ( 1 1 ) \boldsymbol{A}=\left(\begin{array}{ll} 1 & 1 \\ 0 & 0 \end{array}\right), \boldsymbol{x}=\left(\begin{array}{l} 1 \\ 1 \end{array}\right) A=(1010),x=(11<