矩阵范数 订阅
矩阵范数(matrix norm)是数学中矩阵论、线性代数、泛函分析等领域中常见的基本概念,是将一定的矩阵空间建立为赋范向量空间时为矩阵装备的范数。应用中常将有限维赋范向量空间之间的映射以矩阵的形式表现,这时映射空间上装备的范数也可以通过矩阵范数的形式表达。矩阵范数却不存在公认唯一的度量方式。 [1] 展开全文
矩阵范数(matrix norm)是数学中矩阵论、线性代数、泛函分析等领域中常见的基本概念,是将一定的矩阵空间建立为赋范向量空间时为矩阵装备的范数。应用中常将有限维赋范向量空间之间的映射以矩阵的形式表现,这时映射空间上装备的范数也可以通过矩阵范数的形式表达。矩阵范数却不存在公认唯一的度量方式。 [1]
信息
规    定
必须满足相容性
应用学科
数学
别    名
相容范数
中文名
矩阵范数
性    质
正定性,齐次性和三角不等式
外文名
matrix norm
矩阵范数定义
一个在 的矩阵上的矩阵范数(matrix norm)是一个从 线性空间到实数域上的一个函数,记为|| ||,它对于任意的 矩阵A和B及所有实数a,满足以下四条性质: [1]  在一些教科书上定义的矩阵范数是对于 阶矩阵的,这种定义往往要求矩阵满足相容性,即5.||AB||<=||A|| ||B||. (相容性)在本文中,对于矩阵范数的定义仅要求前4条性质,而满足第5个性质的矩阵范数称为服从乘法范数(sub-multiplicative norm)一般来讲矩阵范数除了正定性,齐次性和三角不等式之外,还规定其必须满足相容性:║XY║≤║X║║Y║。所以矩阵范数通常也称为相容范数。 如果║·║α是相容范数,且任何满足║·║β≤║·║α的范数║·║β都不是相容范数,那么║·║α称为极小范数。对于n阶实方阵(或复方阵)全体上的任何一个范数║·║,总存在唯一的实数k>0,使得k║·║是极小范数。注:如果不考虑相容性,那么矩阵范数和向量范数就没有区别,因为m*n矩阵全体和m*n维向量空间同构。引入相容性主要是为了保持矩阵作为线性算子的特征,这一点和算子范数的相容性一致,并且可以得到Mincowski定理以外的信息。
收起全文
精华内容
下载资源
问答
  • 矩阵范数不等式
    2021-11-30 14:14:34

    矩阵范数不等式

    ∣ ∣ A ∣ ∣ 2 ≤ ∣ ∣ A ∣ ∣ 1 ∣ ∣ A ∣ ∣ ∞ ||A||_2 \le ||A||_1||A||_{\infty} A2A1A

    证明

    引理1 严格对角占优的矩阵行列式为正

    n维实矩阵A, 满足
    a i i > ∑ 1 ≤ j ≤ n , j ≠ i ∣ a i j ∣ a_{ii}\gt \sum_{1\le j\le n, j\ne i}|a_{ij}| aii>1jn,j=iaij
    则称A为严格对角占优的矩阵,而
    ∣ A ∣ > 0 |A|>0 A>0

    引理1的证明

    对矩阵A的维数n使用数学归纳法证明

    1° 当n=1时,显然成立

    2° 假设当n=k时,显然成立

    当n=k+1时,

    A = [ a 11 b ⃗ 1 T b ⃗ 2 C ] A = \left[ \begin{matrix} a_{11} & \vec b_1^T\\ \vec b_2 & C\\ \end{matrix} \right] A=[a11b 2b 1TC]
    严格对角占优条件得到, a 11 > 0 a_{11} \gt 0 a11>0,所以通过行的初等变换,将 b ⃗ 2 \vec b2 b 2转换为 0 ⃗ \vec 0 0 ,此时C变为 C ′ { c i j ′ } C'\{c'_{ij}\} C{cij},取任一行i-1行
    c i − 1   j − 1 ′ = 1 a 1   1 ( a 1   1 a i j − a 1 j a i 1 ) c'_{i-1\ j-1} = \frac 1{a_{1\ 1}}({a_{1\ 1}a_{ij} - a_{1j}a_{i1}}) ci1 j1=a1 11(a1 1aija1jai1)
    所以
    ∑ 2 ≤ j ≤ n , j ≠ i ∣ c i − 1   j − 1 ′ ∣ = ∑ 2 ≤ j ≤ n , j ≠ i 1 a 1   1 ∣ a 1   1 a i j − a 1 j a i 1 ∣ ≤ ∑ 2 ≤ j ≤ n , j ≠ i ∣ a i j ∣ + ∣ a i 1 ∣ a 1   1 ∑ 2 ≤ j ≤ n , j ≠ i ∣ a 1 j ∣ < a i i − ∣ a i 1 ∣ + ∣ a i 1 ∣ − ∣ a i 1 ∣ ∣ a 1 i ∣ a 1   1 = a i i − ∣ a i 1 ∣ ∣ a 1 i ∣ a 1   1 \begin{aligned} \sum_{2\le j \le n, j\ne i}|c'_{i-1\ j-1}| &= \sum_{2\le j \le n, j\ne i} \frac 1{a_{1\ 1}}|{a_{1\ 1}a_{ij} - a_{1j}a_{i1}}|\\ &\le \sum_{2\le j \le n, j\ne i} |a_{ij}| + \frac {|a_{i1}|}{a_{1\ 1}} \sum_{2\le j \le n, j\ne i}|a_{1j}|\\ &\lt a_{ii} - |a_{i1}| + |a_{i1}| - \frac {|a_{i1}||a_{1i}|}{a_{1\ 1}} \\ &= a_{ii} - \frac {|a_{i1}||a_{1i}|}{a_{1\ 1}} \end{aligned} 2jn,j=ici1 j1=2jn,j=ia1 11a1 1aija1jai12jn,j=iaij+a1 1ai12jn,j=ia1j<aiiai1+ai1a1 1ai1a1i=aiia1 1ai1a1i

    c i − 1   i − 1 ′ = 1 a 1   1 ( a 1   1 a i i − a 1 i a i 1 ) ≥ a i i − ∣ a i 1 ∣ ∣ a 1 i ∣ a 1   1 c'_{i-1\ i-1} = \frac 1{a_{1\ 1}}({a_{1\ 1}a_{ii} - a_{1i}a_{i1}})\ge a_{ii} - \frac {|a_{i1}||a_{1i}|}{a_{1\ 1}} ci1 i1=a1 11(a1 1aiia1iai1)aiia1 1ai1a1i
    所以
    c i − 1   i − 1 ′ > ∑ 2 ≤ j ≤ n , j ≠ i ∣ c i − 1   j − 1 ′ ∣ c'_{i-1\ i-1} \gt \sum_{2\le j \le n, j\ne i}|c'_{i-1\ j-1}| ci1 i1>2jn,j=ici1 j1
    所以C’是严格对角占优矩阵, C’的维数是k,所以|C’|>0, 而 ∣ A ∣ = a 1   1 ∣ C ′ ∣ |A| = a_{1\ 1}|C'| A=a1 1C 所以|A|>0成立。

    综合1° 2°, ∣ A ∣ > 0 |A|>0 A>0

    原命题证明

    C { c i j } = A T A C\{c_{ij}\} = A^TA C{cij}=ATA,则 A T A A^TA ATA的特征多项式f(λ)
    f ( λ ) = ∣ λ E − C ∣ f(λ) = |λE - C| f(λ)=λEC
    任取 λ ′ > ∣ ∣ A ∣ ∣ 1 ∣ ∣ A ∣ ∣ ∞ λ' \gt ||A||_1||A||_{\infty} λ>A1A, 令 D { d i j } = λ ′ E − C A D\{d_{ij}\} = λ'E - CA D{dij}=λECA
    d i i = λ ′ − c i i d_{ii} = λ' - c_{ii} dii=λcii
    d i j = c i j , j ≠ i d_{ij} = c_{ij}, j\ne i dij=cij,j=i
    d i i − ∑ 1 ≤ j ≤ n , j ≠ i ∣ d i j ∣ ≤ λ ′ − ∑ j = 1 n ∣ c i j ∣ d_{ii} - \sum_{1\le j \le n, j\ne i} |d_{ij}| \le λ' - \sum_{j=1}^n |c_{ij}| dii1jn,j=idijλj=1ncij

    ∣ c i j ∣ = ∣ ∑ k = 1 n a k i a j k ∣ ≤ ∑ k = 1 n ∣ a k i ∣ ∣ a j k ∣ |c_{ij}| = |\sum_{k=1}^n a_{ki}a{jk}| \le \sum_{k=1}^n |a_{ki}||a_{jk}| cij=k=1nakiajkk=1nakiajk
    所以
    ∑ j = 1 n ∣ c i j ∣ ≤ ∑ j = 1 n ∑ k = 1 n ∣ a k i ∣ ∣ a j k ∣ = ∑ k = 1 n ( ∣ a k i ∣ ∑ j = 1 n ∣ a j k ∣ ) ≤ ∑ k = 1 n ( ∣ a k i ∣ ∣ ∣ A ∣ ∣ ∞ ) = ∣ ∣ A ∣ ∣ ∞ ∑ k = 1 n ∣ a k i ∣ ≤ ∣ ∣ A ∣ ∣ ∞ ∣ ∣ A ∣ ∣ 1 \begin{aligned} \sum_{j=1}^n |c_{ij}| &\le \sum_{j=1}^n\sum_{k=1}^n |a_{ki}||a_{jk}|\\ &=\sum_{k=1}^n(|a_{ki}|\sum_{j=1}^n |a_{jk}|) \\ &\le \sum_{k=1}^n(|a_{ki}|||A||_{\infty}) \\ &= ||A||_{\infty} \sum_{k=1}^n|a_{ki}| \\ &\le ||A||_{\infty} ||A||_1 \end{aligned} j=1ncijj=1nk=1nakiajk=k=1n(akij=1najk)k=1n(akiA)=Ak=1nakiAA1
    所以
    d i i − ∑ 1 ≤ j ≤ n , j ≠ i ∣ d i j ∣ ≥ λ ′ − ∣ ∣ A ∣ ∣ ∞ ∣ ∣ A ∣ ∣ 1 > 0 d_{ii} - \sum_{1\le j \le n, j\ne i} |d_{ij}| \ge λ' - ||A||_{\infty} ||A||_1 \gt 0 dii1jn,j=idijλAA1>0
    所以D是严格对角占优矩阵,根据引理1,得到|D|>0,最后得到f(λ’)>0.

    A T A A^TA ATA的最大特征值为 λ m a x λ_{max} λmax,而f(λ_max) = 0,所以 λ m a x ≤ ∣ ∣ A ∣ ∣ 1 ∣ ∣ A ∣ ∣ ∞ λ_{max} \le ||A||_1||A||_{\infty} λmaxA1A
    所以
    ∣ ∣ A ∣ ∣ 2 = λ m a x ≤ ∣ ∣ A ∣ ∣ 1 ∣ ∣ A ∣ ∣ ∞ ||A||_2 = λ_{max} \le ||A||_1||A||_{\infty} A2=λmaxA1A

    1-范数相容性

    A是mxn矩阵,B是nxs矩阵,则
    ∣ ∣ A B ∣ ∣ 1 ≤ ∣ ∣ A ∣ ∣ 1   ∣ ∣ B ∣ ∣ 1 ||AB||_1 \le ||A||_1\ ||B||_1 AB1A1 B1

    证明

    C { c i j } = A B C\{c_{ij}\} = AB C{cij}=AB,则
    c i j = ∑ k = 1 n a i n b n j c_{ij} = \sum_{k=1}^na_{in}b{nj} cij=k=1nainbnj
    所以
    ∑ i = 0 m ∣ c i j ∣ = ∣ ∑ i = 0 ∑ k = 1 n a i n b n j ∣ ≤ ∑ k = 1 n ( ∣ b n j ∣ ∑ i = 0 m ∣ a i n ∣ ) ≤ ∑ k = 1 n ( ∣ b n j ∣ ∣ ∣ A ∣ ∣ 1 ) = ∣ ∣ A ∣ ∣ 1 ∑ k = 1 n ∣ b n j ≤ ∣ ∣ A ∣ ∣ 1   ∣ ∣ B ∣ ∣ 1 \begin{aligned} \sum_{i=0}^m |c_{ij}| &= |\sum_{i=0} \sum_{k=1}^na_{in}b{nj}| \\ &\le \sum_{k=1}^n (|b_{nj}| \sum_{i=0}^m |a_{in}|) \\ &\le \sum_{k=1}^n (|b_{nj}| ||A||_1) \\ &= ||A||_1 \sum_{k=1}^n |b_{nj} \\ &\le ||A||_1\ ||B||_1 \end{aligned} i=0mcij=i=0k=1nainbnjk=1n(bnji=0main)k=1n(bnjA1)=A1k=1nbnjA1 B1
    所以
    ∣ ∣ A B ∣ ∣ 1 ≤ ∣ ∣ A ∣ ∣ 1   ∣ ∣ B ∣ ∣ 1 ||AB||_1\le ||A||_1\ ||B||_1 AB1A1 B1

    2-范数相容性

    A是mxn矩阵,B是nxs矩阵,则
    ∣ ∣ A B ∣ ∣ 2 ≤ ∣ ∣ A ∣ ∣ 2   ∣ ∣ B ∣ ∣ 2 ||AB||_2 \le ||A||_2\ ||B||_2 AB2A2 B2

    证明

    任取一个s维向量 x ⃗ \vec x x 满足 ∣ ∣ x ⃗ ∣ ∣ 2 = 1 ||\vec x||_2 = 1 x 2=1,则
    ∣ ∣ B x ⃗ ∣ ∣ 2 ≤ ∣ ∣ B ∣ ∣ 2 ||B\vec x||_2 \le ||B||_2 Bx 2B2

    y ⃗ = B x ⃗ ∣ ∣ B x ⃗ ∣ ∣ 2 \vec y = \frac{B\vec x}{||B\vec x||_2} y =Bx 2Bx

    ∣ ∣ A y ⃗ ∣ ∣ 2 ≤ ∣ ∣ A ∣ ∣ 2 ||A\vec y||_2 \le ||A||_2 Ay 2A2
    所以
    ∣ ∣ A B x ⃗ ∣ ∣ 2 = ∣ ∣ B x ⃗ ∣ ∣ 2   ∣ ∣ A y ⃗ ∣ ∣ 2 ≤ ∣ ∣ B ∣ ∣ 2   ∣ ∣ A ∣ ∣ 2 ||AB\vec x||_2 = ||B\vec x||_2\ ||A\vec y||_2 \le ||B||_2\ ||A||_2 ABx 2=Bx 2 Ay 2B2 A2
    所以
    ∣ ∣ A B ∣ ∣ 2 ≤ ∣ ∣ A ∣ ∣ 2   ∣ ∣ B ∣ ∣ 2 ||AB||_2 \le ||A||_2\ ||B||_2 AB2A2 B2

    更多相关内容
  • 学生,程序员
  • 矩阵范数

    千次阅读 2020-03-28 18:19:03
    1、常用的矩阵范数主要是p=1,2,∞ 2、谱半径 3、谱半径与矩阵范数的关系

    1、常用的矩阵范数主要是p=1,2,∞

    2、谱半径

    3、谱半径与矩阵范数的关系

     

    展开全文
  • 1,向量范数 1.1,向量范数的定义和例子 设是复数域上的维向量空间,称函数为向量范数,是指对所有,有下列性质: (1)非负性:,并且当且仅当。 (2)齐次性:对任何,。 (3)三角不等式: 若对任意,有:...

    1,向量范数

    1.1,向量范数的定义和例子

    设 \small \mathbb{C}^n 是复数域上的 \small n 维向量空间,称函数 \small ||\cdot||:\mathbb{C}^n \rightarrow R 为向量范数,是指对所有 \small x,y\in \mathbb{C}^n,有下列性质:

    (1)非负性:\small ||x||\geqslant 0,并且 \small ||x||=0 当且仅当 \small x=0

    (2)齐次性:对任何 \small \lambda \in \mathbb{C}\small ||\lambda x||=|\lambda|||x||

    (3)三角不等式:\small ||x+y||\leqslant ||x||+||y||

    若对任意 \small x,y \in \mathbb{C}^n,有:

    (1)\small ||0||=0

    (2)\small ||-x||=||x||

    (3)\small |||x||-||y|||\leqslant ||x-y||

    证明(3):根据三角不等式,有:

    \small ||x||=||x-y+y||\leqslant ||x-y||+||y||

    \small ||y||=||y-x+x||\leqslant ||y-x||+||x||

    两式分别相减可得:\small |||x||-||y|||\leqslant ||x-y||

    设 \small x=(\xi_1,\xi_2,...,\xi_n)^T\in \mathbb{C}^n,则下列实值函数都是 \small \mathbb{C}^n 上的向量范数:

    (1)2范数:\small ||x||_2=\left ( \sum_{k=1}^n|\xi_k|^2 \right )^{\frac{1}{2}}\geqslant 0

    (2)1范数:\small ||x||_1=\sum_{k=1}^{n}|\xi_k|

    (3)\small \infty范数:\small ||x||_{\infty }=\underset{k}{max }|\xi _k|

    (4)p范数:\small ||x||_p=\left ( \sum_{k=1}^n|\xi_k|^p \right )^{\frac{1}{p}}(p\geqslant 1),当 \small p=1,2 时,分别得到向量1范数和2范数,并且可以证明\small \infty范数也是 \small p\rightarrow +\infty 时的特殊情形。 

    分别取 \small p=\frac{1}{2},1,2,+\infty,在平面 \small z=(x,y) 上画出 \small ||z||_p=1 表示的图形(对应从内到外):

    \small p=1 是图形是否为凸的临界值。\small p<1,图像为凹;\small p>1,图像为凸。

    【例1】设 \small x=(1+i,4i,2\sqrt{2}-i,-2\sqrt2)^T,求 \small ||x||_1,||x||_2,||x||_\infty

    \small ||x||_1=|1+i|+|4i|+|2\sqrt2-i|+|2\sqrt2|=7+3\sqrt2

    \small ||x||_2=\left [ |1+i|^2+|4i|^2+|2\sqrt{2}-i|^2+|-2\sqrt{2}|^2 \right ]^{\frac{1}{2}}=\sqrt{35}

    \small ||x||_\infty =max\left \{ |1+i|,|4i|,|2\sqrt{2}-i|,|-2\sqrt{2}| \right \}=4

    常用不等式:

    (1)柯西-施瓦茨不等式:\small (\sum_{k=1}^na_kb_k)^2\leqslant \sum_{k=1}^na_k^2\sum_{k=1}^nb_k^2

    (2)杨氏不等式:\small \alpha \beta \leqslant \frac{1}{p}\alpha ^p+\frac{1}{q}\beta^q,其中 \small \alpha ,\beta >0,p,q>1,且 \small \frac{1}{p}+\frac{1}{q}=1

    (3)赫尔德不等式:\small \sum_{k=1}^na_kb_k\leqslant (\sum_{k=1}^na_k^p)^{\frac{1}{p}}(\sum_{k=1}^nb_k^q)^{\frac{1}{q}}\small p,q>1,\frac{1}{p}+\frac{1}{q}=1\small a_k\geqslant 0,b_k\geqslant 0,k=1,2,...,n

    (4)闵可夫斯基不等式:\small (\sum_{k=1}^n(a_k+b_k)^p)^{\frac{1}{p}}\leqslant (\sum_{k=1}^{n}a_k^p)^{\frac{1}{p}}+(\sum_{k=1}^{n}b_k^p)^{\frac{1}{p}},其中 \small p\geqslant 1\small a_k\geqslant 0,b_k\geqslant 0,k=1,2,...,n

    在实际应用中,常常需要利用已知的范数去构造出实用的向量范数:

    设 \small A\in \mathbb{C}^{m\times n}_n\small ||\cdot||_a 是 \small \mathbb{C}^m 上的一种向量范数,对任意 \small x\in \mathbb{C}^n,则由 \small ||x||_b=||Ax||_a 定义的实值函数  \small ||\cdot||_b :\small \mathbb{C}^n\rightarrow \mathbb{R} 为中向量范数。

    证明实值函数 \small ||\cdot||_b\small \mathbb{C}^n\rightarrow \mathbb{R} 满足非负性、齐次性和三角不等式

    由于满足\small A\in \mathbb{C}^{m\times n}_n的矩阵有无穷多个,这样由一个已知的范数就可以构造出无穷多个新的向量范数。

    【例2】设\small A\in \mathbb{C}^{m\times n}_n 是Hermite正定矩阵

    对任意 \small x\in \mathbb{C}^n,规定 \small ||x||_A=\sqrt{x^HAx},则有上式定义的实值函数 \small ||\cdot||_A:\mathbb{C}^n\rightarrow \mathbb{R}

    为 \small \mathbb{C}^n 中的向量范数(满足三条性质)

    1.2,向量范数的性质

    范数的基本性质:(1)向量范数的连续性;(2)不同向量范数之间的重要关系——等价关系。

    设 \small x=(\xi_1,\xi_2,...,\xi_n)^T\in \mathbb{C}^n,则 \small ||x|| 是关于 \small x 的分量 \small \xi_1,\xi_2,...,\xi_n 的连续函数。

    证明:对任意 \small y=(\eta_1,\eta_2,...,\eta_n )^T\in \mathbb{C}^n,则

    \small |||x||-||y|||\leqslant ||x-y||\leqslant \sum_{k=1}^n|\xi_k-\eta_k|||e_k||

    \small \leqslant \underset{k}{max}|\xi_k-\eta_k|\sum_{k=1}^n||e_k||=M \underset{k}{max}|\xi_k-\eta_k|

    其中 \small M=||e_1||+||e_2||+...+||e_n||

    设 \small ||\cdot||_a,||\cdot||_b 是 \small \mathbb{C}^n 上的两种向量范数,如果存在正数 \small m 和 \small M,使对任意 \small x\in \mathbb{C}^n 都有:\small m||x||_b\leqslant ||x||_a\leqslant M||x||_b,则称向量范数 \small ||\cdot||_a 与 \small ||\cdot||_b 等价。

    引入范数等价概念的原因:需要讨论范数的某种性质时,若某种范数具有此性质,则与该范数等价的所有范数都具有此性质,后面将看到所有向量范数都是等价的。因此,经常只需讨论某一种范数的性质即可。

    \small \mathbb{C}^n 上的所有向量范数都是等价的

    证明:

    (1)考虑空间\small \mathbb{C}^n上的单位球面 \small S=\left \{ x\in \mathbb{C}^n|\, ||x||_2=1 \right \},并证明 \small ||x||_a 与 \small ||x||_2 即可。(等价具有传递性)

    (2)向量范数 \small ||x||_a 看成其分量的函数时是连续函数,而单位球面 \small S 为有限闭集,因此\small ||x||_a 在 \small S 上存在最小值 \small m 和最大值 \small M

    (3)对任意 \small 0\ne x\in\mathbb{C}^n\small \frac{x}{||x||_2}\in S,从而有 \small m\leqslant ||\frac{x}{||x||_2}||_a\leqslant M 

    常见三种范数的等价关系:

    \small \frac{1}{\sqrt{n}}||x||_1\leqslant ||x||_2\leqslant ||x||_1

    \small ||x||_\infty \leqslant||x||_1 \leqslant n||x||_\infty

    \small ||x||_\infty \leqslant||x||_2 \leqslant \sqrt{n}||x||_\infty

    给定 \small \mathbb{C}^n 中的向量序列 \small \left \{ x^{(k)} \right \},其中:

    \small x^{(k)}=(\xi_1^{(k)},\xi_2^{(k)},...,\xi_n^{(k)})(k=0,1,2,...)

    如果:\small \underset{k\rightarrow +\infty }{lim}\xi_j^{(k)}=\xi_j(j=1,2,...,n)

    则称向量序列 \small \left \{ x^{(k)} \right \} 收敛于 \small x(\xi_1,\xi_2,...,\xi_n)^T,简称\small \left \{ x^{(k)} \right \} 收敛,记作:

    \small \underset{k\rightarrow +\infty }{lim}x^{(k)}=x 或 \small x^{(k)}\rightarrow x(k\rightarrow +\infty )

    不收敛的向量序列称为是发散的。

    \small \mathbb{C}^n 中的向量序列 \small \left \{ x^{(k)}\right \} 收敛到 \small x 的充分必要条件是,对于 \small \mathbb{C}^n 中的任意一种向量范数 \small ||\cdot||,都有 \small \underset{k\rightarrow +\infty }{lim}||x^{(k)}-x||=0

    证明:

    (1)先选取一种特殊的向量范数(如最大范数)证明结论成立。

    (2)再利用范数的等价性证明任意一种向量范数的结果与取最大范数的结果是一样的。

    2,矩阵范数

    2.1,方阵的范数

    (1)向量是一种特殊矩阵,引入矩阵范数时要保持向量范数的特性不变。

    (2)由于一个 \small m\times n 矩阵可以看作 \small mn 维的向量,因此可以按定义向量范数的方式定义矩阵范数,但是矩阵之间还有乘法运算,在研究矩阵范数时应予以考虑。

    设 \small \mathbb{C}^{n \times n} 表示复数域 \small \mathbb{C} 上全体 \small n\times n 矩阵构成的线性空间,称函数 \small ||\cdot||:\mathbb{C}^{n\times n}\rightarrow \mathbb{R} 为矩阵范数,是指对所有 \small A,B\in \mathbb{C}^{n\times n} 有下列性质:

    (1)非负性:\small ||A||\geqslant 0 并且 \small ||A||=0 当且仅当 \small A=0

    (2)齐次性:对任何 \small \lambda \in \mathbb{C}\small ||\lambda A||=|\lambda|||A||

    (3)三角不等式:\small ||A+B||\leqslant ||A||+||B||

    (4)相容性:\small ||AB||\leqslant ||A||||B|| 

    矩阵范数具有与向量范数相似的性质:(1)\small ||-A||=||A||,|||A||-||B|||\leqslant ||A-B|| (2)\small \mathbb{C}^{n \times n} 上的任意两个矩阵范数等价。

    相容性的合理性:如果将矩阵范数定义中的相容性不等号反向,即 \small ||AB||>||A||||B||,则幂零矩阵的矩阵范数将是 0,与非负性不符。

    矩阵范数汇总相容性的出现,使得向量范数的表达式推广到矩阵情形时,有时需要一定的修改。

    设 \small A=(a_{ij})_{n\times n}\in \mathbb{C}^{n\times n},则下列实值函数都是 \small \mathbb{C}^{n\times n} 上的矩阵范数:

    • \small m_1 范数:\small ||A||_{m_1}=\sum_{i=1}^n\sum_{j=1}^n|a_{ij}|
    • \small Frobenius 范数:\small ||A||_F=\sqrt{\sum_{i=1}^n\sum_{j=1}^n|a_{ij}|^2}=\sqrt{tr(A^HA)}
    • \small m_{\infty } 范数:\small ||A||_{m_\infty }=n\, \underset{i,j}{max}|a_{ij}|

    矩阵的\small m_1 范数和 \small F 范数是向量 1和 2 范数的自然推广,矩阵\small F 范数具有类似于向量范数的酉不变性。

    对于矩阵的 \small F 范数,下列结论成立:

    • \small F 范数的矩阵迹表示:\small ||A||^2_F=tr(A^HA)=tr(AA^H)=||A^H||_F^2
    • \small F 范数的酉不变性:对任意的 \small n 阶酉矩阵 \small U,V,恒有\small ||UA||_F=||AV||_F=||UAV||_F=||A||_F

    2.2,与向量范数的相容性

    在实际运算中矩阵和向量常会同时出现,所以矩阵范数和向量范数也会同时出现,因此需要建立矩阵范数和向量范数的联系:

    设 \small ||\cdot||_m 是 \small \mathbb{C}^{n\times n} 上的矩阵范数,\small ||\cdot||_v 是 \small \mathbb{C}^n 上的向量范数,如果对任意 \small A\in \mathbb{C}^{n\times n} 和 \small x\in \mathbb{C}^n 都有:\small ||Ax||_v\leqslant ||A||_m||x||_v,则称矩阵范数 \small ||\cdot||_m 与向量范数 \small ||\cdot||_v 是相容的。

    【例3】证明 \small \mathbb{C}^{n \times n} 上的矩阵 \small m_1 范数与 \small \mathbb{C}^n上的向量1范数相容。

    设 \small A=(a_{ij})_{n\times n},x=\left \{ \xi_1,\xi_2,...,\xi_n \right \}^T,则:

    \small ||Ax||_1=\sum_{i=1}^n|\sum_{k=1}^na_{ik}\xi_k|\leqslant \sum_{i=1}^n(\sum_{k=1}^n|a_{ij}||\xi_k|)

    \small \leqslant (\sum_{i=1}^n\sum_{k=1}^n|a_{ik}|)(\sum_{k=1}^n|\xi_k|)=||A||_{m_1}||x||_1

    【例4】证明 \mathbb{C}^{n\times n} 上的矩阵 m_\infty 范数与\mathbb{C}^n上的向量 \infty 范数相容。

    设 \small A=(a_{ij})_{n\times n},x=\left \{ \xi_1,\xi_2,...,\xi_n \right \}^T,则:

    ||Ax||_\infty =\underset{i}{max}|\sum_{k=1}^na_{ik}\xi_i|\leqslant \underset{i}{max}\sum_{k=1}{n}|a_{ik}||\xi_k|\leqslant n\, \underset{i,k}{max}|a_{ik}|\underset{k}{max}|\xi_k|

    =||A||_{m_\infty }||x||_\infty

    设 ||\cdot||_m 是 \mathbb{C}^{n\times n} 上的一种矩阵范数,则在 \mathbb{C}^n 上必存在与它相容的向量范数。

    2.3,从属范数

    已知 \mathbb{C}^n 上的向量范数 ||\cdot||_v,对任意 A\in \mathbb{C}^{n\times n},规定:

    ||A||=\underset{x\ne 0}{max}\frac{||Ax||_v}{||x||_v} 或  ||A||=\underset{||x||_v=1}{max}||Ax||_v

    则 ||\cdot|| 是 \mathbb{C}^n 上与向量范数 ||\cdot||_v 相容的矩阵范数,且||I_n||=1

    称之为由向量范数 ||\cdot||_v 导出的矩阵范数或从属于向量范数 ||\cdot||_v导出的矩阵范数,简称导出范数或从属范数。

    非负性、齐次性和三角不等式直接利用向量范数的性质得到。

    证明相容性:

    \small ||A||=\underset{x\ne 0}{max}\frac{||Ax||_v}{||x||_v},易知 \small ||Ax||_v\leqslant ||A||\, ||x||_v

    \small ||AB||=\underset{x\ne 0}{max}\frac{||(AB)x||_v}{||x||_v}\leqslant \underset{x\ne 0}{max}\frac{||A||||Bx||_v}{||x||_v}=||A||||B||

    \small ||I||=\underset{x\ne0}{max}\frac{||Ix||_v}{||x||_v}=I

    设 \small A=(a_{ij})_{n\times n}\in \mathbb{C}^{n\times n},记由向量 \small 1,2,\infty 范数导出的矩阵范数分别为 \small ||A||_1,||A||_2,||A||_\infty,则有:

    (1)1范数(列和范数):\small ||A||_1=\underset{j}{max}\sum_{i=1}^n|a_{ij}|

    (2)2范数(普范数):\small ||A||_2=\sqrt{\lambda_1}\small \lambda_1 为 \small A^HA 的最大特征值。

    (3)\small \infty 范数(行和范数):\small ||A||_\infty=\underset{i}{max}\sum_{j=1}^n|a_{ij}|

    设 \small A\in \mathbb{C}^{n \times n}\small U 和 \small V 为 \small n 阶酉矩阵,则:

    (1)\small ||A^H||_2=||A||_2

    (2)\small ||UA||_2=||AV||_2=||UAV||_2=||A||_2

    (3)若 \small A 是正规矩阵,且 \small \lambda_1,\lambda_2,...,\lambda_n 是 \small A 的 \small n 个特征值,则:\small ||A||_2=\underset{k}{max}|\lambda_k|

    2.4,长方阵的范数

    把方阵的范数推广到 \small m\times n 矩阵的情形:

    (1)在矩阵范数的定义中的相容性应该改成:对任意 \small A\in \mathbb{C}^{m\times n},B\in \mathbb{C}^{n\times l} 都有 \small ||AB||\leqslant ||A||||B||

    (2)在与向量范数的相容性的定义中:对任意 \small A\in \mathbb{C}^{m\times n}\small x\in \mathbb{C}^n,都有 \small ||Ax||_v\leqslant ||A||_m||x||_v

    (3)在从属范数的定义中:对任意 \small A\in \mathbb{C}^{m\times n},有:\small ||A||=\underset{x\ne }{max}\frac{||Ax||_v}{||x||_v}

    对任意  \small A\in \mathbb{C}^{m\times n},常用的矩阵范数有:

    (1)\small m_1 范数:\small ||A||_{m_1}=\sum_{i=1}^m\sum_{j=1}^n|a_{ij}|

    (2)\small F 范数:\small ||A||_F=\sqrt{\sum_{i=1}^m\sum_{j=1}^n|a_{ij}|^2}=\sqrt{tr(A^HA)}

    (3)\small M 范数:\small ||A||_M=max\left \{ m,n \right \}\underset{i,j}{max}|a_{ij}|

    (4)\small G 范数:\small ||A||_G=\sqrt{mn}\, \underset{i,j}{max}|a_{ij}|

    (5)\small ||A||_1=\underset{j}{max}\sum_{i=1}^m|a_{ij}|

    (6)\small ||A||_\infty=\underset{i}{max}\sum_{j=1}^m|a_{ij}|

    (7)\small ||A||_2=\sqrt{\lambda_1}\small \lambda_1 为 \small A^HA 的最大特征值。

    当矩阵退化为向量时,\small F范数就退化为向量 \small 2 范数,  \small F范数可以看成向量 \small 2 范数的推广。 

    (1)\small F范数和\small 2 范数具有酉不变性 

    (2)\small m_1 范数与向量 \small 1 范数相容

    (3)\small M 范数与向量 \small 1 范数、\small 2 范数、\small \infty 范数都相容

    (4)矩阵的 \small 1 范数、\small 2 范数、\small \infty 范数分别由向量的 \small 1 范数、\small 2 范数、\small \infty 范数导出,从而与相应的向量范数相容。

    3,范数应用举例

    3.1,矩阵的谱半径

    设 \small A\in \mathbb{C}^{n\times n}\small \lambda_1,\lambda_2,...,\lambda_n 为矩阵 \small A 的 \small n 个特征值,称 \small \rho(A)=\underset{j}{max}|\lambda_j| 为矩阵 \small A 的谱半径。(不是矩阵范数,不满足三角不等式)

    设 \small A\in \mathbb{C}^{n\times n},则:

    • \small \rho(A^k)=(\rho(A))^k
    • \small \rho(A^HA)=\rho(AA^H)=||A||_2^2
    • 当 \small A 为正规矩阵时,\small \rho(A)=||A||_2

    证明(1)

    \small p(A^k)=\underset{i}{max}|\lambda_i^k|=(\underset{i}{max}|\lambda_i|)^k=(\rho(A))^k

    证明(2)

    \small A^HA 与 \small AA^H 有相同的非负特征值

    设 \small A\in \mathbb{C}^{n \times n}

    (1)则对 \small \mathbb{C}^{n\times n} 上的任意一个矩阵范数 \small ||\cdot||,都有:\small \rho(A)\leqslant ||A||

    (2)则对任意给定的正数 \small \varepsilon,存在某一个矩阵范数 \small ||\cdot||_m,使得:\small ||A||_m\leqslant \rho(A)+\varepsilon

    证明(2):由 \small Jordan 定理知,存在可逆矩阵 \small P\in \mathbb{C}^{n\times n}_n,使得

    \small P^{-1}AP=J=\begin{bmatrix} \lambda_1 &\delta_1 & & \\ & \lambda_2 & ... & \\ & & ...&\delta_{n-1} \\ & & & \lambda_n \end{bmatrix}

    令 \small D=diag(1,\varepsilon,...,\varepsilon^{n-1} )

    \small D^{-1}P^{-1}APD=D^{-1}JD=\begin{bmatrix} \lambda_1 &\varepsilon \delta_1 & & \\ & \lambda_2 & ... & \\ & & ...&\varepsilon \delta_{n-1} \\ & & & \lambda_n \end{bmatrix}

    于是 \small ||D^{-1}P^{-1}APD||_\infty \leqslant \underset{j}{max}(|\lambda_j|+\varepsilon )=\rho(A)+\varepsilon

    对任意 \small B\in \mathbb{C}^{n\times n},规定 \small ||B||_m=||D^{-1}P^{-1}BPD||_\infty

    容易验证 \small ||\cdot||_m 是 \small \mathbb{C}^{n\times n} 上的一个矩阵范数,且有:

    \small ||A||_m=||D^{-1}P^{-1}APD||_\infty \leqslant \rho(A)+\varepsilon

    【例5】已知 \small A=\begin{bmatrix} 0 & 0.2 & 0.1\\ -0.2 &0 &0.2 \\ -0.1& -0.2 &0 \end{bmatrix},试估计 \small A 的谱半径:

    \small ||A||_{m_1}=\sum_{i=1}^{3}\sum_{j=1}^{3}|a_{ij}|=1

    \small ||A||_{m_\infty }=3\times \underset{i,j}{max}|a_{ij}|=0.6

    \small ||A||_F=\sqrt{\sum_{i=1}^3\sum_{j=1}^3|a_{ij}|^2}=\sqrt{0.18}\approx 0.42

    \small ||A||_1=\underset{j}{max}\sum_{i=1}^3|a_{ij}|=0.4

    \small ||A||_\infty =\underset{i}{max}\sum_{j=1}^3|a_{ij}|=0.4

    3.2,矩阵的条件数

    考虑如下的线性方程组:

    \small \left\{\begin{matrix} 1.001x_1+0.999x_2=2\\ 0.999x_1+1.001x_2=2 \end{matrix}\right.

    其解为 \small x=[x_1,x_2]^T=[1,1]^T,如果把方程组的有端项做微小扰动 \small \delta b=(10^{-3},10^{-3})^T,则线性方程组为:

    \small \left\{\begin{matrix} 1.001x_1+0.999x_2=2.001\\ 0.999x_1+1.001x_2=1.999\end{matrix}\right.

    方程组的解为:\small \tilde{x}=(\tilde{x_1},\tilde{x_2})^T=(1.5,0.5)^T,因此有:

    \small \frac{||\tilde{x}-x||_\infty}{||x||_\infty }=0.5,\frac{||\delta b||_\infty}{||b||_\infty }=2000

    这表明解的相对误差是右端相对误差的1000倍。

    设 \small P\in \mathbb{C}^{n\times n},若对 \small \mathbb{C}^{n\times n} 上的某个矩阵范数 \small ||\cdot||,有 \small ||P||<1,则 \small I-P 可逆。

    证明:设 \small \lambda 为 \small A 的任一特征值,则:

    \small |\lambda |\leqslant \rho(A)\leqslant ||P||<1

    因此,\small I-P 的任一特征值 \small 1-\lambda 都不为零,即 \small I-P 可逆。

    设 \small A\in \mathbb{C}^{n\times n}_n\small \delta A\in \mathbb{C}^{n\times n},若对 \small \mathbb{C}^{n\times n} 上的某个矩阵范数 \small ||\cdot||,有 \small ||A^{-1}\delta A||<1,则:

    • \small A+\delta A 可逆
    • \small ||(A+\delta A)^{-1}||\leqslant \frac{||A^{-1}||}{1-||A^{-1}\delta A||}
    • \small \frac{||A^{-1}-(A+\delta A)^{-1}||}{||A^{-1}||}\leqslant \frac{||A^{-1}\delta A||}{1-||A^{-1}\delta A||}

     \small A\in \mathbb{C}^{n\times n}_n\small \delta A\in \mathbb{C}^{n\times n},若对 \small \mathbb{C}^{n\times n} 上的某个矩阵范数 \small ||\cdot||,有 \small ||A^{-1}||||\delta A||<` ,则:

    \small \frac{||A^{-1}-(A+\delta A)^{-1}||}{||A^{-1}||}\leqslant \frac{||A||||A^{-1}||\frac{||\delta A||}{||A||}}{1-||A||||A^{-1}||\frac{||\delta A||}{||A||}}

    \small A\in \mathbb{C}^{n\times n}_n\small \delta A\in \mathbb{C}^{n\times n}\small b,\delta b\in \mathbb{C}^n,若对 \small \mathbb{C}^{n\times n} 上的某一矩阵范数 \small ||\cdot||,有 \small ||A^{-1}||||\delta A||<1,则非齐次线性方程组 \small Ax=b 与 \small (A+\delta A)(x+\delta x)=b+\delta b 的解满足:

    \small \frac{||\delta x||_v}{||x||_v}\leqslant \frac{||A||||A^{-1}||}{1-||A||||A^{-1}||\frac{||\delta A||}{||A||}}\left ( \frac{||\delta A||}{||A||}+\frac{||\delta b||_v}{||b||_v} \right )

    其中 \small ||\cdot||_v 是 \small \mathbb{C}^n 上与矩阵范数 \small ||\cdot|| 相容的向量范数。

    (1)数据的误差对可逆矩阵和线性方程组解的影响与数\small ||A||||A^{-1}|| 的大小相关。

    (2)当该数据较大时,近似逆矩阵的相对误差或线性方程组的解的相对误差可能比较大。

    (3)因此该数可以作为数据误差对于求逆矩阵和线性方程组的解影响大小的一种度量。

    设 \small A\in \mathbb{C}^{n \times n}_n\small ||\cdot|| 是 \small \mathbb{C}^{n\times n} 上的矩阵范数,称:

    \small cond(A)=||A||||A^{-1}|| 

    为矩阵 \small A(关于求逆或求解线性方程组)的条件数。

    一般地,如果矩阵 \small A 的条件数大就称求逆矩阵或求解线性方程组是病态的或坏条件的;否则,称为良态或好条件的。

    \small cond_\infty (A)=||A||_\infty ||A^{-1}||_\infty

    \small cond_2(A)=||A||_2||A^{-1}||_2=\sqrt{\frac{\mu _1}{\mu _n}}

    其中 \small \mu_1,\mu_n 分别为 \small A^HA 的最大和最小特征值。

    当 \small A 为正规矩阵时,有 \small cond_2(A)=\frac{|\lambda_1|}{|\lambda_n|},其中 \small \lambda_1,\lambda_n 分别为 \small A 的按模最大和最小特征值。

    【例6】设 \small A=\begin{bmatrix} 1 &1 \\ 2 &1 \end{bmatrix},B=\begin{bmatrix} 3&1 \\ 1&3 \end{bmatrix},计算:\small cond_1(A),cond_2(A),cond_1(B),cond_2(B)

    \small cond_1(A)=||A||_1||A^{-1}||_1=3\times 3=9

    \small A^HA=\begin{bmatrix} 2 & 3\\ 3 & 5 \end{bmatrix}\small |\lambda I-A^HA|=\lambda^2-7\lambda +1

    \small A^HA 的两个特征值分别为:\small \lambda_1=\frac{7+3\sqrt{5}}{2},\lambda_2=\frac{7-3\sqrt{5}}{2}

    \small cond_2(A)=||A||_2||A^{-1}||_2=\sqrt{\frac{|\lambda|_{max}}{|\lambda|_{min}}}=\frac{7+3\sqrt{5}}{2}

    由于 \small B=\begin{bmatrix} 3 &1 \\ 1 & 3 \end{bmatrix}\small B^{-1}=\frac{1}{8}\begin{bmatrix} 3 & -1\\ -1 &3 \end{bmatrix}

    故:

    \small cond_\infty (B)=||B||_\infty ||B^{-1}||_\infty =4\times \frac{4}{8}=2

    \small cond_2 (B)=||B||_2||B^{-1}||_2 =4\times \frac{1}{2}=2

    展开全文
  • 向量范数和矩阵范数的理解

    千次阅读 2021-06-03 16:00:14
    如果只需要快速了解,请参考——矩阵范数计算 完整的MIT数学基础课程笔记可以参考:MIT 18.06 线性代数笔记 这是个非常棒的手动演算流程,本文也将编码进行验算。 向量范数 定义:一个向量空间V到实数空间的映射,...

    向量范数

    今天来聊一聊机器学习矩阵论的相关知识——范数(Norm)。

    在学习机器学习基础算法的推导过程中,可以看到很多地方都应用到了这个范数。范数属于矩阵论的知识范围,可见数学基础的重要性。

    机器学习的数学基础重点推荐——MIT的机器学习数学基础课

    如果只需要快速了解,请参考——矩阵范数计算

    完整的MIT数学基础课程笔记可以参考:MIT 18.06 线性代数笔记

    这是个非常棒的手动演算流程,本文也将编码进行验算。

    向量范数

    定义:一个向量空间V到实数空间的映射,不仅如此,还要满足喜爱额条件:

    • ∣ ∣ x ∣ ∣ ⩾ 0 ||x||\geqslant 0 x0,并且 ∣ ∣ x ∣ ∣ = 0 → x = 0 ||x||=0 \rightarrow x=0 x=0x=0
    • 对于任意实数$\gamma , 有 ,有 ||\gamma x|| = \gamma ||x||$
    • 满足三角不等式, ∣ ∣ x ∣ ∣ + ∣ ∣ y ∣ ∣ ⩾ ∣ ∣ x + y ∣ ∣ ||x||+||y|| \geqslant ||x+y|| x+yx+y

    1-norms

    对于向量 V = [ v 1 , v 2 , v 3 , … , v n ] V=[v_1,v_2,v_3,\dots,v_n] V=[v1,v2,v3,,vn],他的范数是 ∣ ∣ v ∣ ∣ = ∣ v 1 ∣ + ∣ v 2 ∣ + ∣ v 3 ∣ + ⋯ + ∣ v n ∣ = ∑ i = 1 n ∣ v i ∣ ||v||=|v_1|+|v_2|+|v_3|+\dots+|v_n|=\sum_{i=1}^{n}|v_i| v=v1+v2+v3++vn=i=1nvi

    2-norms(欧几里得范数)

    ∣ ∣ x ∣ ∣ 2 = v 1 2 + v 2 2 + ⋯ + v n 2 = ∑ i = 1 n v i 2 ||x||_2=\sqrt{v_1^2+v_2^2+\dots+v_n^2}=\sqrt{\sum_{i=1}^{n}v_i^2} x2=v12+v22++vn2 =i=1nvi2

    p-norms(特别的 ∞ \infty -范数)

    ∣ ∣ x ∣ ∣ p = ( ∑ i = 1 n ∣ v i ∣ p ) 1 p , a n d p ⩾ 1 ||x||_p=(\sum_{i=1}^{n} |v_i|^p)^{\frac{1}{p} },and \quad p\geqslant 1 xp=(i=1nvip)p1andp1

    ∞ \infty -norms

    ∣ ∣ x ∣ ∣ ∞ = m a x 1 ⩽ j ⩽ n ∣ x j ∣ ||x||_\infty =max_{1 \leqslant j \leqslant n}|x_j| x=max1jnxj

    可视化

    还有来自于知乎的数值计算的图:

    Credit to https://ncatlab.org/nlab/show/p-norm

    n=2时,令 ∣ ∣ x ∣ p = 1 ||x|_p =1 xp=1,画出轮廓。p=1时候是菱形,p=2是圆形,p=6是圆角矩形,p=∞是方形。

    对于渲染voronoi图或者机器学习的时候,使用不同范数将获得不同的边界。下图展示了离两个固定点距离相同的点组成的边界,范数定义不同,边界也不同。2-范数最简单,一直是垂直平分线,1-范数和∞-范数都存在折线,而且随着两固定点连线和x轴夹角的变化,会出现边界突变的情况。另外,这三个范数绘制的边界都经过2-范数定义的中点。有兴趣可以试下p>2时候的情况。——数值计算:向量和矩阵范数

    From https://zhuanlan.zhihu.com/p/84185235

    在我们的机器学习和神经网络最优化问题就经常会使用范数,MIT的老师就给我们举了一个例子:

    假设我们要求 c 1 x 1 + c 2 x 2 = 0 c_1x_1+c_2x_2=0 c1x1+c2x2=0,限制条件下 x x x的最小范数:

    其中的思想可以理解成,你以任何一种范数对应的图形,从原点开始blow up(增大),直到和限制条件出现交点(hit first),那么久最小的blow up,也就是上式所求最小化问题的答案。

    矩阵范数

    我觉得理解一样事物应该从感性的角度出发,推荐一个博文——范数的物理意义

    其中精髓如下:

    1. 函数图象联系了函数和几何,表达两个数之间的变化关系,映射推广了函数的概念
    2. 为了便于研究映射的性质以及数学表达,我们首先需要对映射的对象进行“量化”,取定一组“基”;确定事物在这组基下的坐标,事物同构于我们所熟悉的抽象几何空间中的点,事物的映射可以理解为从一个空间中的点到另一个空间的点的映射,而映射本身也是事物;
    3. 从一个线性空间到另一个线性空间的线性映射,可以用一个矩阵来表达,矩阵被看线性作映射;
    4. 矩阵范数反映了线性映射把一个向量映射为另一个向量,向量的“长度”缩放的比例;
    5. 由矩阵算子范数的定义形式(下面小节的定义公式)可知,矩阵 A A A把向量 x x x映射成向量 A x Ax Ax,取其在向量 x x x范数为1所构成的闭集下的向量 A x Ax Ax范数最大值作为矩阵A的范数,即矩阵对向量缩放的比例的上界,矩阵的算子范数是相容的。
    6. 由几何意义可知,矩阵的算子范数必然大于等于矩阵谱半径(最大特征值的绝对值),矩阵算子范数对应一个取到向量 A x Ax Ax范数最大时的向量 x x x方向,谱半径对应最大特征值下的特征向量的方向
    7. 矩阵的奇异值分解SVD,分解成左右各一个酉阵,和拟对角矩阵,可以理解为对向量先作旋转、再缩放、最后再旋转,奇异值,就是缩放的比例,最大奇异值就是谱半径的推广,所以,矩阵算子范数大于等于矩阵的最大奇异值,酉阵在此算子范数的意义下,范数大于等于1。此外,不同的矩阵范数是等价的。

    通过向量定义的矩阵范数

    ∣ ∣ A ∣ ∣ p =   m a x x ≠ 0 ∣ ∣ A x ∣ ∣ p ∣ ∣ x ∣ ∣ p =   m a x ∣ ∣ x ∣ ∣ p = 1 ∣ ∣ A x ∣ ∣ p =   σ 1 ||A||_p =\ max_{x \neq 0} \frac{||Ax||_p}{||x||_p}= \ max_{||x||_p=1}||Ax||_p= \ \sigma_1 Ap= maxx=0xpAxp= maxxp=1Axp= σ1

    这个 σ 1 \sigma_1 σ1是最大的奇异值,那么哪个是x?

    如果x是个特征函数,那么他们的比例其实就是特征值 λ \lambda λ,所以他不是特征向量,而是奇异值向量 v 1 v_1 v1

    矩阵 2-范数

    矩阵2-范数: ∣ ∣ A ∣ ∣ 2 = λ m a x ( A 2 A ) ||A||_2 = \sqrt{\lambda_max(A^2A) } A2=λmax(A2A) ,为 A T A A^TA ATA的最大特征值,取其对应的特征向量 x x x ,有 A T A x = λ m a x ( A T A ) x =   ∣ ∣ A ∣ ∣ 2 2 x A^TAx = \lambda_{max}(A^TA)x= \ ||A||^2_2x ATAx=λmax(ATA)x= A22x

    所以, A T A x = ∣ ∣ A ∣ ∣ 2 2 x A^TAx =||A||^2_2x ATAx=A22x

    ∣ ∣ A ∣ ∣ 2 2 x ||A||_2^2x A22x取1-范数:
    ∣ ∣   ( ∣ ∣ A ∣ ∣ 2 2 x ) ∣ ∣ 1   =   ∣ ∣ A T A x ∣ ∣ 1 ⩽ ∣ ∣ A T ∣ ∣ 1 ∣ ∣ A ∣ ∣ 1 ∣ ∣ x ∣ ∣ 1 = ∣ ∣ A ∣ ∣ ∞ ∣ ∣ A ∣ ∣ 1 ∣ ∣ x ∣ ∣ 1 ||\ (||A||^2_2x)||_1 \ = \ ||A^TAx||_1 \leqslant ||A^T||_1||A||_1||x||_1=\quad ||A||_\infty||A||_1||x||_1  (A22x)1 = ATAx1AT1A1x1=AA1x1

    ∣ ∣ ( ∣ ∣ A ∣ ∣ 2 2 x ) ∣ ∣ 1 = ∣ ∣ A ∣ ∣ 2 2 ∣ ∣ x ∣ ∣ 1 ⩽ ∣ ∣ A ∣ ∣ ∞ ∣ ∣ A ∣ ∣ 1 ∣ ∣ x ∣ ∣ 1 ||(||A||^2_2x)||_1 = ||A||_2^2||x||_1 \leqslant ||A||_\infty||A||_1||x||_1 (A22x)1=A22x1AA1x1

    ∣ ∣ A ∣ ∣ 2 2 ⩽ ∣ ∣ A ∣ ∣ ∞ ∣ ∣ A ∣ ∣ 1 ||A||_2^2 \leqslant||A||_{\infty}||A||_1 A22AA1

    Frobenius范数

    ∣ ∣ A ∣ ∣ F = ( ∑ i ∑ j ∣ a i j ∣ 2 ) 1 2 ||A||_F= (\sum_{i} \sum_{j} |a_{ij}|^2)^{\frac{1}{2}} AF=(ijaij2)21

    其中对 A A A进行SVD,得到 A = U Σ V T A=U \Sigma V^T A=UΣVT,可以看出 A A A的Forbenius范数,其实就是进行SVD的 Σ \Sigma Σ的范数。然后就产生了一个新的范数 ∣ ∣ A ∣ ∣ N ||A||_N AN:

    ∣ ∣ A ∣ ∣ N = σ 1 2 + σ 2 2 + ⋯ + σ n 2 ||A||_N = \sqrt{\sigma_1^2+\sigma_2^2+\dots+\sigma_n^2} AN=σ12+σ22++σn2

    Practise:实践是检验真理的为唯一标准!

    对于开头提到的博客,其中进行手算的矩阵norms,本文使用python的numpy进行计算,方便对于每一个计算中间过程进行检查和查看:

    print("验证博客手算结果:https://blog.csdn.net/codinghappiness/article/details/90896632")
    print("待求矩阵A为:")
    A = np.matrix('-1,,5,-2;-2,1,0;3,-8,2')
    print(A)
    
    print("矩阵A的1范数:")
    print (np.linalg.norm(A,ord=1))
    
    print("矩阵A的2范数:")
    print (np.linalg.norm(A,ord=2))
    
    print("以下是分步的计算过程进行验证:")
    #print(A.T)
    print("A转置A的结果是B:")
    B = A.T.dot(A)
    print(B)
    print("求得特征值:")
    e, v = np.linalg.eig(B)
    print(e)
    print("其中最大得为:")
    print(e[0])
    print("开平方:")
    print(math.sqrt(e[0]))
    
    
    展开全文
  • 向量范数和矩阵范数

    2021-06-28 15:39:22
    本文分别介绍了向量范数和矩阵范数的定义,以及几种常见的向量范数和矩阵范数
  • 矩阵范数和奇异值分解,matlab作业用的 ,比较好用
  • 向量范数表征向量空间中向量的大小,矩阵范数表征矩阵引起变化的大小。 一种非严密的解释就是, 对应向量范数,向量空间中的向量都是有大小的,这个大小如何度量,就是用范数来度量的,不同的 范数都可以来度量这个...
  • printf("请输入矩阵:\n"); for(i=0;i for(j=0;j scanf("%d",&a[i][j]); } } printf("%d*%d的阶方阵A为:\n",size,size); for(i=0;i { for(j=0;j printf("%d ",a[i][j]); } printf("\n"); } printf("\n"); for(j=0;j ...
  • 索引一、什么是范式二、向量范式1-范数2-范数P-范数∞-范数-∞-范数三、矩阵范式1-范数2-范数∞-范数F-范数四、小结 一、什么是范式 范数,是具有“长度”概念的函数。在线性代数、泛函分析及相关的数学领域,范数...
  • 在线性代数,函数分析等数学分支中,范数(Norm)是一个函数,其赋予某个向量空间(或矩阵)中的每个...这里主要介绍向量范数中的0-范数、1-范数、2-范数、∞-范数,以及这些范数与距离之间的关系,最后引入矩阵范数
  • 矩阵范数的计算

    千次阅读 2021-03-08 20:42:43
    矩阵范数的计算 6.矩阵范数 norm(x,type = c(“o”,“I”,“f”,“m”,“2”)) , 其中o/O/1为1范数,i为无穷范数,f/F为F-范数,m/M为矩阵元素的最大模,默认值为1范数 > A <- matrix(c(1,3,2,4),ncol=2) >...
  • 向量范数与矩阵范数

    千次阅读 2017-11-28 17:27:23
    要更好的理解范数,就要从函数、几何与矩阵的角度去理解。 我们都知道,函数与几何图形往往是有对应的关系,这个很好想象,特别是在三维以下的空间内,函数是几何图像的数学概括,而几何图像是函数的高度形象化,...
  • 向量范数和矩阵范数的相容

    千次阅读 2020-11-30 14:35:26
    向量范数和矩阵范数的相容
  • 矩阵范数推导

    万次阅读 多人点赞 2019-03-21 11:34:15
    参考自:1999年08月清华大学出版社出版的施妙根的《科学和工程计算基础》。
  • 在计算中经常出现矩阵和向量的乘积,因此希望矩阵范数和向量范数间有某种协调性,因此提出了矩阵范数和向量范数的相容性: 注意写法:matrix:M,矩阵;vector:V,向量 上一次提到相容性,是在矩阵范数内部的...
  • title: 向量范数和矩阵范数date: 2018-05-28 16:49:50tags: [经常忘,数学]categories: 概念mathjax: true---范数范数分为向量范数和矩阵范数,概念经常忘记,这里总结一下。向量范数对于向量(x=[x_1,x_2,...,x_N]),...
  • 1.标量函数对矩阵变量求导 定义:矩阵X,函数f(X)是以X为自变量的数量函数,定义f(X)对X的导数为 例如: 常用的矩阵导数有: ∂tr(QTAQ)∂Q=(A+AT)Q\frac{\partial tr(Q^{T}AQ)}{\partial Q}=(A+A^{T})Q∂Q...
  • 在[1]给出的实四元数体上矩阵范数的定义的基础上,讨论了它的一些性质和构造新范数的方法.矩阵;实四元数体;右向量空间;矩阵范数
  • 线性代数之——矩阵范数和条件数

    千次阅读 2019-11-29 13:57:09
    1. 矩阵范数 我们怎么来衡量一个矩阵的大小呢?针对一个向量,它的长度是 ∣∣x∣∣||\boldsymbol x||∣∣x∣∣。针对一个矩阵,它的范数是 ∣∣A∣∣||A||∣∣A∣∣。有时候我们会用向量的范数来替代长度这个说法,...
  • 矩阵范数计算

    万次阅读 多人点赞 2019-06-05 09:22:16
  • 矩阵论笔记(五)——向量范数与矩阵范数

    万次阅读 多人点赞 2017-03-16 11:14:57
    (2)矩阵范数; (3)从属范数; (4)谱半径; (5)矩阵的非奇异条件。1 向量范数从向量到实数的映射/函数。定义(1)条件:非负性、齐次性、三角不等式(∥x+y∥≤∥x∥+∥y∥\|x+y\| \leq \|x\| + \|y\|)。
  • 矩阵范数的定义

    千次阅读 2020-11-30 14:35:08
    摘自 程云鹏. 矩阵论(第二版)[M]// 矩阵论(第二版). 西北工业大学出版社, 2000. p122
  • 原文链接 ...2-范数:,Euclid范数(欧几里得范数,常用计算向量长度),即向量元素绝对值的平方和再开方,matlab调用函数norm(x, 2)。 ∞-范数:,即所有向量元素绝对值中的最大值,matlab调用函数nor
  • 【矩阵论笔记】矩阵范数

    千次阅读 2020-05-07 21:51:10
    注意矩阵范数比向量范数多了一个条件:相容性。因为矩阵可以做乘法,乘出来的结果还是一个矩阵,那么就有一个问题:乘之前和乘之后的范数有什么关系?这就是相容性。 矩阵范数的定义要从向量范数说起,因为矩阵其实...
  • 向量范数与矩阵范数的理解

    千次阅读 多人点赞 2018-10-09 10:05:42
    要更好的理解范数,就要从函数、几何与矩阵的角度去理解,我尽量讲的通俗一些。我们都知道,函数与几何图形往往是有对应的关系,这个很好想象,特别是在三维以下的空间内,函数是几何图像的数学概括,而几何图像是...
  • 矩阵谱半径与矩阵范数的关系

    万次阅读 2020-12-22 15:44:41
    矩阵谱半径与范数的关系

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 28,342
精华内容 11,336
关键字:

矩阵范数

友情链接: EWB512.rar