1、常用的矩阵范数主要是p=1,2，∞

2、谱半径

3、谱半径与矩阵范数的关系

1，向量范数

1.1，向量范数的定义和例子

设  是复数域上的  维向量空间，称函数  为向量范数，是指对所有 ，有下列性质：

（1）非负性：，并且  当且仅当 。

（2）齐次性：对任何 ，。

（3）三角不等式：

若对任意 ，有：

（1）

（2）

（3）

证明（3）：根据三角不等式，有：

两式分别相减可得：

设 ，则下列实值函数都是  上的向量范数：

（1）2范数：

（2）1范数：

（3）范数：

（4）p范数：，当  时，分别得到向量1范数和2范数，并且可以证明范数也是  时的特殊情形。 

分别取 ，在平面  上画出  表示的图形（对应从内到外）：

 是图形是否为凸的临界值。，图像为凹；，图像为凸。

【例1】设 ，求 

常用不等式：

（1）柯西-施瓦茨不等式：

（2）杨氏不等式：，其中 ，且 

（3）赫尔德不等式：，，。

（4）闵可夫斯基不等式：，其中 ，。

在实际应用中，常常需要利用已知的范数去构造出实用的向量范数：

设 ， 是  上的一种向量范数，对任意 ，则由  定义的实值函数   ： 为中向量范数。

证明实值函数 ： 满足非负性、齐次性和三角不等式。

由于满足的矩阵有无穷多个，这样由一个已知的范数就可以构造出无穷多个新的向量范数。

【例2】设 是Hermite正定矩阵

对任意 ，规定 ，则有上式定义的实值函数 

为  中的向量范数（满足三条性质）。

1.2，向量范数的性质

范数的基本性质：（1）向量范数的连续性；（2）不同向量范数之间的重要关系——等价关系。

设 ，则  是关于  的分量  的连续函数。

证明：对任意 ，则

其中 

设  是  上的两种向量范数，如果存在正数  和 ，使对任意  都有：，则称向量范数  与  等价。

引入范数等价概念的原因：需要讨论范数的某种性质时，若某种范数具有此性质，则与该范数等价的所有范数都具有此性质，后面将看到所有向量范数都是等价的。因此，经常只需讨论某一种范数的性质即可。

 上的所有向量范数都是等价的

证明：

（1）考虑空间上的单位球面 ，并证明  与  即可。（等价具有传递性）

（2）向量范数  看成其分量的函数时是连续函数，而单位球面  为有限闭集，因此 在  上存在最小值  和最大值 。

（3）对任意 ，，从而有  

常见三种范数的等价关系：

给定  中的向量序列 ，其中：

如果：

则称向量序列  收敛于 ，简称 收敛，记作：

 或 

不收敛的向量序列称为是发散的。

 中的向量序列  收敛到  的充分必要条件是，对于  中的任意一种向量范数 ，都有 

证明：

（1）先选取一种特殊的向量范数（如最大范数）证明结论成立。

（2）再利用范数的等价性证明任意一种向量范数的结果与取最大范数的结果是一样的。

2，矩阵范数

2.1，方阵的范数

（1）向量是一种特殊矩阵，引入矩阵范数时要保持向量范数的特性不变。

（2）由于一个  矩阵可以看作  维的向量，因此可以按定义向量范数的方式定义矩阵范数，但是矩阵之间还有乘法运算，在研究矩阵范数时应予以考虑。

设  表示复数域  上全体  矩阵构成的线性空间，称函数  为矩阵范数，是指对所有  有下列性质：

（1）非负性： 并且  当且仅当 。

（2）齐次性：对任何 ，

（3）三角不等式：

（4）相容性： 

矩阵范数具有与向量范数相似的性质：（1） （2） 上的任意两个矩阵范数等价。

相容性的合理性：如果将矩阵范数定义中的相容性不等号反向，即 ，则幂零矩阵的矩阵范数将是 0，与非负性不符。

矩阵范数汇总相容性的出现，使得向量范数的表达式推广到矩阵情形时，有时需要一定的修改。

设 ，则下列实值函数都是  上的矩阵范数：

•  范数：
•  范数：
•  范数：

矩阵的 范数和  范数是向量 1和 2 范数的自然推广，矩阵 范数具有类似于向量范数的酉不变性。

对于矩阵的  范数，下列结论成立：

•  范数的矩阵迹表示：
•  范数的酉不变性：对任意的  阶酉矩阵 ，恒有

2.2，与向量范数的相容性

在实际运算中矩阵和向量常会同时出现，所以矩阵范数和向量范数也会同时出现，因此需要建立矩阵范数和向量范数的联系：

设  是  上的矩阵范数， 是  上的向量范数，如果对任意  和  都有：，则称矩阵范数  与向量范数  是相容的。

【例3】证明  上的矩阵  范数与 上的向量1范数相容。

设 ，则：

【例4】证明  上的矩阵  范数与上的向量  范数相容。

设 ，则：

设  是  上的一种矩阵范数，则在  上必存在与它相容的向量范数。

2.3，从属范数

已知  上的向量范数 ，对任意 ，规定：

 或  

则  是  上与向量范数  相容的矩阵范数，且。

称之为由向量范数  导出的矩阵范数或从属于向量范数 导出的矩阵范数，简称导出范数或从属范数。

非负性、齐次性和三角不等式直接利用向量范数的性质得到。

证明相容性：

，易知 

设 ，记由向量  范数导出的矩阵范数分别为 ，则有：

（1）1范数（列和范数）：

（2）2范数（普范数）：， 为  的最大特征值。

（3） 范数（行和范数）：

设 ， 和  为  阶酉矩阵，则：

（1）

（2）

（3）若  是正规矩阵，且  是  的  个特征值，则：

2.4，长方阵的范数

把方阵的范数推广到  矩阵的情形：

（1）在矩阵范数的定义中的相容性应该改成：对任意  都有 。

（2）在与向量范数的相容性的定义中：对任意 ，，都有 

（3）在从属范数的定义中：对任意 ，有：

对任意  ，常用的矩阵范数有：

（1） 范数：

（2） 范数：

（3） 范数：

（4） 范数：

（5）

（6）

（7）， 为  的最大特征值。

当矩阵退化为向量时，范数就退化为向量  范数，  范数可以看成向量  范数的推广。 

（1）范数和 范数具有酉不变性 

（2） 范数与向量  范数相容

（3） 范数与向量  范数、 范数、 范数都相容

（4）矩阵的  范数、 范数、 范数分别由向量的  范数、 范数、 范数导出，从而与相应的向量范数相容。

3，范数应用举例

3.1，矩阵的谱半径

设 ， 为矩阵  的  个特征值，称  为矩阵  的谱半径。（不是矩阵范数，不满足三角不等式）

设 ，则：

• 
• 
• 当  为正规矩阵时，

证明（1）

证明（2）

 与  有相同的非负特征值

设 ：

（1）则对  上的任意一个矩阵范数 ，都有：

（2）则对任意给定的正数 ，存在某一个矩阵范数 ，使得：

证明（2）：由  定理知，存在可逆矩阵 ，使得

令 

于是 

对任意 ，规定 

容易验证  是  上的一个矩阵范数，且有：

【例5】已知 ，试估计  的谱半径：

3.2，矩阵的条件数

考虑如下的线性方程组：

其解为 ，如果把方程组的有端项做微小扰动 ，则线性方程组为：

方程组的解为：，因此有：

这表明解的相对误差是右端相对误差的1000倍。

设 ，若对  上的某个矩阵范数 ，有 ，则  可逆。

证明：设  为  的任一特征值，则：

因此， 的任一特征值  都不为零，即  可逆。

设 ，，若对  上的某个矩阵范数 ，有 ，则：

•  可逆
• 
• 

设 ，，若对  上的某个矩阵范数 ，有 ，则：

设，，，若对  上的某一矩阵范数 ，有 ，则非齐次线性方程组  与  的解满足：

其中  是  上与矩阵范数  相容的向量范数。

（1）数据的误差对可逆矩阵和线性方程组解的影响与数 的大小相关。

（2）当该数据较大时，近似逆矩阵的相对误差或线性方程组的解的相对误差可能比较大。

（3）因此该数可以作为数据误差对于求逆矩阵和线性方程组的解影响大小的一种度量。

设 ， 是  上的矩阵范数，称：

 

为矩阵 （关于求逆或求解线性方程组）的条件数。

一般地，如果矩阵  的条件数大就称求逆矩阵或求解线性方程组是病态的或坏条件的；否则，称为良态或好条件的。

其中  分别为  的最大和最小特征值。

当  为正规矩阵时，有 ，其中  分别为  的按模最大和最小特征值。

【例6】设 ，计算：

，

 的两个特征值分别为：

由于 ，

故：

向量范数

今天来聊一聊机器学习矩阵论的相关知识——范数（Norm）。

在学习机器学习基础算法的推导过程中，可以看到很多地方都应用到了这个范数。范数属于矩阵论的知识范围，可见数学基础的重要性。

机器学习的数学基础重点推荐——MIT的机器学习数学基础课

如果只需要快速了解，请参考——矩阵范数计算

完整的MIT数学基础课程笔记可以参考：MIT 18.06 线性代数笔记

这是个非常棒的手动演算流程，本文也将编码进行验算。

向量范数

定义:一个向量空间V到实数空间的映射，不仅如此，还要满足喜爱额条件：

• $||x||⩾0$，并且$||x||=0\to x=0$
• 对于任意实数$\gamma $，有$||\gamma x|| = \gamma ||x||$
• 满足三角不等式，$||x||+||y||⩾||x+y||$

1-norms

对于向量$V=[v_1,v_2,v_3,\dots ,v_n]$，他的范数是$||v||=|v_1|+|v_2|+|v_3|+\cdots +|v_n|={\sum }_{i=1}^n|v_i|$

2-norms（欧几里得范数）

$$||x|{|}_2=\sqrt{v_1^2+v_2^2+\cdots +v_n^2}=\sqrt{\sum _{i=1}^n{v}_i^2}$$

p-norms（特别的$\infty$-范数）

$$||x|{|}_p=(\sum _{i=1}^n|v_i{|}^p{)}^{\frac{1}{p}}，andp⩾1$$

$\infty$-norms

$$||x|{|}_{\infty }=ma{x}_{1⩽j⩽n}|x_j|$$

可视化

还有来自于知乎的数值计算的图：

n=2时，令 $||x{|}_p=1$，画出轮廓。p=1时候是菱形，p=2是圆形，p=6是圆角矩形，p=∞是方形。

对于渲染voronoi图或者机器学习的时候，使用不同范数将获得不同的边界。下图展示了离两个固定点距离相同的点组成的边界，范数定义不同，边界也不同。2-范数最简单，一直是垂直平分线，1-范数和∞-范数都存在折线，而且随着两固定点连线和x轴夹角的变化，会出现边界突变的情况。另外，这三个范数绘制的边界都经过2-范数定义的中点。有兴趣可以试下p>2时候的情况。——数值计算：向量和矩阵范数

在我们的机器学习和神经网络最优化问题就经常会使用范数，MIT的老师就给我们举了一个例子：

假设我们要求$c_1{x}_1+c_2{x}_2=0$，限制条件下$x$的最小范数：

其中的思想可以理解成，你以任何一种范数对应的图形，从原点开始blow up（增大），直到和限制条件出现交点（hit first），那么久最小的blow up，也就是上式所求最小化问题的答案。

矩阵范数

我觉得理解一样事物应该从感性的角度出发，推荐一个博文——范数的物理意义

其中精髓如下：

1. 函数图象联系了函数和几何，表达两个数之间的变化关系，映射推广了函数的概念
2. 为了便于研究映射的性质以及数学表达，我们首先需要对映射的对象进行“量化”，取定一组“基”；确定事物在这组基下的坐标，事物同构于我们所熟悉的抽象几何空间中的点，事物的映射可以理解为从一个空间中的点到另一个空间的点的映射，而映射本身也是事物；
3. 从一个线性空间到另一个线性空间的线性映射，可以用一个矩阵来表达，矩阵被看线性作映射；
4. 矩阵范数反映了线性映射把一个向量映射为另一个向量，向量的“长度”缩放的比例；
5. 由矩阵算子范数的定义形式（下面小节的定义公式）可知，矩阵$A$把向量$x$映射成向量$Ax$，取其在向量$x$范数为1所构成的闭集下的向量$Ax$范数最大值作为矩阵A的范数，即矩阵对向量缩放的比例的上界，矩阵的算子范数是相容的。
6. 由几何意义可知，矩阵的算子范数必然大于等于矩阵谱半径（最大特征值的绝对值），矩阵算子范数对应一个取到向量$Ax$范数最大时的向量$x$方向，谱半径对应最大特征值下的特征向量的方向。
7. 矩阵的奇异值分解SVD，分解成左右各一个酉阵，和拟对角矩阵，可以理解为对向量先作旋转、再缩放、最后再旋转，奇异值，就是缩放的比例，最大奇异值就是谱半径的推广，所以，矩阵算子范数大于等于矩阵的最大奇异值，酉阵在此算子范数的意义下，范数大于等于1。此外，不同的矩阵范数是等价的。

通过向量定义的矩阵范数

$$||A|{|}_p=ma{x}_{x\ne 0}\frac{||Ax|{|}_p}{||x|{|}_p}=ma{x}_{||x|{|}_p=1}||Ax|{|}_p={\sigma }_1$$

这个${\sigma }_1$是最大的奇异值，那么哪个是x？

如果x是个特征函数，那么他们的比例其实就是特征值$\lambda$，所以他不是特征向量，而是奇异值向量$v_1$。

矩阵 2-范数

矩阵2-范数： $||A|{|}_2=\sqrt{{\lambda }_{m}ax(A^{2}A)}$ ，为$A^{T}A$的最大特征值，取其对应的特征向量 $x$ ，有 $A^{T}Ax={\lambda }_{max}(A^{T}A)x=||A|{|}_2^{2}x$ 。

所以，$A^{T}Ax=||A|{|}_2^{2}x$

对$||A|{|}_2^{2}x$取1-范数：
$$||(||A|{|}_2^{2}x)|{|}_1=||A^{T}Ax|{|}_1⩽||A^T|{|}_1||A|{|}_1||x|{|}_1=||A|{|}_{\infty }||A|{|}_1||x|{|}_1$$

$$||(||A|{|}_2^{2}x)|{|}_1=||A|{|}_2^2||x|{|}_1⩽||A|{|}_{\infty }||A|{|}_1||x|{|}_1$$

$$||A|{|}_2^2⩽||A|{|}_{\infty }||A|{|}_1$$

Frobenius范数

$$||A|{|}_F=(\sum _i\sum _j|a_{ij}{|}^2{)}^{\frac{1}{2}}$$

其中对$A$进行SVD，得到$A=U\Sigma V^T$，可以看出$A$的Forbenius范数，其实就是进行SVD的$\Sigma$的范数。然后就产生了一个新的范数$||A|{|}_N$:

$$||A|{|}_N=\sqrt{{\sigma }_1^2+{\sigma }_2^2+\cdots +{\sigma }_n^2}$$

Practise：实践是检验真理的为唯一标准！

对于开头提到的博客，其中进行手算的矩阵norms，本文使用python的numpy进行计算，方便对于每一个计算中间过程进行检查和查看：

print("验证博客手算结果：https://blog.csdn.net/codinghappiness/article/details/90896632")
print("待求矩阵A为：")
A = np.matrix('-1,,5,-2;-2,1,0;3,-8,2')
print(A)

print("矩阵A的1范数：")
print (np.linalg.norm(A,ord=1))

print("矩阵A的2范数：")
print (np.linalg.norm(A,ord=2))

print("以下是分步的计算过程进行验证：")
#print(A.T)
print("A转置A的结果是B：")
B = A.T.dot(A)
print(B)
print("求得特征值：")
e, v = np.linalg.eig(B)
print(e)
print("其中最大得为：")
print(e[0])
print("开平方：")
print(math.sqrt(e[0]))