有时我们需要衡量一个向量的大小，这机器学习中，我们经常使用范数来衡量向量大小。$L^p$范数定义为：

$$\Vert x{\Vert }_p=(\sum _i|x_i{|}^p{)}^{\frac{1}{p}}$$
其中$p\in R,p⩾1$

我们讨论几个特殊的范数。

$L^2$范数又被称为欧几里得范数，表示从原点出发到向量$x$确定的点的欧几里得距离。$L^2$范数在机器学习中出现的非常的多，经常简化表示为$\Vert x\Vert$。
$L^2$范数的平方也经常使用，它的计算更为方便。

在某些机器学习应用中，区分元素是0还是非0小值非常重要，这时候我们会使用$L^1$，即
$$\Vert x{\Vert }_1=\sum _i|x_i|$$

有时候我们会统计向量中非0元素的个数来衡量元素的大小，有些人将这种函数称为$L^0$范数。

还有一个在机器学习种经常出现的范数为$L^{\infty }$范数，也成为max范数，它表示向量中具有最大幅度的元素的绝对值：
$$\Vert x{\Vert }_{\infty }=\underset{i}{\max }|x_i|$$

有时候，我们需要衡量矩阵的大小，最常用的是Frobenius范数：
$$\Vert A{\Vert }_F=\sqrt{\sum _{ij}{A}_{i,j}^2}$$

向量和矩阵的各种范数

一、向量的范数

首先定义一个向量为：a=[-5，6，8, -10]

1.1 向量的1范数

向量的1范数即：向量的各个元素的绝对值之和，上述向量a的1范数结果就是：29，MATLAB代码实现为：norm（a，1）；

1.2 向量的2范数

向量的2范数即：欧几里得范数向量的每个元素的平方和再开平方根，上述a的2范数结果就是：15，MATLAB代码实现为：norm（a，2）；

1.3 向量的无穷范数

1.向量的负无穷范数即：向量的所有元素的绝对值中最小的：上述向量a的负无穷范数结果就是：5，MATLAB代码实现为：norm（a，-inf）；

2.向量的正无穷范数即：向量的所有元素的绝对值中最大的：上述向量a的负无穷范数结果就是：10，MATLAB代码实现为：norm（a，inf）；

1.4 向量的P范数

，即向量元素绝对值的P次方和的1/p次幂，matlab调用函数norm(x,p)

二、矩阵的范数

首先我们将介绍数学中矩阵的范数的情况，也就是无论哪个学科都统一的一种规定。。。例如矩阵A = [ -1 2 -3；4 -6 6]

2.1 矩阵的1范数

矩阵的1范数，列和范数，即：矩阵的每一列上的元素绝对值先求和，再从中取个最大的，（列和最大），上述矩阵A的1范数先得到[5,8,9]，再取最大的最终结果就是：9，MATLAB代码实现为：norm（A，1）；

2.2 矩阵的2范数

矩阵的2范数，谱范数，即：矩阵ATAATA的最大特征值开平方根，上述矩阵A的2范数得到的最终结果是：10.0623，MATLAB代码实现为：norm（A，2）；

2.3 矩阵的无穷范数

矩阵的无穷范数，行和范数，即：矩阵的每一行上的元素绝对值先求和，再从中取个最大的，（行和最大），上述矩阵A的1范数先得到[6；16]，再取最大的最终结果就是：16，MATLAB代码实现为：norm（A，inf）；

接下来我们要介绍机器学习的低秩，稀疏等一些地方用到的范数，一般有核范数，L0范数，L1范数（有时很多人也叫1范数，这就让初学者很容易混淆），L21范数（有时也叫2范数），F范数…上述范数都是为了解决实际问题中的困难而提出的新的范数定义，不同于前面的矩阵范数。

2.4 矩阵的核范数

矩阵的核范数即：矩阵的奇异值（将矩阵svd分解）之和，这个范数可以用来低秩表示（因为最小化核范数，相当于最小化矩阵的秩——低秩），上述矩阵A最终结果就是：10.9287， MATLAB代码实现为：sum(svd(A))

2.5 矩阵的L0范数

矩阵的L0范数即：矩阵的非0元素的个数，通常用它来表示稀疏，L0范数越小0元素越多，也就越稀疏，上述矩阵A最终结果就是：6

2.6 矩阵的L1范数

矩阵的L1范数即：矩阵中的每个元素绝对值之和，它是L0范数的最优凸近似，因此它也可以表示稀疏，上述矩阵A最终结果就是：22，MATLAB代码实现为：sum(sum(abs(A)))

2.7 矩阵的F范数

矩阵的F范数，Frobenius范数，即：,矩阵的各个元素平方之和再开平方根，它通常也叫做矩阵的L2范数，它的优点在它是一个凸函数，可以求导求解，易于计算，上述矩阵A最终结果就是：10.0995，MATLAB代码实现为：norm（A，‘fro’）

2.8 矩阵的L21范数

矩阵的L21范数（介于L1和L2之间的一种范数）。

• 先以每一列为单位，求每一列的F范数（可认为向量2范数）
• 然后再将得到的结果求L1范数（可认为向量的1范数）

MATLAB代码实现为： norm(A(:,1),2) + norm(A(:,2),2) + norm(A(:,3),2)

矩阵A =-12-34-66最终结果就是：17.1559

在特征选择中求目标函数（损失函数）最小值时，需要对整个公式进行求导。

如何对矩阵L2,1范数求导？

1.向量求导

那么，可得向量的求导为

2.矩阵求导