L-0范数：用来统计向量中非零元素的个数。
L-1范数：向量中所有元素的绝对值之和。可用于优化中去除没有取值的信息，又称稀疏规则算子。
L-2范数：典型应用——欧式距离。可用于优化正则化项，避免过拟合。
L-∞范数：计算向量中的最大值。

    其实我的专业不是数学专业，只不过在阅读paper时，我们会经常看到0范数或者1范数这些范数问题。本文就来分析看看到时什么是范数？什么是0范数、1范数、2范数？它们的区别又是什么？为了方便某些着急的people，先直观的列举：
 
0 范数：向量中非零元素的个数。
1 范数： 向量中各个元素绝对值之和。
2 范数： 向量中各个元素平方和的 1/2 次方，L2 范数又称 Euclidean 范数或者 Frobenius 范数。
p 范数：为 x 向量（或矩阵）各个元素绝对值 p 次方和的 1/p 次方。
1.范数
 
     首先直观的先抛出定义：一般将向量的范数的定义为，
 
                                                                         （1）
 
如果令p=2，则为范数。同时我们知道若已知向量为，则其欧氏范数为，
 
                                         
 
欧式范式就是范数，它用于表示向量（或矩阵）的大小（算术平方和）。
 
2.范数
 
     令公式（1）中的p=0，则得到范数的数学表达式，
 
     范数表示向量中非0元素的个数。在很多范例模型中都会遇到范数，比如压缩感知中，我们遇到凸优化问题的求解，就会遇到这个典型的问题（虽然实际中大多转化为求解范数，下面会讲到什么是范数）。正是因为，所以我们想要直接求解它是十分困难的，这个优化模型在数学上被认为是一个NP-hard问题（什么是NP-hard问题，请看这里https://blog.csdn.net/weixin_42368982/article/details/108187284）。这里我们只需要知道，求解一个NP-hard问题是很复杂、也不可能找到解的，所以我们十分需要转化。
 
3.范数
 
      范数的数学定义同范数相似，令p=1，即。我们可以直观的从范数的原始定义公式(1)中找打范数的物理意义，范数等于向量中所有元素绝对值之和。从范数的优化公式中我们会发现，求解范数相比求解范数简单太多，我们可以借助现有凸优化算法（线性规划或是非线性规划），找到我们想要的可行解。
 
     鉴于范数的实用性如此之大，现在我们来细细讨论范数。而我们的范数有两个很值得讨论的点：正则项与稀疏解。在正式进入讨论前，我们先看看什么是过拟合问题？
 
3.1过拟合问题
 
     拟合问题是我们在机器学习过程中一定会面临的问题。那么什么样的问题是拟合问题呢？
 
     机器学习利用模型对数据进行拟合，机器要对未曾在训练集合出现的样本进行正确预测，这是机器学习的真正目的。而拟合问题又包含欠拟合问题和过拟合问题。机器学习的数据集包含训练集和测试集。欠拟合和过拟合的性能的区别在于过拟合对于训练集的学习能力更强，而在测试集上的性能较差，而欠拟合在训练集和测试集上表现的性能都较差。
 
     形象的说，若已知两类数据集分别为【请，清，静，婧】；【是，额，时，更】，现在机器来判断“菁”是属于那一类。在过拟合的情况下，机器会把“菁”判断为不是第一类，所以它是第二类。但实际上“菁”存在第一类中都有的“青”，所以实际上应该判断为第一类。过拟合就把这个训练集单个样本自身的特点都捕捉到，并分为一类。，这就是过拟合问题。这样范数的正则项的作用就体现出来了，往下看吧！
 
3.2范数：正则项与稀疏解
 
3.2.1正则项
 
      范数会让你的模型变傻一点，相比于记住事物本身，此时机器更倾向于从数据中找到一些简单的模式。例如上面距离的数据集：【请，清，静，婧】；【是，额，时，更】。
 
     变傻前的机器：【请，清，静，婧】
 
     变傻后的机器：【青，0，0，0】。相比于原来，它记住了简单的特征，这就是 范数正则项的作用。
 
为什么正则化可以防止过拟合问题？
 
     拟合过程中通常都倾向于让权值尽可能小，最后构造一个所有参数都比较小的模型。因为一般认为参数值小的模型比较简单，能适应不同的数据集，也在一定程度上避免了过拟合现象。可以设想一下对于一个线性回归方程，若参数很大，那么只要数据偏移一点点，就会对结果造成很大的影响；但如果参数足够小，数据偏移得多一点也不会对结果造成什么影响，即抗扰动能力强。
 
     正则化会使模型偏好于更小的权值。更小的权值意味着更低的模型复杂度；添加 正则化相当于为模型添加了某种先验条件，这个先验条件限制了参数的分布，从而降低了模型的复杂度。
 
     模型的复杂度降低，意味着模型对于噪声与异常点的抗干扰性的能力增强，从而提高模型的泛化能力。直观来说，就是对训练数据的拟合刚刚好，不会过分拟合训练数据（就向上面判断字符“菁”的问题一样）。
 
3.2.2稀疏解
 
   了解了范数的正则项的作用后，稀疏解的问题又出来了。这里解决两个问题：（1）为什么增加范数能够保证稀疏？（2）为什么范数找到一个稀疏解呢？
 
（1）为什么增加范数能够保证稀疏？ 
 
     由范数的物理意义我们知道，范数表示向量（或矩阵）所有元素的绝对值之和。现在就随机选取两个向量和，其中向量和向量的范数分别如下，
 
，。明显向量不是稀疏向量，且仅仅是看范数的数值大小，我们可能很难比较向量的稀疏程度，因此实际需求中我们还需要结合损失函数。所以说增加范数能够更大几率的保证稀疏。
 
（2）为什么范数找到一个稀疏解呢？
 
     回到前面的问题，在平面直角坐标系上，假设一次函数经过（2,5）这一点。所以，参数的解有无数组 (在蓝线上的点都是解)。
 
 
      这里先假设向量的范数是一个常数，将其图形化在xy坐标轴上为一个正方形 (红色线；范数表示元素的绝对值之和，若绝对值之和为常数，则相加之和为一常数)，不过在这些边上只有很少的点是稀疏的，即与坐标轴相交的4个顶点。 这样这些同心正方形们可以和解相交，最终找到我们满足稀疏性要求的解，同时这个交点使得范数取得最小值。
 
 
 

#记录一下：
 参考博文写的很清楚了，忘了一定要看参考博文！
 在优化一个变换矩阵T时，常常用到这样的公式：
 
 意思是：现在总共有N个三维点p和相机观测值z，那么我们的目标就是寻找一个最佳的位姿T，使得整体误差最小化。
 
这时候我们的误差函数（等式右边）是一个矩阵呀，这怎么优化，起码也有一个目标值才能优化吧？？
 
这就是范数登场的时候了，他就是用来描述等式右边的“误差矩阵”，到底ok不ok。“误差矩阵”的二范数越小表示越逼近实际值。这就是二范数的作用。
 
/分割线/
 一个比较常用常用的公式：
 
 
参考博文很详细，方便起见，给点博文的一部分内容：
 
 
 这里的矩阵就是表征上述空间映射的线性关系。而通过向量来表示上述映射中所说的这个集合，而我们通常所说的基，就是这个集合的最一般关系。于是，我们可以这样理解，一个集合（向量），通过一种映射关系（矩阵），得到另外一个几何（另外一个向量）。
 那么向量的范数，就是表示这个原有集合的大小。
 而矩阵的范数，就是表示这个变化过程的大小的一个度量。
 
具体怎么用，看不同的领域，看你来自计算机领域 用的比较多的就是迭代过程中收敛性质的判断，如果理解上述的意义，在计算机领域，一般迭代前后步骤的差值的范数表示其大小，常用的是二范数，差值越小表示越逼近实际值，可以认为达到要求的精度，收敛。
 
总的来说，范数的本质是距离，存在的意义是为了实现比较。比如，在一维实数集合中，我们随便取两个点4和9，我们知道9比4大，但是到了二维实数空间中，取两个点（1，1）和（0，3），这个时候我们就没办法比较它们之间的大小，因为它们不是可以比较的实数，于是我们引入范数这个概念，把我们的（1，1）和（0，3）通过范数分别映射到实数\sqrt{2} 和 3 ，这样我们就比较这两个点了。所以你可以看到，范数它其实是一个函数，它把不能比较的向量转换成可以比较的实数。
 
参考博文：
 https://blog.csdn.net/yangpan011/article/details/79461846

L1 -范数的定义
 等于向量中所有元素绝对值之和。
 

 增加  L1-范数可以保证稀疏
 
正则项是什么？
 
我们其实可以让机器人变笨一点，希望它不要记那么多东西。它此时只能记住一些简单的模式， L1-范数会让你的模型变傻一点，相比于记住事物本身，此时机器人更倾向于从数据中找到一些简单的模式。
 
实际上，这就是 L1 -范数正则项的作用。正则化可以避免过拟合