精华内容
下载资源
问答
  • 范数作用

    2021-10-20 09:29:28
    L-0范数:用来统计向量中非零元素的个数。L-1范数:向量中所有元素的绝对值之和。可用于优化中去除没有取值的信息,又称稀疏规则算子。L-2范数:典型应用——欧式距离。可用于优化正则化项,避免过拟合。L-∞范数:...

    L-0范数:用来统计向量中非零元素的个数。
    L-1范数:向量中所有元素的绝对值之和。可用于优化中去除没有取值的信息,又称稀疏规则算子。
    L-2范数:典型应用——欧式距离。可用于优化正则化项,避免过拟合。
    L-∞范数:计算向量中的最大值。

    展开全文
  • 什么是0范数、1范数、2范数?它们的区别又是什么? 1.范数 首先直观的先抛出定义:一般将向量的范数的定义为, (1) 如果令p=2,则为范数。同时我们知道若已知向量为,则其欧氏范数为, 欧式范式就是范数...

        其实我的专业不是数学专业,只不过在阅读paper时,我们会经常看到0范数或者1范数这些范数问题。本文就来分析看看到时什么是范数?什么是0范数、1范数、2范数?它们的区别又是什么?为了方便某些着急的people,先直观的列举:

    • 0 范数:向量中非零元素的个数。
    • 1 范数: 向量中各个元素绝对值之和。
    • 2 范数: 向量中各个元素平方和的 1/2 次方,L2 范数又称 Euclidean 范数或者 Frobenius 范数。
    • p 范数:为 x 向量(或矩阵)各个元素绝对值 p 次方和的 1/p 次方。

    1.l_{p}范数

         首先直观的先抛出定义:一般将向量x的范数l_{p}的定义为,

                                                                             (1)

    如果令p=2,则为l_{2}范数。同时我们知道若已知向量为x=\left [ 1,2,5 \right ],则其欧氏范数为,

                                             \left \| x \right \|_{2}=\sqrt{\left ( 1 \right )^{2}+\left ( 2 \right )^{2}+\left ( 5 \right )^{2}}=5.4772

    欧式范式就是l_{2}范数,它用于表示向量(或矩阵)的大小(算术平方和)。

    2.l_{0}范数

         令公式(1)中的p=0,则得到l_{0}范数的数学表达式,

         l_{0}范数表示向量x中非0元素的个数。在很多范例模型中都会遇到l_{0}范数,比如压缩感知中,我们遇到凸优化问题的求解,就会遇到这个典型的问题(虽然实际中大多转化为求解l_{1}范数,下面会讲到什么是l_{1}范数)。正是因为,所以我们想要直接求解它是十分困难的,这个优化模型在数学上被认为是一个NP-hard问题(什么是NP-hard问题,请看这里https://blog.csdn.net/weixin_42368982/article/details/108187284)。这里我们只需要知道,求解一个NP-hard问题是很复杂、也不可能找到解的,所以我们十分需要转化。

    3.l_{1}范数

          l_{1}范数的数学定义同l_{0}范数相似,令p=1,即。我们可以直观的从范数的原始定义公式(1)中找打l_{1}范数的物理意义,l_{1}范数等于向量x中所有元素绝对值之和。从l_{1}范数的优化公式中我们会发现,求解l_{1}范数相比求解l_{0}范数简单太多,我们可以借助现有凸优化算法(线性规划或是非线性规划),找到我们想要的可行解。

         鉴于l_{1}范数的实用性如此之大,现在我们来细细讨论l_{1}范数。而我们的l_{1}范数有两个很值得讨论的点:正则项与稀疏解。在正式进入讨论前,我们先看看什么是过拟合问题?

    3.1过拟合问题

         拟合问题是我们在机器学习过程中一定会面临的问题。那么什么样的问题是拟合问题呢?

         机器学习利用模型对数据进行拟合,机器要对未曾在训练集合出现的样本进行正确预测,这是机器学习的真正目的。而拟合问题又包含欠拟合问题和过拟合问题。机器学习的数据集包含训练集和测试集。欠拟合和过拟合的性能的区别在于过拟合对于训练集的学习能力更强,而在测试集上的性能较差,而欠拟合在训练集和测试集上表现的性能都较差。

         形象的说,若已知两类数据集分别为【请,清,静,婧】;【是,额,时,更】,现在机器来判断“菁”是属于那一类。在过拟合的情况下,机器会把“菁”判断为不是第一类,所以它是第二类。但实际上“菁”存在第一类中都有的“青”,所以实际上应该判断为第一类。过拟合就把这个训练集单个样本自身的特点都捕捉到,并分为一类。,这就是过拟合问题。这样l_{1}范数的正则项的作用就体现出来了,往下看吧!

    3.2l_{1}范数:正则项与稀疏解

    3.2.1正则项

          l_{1}范数会让你的模型变傻一点,相比于记住事物本身,此时机器更倾向于从数据中找到一些简单的模式。例如上面距离的数据集:【请,清,静,婧】;【是,额,时,更】。

         变傻前的机器:【请,清,静,婧】

         变傻后的机器:【青,0,0,0】。相比于原来,它记住了简单的特征,这就是 l_{1}范数正则项的作用。

    为什么正则化可以防止过拟合问题?

         拟合过程中通常都倾向于让权值尽可能小,最后构造一个所有参数都比较小的模型。因为一般认为参数值小的模型比较简单,能适应不同的数据集,也在一定程度上避免了过拟合现象。可以设想一下对于一个线性回归方程,若参数很大,那么只要数据偏移一点点,就会对结果造成很大的影响;但如果参数足够小,数据偏移得多一点也不会对结果造成什么影响,即抗扰动能力强。

         正则化会使模型偏好于更小的权值。更小的权值意味着更低的模型复杂度;添加 正则化相当于为模型添加了某种先验条件,这个先验条件限制了参数的分布,从而降低了模型的复杂度。

         模型的复杂度降低,意味着模型对于噪声与异常点的抗干扰性的能力增强,从而提高模型的泛化能力。直观来说,就是对训练数据的拟合刚刚好,不会过分拟合训练数据(就向上面判断字符“菁”的问题一样)。

    3.2.2稀疏解

       了解了l_{1}范数的正则项的作用后,稀疏解的问题又出来了。这里解决两个问题:(1)为什么增加l_{1}范数能够保证稀疏?(2)为什么l_{1}范数找到一个稀疏解呢?

    (1)为什么增加l_{1}范数能够保证稀疏? 

         由l_{1}范数的物理意义我们知道,l_{1}范数表示向量(或矩阵)所有元素的绝对值之和。现在就随机选取两个向量x=\left [ 1,0.1 \right ]y=\left [ 100,0 \right ],其中向量x和向量yl_{1}范数分别如下,

    \left \| x \right \|_{1}=|1|+|0.1|=1.1\left \| x \right \|_{2}=|100|+|0|=100。明显向量x不是稀疏向量,且仅仅是看l_{1}范数的数值大小,我们可能很难比较向量的稀疏程度,因此实际需求中我们还需要结合损失函数。所以说增加l_{1}范数能够更大几率的保证稀疏。

    (2)为什么l_{1}范数找到一个稀疏解呢?

         回到前面的问题,Ax=b在平面直角坐标系上,假设一次函数y=ax+b经过(2,5)这一点。所以b=5-2a,参数a,b的解有无数组 (在蓝线上的点都是解)。

          这里先假设向量的l_{1}范数是一个常数c,将其图形化在xy坐标轴上为一个正方形 (红色线;l_{1}范数表示元素的绝对值之和,若绝对值之和为常数,则相加之和为一常数),不过在这些边上只有很少的点是稀疏的,即与坐标轴相交的4个顶点。 这样这些同心正方形们可以和解相交,最终找到我们满足稀疏性要求的解,同时这个交点使得l_{1}范数取得最小值。

     

    展开全文
  • #记录一下: 参考博文写的很清楚了: 在优化一个变换矩阵T时,常常用到这样的公式: 意思是:现在总共N个...这就是二范数作用。 /分割线/ 参考博文很详细,方便起见,给点博文的一部分内容: 这里的矩阵就是表征

    #记录一下:
    参考博文写的很清楚了,忘了一定要看参考博文!
    在优化一个变换矩阵T时,常常用到这样的公式:

    意思是:现在总共有N个三维点p和相机观测值z,那么我们的目标就是寻找一个最佳的位姿T,使得整体误差最小化。

    这时候我们的误差函数(等式右边)是一个矩阵呀,这怎么优化,起码也有一个目标值才能优化吧??

    这就是范数登场的时候了,他就是用来描述等式右边的“误差矩阵”,到底ok不ok。“误差矩阵”的二范数越小表示越逼近实际值。这就是二范数的作用。

    /分割线/
    一个比较常用常用的公式:
    在这里插入图片描述

    参考博文很详细,方便起见,给点博文的一部分内容:
    在这里插入图片描述
    在这里插入图片描述
    这里的矩阵就是表征上述空间映射的线性关系。而通过向量来表示上述映射中所说的这个集合,而我们通常所说的基,就是这个集合的最一般关系。于是,我们可以这样理解,一个集合(向量),通过一种映射关系(矩阵),得到另外一个几何(另外一个向量)。
    那么向量的范数,就是表示这个原有集合的大小。
    而矩阵的范数,就是表示这个变化过程的大小的一个度量。

    具体怎么用,看不同的领域,看你来自计算机领域 用的比较多的就是迭代过程中收敛性质的判断,如果理解上述的意义,在计算机领域,一般迭代前后步骤的差值的范数表示其大小,常用的是二范数,差值越小表示越逼近实际值,可以认为达到要求的精度,收敛。

    总的来说,范数的本质是距离,存在的意义是为了实现比较。比如,在一维实数集合中,我们随便取两个点4和9,我们知道9比4大,但是到了二维实数空间中,取两个点(1,1)和(0,3),这个时候我们就没办法比较它们之间的大小,因为它们不是可以比较的实数,于是我们引入范数这个概念,把我们的(1,1)和(0,3)通过范数分别映射到实数\sqrt{2} 和 3 ,这样我们就比较这两个点了。所以你可以看到,范数它其实是一个函数,它把不能比较的向量转换成可以比较的实数。

    参考博文:
    https://blog.csdn.net/yangpan011/article/details/79461846

    展开全文
  • 范数

    千次阅读 2021-04-02 17:26:07
    L1-范数的定义 等于向量中所有元素绝对值之和。 增加L1-范数可以保证稀疏 正则项是什么? 我们其实可以让机器人变笨一点,希望它不要记那么多东西...实际上,这就是 L1-范数正则项的作用。正则化可以避免过拟合 ...

    L1 -范数的定义
    等于向量中所有元素绝对值之和


    增加  L1-范数可以保证稀疏

    正则项是什么?

    我们其实可以让机器人变笨一点,希望它不要记那么多东西。它此时只能记住一些简单的模式, L1-范数会让你的模型变傻一点,相比于记住事物本身,此时机器人更倾向于从数据中找到一些简单的模式。

    实际上,这就是 L1 -范数正则项的作用正则化可以避免过拟合

    展开全文
  • 范数(简单的理解)、范数的用途、什么范数

    万次阅读 多人点赞 2019-02-21 15:03:42
    范数主要是对矩阵和向量的一种描述,了描述那么“大小就可以比较了”,从字面理解一种比较构成规范的数。了统一的规范,就可以比较了。 例如:1比2小我们一目了然,可是(3,5,3)和(6,1,2)哪个大?不太好比吧 ...
  • 本博文针对L0、L1、L2范数原理及在机器学习中作用进行了非常通俗易懂的解释,为博主了解相关概念后自我理解,相信对于看完本篇分析的读者来说对理解这几个范数作用较大帮助,阅读前,推荐可以先阅读下面这个博主...
  • 机器学习中范数作用

    千次阅读 2017-10-15 20:42:07
    范数的定义范数的一般化定义:对于实数X,p-norm的定义为: ||X||p=(∑ni=1|xi|p)1p||X||_{p}=(\sum_{i=1}^{n}|x_i|^p)^{\frac...三种范数在机器学习中的正则化与稀疏编码(Sparse Coding)中非常有趣的应用。L0L_{0
  • 文章目录为何引入向量范数一、向量范数向量加权范数向量范数的等价性定理常用范数的等价关系二、矩阵范数m1m_{1}m1​ -范数 和F -范数谱三、矩阵范数与向量范数的相容算子范数矩阵范数具有向量范数的一切性质...
  • 什么范数

    千次阅读 2009-09-26 17:10:00
    什么范数在介绍主题之前,先来谈一个非常重要的数学思维方法:几何方法。在大学之前,我们学习过一次函数、二次函数、三角函数、指数函数、对数函数等,方程则是求函数的零点;到了大学,我们学微积分、复变函数、...
  • 有关l2,1范数作用的理解

    万次阅读 多人点赞 2016-02-19 21:23:35
    导数希望我能解释一下,我明白它的作用可是我知道我没有向老师解释清楚,有些失落。今晚就自己总结一下吧,希望下次再人问我这个问题的时候我能向别人解释清楚。 先看上面l21范数的定义,注意原始矩阵是n行t列的...
  • 范数 为何物?

    2021-01-17 12:07:27
    深度学习中常常用到范数,那么范数到底是干什么用的呢? 其实范数的主要作用是衡量一个向量的大小,就是将向量映射到非负值的函数。直观讲就是:向量 xxx 的范数衡量 从原点到点 xxx 的距离。 形式上,LpL^pLp 范数...
  • 向量范数与矩阵范数

    2019-03-13 10:54:28
    1.向量范数范数(norm) 几种范数的...PS:这篇文章对向量范数做了一些简绍,并对实际应用和意义做了解释,助于了解 2.范数的物理意义(转) https://blog.csdn.net/jizhihang2000/article/details/7977600 ...
  • 向量范数和矩阵范数

    2018-09-03 20:03:00
    1 范数 在研究代数方程组的迭代求解及其收敛性的过程中,向量范数和矩阵范数是十分重要且有用的概念。范数又可以称为模。向量范数和矩阵范数用于描述向量和矩阵的大小。 1.1 向量范数 1.1.1 定义 范数本质是由向量...
  • 导数希望我能解释一下,我明白它的作用可是我知道我没有向老师解释清楚,有些失落。今晚就自己总结一下吧,希望下次再人问我这个问题的时候我能向别人解释清楚。先看上面l21范数的定义,注意原始矩阵是n行t列的,...
  • L2范数 欧氏范数

    万次阅读 2011-11-30 20:12:41
    就是我们常说的2范数,L2范数 对于一个三维向量X=(x1,x2,x3) 欧氏范数 ||X||=[(x1)^2+(x2)^2+(x3)^2]^(1/2)   欧几里德空间,则是在上再添加一些内容:欧几里德结构。为了做欧氏几何,人们希望能讨论...
  • 范数主要是对矩阵和向量的一个表述,在机器学习之...这样模型的复杂度同样也上去了,在此我们需要引入一个损失函数来对模型进行一个规范,在使其较好的效果的同时,能防止模型出现过拟合的情况,这里我们引入了范数
  • L1范数和L2范数的区别

    2019-07-15 17:33:11
    L1范数和L2范数的区别 @(deepLearning) 范数 norm 范数是衡量某个向量空间(或矩阵)中的每个向量以长度或大小。 ∥x∥p:=(∑i=1n∣xi∣p)1p\left \| x\right \|_p := \left( \sum_{i=1}^{n}\left|x_i\right|^p\right...
  • 范数汇总

    2018-10-05 16:01:18
    范数汇总 2016年12月02日 20:49:45 秋水长天q 阅读数:1428 标签: 机器学习 更多 个人分类: 机器学习 版权声明:本文为博主原创文章,未经博主允许不得转载。 ...
  • 什么L2范数能防止过拟合

    千次阅读 2020-08-30 20:40:23
    说这个东西之前我们先讲一下什么是 L2 范数,以及什么是过拟合 L2范数         L2范数是指向量各元素的平方和然后求平方根。我们让L2范数的规则项||W||2最小,一方
  • 我们都知道,函数与几何图形往往是对应的关系,这个很好想象,特别是在三维以下的空间内,函数是几何图像的数学概括,而几何图像是函数的高度形象化,比如一个函数对应几何空间上若干点组成的图形。 但当函数与...
  • 2.2 范数

    千次阅读 2019-01-15 20:31:55
    矩阵向量范数 我们说行列式是对矩阵变换的...也有利于在优化和机器学习中起到正则化约束的作用,可以看作是矩阵或者向量距离的测度,这就是【范数】 用记号||.||表示范数。 向量范数 自然,我们会想到怎样定义...
  • 本文参考: ... ... 3、深度学习入门:基于Python的理论与实现斋藤康毅(作者) 理解范数 - : ... 在很多机器学习相关书籍中我们经常看到各种各样的距离及范数,如 、 其中,,分别表示向量和矩阵。 ...
  • 什么是矩阵的范数

    千次阅读 2017-09-05 22:06:16
    原文地址 在介绍主题之前,先...我们一直都在学习和研究各种函数及其性质,函数是数学一条重要线索,另一条重要线索——几何,在函数的研究中发挥着不可替代的作用,几何是函数形象表达,函数是几何抽象描述,几何研究
  • 1、向量范数 1-范数:,即向量元素绝对值之和,matlab调用函数norm(x, 1) 。 2-范数:,Euclid范数(欧几里得范数,常用计算向量长度),即向量元素绝对值的平方和再开方,matlab调用函数norm(x, 2)。 ∞-范数:,...
  • 哈喽,各位大佬好,我是菜鸟小明哥,范数这个概念在研一学矩阵的时候接触到,感觉不到啥特别的地方,今天再次碰面?不知道这是什么安排? 其实说到基本的俩范数:L1,L2范数,就要不可避免的提及测度距离,恰好...
  • 范数与低秩

    千次阅读 2019-05-07 14:58:45
    L1和L2的差别为什么一个让绝对值最小,一个让平方最小,会那么大的差别呢?核范数与规则项参数选择核范数低秩矩阵在图像中的意义几个典型应用矩阵填充(Matrix Completion)鲁棒PCA背景建模变换不变...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 13,357
精华内容 5,342
关键字:

范数有什么作用