精华内容
下载资源
问答
  • 矩阵的范数 之 常用不等式(一)向量和矩阵的大小都可以用...今天开始简单讲一下自己对几个常用矩阵范数不等式的理解,抛砖引玉,请大家指正。-------------------------------------------------------------------...

    矩阵的范数 之 常用不等式(一)

    向量和矩阵的大小都可以用范数(norm)来衡量。 自己在学习过程中,向量的范数理解的比较快,而矩阵的范数一直觉得比较复杂, 理解也感觉不是特别深入。今天开始简单讲一下自己对几个常用矩阵范数不等式的理解,抛砖引玉,请大家指正。

    ---------------------------------------------------------------------------------------------------------------------------------

    ---------------------------------------------------------------------------------------------------------------------------------

    百度百科直接有矩阵范数定义

    d7e9a2ee2b423c8cf408b869dbe85cbc.png

    上边等式或不等式是定义,可直接应用,不需要讲。我们平时经常用的,还有下边两个不等式:

    0229df94c08d0c821ab3a8f856b154c1.png   

    007e79666afaa74e139fbdc781b0ea44.png

    A和B是矩阵,x是向量。 这两个公式在做放缩时经常用到, 学名叫做范数的相容性。 但是你知道为什么成立吗?

    ---------------------------------------------------------------------------------------------------------------------------------

    ---------------------------------------------------------------------------------------------------------------------------------

    答疑时间。

    其实很简单,也是由范数的定义自然保证的。 矩阵常用范数为诱导范数(induced norm),定义为

    0ec13c33ad153b3efffb4611e9fb243f.png

    P代表是什么范数(1-,2-等范数啦)。 对他因为们都适用,下边不带 p.

    由定义, 显然可见(其实我读文献每次见到显然都很紧张,作者理解的显然和我往往不在一个频道。你有被显然支配的时候么?有请在评论+1。不过我们这里真的很显然)

    dacc2c7669f3a881596bf2a148405a8e.png

    有了上式, 同理可得

    48512e7189fca826b59cf85169028020.png

    就是这么简单,主要是理解定义

    下篇介绍: 矩阵常用的二范数,怎么就等于它的奇异特征值呢?

    展开全文
  • 1. 向量范数1.1 定义:一个从向量空间V到实数空间的映射,且满足以下条件 ,且 对于任意实数 ,有 满足三角不等式, 根据三角不等式还可以证明 逆三角不等式: 1.2 常见范数最常见的是欧几里得范数(2-范数) 2-范数...

    1. 向量范数

    1.1 定义:一个从向量空间V到实数空间的映射,且满足以下条件

    • ,且
    • 对于任意实数
      ,有
    • 满足三角不等式,

    根据三角不等式还可以证明 逆三角不等式:

    1.2 常见范数

    最常见的是欧几里得范数(2-范数

    2-范数是p-范数的一个特例

    p-范数的一个特例是∞-范数,即绝对值最大的元素的绝对值

    例子,对于向量

    ,调用python的np.linalg.norm(x,p)函数来计算p-范数,可以发现随着p值增大,p-范数越来越来越接近∞-范数

    574a4d3a4ddb3db815228da34f2b1e8f.png
    Credit to http://iacs-courses.seas.harvard.edu/courses/am205/slides/am205_lec06.pdf

    对于1-范数,计算结果是对向量的每个元素的绝对值求和。

    1.3 Are all norms created equal?

    虽然不同的范数给出的值会不一样,但在一个有限维度的空间

    里,所有的范数都是等价的。等价的意思是,对于两个不同的范数
    ,任意一个在
    内的向量
    ,都存在一组正常数
    使得

    根据这个性质,很容易在证明一个范数的不等式后,推广到任意范数。

    对一些特殊的情况,可以直接计算出

    ,比如1-范数和2-范数。
    • 下界比较容易证明
    • 通过Cauchy-Schwarz不等式得到上界
    • 结合上面两条

    1.4 可视化

    n=2时,另

    ,画出轮廓。p=1时候是菱形,p=2是圆形,p=6是圆角矩形,p=∞是方形。

    f80750341f7b1875aae935e103f44321.png
    Credit to https://ncatlab.org/nlab/show/p-norm

    对于渲染voronoi图或者机器学习的时候,使用不同范数将获得不同的边界。下图展示了离两个固定点距离相同的点组成的边界,范数定义不同,边界也不同。2-范数最简单,一直是垂直平分线,1-范数和∞-范数都存在折线,而且随着两固定点连线和x轴夹角的变化,会出现边界突变的情况。另外,这三个范数绘制的边界都经过2-范数定义的中点。有兴趣可以试下p>2时候的情况。

    e3fad994a81e3cd676abf10592cb548c.png
    Credit to 我自己!(画了老半天)

    2. 矩阵范数

    2.1 Frobenius范数

    2.2 通过向量定义的矩阵范数(通常最有用)

    一条可以根据定义证明的性质是:

    另外,1-范数和∞-范数可以直接给出形式:

    1-范数是最大的列(绝对值)求和,∞-范数是最大的行(绝对值)求和

    展开全文
  • 2.矩阵范数和向量范数的相容性定义: 定理:任给 上的矩阵范数,总存在 上的向量范数使得两者是相容的。证明思路:把向量范数写成矩阵范数的形式,用矩阵范数相容性证。向量范数的从属性定义:若矩阵范数和向量范数...

    3.7.1 方阵的范数

    1.定义从

    上的实函数满足:
    1. 正定性
    2. 齐次性
    3. 三角不等式
    4. 相容性

    则称实函数

    为矩阵A的一种范数。

    2.矩阵范数和向量范数的相容性定义:

    定理:任给

    上的矩阵范数,总存在
    上的向量范数使得两者是相容的。

    证明思路:把向量范数写成矩阵范数的形式,用矩阵范数相容性证。

    27871a492806760bcbf31d85dfe80f7d.png

    向量范数的从属性定义:

    若矩阵范数和向量范数是相容的,且对每个

    ,都存在非零向量
    ,

    使得

    ,则称该矩阵范数从属于相对于的向量范数。

    由上面的从属性定义,可以给出另一种的向量范数。

    ,称矩阵范数
    从属于向量范数

    这样一来,就有了另一种矩阵范数从属性定义的表示,最后一个等式相当于向量的单位化,所以模为1.

    值得注意的是:矩阵范数从属于某种向量范数的必要条件是:

    由定义:

    便得证。

    故不是所有的矩阵范数都能够从属于某一个向量范数。

    下面介绍三种常用的矩阵范数:

    88a803ca0eeeb78caa513fa4bc31ced8.png

    矩阵范数的等价定义:和向量范数等价定义类似。

    定理:任意两种矩阵范数都是等价的(证这两种范数都与范数

    等价即可)

    类似向量的一致连续函数定义,矩阵也有。

    定理:矩阵范数中,2范数(谱范数是最小的那个)

    证明:用到特征值的定义,再用一下矩阵范数相容性,小于等于便出来了。

    下面的定理保证了矩阵范数的等价性:

    61ad30366ad1751ffd6ef3becefcd028.png

    定理(Banach定理)(给定了矩阵(E+A)的逆的范数与A的

    范数的估计)

    ba3db9921019c989856e3e79a6eb738a.png

    85728e0cfdcd69412fe19a7fbce748de.png

    矩阵的范数:前面三个性质与方阵一样,最后一个相容性定义:

    展开全文
  • 向量范数表征向量空间中向量的大小,矩阵范数表征矩阵引起变化的大小。 一种非严密的解释就是, 对应向量范数,向量空间中的向量都是有大小的,这个大小如何度量,就是用范数来度量的,不同的 范数都可以来度量这个...

    1 概括:

    范数(norm)是数学中的一种基本概念,满足条件:

    • 非负性
    • 齐次性
    • 三角不等式

    它常常被用来度量某个向量空间(或矩阵)中的每个向量的长度或大小。
    范数包括向量范数和矩阵范数。
    向量范数表征向量空间中向量的大小,矩阵范数表征矩阵引起变化的大小。 一种非严密的解释就是,
    对应向量范数,向量空间中的向量都是有大小的,这个大小如何度量,就是用范数来度量的,不同的
    范数都可以来度量这个大小,就好比米和尺都可以来度量远近一样。

    2 定义:

    范数的一般化定义:设 p1p\geq1的实数,范数定义为:
    xp:=(i=1nxip)1p||x||_p := (\sum_{i=1}^n|x_i|^p)^\frac{1}{p}

    2.1 L0范数

    严格来讲,L0不属于范数,它主要被用来度量向量中非零元素的个数。定义本应该为:
    x0:=(i=0nxi00)||x||_0 := (\sqrt[0]{\sum_{i=0}^n|x_i|^0})
    但这个公式有点呆,所以在实际应用中,往往采用以下定义:
    x0=(ixi0)||x||_0 = (i|x_i \neq 0)
    如果我们使用L0来规则化参数向量w,就是希望w的元素大部分都为零。L0范数的这个属性,使其非常适用于机器学习中的稀疏编码。在特征选择中,通过最小化L0范数来寻找最少最优的稀疏特征项。但是,L0范数的最小化问题是NP难问题。而L1范数是L0范数的最优凸近似,它比L0范数要更容易求解。因此,优化过程将会被转换为更高维的范数(例如L1范数)问题。

    2.2 L1范数

    L1范数是我们经常见到的一种范数,它的定义如下:
    x1:=i=1nxi||x||_1 := \sum_{i=1}^n|x_i|
    L1范数是向量中各个元素绝对值之和,也被称作“Lasso regularization”(稀疏规则算子)。

    在机器学习特征选择中,稀疏规则化能够实现特征的自动选择。一般来说,输入向量X的大部分元素(也就是特征)都是和最终的输出Y没有关系或者不提供任何信息的,在最小化目标函数的时候考虑这些额外的特征,虽然可以获得更小的训练误差,但在预测新的样本时,这些没用的信息反而会被考虑,从而干扰了对正确Y的预测。稀疏规则化算子的引入就是为了完成特征自动选择,它会学习地去掉这些没有信息的特征,也就是把这些特征对应的权重置为0。

    总结一下:L1范数和L0范数可以实现稀疏,L1因为拥有比L0更好的优化求解特性而被广泛应用。这样我们大概知道了可以实现稀疏,但是为什么我们希望稀疏?让参数稀疏有什么好处呢?这里有两个理由:

    1. 特征选择(Feature Selection):
      大家希望稀疏规则化的一个关键原因在于它能实现特征的自动选择。一般来说,X的大部分元素(也就是特征)都是和最终的输出没有关系或者不提供任何信息的,在最小化目标函数的时候考虑这些额外的特征,虽然可以获得更小的训练误差,但在预测新的样本时,这些没用的信息反而会被考虑,从而干扰了对正确的预测。稀疏规则化算子的引入就是为了完成特征自动选择的光荣使命,它会学习地去掉这些没有信息的特征,也就是把这些特征对应的权重置为0。
    2. 可解释性(Interpretability):
      另一个青睐于稀疏的理由是,模型更容易解释。例如患某种病的概率是y,然后我们收集到的数据x是1000维的,也就是我们需要寻找这1000种因素到底是怎么影响患上这种病的概率的。假设这是个回归模型:
      y=i=11000wixi+by = \sum_{i=1}^{1000}{w_i * x_i + b}
      当然了,为了让y限定在的范围,一般还得加个Logistic函数。 通过学习,如果最后学习到的就只有很少的非零元素,例如只有5个非零的,那么我们就有理由相信,这些对应的特征在患病分析上面提供的信息是巨大的,决策性的。也就是说,患不患这种病只和这5个因素有关,那医生就好分析多了。但如果1000个都非0,医生面对这1000种因素只能一脸懵逼不知如何是好。

    2.3 L2范数

    范数中最常见,也最著名的非L2范数莫属,定义:
    x2:=i=1nxi2||x||_2 := \sqrt{\sum_{i=1}^nx_i^2}
    L2 范数: ||x|| 为 x 向量各个元素平方和的 1/2 次方,L2 范数又称 Euclidean 范数或者 Frobenius 范数。
    L2范数的优点:
    从学习理论的角度来说,L2范数可以防止过拟合,提升模型的泛化能力。
    从优化或者数值计算的角度来说,L2范数有助于处理condition number不好的情况下矩阵求逆很困难的问题。

    2.4 无限范数

    主要被用来度量向量元素的最大值,与L0一样,通常情况下表示为 :
    x=max(xi)||x||_\infty = max(|x_i|)

    机器学习中:
    正则化:
    对模型复杂度进行惩罚,如果惩罚项选择L1,则是我们所说的Lasso回归,而L2则是Ridge回归。
    贝叶斯:
    正则化项从贝叶斯学习理论的角度来看,其相当于一种先验函数分布。
    即当你训练一个模型时,仅仅依靠当前的训练集数据是不够的,为了实现更好的预测(泛化)效果,我们还应该加上先验项。
    而L1则相当于设置一个Laplacean先验,而L2则类似于 Gaussian先验。
    L1先验对大值和小值的tolerate很好,而L2先验则倾向于均匀化大值和小值。

    3.矩阵范数

    一般来讲矩阵范数除了正定性,齐次性和三角不等式之外,还规定其必须满足相容性: XYXY||XY|| \leq ||X|| ||Y|| 。所以矩阵范数通常也称为相容范数。
    待完善。。。
    参考:

    展开全文
  • 向量范数1.定义:对于任意向量x,y以及复数α∈C,函数 f(x)=||x||满足以下三个条件:1.非负性||x|| ≧ 0, ||x||=0 ⇿ x=0 (n*1)注意符号,可能会导致不满足非负性例如:|x1|+|2x2|-5|x3|注意是否所有x分量为0时,...
  • 9.1 向量与矩阵范数9.1.1 向量范数 9.1.1 向量范数 holder不等式
  • 范数是把一个事物映射到非负实数,且满足非负性、齐次性、三角不等式,符合以上定义的都可以称之为范数
  • 矩阵论笔记(五)——向量范数与矩阵范数

    千次阅读 多人点赞 2017-03-16 11:14:57
    (2)矩阵范数; (3)从属范数; (4)谱半径; (5)矩阵的非奇异条件。1 向量范数从向量到实数的映射/函数。定义(1)条件:非负性、齐次性、三角不等式(∥x+y∥≤∥x∥+∥y∥\|x+y\| \leq \|x\| + \|y\|)。
  • 向量范数和矩阵范数 研究意义:为了研究解的误差分析和迭代法的收敛性 什么是向量范数? 说到底,向量范数就是一种函数f(x),目的就是把一个向量和一个数值进行映射 由于平时你根本不会用这些东西来进行设计,所以...
  • 1.向量范数之前我们在学欧几里得空间或者...由此我们定义向量范数定义1:设 的函数 满足(1)正定性: ,其中 当且仅当 (2)齐次性: ,有 (3)三角不等式: ,有 则称函数 为 上的向量范数下面我们看一看常见的四个向...
  • 向量范数1.定义:对于任意向量x,y以及复数α∈C,函数 f(x)=||x||满足以下三个条件:1.非负性||x|| ≧ 0, ||x||=0 ⇿ x=0 (n*1)注意符号,可能会导致不满足非负性例如:|x1|+|2x2|-5|x3|注意是否所有x分量为0时,...
  • 它常常被用来度量某个向量空间(或矩阵)中的每个向量的长度或大小。 二、范数满足的三个特性 1.非负性: ||x||≥0,且||x||=0当且仅当x=0时成立 。 2.齐次性: ||k⋅x||=|k|⋅||x|| 3.三角不等式: ||x+y||≤|...
  • 矩阵的范数 之 常用不等式(一)上一篇文章根据矩阵范数的定义介绍了 范数的相容性矩阵的范数 之 常用不等式 。今天接着利用范数的定义,解释一下矩阵的二范数为什么等于它的奇异特征值的最大值。欢迎大家批评,指正,...
  • 矩阵的范数 之 常用不等式(一)上一篇文章根据矩阵范数的定义介绍了 范数的相容性矩阵的范数 之 常用不等式 。今天接着利用范数的定义,解释一下矩阵的二范数为什么等于它的奇异特征值的最大值。欢迎大家批评,指正,...
  • 范数(norm)是数学中的一种基本概念。在泛函分析中,它定义在赋范线性空间中,并满足一定的条件,即 ①非负性;②齐次性;③三角不等式。它常常被用来度量某个向量空间(或矩阵)中的每个向量的...P范数矩阵中每个...
  • 1. 向量范数和矩阵范数向量范数可以粗略当作一个 到非负实数的映射,需要满足:(1)正定性: ,当且仅当 时 (2)线性: (3)三角不等式矩阵范数将上述三个表达式中的向量 换成矩阵 ,除此之外还需...
  • 就是证明正定性(||X||大于等于0,当且为0时取等)、齐次性(数值 可以提到模外面)、三角不等式(两数相加的模小于等于两数的模相加)通常2范数的证明,会用到柯西施瓦兹不等式,这在之后的矩阵范数证明中又会用到...
  • 矩阵范数 1.定义: 矩阵的范数,总感觉和矩阵的秩有很大的关系。一般考矩阵范数定义就是将上述四个条件每一个都证明一次就可以了。一般将矩阵范数写成相关元素的和。感觉就和以前证明不等式差不多,可能会用到...
  • 矩阵论总结(2)】范数

    千次阅读 2018-12-26 10:21:33
    1、矩阵范数需要满足的条件:非负性、齐次性、三角不等式  同类广义矩阵范数,还需满足相容性 2、矩阵范数与向量相容 3、由向量范数导出的矩阵范数,简称“从属范数” 4、列和范数,谱范数,行和范数 三、范数...
  • 就是证明正定性(||X||大于等于0,当且为0时取等)、齐次性(数值 可以提到模外面)、三角不等式(两数相加的模小于等于两数的模相加)通常2范数的证明,会用到柯西施瓦兹不等式,这在之后的矩阵范数证明中又会用到...
  • 2017-03-25 回答一般来讲矩阵范数除了正定性,齐次性和三角不等式之外,还规定其必须满足相容性:║xy║≤║x║║y║。所以矩阵范数通常也称为相容范数。如果║·║α是相容范数,且任何满足║·║β≤║·║α的...
  • 向量的范数: ...三角不等式: ||x+y|| <= ||x|| + ||y|| 常用的向量的范数: L1范数: ||x|| 为x向量各个元素绝对值之和。 L2范数: ||x||为x向量各个元素平方和的1/2次方,L2范数又称Euclidean范数或者F
  • 范数

    2019-01-13 14:34:00
    机器学习中经常见到范数这个概念,范数是为了对...常用的向量范数与矩阵范数如下: 向量范数 矩阵范数 python中计算范数 # 利用python中的numpy.linalg.norm()函数可以计算向量及矩阵范数,函数说明如下...
  • 几种范数的简单介绍

    万次阅读 多人点赞 2016-06-25 10:48:05
    在数学上,范数包括向量范数和矩阵范数,向量范数表征向量空间中向量的大小,矩阵范数表征矩阵引起变化的大小。一种非严密的解释就是,对应向量范数,向量空间中的向量都是有大小的,这个大小如何度量,
  • 范数(norm) 几种范数的简单介绍

    万次阅读 多人点赞 2018-06-04 17:06:45
    在数学上,范数包括向量范数和矩阵范数,向量范数表征向量空间中向量的大小,矩阵范数表征矩阵引起变化的大小。一种非严密的解释就是,对应向量范数,向量空间中的向量都是有大小的,这个大小如何度量...
  • 向量范数是对于VVV中任意一个向量,总...3、三角不等式 同一个线性空间可以定义不同的范数 各个范数的几何表示形状 有限维空间上的任意范数都是等价的。其实就是找范数在单位球面上的最大值和最小值。 例子 ...
  • 范数理解

    2018-05-02 20:42:43
    向量范数表征向量空间中向量的大小,矩阵范数表征矩阵引起变化的大小。 并满足一定的条件,即①非负性;②齐次性;③三角不等式。它常常被用来度量某个向量空间(或矩阵)中的每个向量的长度或大小。 常用的三种p-...

空空如也

空空如也

1 2 3 4 5 ... 9
收藏数 166
精华内容 66
关键字:

矩阵范数不等式