精华内容
下载资源
问答
  • 范数的概念向量范数种用来刻画向量大小的种度量。实数的绝对值,复数的模,三维空间向量的长度,都是抽象范数概念的原型。上述三个对象统一记为 ,衡量它们大小的量记为 (我们用单竖线表示绝对值,双竖线...

    208ee8e36d0d8acfba851c44fb61adda.png

    写在前面的话:

    很高兴能够认识饭卡里还有好多钱这位土豪大佬。向大佬学习,为成为一名真正的段子手+逗比而奋斗。

    范数的概念

    向量的范数是一种用来刻画向量大小的一种度量。实数的绝对值,复数的模,三维空间向量的长度,都是抽象范数概念的原型。上述三个对象统一记为

    ,衡量它们大小的量记为
    (我们用单竖线表示绝对值,双竖线表示范数),显然它们满足以下三条性质:

    001ff7cacbea8aabca13fd0273de80fc.png

    这也是范数的定义,满足上述三条性质的映射我们称之为范数。显然,范数是函数的一种特例。关于三角不等式我们可以通过三角形两边之和大于第三边来理解。

    随着以后的学习我们可以知道,长度是范数的一个特例。事实上,二范数对应的就是长度。我们在线性空间中定义内积时,就是把这三条性质作为公理来定义内积的。

    我们下面给出向量范数的一些性质:

    f60c3bc12ad77c236021422805fd9751.png

    我们对于第四条性质给出证明。该性质我们可以理解为两边之差小于第三边。

    8e44ed893566615e1b91236865c63d0a.png

    我们下面具体考虑一个范数证明的题:

    1eb8a456658ac7bfbf1124abc57e1f16.png

    我们下面就二范数进行证明。

    虽然前两个性质貌似是显然的,但是我们并不能这么说,我们现在用数学语言来描述一下。

    e27b47ca2792c305ed9daea6560bb1c8.png

    关于三角不等式的证明需要用到柯西不等式,我们先来讲解一下柯西不等式。柯西不等式说的就是

    ,这样就把向量的内积和范数联系起来了。

    我们在课本24页定义向量的长度的时候是这样定义的:

    。现在我们知道,这实际上是二范数的一种表示方式。我们下面给出柯西不等式的证明:

    65db0927aea145facfc6752a60f823f4.png

    下面结合柯西不等式我们给出三角不等式的证明:

    2a81b623613bb52864a47b60e2cc7610.png

    P范数的定义及证明

    我们下面来引入更一般的范数定义:

    b0fb2706e0bfdf68d4afdba00e217550.png

    我们要证明他的确是范数需要做诸多的准备工作。在证明过程中就用到了Young不等式和Holder不等式。虽然我们还没有证明,不过我们先引入这个概念和这种记法,因为在接下来的证明过程中会反复的用到。希望大家在看后面的证明过程中不要忘了开头提到的这一点。(就是P范数的定义形式)

    我们下面来介绍一下Young不等式,这个不等式的介绍为Holder不等式的证明提供了一个快捷的途径。

    715cd42cd84961b601038c3ee8757749.png

    该引理(Young不等式)证明如下,其思路就是矩形面积uv不会超过两个曲边梯形面积之和。注意这里会用到了变积分限。对u是在x轴上积分。对v就变成了y轴。

    这里我们的曲线公式完全可以写成

    ,我们应当注意到,积分与符号无关这一点,因此可以写成下图这种形式。

    465f323be1c8f001a2b8d263b8d716bd.png

    我们有了Young不等式之后,下面来证明Holder不等式。我们首先给出Holder不等式的定义:

    3a92ee8bdde0b6a1a48554287adc78b3.png

    下面正面该结论成立:

    80c72bd1c3085526141d5b2ae8087d0c.png

    070e46c2f82d76bd255cbd4318855d48.png

    在这里提醒大家一下,不要忘了开头P范数的定义,因此这里会有:

    还记得我们前面说的柯西不等式吗?通过观察Holder不等式其实可以发现,柯西不等式是Holder不等式的一个特例。

    (当p和q取2时,结合和的模小于等于模的和所得的结论)

    我们给出课本上一道例题:

    be4d996a81696a6a0ad0068fcfc7d94f.png

    我们之前只对1范数,2范数和无穷范数进行过证明。我们现在要证明的是如果一个运算,只要满足这个性质。那么它就是一个范数。

    下面我们给出证明过程,注意这个证明过程少了正定性和齐次性的证明,只证明了三角不等式。关于正定性和齐次性的证明可以参考之前的证明。

    b936261b42e455aa2cf234a7dd37d06b.png

    79eeba13928ae5f8d4e9990e54d094ce.png

    是不是大家已经看晕了,一坨又一坨。接下来的证明写的不是很详细,我写一个更详细的版本。

    790bb947d885a271b9263d42a048be45.png

    如果忘了,请再次回顾一下P范数的定义。这里特别要注意开P次幂的位置,一定要在中括号的外面。

    好了,至此,P范数的证明就全部结束了。好像整个证明过程略微有点长。通过这个证明,P可以取得任意正整数,大大丰富了我们对于如何度量长度的手段,可能有人会问,那P能不能取分数呢?我们现在来说一下:

    答案是不行的,只需要举一个反例:

    P取1/2,我们知道x+y的P范数是4。而x和y 的P范数都是1。不满足三角不等式,所以不成立。

    我们之所以引入范数,为的就是能够在线性空间中进行度量。为了实现这一点,我们有必要引入一个新的概念,这也是这一节啰啰嗦嗦说了半天,想要表达的核心内容。

    向量的范数

    为了实现在n维空间中的度量,我们必须 将向量的概念和范数进行结合。直接上定理:

    442f1ba57e8f67f314eb2b79fe6e4357.png

    这里的

    是m维向量范数。A是n维空间中的m×n矩阵。
    是n维向量。

    证明如下(范数的三条定义):

    05af629e8da63bb7ee727def561c35fc.png

    实际上这个定理想表达这样一种思想:m维空间中的范数通过矩阵A映射到了n维空间上。有的时候一个空间中的范数我们不好度量,这时候我们可以在另外一个n维空间中进行度量,只需要找到这样的映射矩阵就可以了。

    我们下面给出向量序列收敛的定义:

    071296c5a674c635158ca6c8e8a34e56.png

    同数列一样,向量也是有好多元素组合而成的,我们将之称为向量序列

    。还记得在《高等数学》中我们在定义极限的概念的时候就是从数列极限开始的。类似的,我们这里是从向量序列处定义极限。通过向量序列的收敛性分析我们就从范数的角度给出了极限的定义。

    向量存在的充要条件就是n个数列极限存在。

    我们下面介绍一下向量范数等价

    5eaa1f3a88736228f067bddfc136862d.png

    fe163d1e80f2eee6816d6a4b9ca7720d.png

    向量范数等价是为了解决这样一个问题:我们知道范数有无穷多种(1范数,2范数。。。),同一向量按不同的规定算出的范数一般是不相等的。那么到底按照哪种规则呢?这不就乱了。

    范数等价保证了向量序列的收敛性与范数选取无关。无穷范数收敛,其他范数一定收敛。其他范数收敛,无穷范数一定收敛。

    我们给出一个定理来具体说明一下:

    462f0a97ed255e29763739b81c9b8264.png

    adc64d58b7024e7276859ebf3472e6b5.png

    7f23d2c14030191f12789f26b0b54baf.png

    再给出一个例题:

    fb3ef41cfc4ed2e944cedf8d6c00f684.png

    dc1e24cbda1b2ef675bd9dfefe6e4e1a.png

    通过这个例题我们可以看到通过范数来证明收敛的优越性所在,这也是为什么我们有了长度之和还要定义长度的一个原因。

    审稿大人辛苦了,这篇文章有点长。

    展开全文
  • 向量范数

    千次阅读 2020-04-01 10:41:39
    L0范数 表示向量中非零元素的个数 L1范数 表示向量x中非零元素的绝对值之和。L1范数有很多的名字,例如我们熟悉的曼哈顿距离、最小...L2范数 表示向量元素的平方和再开平方,我们用的最多的度量距离欧氏距离就是种...

                        矩阵的范数

    L0范数 表示向量中非零元素的个数

    L1范数 表示向量x中非零元素的绝对值之和。L1范数有很多的名字,例如我们熟悉的曼哈顿距离、最小绝对误差等。
    在这里插入图片描述

    使用L1范数可以度量两个向量间的差异,如绝对误差和(Sum of Absolute Difference):

    在这里插入图片描述
    一个例子,如下展示了两个二维向量(x1、x2)的L1范数。
    在这里插入图片描述

    L2范数 表示向量元素的平方和再开平方,我们用的最多的度量距离欧氏距离就是一种L2范数。在回归里面,有人把有它的回归叫“岭回归”(Ridge Regression),有人也叫它“权值衰减weight decay”。
    在这里插入图片描述

    像L1范数一样,L2也可以度量两个向量间的差异,如平方差和(Sum of Squared Difference):
    在这里插入图片描述
    一个例子,如下展示了两个二维向量(x1、x2)的L2范数。

    在这里插入图片描述

    L2范数通常会被用来做优化目标函数的正则化项,防止模型为了迎合训练集而过于复杂造成过拟合的情况,从而提高模型的泛化能力。

    L-∞范数 它主要被用来度量向量元素的最大值。也叫切比雪夫距离
    在这里插入图片描述

    范数=点到坐标零点的距离

    切比雪夫距离,通俗来讲就是两个向量在每个维度上差值的最大值。

    在这里插入图片描述
    一个例子,如下展示了两个二维向量(x1、x2)的L2范数(切比雪夫距离)。

    在这里插入图片描述

    展开全文
  • 向量范数及其个简单的应用

    千次阅读 2014-03-26 10:43:14
    向量范数定义:向量范数个函数||x||,满足非负性||x|| >= 0,齐次性||cx|| = |c| ||x|| , 三角不等式||x+y|| 常用的向量范数: L1范数: ||x|| 为x向量各个元素绝对值之和 L2范数: ||x||为x向量...
    所谓向量的范数可以简单的理解为向量的长度,或者说向量到零点的距离。

    向量的范数定义:向量的范数是一个函数||x||,满足非负性||x|| >= 0,齐次性||cx|| = |c|  ||x|| , 三角不等式||x+y|| <= ||x|| + ||y||。

    常用的向量的范数:
    L1范数:  ||x|| 为x向量各个元素绝对值之和
    L2范数:  ||x||为x向量各个元素平方和的1/2次方,L2范数又称Euclidean范数或者Frobenius范数
    Lp范数:  ||x||为x向量各个元素绝对值p次方和的1/p次方
    L∞范数:  ||x||为x向量各个元素绝对值最大那个元素的绝对值(无法用公式表达,就感觉很别扭)。
    椭球向量范数: ||x||A  = sqrt[T(x)Ax], T(x)代表x的转置。

    两个向量的相似度:有了范数的定义,就好比知道了距离的概念,知道了距离的概念,就可以判断两个向量是否相似。比如Euclidean距离,也就是所谓的L2范数。

    举例模式分类,近邻分类法,已知样本模式为s1, s2, …., sM, 未知模式向量为x
    那么分别计算距离(范数)||x-s1||, ||x-s2||, …, ||x-sM||,找出距离最小的那个si,问题就被解决了。 欧拉距离是一种解法;再有一个常用的解法是利用 Mahalanobis距离,
    定义矩阵C 为M个模式向量的协方差矩阵, 设C`是其逆矩阵,则Mahalanobis距离定义为||x||C`  = sqrt[T(x)C’x], 这是一个关于C’的椭球向量范数。

    展开全文
  • 利用向量范数证明二元函数极值的充分条件谭畅,马淑芳【摘要】基于线性代数中向量范数的相关理论,给出二元函数极值的充分性定理的个新的证明,此方法形式简明且便于理解。【期刊名称】林区教学【年(卷),期】...

    利用向量的范数证明二元函数极值的充分条件

    畅,马淑芳

    【摘

    要】

    基于线性代数中向量范数的相关理论,给出二元函数极值的充分性定

    理的一个新的证明,此方法形式简明且便于理解。

    【期刊名称】

    林区教学

    【年

    (

    ),

    期】

    2017(000)009

    【总页数】

    2

    【关键词】

    二元函数;极值;充分条件;范数

    一、定理证明的现行方法

    二元函数取极值的充分性定理如下:

    定理

    1

    设二元函数

    f(x

    y)

    在点

    P(x0

    y0)

    的某邻域内存在二阶连续的偏导数,

    fx(x0

    y0)=0

    fy(x0

    y0)=0

    ,记

    A=fxx(x0

    y0)

    B=fxy(x0

    y0)

    C=fyy(x0

    y0)

    (1)

    AC-B2>0

    ,则

    f(x

    y)

    在点

    P(x0

    y0)

    取得极值,进一步地,当

    A>0

    时,

    取极小值;当

    A<0

    时,取极大值;

    (2)

    AC-B2<0

    ,则

    f(x

    y)

    在点

    P(x0

    y0)

    不取极值;

    (3)

    AC-B2=0

    ,则

    f(x

    y)

    在点

    P(x0

    y0)

    可能取极值,也可能不取极值。

    许多教材,如菲赫金哥尔茨著《数学分析原理》

    [1]359

    中对二元函数极值充分

    条件的证明是充分且严格的,大致思想是将函数

    f(x

    y)

    在点

    P(x0

    y0)

    做二阶

    泰勒展开得:

    f(x

    y)-f(x0

    y0)

    =[fxx(x0+θ1h

    y0+θ2k)h2+2fxy(x0+θ1h

    y0+θ2k)hk+fxy(x0+θ1h

    展开全文
  • 关于向量的模和向量范数的理解

    万次阅读 多人点赞 2018-08-15 10:15:08
    向量的模   含义 向量 的长度叫做向量的模,记作 ,也就是向量 的大小 计算公式 对于向量 属于n维复向量空间 ... 范数,在机器学习中通常用于衡量向量的大小,形式上, 范数的定义如下:    ...
  • 范数的概念向量范数种用来刻画向量大小的种度量。实数的绝对值,复数的模,三维空间向量的长度,都是抽象范数概念的原型。上述三个对象统一记为 ,衡量它们大小的量记为 (我们用单竖线表示绝对值,双竖线...
  • 向量范数种用来刻画向量大小的种度量。实数的绝对值,复数的模,三维空间向量的长度,都是抽象范数概念的原型。上述三个对象统一记为 [公式] ,衡量它们大小的量记为 [公式] (我们用单竖线表示绝对值,双...
  • https://blog.csdn.net/shijing_0214/article/details/51757564 ... 上面是文章的链接写的很好,感谢博主。 矩阵的范数:无穷范数等于行绝对值之和中最大的  一范数等于列绝对值之和中最大的 ...
  • 向量范数与矩阵范数

    万次阅读 多人点赞 2016-07-18 20:35:26
    1.范数(norm)的意义要更好的理解范数,就要从函数、几何与矩阵的角度去理解。 我们都知道,函数与几何图形往往是有对应的关系,这个很好想象,特别是在三维以下的空间内,函数是几何图像的数学概括,而几何图像是...
  • 向量范数

    2019-08-17 21:53:30
    若实值函数(n维向量空间向向量空间的映射):满足下列条件: (1),;当且仅当; (2),,; (3),; 则称为向量范数。 设x为n维列向量,常用的向量范数范数范数范数: 一般地,对于...
  • 1 概括: 范数(norm)是数学中的种基本概念,满足条件: 非负性 ...对应向量范数向量空间中的向量都是有大小的,这个大小如何度量,就是用范数来度量的,不同的 范数都可以来度量这个大小,...
  • 一直以来都不理解向量无穷范数如何从p范数得来,最近正看到极限,借此推导遍。1- p-范数若 $x=\left[x_{1}, x_{2}, \cdots, x_{n}\right]^{T}$,那么 $$\| x\|_{p}=(|x_{1}|^{p}+|x_{2}|^{p}+\cdots+|x_{n}|^{p})^...
  • 作者:张家豪 来源:人工智能学习...此时我们把向量通过不同的方法,映射到个标量,从而可以比较大小,这个标量学名就叫做“范数”。向量范数也可以分为0范数,1范数,2范数,p范数,∞范数等。向量范数为方便...
  • 矩阵/向量范数

    2018-11-21 15:51:33
    来自吴恩达 深度学习 第二周作业第部分 # GRADED FUNCTION: normalizeRows import numpy as np def normalizeRows(x): &quot;&quot;&quot; Implement a function that normalizes each row of the...
  • 范数 范数 向量范数 L0L0L^0范数 L1L1L^1范数 L2L2L^2范数 L∞L∞L^{\infty}范数 L−∞L−∞L^{-\infty}范数 LpLpL^{p}范数 ...​   有时我们需要衡量向量的大小。在机器学习中,我们经常使用...
  • 下面的代码使用MKL函数库计算向量的欧几里得范数 program MKL_nrm2 use blas95 implicit none integer, parameter :: n = 10 real(kind=8) :: x(n), res call random_seed() ...
  • 在线性代数、泛函分析及相关的数e5a48de588b63231313335323631343130323136353331333431373238学领域,范数个函数,是矢量空间内的所有矢量赋予非零的正长度或大小。定义范数的矢量空间是赋范矢量空间。向量 AB...
  • 机器学习中的数学基础(1)——向量范数 死磕侠2019-03-15 17:55:10 从今天开始,我将开设个机器学习数学基础的系列。主要介绍机器学习中经常用到的那些数学知识,方便大家入门。说起数学,有人会觉得很难。...
  • 向量范数和矩阵范数

    2021-05-02 15:40:29
    向量范数和矩阵范数 1.范数意义 要更好的理解范数,就要从函数、几何与矩阵的角度去理解。 我们都知道,函数与几何图形往往是有对应的关系,这个很好想象,特别是在三维以下的空间内,函数是几何图像的数学概括,而...
  • 向量范数 首先定义向量为:a=[-5, 6, 8, -10] 1.1 向量的1范数 向量的1范数即:向量的各个元素的绝对值之和,上述向量a的1范数结果就是:29,MATLAB代码实现为:norm(a, 1); 1.2 向量的2范数 ...
  • 向量范数的等价性Theorem 设 , 是 上向量的任意两种范数,则存在常数 使得 对一切 成立 注:此定理在无穷维空间不成立Proof 设 为个有界闭集 则 在 上存在最大、最小值 即对 接下来就是将 中的向量映到 上: 故 ...
  • 一直以来都不理解向量无穷范数如何从p范数得来,最近正看到极限,借此推导遍。 1- p-范数  若 $x=\left[x_{1}, x_{2}, \cdots, x_{n}\right]^{T}$,那么 $$\| x\|_{p}=(|x_{1}|^{p}+|x_{2}|^{p}+\cdots+|x_{n...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 1,140
精华内容 456
关键字:

向量一范数