精华内容
下载资源
问答
  • 希尔伯特空间

    2016-12-08 13:41:08
    简介希尔伯特空间
  • 概率分布的希尔伯特空间嵌入最近出现了作为一个强大的机器学习和统计推断工具。在本教程中,我将介绍分布的希尔伯特空间嵌入的概念,以及它在机器学习、统计推理、因果推理和计量经济学中的最新应用。
  • MATLAB求解拉普拉斯代码降阶高斯过程回归的希尔伯特空间方法 · 论文代码: Arno Solin 和 Simo Särkkä (2019)。 降阶高斯过程回归的希尔伯特空间方法。 接受在Statistics and Computing 中发表。 [] 概括 本文...
  • 希尔伯特空间问题集

    2018-03-04 13:10:40
    希尔伯特空间问题集,希尔伯特空间问题集,希尔伯特空间问题集。
  • 现有过滤型特征选择算法并未考虑非线性数据的内在结构,从而分类准确率远远低于封装型算法,对此提出一种基于再生核希尔伯特空间映射的高维数据特征选择算法。首先基于分支定界法建立搜索树,并对其进行搜索;然后...
  • 对于在适当因子分解的希尔伯特空间中的某些类的量子态,可以通过将沿共维一表面的面积与任一侧之间的纠缠熵相关联来定义空间几何形状。 我们展示了如何使用radon变换将这些数据转换为空间度量。 在一组特定的假设下...
  • 我们提出了有关量子理论泛化情况的理论考虑,这种情况对应于希尔伯特空间上具有不定符号的内积。 后者本质上是Minkowski时空的直接模拟,它具有一个不确定的特征,可以概括牛顿空间的度量几何。 实际上,我们想到的...
  • 希尔伯特空间/再生核希尔伯特空间

    万次阅读 多人点赞 2018-01-25 17:23:45
    现代数学的一个特点就是以...这里主要整理(摘抄)了一下欧式空间和从向量空间一直到再生核希尔伯特空间的概念与简单理解。 欧式空间/欧几里得空间(Euclidean Space) 设V" role="presentation" style="position: rel

    现代数学的一个特点就是以集合为研究对象,这样的好处就是可以将很多不同问题的本质抽象出来,变成同一个问题,当然这样的坏处就是描述起来比较抽象,很多人就难以理解了。这里主要整理(摘抄)了一下欧式空间和从向量空间一直到再生核希尔伯特空间的概念与简单理解。
    欧式空间/欧几里得空间(Euclidean Space)
    V V 是实数域R上的线性空间(或称为向量空间),若 V V 上定义着正定对称双线性型g g g 称为内积),则V称为(对于 g g 的)内积空间或欧几里德空间(有时仅当V是有限维时,才称为欧几里德空间)。这些数学空间可以被扩展来应用于任何有限维度,而这种空间叫做 n维欧几里得空间(甚至简称  n n  维空间)或有限维实内积空间。
    欧里几何空间可以说是内积空间的引申。

    线性空间/向量空间(Linear Space/Vector Space)
    一系列向量的集合并且只满足加法和标量乘(向量的相乘)操作的集合。

    内积空间(inner product space)
    内积空间 (V,.,.) ( V , ⟨ . , . ⟩ ) 是在域 F F 上可进行 .,.:V×VF ⟨ . , . ⟩ : V × V → F 运算法操作的向量空间,其满足三个原则:

    1. 共轭对称: x,y=y,x¯¯¯¯¯¯¯¯¯¯¯¯ ⟨ x , y ⟩ = ⟨ y , x ⟩ ¯
    2. 第一个变量满足线性性: ax,y=ax,y ⟨ a x , y ⟩ = a ⟨ x , y ⟩ x+z,y=x,y+z,y ⟨ x + z , y ⟩ = ⟨ x , y ⟩ + ⟨ z , y ⟩
    3. 正定性: x,x0 ⟨ x , x ⟩ ≥ 0 其中等式只有在 x=0 x = 0 取到

    范数向量空间/赋范向量空间(normed vector space)
    定义了向量长度的向量空间,这样我们就可以衡量向量间的长度了。

    度量空间(metric space)
    定义了两个点的距离的集合(这里不必须是向量空间)。范数向量空间是度量空间,但是度量空间不一定是范数向量空间

    希尔伯特空间(Hilbert Space)
    希尔伯特空间即完备的内积空间,也就是说一个带有内积的完备向量空间。当一个内积空间满足通过内积空间可推导出范数空间(赋范空间),并且是完备的,那么这个内积空间就是希尔伯特空间。对于常见的 Rn R n ,满足内积运算,能够推导出 l2 l 2 范数,且是完备的,所以是希尔伯特空间。
    简单来说,基本的线性空间只包括加法和数乘操作,在此基础上我们引入内积操作,这样就把空间升级为内积空间。根据内积我们可以定义一个范数: ||x||=<x,x> | | x | | =< x , x > 于是我们就得到了一个赋范向量空间。有了范数之后我们就可以引入一个度量: d(x1,x2)=||x1x2|| d ( x 1 , x 2 ) = | | x 1 − x 2 | | 用于计算向量 x1 x 1 x2 x 2 之间的距离。于是我们就得到一个度量空间。如果这样的空间在这个度量下是完备的,那么这个空间叫做希尔伯特空间。

    总结一下希尔伯特空间定义的流程是:
    线性空间(向量空间)–> 内积空间 –> 赋范向量空间 –> 度量空间 –完备的–> 希尔伯特空间
    另外,希尔伯特空间是一个函数空间,即空间中每个元素都是一个函数。

    再生核
    接下来引入再生核的概念:
    X X 是非空集, H H 是定义在 X X 上的希尔伯特空间。核 k k 满足下面的两条性质就称为H的再生核:

    1. 对于每个 x0X x 0 ∈ X , k(y,x0) k ( y , x 0 ) )作为 y y 的函数属于空间H
    2. 任意 x x 属于X f(.) f ( . ) 属于 H H ,有 f(x)=<f(.),K(.,x)>H f ( x ) = < f ( . ) , K ( . , x ) > H

    再生核希尔伯特(Reproducing Kernel Hilbert Space, RKHS)
    再生核希尔伯特是由核函数构成的空间。
    其基底为: {λiψi}i=1 { λ i ψ i } i = 1 ∞
    所以其中任意函数都可以由基底表示: f=i=1fiλiψi f = ∑ i = 1 ∞ f i λ i ψ i
    选出其中的两个函数,按照坐标表示如下: f=(f1,f2,...)THg=(g1,g2,...)TH f = ( f 1 , f 2 , . . . ) H T 和 g = ( g 1 , g 2 , . . . ) H T
    所以其内积为: <f,g>H=i=1figi < f , g > H = ∑ i = 1 ∞ f i g i <script type="math/tex" id="MathJax-Element-520">< f,g >_\mathcal{H} = \sum_{i=1}^{\infty} f_i g_i</script>
    再来看核函数 K(x,y) K ( x , y ) 将其中一个元素固定 K(x0,y) K ( x 0 , y ) ,则其也可以看成一个函数
    K(x0,y)=i=0λiψi(x)ψi K ( x 0 , y ) = ∑ i = 0 ∞ λ i ψ i ( x ) ψ i
    化成向量坐标表示形式: K(x0,y)=(λ1ψ1(x),λ2ψ2(x),)TH K ( x 0 , y ) = ( λ 1 ψ 1 ( x ) , λ 2 ψ 2 ( x ) , ⋯ ) H T
    所以计算内积: <K(x0,y),K(y0,x)>H=i=0λiψi(x0)ψi(y0)=K(x0,y0) < K ( x 0 , y ) , K ( y 0 , x ) > H = ∑ i = 0 ∞ λ i ψ i ( x 0 ) ψ i ( y 0 ) = K ( x 0 , y 0 ) <script type="math/tex" id="MathJax-Element-525">< K(\mathbf{x_0},\mathbf{y}), K(\mathbf{y_0},\mathbf{x}) >_\mathcal{H} = \sum_{i=0}^{\infty} \lambda_i \psi_i (\mathbf{x_0}) \psi_i(\mathbf{y_0}) = K(\mathbf{x_0},\mathbf{y_0})</script>

    上面这个性质就叫做再生性(reproducing property),所以这个空间才叫做再生核希尔伯特空间。
    这个性质是非常好的,因为这样看,原本函数之间计算内积需要算无穷维的积分的,但是现在只需要算核函数就好了。
    所以定义一个点的映射一个点x给其映射到一个无穷维的特征空间【即先将这个点变成一个函数,而这个函数可以看成一个无穷维的特征空间】

    Φ(x)=K(x,)=(λ1ψ1(x),λ2ψ2(x),)T(21) (21) Φ ( x ) = K ( x , ⋅ ) = ( λ 1 ψ 1 ( x ) , λ 2 ψ 2 ( x ) , ⋯ ) T

    得到两个特征空间上的内积为:
    <Φ(x),Φ(y)>H=<K(x,),K(y,)>H=K(x,y)(22) (22) < Φ ( x ) , Φ ( y ) > H =< K ( x , ⋅ ) , K ( y , ⋅ ) > H = K ( x , y )
    <script type="math/tex; mode=display" id="MathJax-Element-527">< \boldsymbol{\Phi} (\mathbf{x}), \boldsymbol{\Phi} (\mathbf{y}) >_\mathcal{H} = < K(\mathbf{x},\cdot), K(\mathbf{y},\cdot) >_\mathcal{H} = K(\mathbf{x},\mathbf{y})</script>
    这就是核计巧(kernel trick)

    总结
    这里写图片描述

    参考文献

    1. http://blog.pluskid.org/?p=723
    2. http://www.fanyeong.com/2017/11/13/linear-space-to-rkhs/
    3. http://heimingx.cn/2016/05/24/reproducing-kernel-hilbert-spaces/
    4. http://sadeepj.blogspot.hk/ (需要梯子)
    5. https://www.zhihu.com/question/19967778
    6. http://blog.csdn.net/haolexiao/article/details/72171523
    7. http://open.163.com/movie/2013/3/T/0/M8PTB0GHI_M8PTBUHT0.html (上交大公开课)
    展开全文
  • 解决希尔伯特空间中分裂可行性问题的迭代算法
  • 希尔伯特空间简记

    2021-01-09 16:48:45
    经常会遇到希尔伯特空间(Hilbert Space)这个陌生又熟悉的名词,决定解决一下这个名词。 1速记 希尔伯特空间就是在线性空间基础上加了3个条件,即完备性,无限维和满足内积操作,形成新空间。 2 理解 ...

    经常会遇到希尔伯特空间(Hilbert Space)这个陌生又熟悉的名词,决定解决一下这个名词。

    1 速记

    希尔伯特空间就是在线性空间基础上加了3个条件,即完备性无限维满足内积操作,形成新空间。

     

    2 理解

    希尔伯特空间(Hilbert Space): 完备的,可能是无限维度的,被赋予内积操作的线性空间

     线性空间:线性代数上的向量空间,即满足加分和数乘封闭。详细性质有如下八条:

    完备:对极限操作是封闭的,即n趋近与无穷时的极限值,也在希尔伯特空间

    无限维度:维度无,我们经常用的是欧式空间,二维。

    内积:高中概念,2个向量对应相乘在相加。内积操作需要满足对称,半定和线性。

     

     

    (来源:白板书)

    展开全文
  • 用人话说说希尔伯特空间??

    多人点赞 2020-12-10 08:30:00
    在学习机器学习的同学如果对SVM中的核函数进行深究,一定会见到再生核希尔伯特空间(RKHS)这个概念,其他理工科的同学往往也会在书中遇到希尔伯特空间这样的字眼,还有什么巴拿赫空间、赋范线性空间等等。...

    版权声明:本文为CSDN博主「ChangHengyi」的原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接及本声明。

    原文链接:https://blog.csdn.net/ChangHengyi/article/details/80577318  

    推荐语:学习机器学习的同学,一定对希尔伯特空间不陌生,然而,它似乎一直是一个“熟悉的陌生人”。网上的大量教程充斥着“傅里叶变换”,“柯西序列”,“量子力学”等等高大上名词,能让人看懂的寥寥无几。我有幸在茫茫文章中看到了这一篇,从空间的定义、意义,一步步娓娓道来,解释希尔伯特空间和一系列其他空间之间的关系,十分值得一读!


      在学习机器学习的同学如果对SVM中的核函数进行深究,一定会见到再生核希尔伯特空间(RKHS)这个概念,其他理工科的同学往往也会在书中遇到希尔伯特空间这样的字眼,还有什么巴拿赫空间、赋范线性空间等等。但是非理学院的同学遇到这些字眼往往会被吓到,或者觉得好高大上。但是,这些概念其实一点都不难,读了今天我的文章,希望大家可以理解好这些概念,至少以后不会被它们吓到,如果只是想知道希尔伯特空间是什么,那看到相应的章节不再往下看就好。

      BTW,第一次写博客,讲的比较多,生怕说不明白,大神们不要嫌烦就好,如果你前面的感觉都知道可以从中间开始看。

    什么是数学中的空间

    我们知道数学的特点就是抽象,数学家喜欢把问题的本质抽象出来,而不再是只针对具体的问题,所以现代数学喜欢以集合为研究对象,比如你想研究你们班上的同学,那么你的研究对象就是由你们班上所有同学组成的集合,比如你做机器学习想分析一组数据,那么你要研究的集合就是由每一个数据组成的集合。所以,看到这里我们明白了,数学家们在研究问题时首先要明确研究的对象。

    有了研究的对象,还需要什么呢?那就是你的研究对象所需要遵循的规则。比如你要研究你们班谈恋爱的状况,刚刚说了,每一个同学是集合中的一个元素,既然你要研究的问题是你们班的恋爱状况,那你就要定义一个恋爱关系。比如我这么定义,班里每一个同学可以和另一名同学(不能和自己)之间建立恋爱关系(没有规定必须是异性恋)。好了,我定义完了,于是我们就得到了一个赋有某种规则的班上同学的集合,当然你的定义可以和我不一样,比如你思想很open,你觉得一个人可以和几个人保持恋爱关系,那么fine,你按照你的定义来就好,定义了之后的规则就变成了公理,以后的任何操作以及推到都只能在公理的基础上进行。我们可以把这个定义了恋爱规则同学的集合叫做一个同学恋爱空间。如果你说:“同学之间不只有恋爱关系啊,还有纯洁的友谊。”好呀,如果你也需要研究交友关系,那么你再按照你心目中的定义,定义一下交朋友的原则就好了。如果你在同学恋爱空间的基础上又加入了交朋友的定义,那么恭喜你,你就得到了一个同学恋爱交友空间。那么得到了这个空间有什么用呢?你就可以在这个空间里研究你们班同学的恋爱和交友关系了,但是你的一切研究包括推倒、计算,都必须基于你定义的公理,不能按照自己的常识,不然你就又把抽象的东西具象化了,这就失去了抽象出来的意义。

    好,如果大家不厌其烦的看完了上面的例子,那么可以明白数学中谈到的空间需要有两部分组成,研究的对象和内在的规则,或者叫做元素结构,有了这些我们就可以在这基础上研究我们感兴趣的问题。

    好了,讲完了什么是空间,我们来看几种数学中的空间,看完之后你将明白它们的含义和关系。

    线性空间

    线性空间就是定义了加法和数乘的空间

    先来说一种我们最常见的空间吧,那就是线性空间,线性空间是什么意思呢?这里就不从群、环、域的概念开始讲了,什么对加法封闭、零元、负元啥的,不然就又变得像课本一样吓人了,我们力求用通俗又不失严谨的话把问题解释清楚。大家可以时刻回想之前举得例子,元素和结构。那线性空间中的元素是什么呢,这不重要,可以是任何东西,线性空间强调的是空间中的元素满足线性结构

    那如何才能得到线性结构呢,我们需要定义加法和数乘。定义加法和数乘需要8条公理,这里就不放了,免得大家头大,线性代数课本上第一章都会有。这里想说的是,加法和数乘在我们生活中是想当然的概念,小学生也知道,一条狗加一条狗等于两条狗,一条狗乘以3等于三条狗。但其实我们在数学中不能够想当然,一切东西都要先定义了才可以使用,这里的加法和数乘和大家从小到大接触的没什么两样。

    定义了加法和数乘,空间里的一个元素就可以由其他元素线性表出,这就是线性空间。

    度量空间

    度量空间就是定义了距离的空间。

    这里的距离就要好好的和大家掰扯掰扯了,因为它不像加法和数乘这样的想当然。如果我问你什么是距离,你回答两点之间的连线的长度的话,那说明你还是naïve。如果在地球上,你想从中国去美国,走直线的话你可能要穿过地心,但是这是不可能的,所以地球上两点之间最短的距离应该经过两个点的直径为地球直径的大圆上的一部分。

    设想另一个场景,你在做出租车,从城市的一个地方去另一个地方,因为道路都是网格型的,你也不可能让司机从楼中穿过,所以你走的最短路线是一条折线,实际上,这种距离叫做曼哈顿距离


    事实上,还有很多种不同距离的定义方式,例如闵可夫斯基距离,马氏距离,切比雪夫距离等等,我们最常用的两点之间的连线叫做欧式距离

    我们可以按照我们的需要或者具体问题的具体情况,用不同的方式来定义距离。那么到底什么是距离呢,说白了距离就是两个点(元素)对应一个数,x,y是集合中的两个元素,那么x,y的距离d(x,y)是由x,y这两个元素决定的一个数。

    那么我们是不是可以按照任何我们想要的方式来定义距离呢,并不是,因为稍有常识的人都知道,距离不能是负的,负的距离我们不知道是什么意义,一个点和自己的距离应该是0,不然我们会感觉很奇怪。其实在定义距离时,有三条公理必须遵守,这三条公理来源于我们对距离的常识

    (1)非负性、同一性:d(x,y)≥0,当且仅当x=y时取等号;

    (2)对称性:d(x,y)=d(y,x);

    (3)三角不等式:d(x,z)≤d(x,y)+d(y,z)。

    如果可以满足以上三条,那么任何定义距离的方式都是OK的

    一个定义了距离的空间我们把它成为度量空间。

    赋范空间

    赋范空间就是定义了范数的空间。

    学理工科的都听过范数的概念,简单理解,x的范数||x||就是x的长度。那么这里的长度和上一节中说的距离到底有什么区别呢。距离的概念是针对两个元素来说的,例如d(x,y)指的是x与y两个元素之间的距离,而范数是针对一个元素来说的,每一个元素都对应一个范数,可以将范数理解为一个元素到零点的距离(这只是一种理解,并不是定义),也就是它自己的长度。定义范数和距离一样也要满足一些要求:

    (1)非负性:||x||≥0;

    (2)||ax||=|a| ||x||,即里面的数乘可以提出来;

    (3)三角不等式:||x||+||y||≤||x+y||。

    我们依然可以任意定义范数,只要满足以上三条。

    不知道大家有没有发现,如果我们定义了范数,可以在这基础上定义距离:d(x,y)=||x-y||。根据范数的三条性质,我们可以证明我们这样定义的距离也满足距离的定义,聪明的你可以自己证明一下(对称性的证明,提一个-1出来,一加绝对值就是1了)。

    也就是说范数其实是一个更加具体的概念,有了范数一定能利用范数定义距离,但是有距离不能定义范数

    也许你会问,你不是说理解范数就是一个元素到零点的距离吗,那定义范数为||x||=d(x,0) 不就行了吗。这样的话,对于范数的第二条性质就不一定会满足,||ax||=d(ax,0),而d(ax,0)不一定等于|a|d(x,0),具体等不等于还要看你的距离是怎么定义的。

    线性赋范空间

    线性赋范空间,就是把上面的性质加到一起呗,就是定义了加法、数乘和范数的空间

    有了之前的解释,这就应该很好理解了,不同的空间只是加的条件不一样。有的加的东西多,有的加的东西少

    巴拿赫空间

    巴拿赫空间就是完备的赋范空间

    赋范空间是什么意思之前已经说过了,那完备的空间又是什么意思呢?

    我们先来看一下令人头大的定义:如果一个空间是完备的,那么该空间中的任何一个柯西序列都收敛在该空间之内。

    现在我将慢慢解释这个定义,首先来说一下柯西序列是什么,柯西序列就是随着序数增加,值之间的距离越来越小的序列。换一种说法是,柯西序列可以在去掉有限个值之后,使任意两个值之间的距离都小于任意给定正常数(其实这就是定义了一个极限而已)。

    那么任意一个柯西序列都收敛在该空间内是什么意思呢,举个例子你就明白了。

    设定义在有理数空间Q上的序列:Xn = [(2^1/2)n]/n,其中[x]表示x取整数部分。

    对于这个数列来说,每一个元素的分子分母都是整数,所以每一个xn都在有理数空间Q上,那这个序列的极限呢,稍有常识的人都能看出,这个序列的极限是2^1/2,而这并不是一个有理数,所以这个柯西序列的极限不在该空间里面,也就是说有理数空间Q是不完备的。

    所以完备的意义我们可以这样理解,那就是在一个空间上我们定义了极限,但是不论你怎么取极限,它的极限的值都不会跑出这个空间,那么这个空间就是完备空间

    另外,不知道你有没有发现,上面在解释什么是柯西序列的时候,有一个词我加了下划线,那就是距离,也就说说在定义完备空间之前,要先有距离的概念。所以完备空间,其实也是完备度量空间。

    所以,巴拿赫空间满足几条特性呢:距离、范数、完备

    内积空间

    定义了内积的空间就是内积空间。

    内积就是我们所说的点乘、标积,它的定义方式也不是唯一的,但如同距离范数的定义一样,内积的定义也要满足某些条件,不能随便定义。具体的条件这里便不再展开,大家可以去看线性代数书或者直接百度。

    内积对我们来说并不是一个陌生的概念,我们从中学就开始接触向量的点乘。也能够初步的理解它的意义,只有定义了内积,才会有夹角的概念,才会有正交的概念,另外内积也可以定义范数,也就是说内积是比范数更具体的一个概念。内积的好处大大的有,在理工科的各个领域都有着极其重要的作用,这里不再详细讨论。

    欧式空间

    欧式空间使我们经常听到的概念,它就是定义了内积的有限维实线性空间

    别看它的定义一大长串修饰,其实每一个都是我们生活中常见的概念,可以说我们脑海中对真实世界的认识最接近于欧式空间。我们想当然的距离、长度、夹角等计算都在欧式空间中定义了。

    希尔伯特空间

    终于迎来了我们今天的主角,希尔伯特空间就是完备的内积空间

    到了这里,我们来捋一捋这些概念的关系。其实,这些空间的定义之间的关系是,有的更加具体(加的限定条件更多),有的更加抽象(加的限定条件更少)。就像是,植物、水果、热带水果、热带植物……这些概念的关系。那么这些空间之间的关系是怎样的呢,可以看这张图。

    只有加法数乘就是线性空间

    定义了距离的线性空间就是线性度量空间

    再更具体一点定义了范数,就是赋范空间

    再多定义一个内积,就是内积空间

    希尔伯特空间呢,就是再多定义一个完备性,这里的完备性是为了取极限操作而准备的。也就是说有了完备性,取极限才不会跑出自己的空间。

    为什么要这么麻烦呢?是因为研究不同问题的需要,之前说了,现代数学以集合为研究对象,首先确定所研究的元素,然后定义需要用到的结构例如欧式空间中,每一个向量就是我们所研究的元素,內积运算就是我们所定义的结构。有些问题我们不涉及夹角,只用研究距离和线性性质,那我们完全可以在线性度量空间中来研究,就没有必要定义內积;甚至有时我们连距离都不需要,这样的空间叫拓扑空间(元素的交并运算仍属于同一集合)。所以说,这些空间概念的定义,这些结构的定义是为了研究各种不同的具体问题,或者说是为了将现实中各种具体问题抽象出来,为解决问题提供严谨的数学理论基础。这便是这些空间的由来。

    欧式空间的应用场景很好理解,因为我们生活的就是一个三维的欧式空间,我们想当然的理解的距离,长度,夹角的概念就是欧式空间中距离,范数,內积的定义。那么希尔伯特空间的应用场景呢,希尔伯特空间中的元素一般是函数,因为一个函数可以视为一个无穷维的向量。如果大家熟悉傅里叶变换或者泰勒展开,便能自然的想到这个空间的基底是什么。没错,也是一组无限多的函数。

    再生核希尔伯特空间

    支持向量机的核技巧(kernel trick),涉及到再生核希尔伯特空间的概率。

    核技巧将不能线性可分的数据集映射到高维空间,使其变得线性可分。如果已经理解了这些内容,其实对于理解非线性支持向量机来说已经足够了。关键大家容易不理解的是再生核希尔伯特空间和这个核技巧的关系。

    其实关系是这样的:我们定义了一种核函数(例如径向基函数),就定义了一个希尔伯特空间,而这个核函数的再生性使得我们可以不去计算高维特征空间中的內积,而只需计算核函数,降低了大量的计算量。

    展开全文
  • 欧几里得空间与希尔伯特空间

    万次阅读 多人点赞 2018-07-27 13:09:15
    &amp;amp;amp;amp;amp;nbsp;... 多年以前学信号与系统的时候就听说过希尔伯特空间,但是一直不清楚这究竟是个什么东西,然而它却老是时不时在你学得最欢的时候冒出来搞得人一头雾水,于是今天专

           多年以前学信号与系统的时候就听说过希尔伯特空间,但是一直不清楚这究竟是个什么东西,然而它却老是时不时在你学得最欢的时候冒出来搞得人一头雾水,于是今天专门花了很多时间总算对其概念有了一些基本的了解。本文整理自上海交通大学王维克教授的公开课,课程链接附在文末。

           欧几里得空间,希尔伯特空间,巴拿赫空间或者是拓扑空间都属于函数空间。函数空间 = 元素 + 规则 ,即一个函数空间由 元素元素所满足的规则 定义,而要明白这些函数空间的定义首先得从距离范数内积完备性等基本概念说起。


    一.距离

           说到距离,我们首先想到的是点与点之间的距离,除此之外还有向量之间的距离,曲线之间的距离,函数之间的距离…。这儿谈到 距离 的定义是一种泛指的概念。点与点之间的距离距离 就类似于苹果与水果之间的关系。距离 这个概念的作用主要用于衡量同一空间不同元素之间的差异情况,从这个出发点我们可以得到关于距离的一些属性:

    1. 元素之间的距离大于等于0,若距离等于0则为相同元素。
    2. 元素A到B之间的距离等于元素B到A之间的距离。
    3. 元素之间的距离满足三角不等式。

    满足以上三条属性即可称作元素之间的距离,其正式定义如下

          设X是一个非空集合,任给一对这一集合的元素 X , Y X,Y X,Y。都给定一个实数 d ( X , Y ) d(X,Y) d(X,Y) 与之对应,并且满足

    1. d ( X , Y ) ≥ 0 ; d ( X , Y ) = 0 ⇔ X = Y ; d(X,Y) \ge 0 ; \quad d(X,Y) =0 \Leftrightarrow X=Y ; d(X,Y)0;d(X,Y)=0X=Y;
    2. d ( X , Y ) = d ( Y , X ) ; d(X,Y)=d(Y,X); d(X,Y)=d(Y,X);
    3. d ( X , Y ) ≤ d ( X , Z ) + d ( Y , Z ) ; d(X,Y) \le d(X,Z)+d(Y,Z); d(X,Y)d(X,Z)+d(Y,Z);

    则称 d ( X , Y ) d(X,Y) d(X,Y)是元素X,Y之间的距离

    二.范数

           范数 是比 距离 限制条件更多的一个概念。为了形象地解释范数的概念,这儿在二维平面进行说明。
           在定义了 距离 这个概念之后,我们便可以描述二维平面上两个点之间的 距离 ,此时这个空间称作 度量空间 。但目前的条件没有办法描述一个点的“长度” ,因为缺少了 零点 。而范数定义之后此空间便多了一个零点,可以联想我们熟悉的平面直角坐标系,二维平面中范数可以看做是平面中的点到零点的距离。拥有范数的空间称作赋范空间,用符号 ∣ ∣ X ∣ ∣ ||X|| X表示元素 X X X的范数。因为范数的概念是在距离的概念上加了新的限制,则赋范空间一定是度量空间。我们可以用范数定义距离: d ( X , Y ) = ∣ ∣ X − Y ∣ ∣ d(X,Y)=||X-Y|| d(X,Y)=XY
    总结:元素 X X X的范数 ∣ ∣ X ∣ ∣ ||X|| X可简单看做 X X X到零点的近距离。

    三.线性

           线性这个概念可以说是很熟悉了,即为加法与乘法的结合。若一个空间为线性空间,只要我们知道了此空间的所有基,便可以用加法与数乘表示这一空间所有的元素,如二维平面中能用X轴的单位向量与Y轴的单位向量表示此平面的任意向量。

    四.内积

           内积又称点积或者数量积,在高中学习向量的点乘运算时便接触到这一概念。在有了前面的定义之后的空间总觉得与我们最熟悉的空间还差点什么,没错,就是角度。在引入内积之后的空间便有了角度的概念。 X X X Y Y Y的内积用符号 ( X , Y ) (X,Y) (X,Y)表示,内积的结果同样是为实数。内积是在范数的概念上加了更多限制条件,即内积空间一定为赋范空间,同样的,可以用内积定义范数如下: ∣ ∣ X ∣ ∣ 2 = ( X , X ) ||X||^2 = (X,X) X2=(X,X)
           目前为止便完成了本文的大部分内容,有限维内积空间便是我们最熟悉的欧几里得空间。

    五.完备性

           完备性这个概念的历史渊源比较深厚,作为非数学专业的工科生我也不太明白完备性的具体含义,简单来说对集合中的元素取极限不超出此空间便称其具有完备性。可以反向地通过不完备来理解完备性,对于整数集而言,对5取极限,便会超出整数集,即整数集不完备。
    2018-10-22更正: 最近学了一点泛函,对完备性有了新的理解。完备性是在极限的基础上衍生的概念。例如在有理数集上的一个序列{1,1.4,1.41,1.414,1.4142…},可知此序列极限为 2 \sqrt{2} 2 ,而 2 \sqrt{2} 2 为无理数,不属于有理数集,即有理数集不具备完备性。

    有了以上的概念理解众多迷糊人的空间便容易得多了

    1. 线性完备内积空间称作希尔伯特空间
    2. 线性完备赋范空间称作巴拿赫空间
    3. 有限维线性内积空间称作欧几里得空间

           需要更加深入地理解希尔伯特空间大概避不开泛函分析,但作为工科学生,大概了解其概念够用就好。

    六.参考资料

    展开全文
  • 在学习机器学习的同学如果对SVM中的核函数进行深究,一定会见到再生核希尔伯特空间(RKHS)这个概念,其他理工科的同学往...
  • 在学习机器学习的同学如果对SVM中的核函数进行深究,一定会见到再生核希尔伯特空间(RKHS)这个概念,其他理工科的同学往往也会在书中遇到希尔伯特空间这样的字眼,还有什么巴拿赫空间、赋范线性空间等等。...
  • 欧式空间与希尔伯特空间 在学习统计学习方法的时候,遇到核技巧的时候,理解从输入空间到特征空间的非线性映射出现了俩个空间,有些难懂,特意做一些笔记 欧几里得空间,希尔伯特空间,巴拿赫空间或者是拓扑空间都...
  • 前言 之前一直以为自己把核方法搞懂了,但读论文的时候遇到核方法,总是有些细节的地方感觉...χ\chiχ:输入的特征空间 X=(x1,x2,...,xn)∈χX=(x_{1},x_{2},...,x_{n})\in \chiX=(x1​,x2​,...,xn​)∈χ:输...
  • 希尔伯特空间是指完备正交的线性空间,可以是无穷维,也可以是有限维。而日常三维可以称为三维完备正交线性空间。是不是很像? 要明白希尔伯特空间,先从数学物理角度的维度说起。所谓维度,不单单指空间维度和时间...
  • 文章原地址:《如何理解希尔伯特空间?》 什么是赋范线性空间、内积空间,度量空间,希尔伯特空间 ? 现代数学的一个特点就是以集合为研究对象,这样的好处就是可以将很多不同问题的本质抽象出来,变成同一个问题,...
  • 核函数与希尔伯特空间 1.支持向量积-核函数 核(kernel)的概念由Aizenman et al.于1964年引入模式识别领域,原文介绍的是势函数的方法。在那之后,核函数在模式识别领域沉积了很久。1992年Boser 等人的在解决支持...
  • 希尔伯特就相当于地球,无论你怎么走,都还在地球内(飞出太空除外) 一般指函数空间 5、特征值分解 特征值 : 定义:设 A A A 是 n n n 阶矩阵,λ是一个实数,若存在 n n n 维非零向量 ξ ≠ 0 ξ...
  • 特征映射、希尔伯特空间与量子概率 1.特征映射 2.正交灾难 3.联合概率分布 4.正交性 5.归一性是否违背?
  • 笔记--希尔伯特空间

    2020-11-17 14:34:24
    希尔伯特空间 希尔伯特空间是欧几里德空间的直接推广。对希尔伯特空间及作用在希尔伯特空间上的算子的研究是泛函分析的重要组成部分。 设H是一个实的线性空间,如果对H中的任何两个向量x和y,都对应着一个实数,记为...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 5,073
精华内容 2,029
关键字:

希尔伯特空间