精华内容
下载资源
问答
  • 希尔伯特空间/再生核希尔伯特空间

    万次阅读 多人点赞 2018-01-25 17:23:45
    现代数学的一个特点就是以...这里主要整理(摘抄)了一下欧式空间和从向量空间一直到再生核希尔伯特空间的概念与简单理解。 欧式空间/欧几里得空间(Euclidean Space) 设V" role="presentation" style="position: rel

    现代数学的一个特点就是以集合为研究对象,这样的好处就是可以将很多不同问题的本质抽象出来,变成同一个问题,当然这样的坏处就是描述起来比较抽象,很多人就难以理解了。这里主要整理(摘抄)了一下欧式空间和从向量空间一直到再生核希尔伯特空间的概念与简单理解。
    欧式空间/欧几里得空间(Euclidean Space)
    V V 是实数域R上的线性空间(或称为向量空间),若 V V 上定义着正定对称双线性型g g g 称为内积),则V称为(对于 g g 的)内积空间或欧几里德空间(有时仅当V是有限维时,才称为欧几里德空间)。这些数学空间可以被扩展来应用于任何有限维度,而这种空间叫做 n维欧几里得空间(甚至简称  n n  维空间)或有限维实内积空间。
    欧里几何空间可以说是内积空间的引申。

    线性空间/向量空间(Linear Space/Vector Space)
    一系列向量的集合并且只满足加法和标量乘(向量的相乘)操作的集合。

    内积空间(inner product space)
    内积空间 (V,.,.) ( V , ⟨ . , . ⟩ ) 是在域 F F 上可进行 .,.:V×VF ⟨ . , . ⟩ : V × V → F 运算法操作的向量空间,其满足三个原则:

    1. 共轭对称: x,y=y,x¯¯¯¯¯¯¯¯¯¯¯¯ ⟨ x , y ⟩ = ⟨ y , x ⟩ ¯
    2. 第一个变量满足线性性: ax,y=ax,y ⟨ a x , y ⟩ = a ⟨ x , y ⟩ x+z,y=x,y+z,y ⟨ x + z , y ⟩ = ⟨ x , y ⟩ + ⟨ z , y ⟩
    3. 正定性: x,x0 ⟨ x , x ⟩ ≥ 0 其中等式只有在 x=0 x = 0 取到

    范数向量空间/赋范向量空间(normed vector space)
    定义了向量长度的向量空间,这样我们就可以衡量向量间的长度了。

    度量空间(metric space)
    定义了两个点的距离的集合(这里不必须是向量空间)。范数向量空间是度量空间,但是度量空间不一定是范数向量空间

    希尔伯特空间(Hilbert Space)
    希尔伯特空间即完备的内积空间,也就是说一个带有内积的完备向量空间。当一个内积空间满足通过内积空间可推导出范数空间(赋范空间),并且是完备的,那么这个内积空间就是希尔伯特空间。对于常见的 Rn R n ,满足内积运算,能够推导出 l2 l 2 范数,且是完备的,所以是希尔伯特空间。
    简单来说,基本的线性空间只包括加法和数乘操作,在此基础上我们引入内积操作,这样就把空间升级为内积空间。根据内积我们可以定义一个范数: ||x||=<x,x> | | x | | =< x , x > 于是我们就得到了一个赋范向量空间。有了范数之后我们就可以引入一个度量: d(x1,x2)=||x1x2|| d ( x 1 , x 2 ) = | | x 1 − x 2 | | 用于计算向量 x1 x 1 x2 x 2 之间的距离。于是我们就得到一个度量空间。如果这样的空间在这个度量下是完备的,那么这个空间叫做希尔伯特空间。

    总结一下希尔伯特空间定义的流程是:
    线性空间(向量空间)–> 内积空间 –> 赋范向量空间 –> 度量空间 –完备的–> 希尔伯特空间
    另外,希尔伯特空间是一个函数空间,即空间中每个元素都是一个函数。

    再生核
    接下来引入再生核的概念:
    X X 是非空集, H H 是定义在 X X 上的希尔伯特空间。核 k k 满足下面的两条性质就称为H的再生核:

    1. 对于每个 x0X x 0 ∈ X , k(y,x0) k ( y , x 0 ) )作为 y y 的函数属于空间H
    2. 任意 x x 属于X f(.) f ( . ) 属于 H H ,有 f(x)=<f(.),K(.,x)>H f ( x ) = < f ( . ) , K ( . , x ) > H

    再生核希尔伯特(Reproducing Kernel Hilbert Space, RKHS)
    再生核希尔伯特是由核函数构成的空间。
    其基底为: {λiψi}i=1 { λ i ψ i } i = 1 ∞
    所以其中任意函数都可以由基底表示: f=i=1fiλiψi f = ∑ i = 1 ∞ f i λ i ψ i
    选出其中的两个函数,按照坐标表示如下: f=(f1,f2,...)THg=(g1,g2,...)TH f = ( f 1 , f 2 , . . . ) H T 和 g = ( g 1 , g 2 , . . . ) H T
    所以其内积为: <f,g>H=i=1figi < f , g > H = ∑ i = 1 ∞ f i g i <script type="math/tex" id="MathJax-Element-520">< f,g >_\mathcal{H} = \sum_{i=1}^{\infty} f_i g_i</script>
    再来看核函数 K(x,y) K ( x , y ) 将其中一个元素固定 K(x0,y) K ( x 0 , y ) ,则其也可以看成一个函数
    K(x0,y)=i=0λiψi(x)ψi K ( x 0 , y ) = ∑ i = 0 ∞ λ i ψ i ( x ) ψ i
    化成向量坐标表示形式: K(x0,y)=(λ1ψ1(x),λ2ψ2(x),)TH K ( x 0 , y ) = ( λ 1 ψ 1 ( x ) , λ 2 ψ 2 ( x ) , ⋯ ) H T
    所以计算内积: <K(x0,y),K(y0,x)>H=i=0λiψi(x0)ψi(y0)=K(x0,y0) < K ( x 0 , y ) , K ( y 0 , x ) > H = ∑ i = 0 ∞ λ i ψ i ( x 0 ) ψ i ( y 0 ) = K ( x 0 , y 0 ) <script type="math/tex" id="MathJax-Element-525">< K(\mathbf{x_0},\mathbf{y}), K(\mathbf{y_0},\mathbf{x}) >_\mathcal{H} = \sum_{i=0}^{\infty} \lambda_i \psi_i (\mathbf{x_0}) \psi_i(\mathbf{y_0}) = K(\mathbf{x_0},\mathbf{y_0})</script>

    上面这个性质就叫做再生性(reproducing property),所以这个空间才叫做再生核希尔伯特空间。
    这个性质是非常好的,因为这样看,原本函数之间计算内积需要算无穷维的积分的,但是现在只需要算核函数就好了。
    所以定义一个点的映射一个点x给其映射到一个无穷维的特征空间【即先将这个点变成一个函数,而这个函数可以看成一个无穷维的特征空间】

    Φ(x)=K(x,)=(λ1ψ1(x),λ2ψ2(x),)T(21) (21) Φ ( x ) = K ( x , ⋅ ) = ( λ 1 ψ 1 ( x ) , λ 2 ψ 2 ( x ) , ⋯ ) T

    得到两个特征空间上的内积为:
    <Φ(x),Φ(y)>H=<K(x,),K(y,)>H=K(x,y)(22) (22) < Φ ( x ) , Φ ( y ) > H =< K ( x , ⋅ ) , K ( y , ⋅ ) > H = K ( x , y )
    <script type="math/tex; mode=display" id="MathJax-Element-527">< \boldsymbol{\Phi} (\mathbf{x}), \boldsymbol{\Phi} (\mathbf{y}) >_\mathcal{H} = < K(\mathbf{x},\cdot), K(\mathbf{y},\cdot) >_\mathcal{H} = K(\mathbf{x},\mathbf{y})</script>
    这就是核计巧(kernel trick)

    总结
    这里写图片描述

    参考文献

    1. http://blog.pluskid.org/?p=723
    2. http://www.fanyeong.com/2017/11/13/linear-space-to-rkhs/
    3. http://heimingx.cn/2016/05/24/reproducing-kernel-hilbert-spaces/
    4. http://sadeepj.blogspot.hk/ (需要梯子)
    5. https://www.zhihu.com/question/19967778
    6. http://blog.csdn.net/haolexiao/article/details/72171523
    7. http://open.163.com/movie/2013/3/T/0/M8PTB0GHI_M8PTBUHT0.html (上交大公开课)
    展开全文
  • 在学习机器学习的同学如果对SVM中的核函数进行深究,一定会见到再生核希尔伯特空间(RKHS)这个概念,其他理工科的同学往往也会在书中遇到希尔伯特空间这样的字眼,还有什么巴拿赫空间、赋范线性空间等等。...

    在学习机器学习的同学如果对SVM中的核函数进行深究,一定会见到再生核希尔伯特空间(RKHS)这个概念,其他理工科的同学往往也会在书中遇到希尔伯特空间这样的字眼,还有什么巴拿赫空间、赋范线性空间等等。但是非理学院的同学遇到这些字眼往往会被吓到,或者觉得好高大上。但是,这些概念其实一点都不难,读了今天我的文章,希望大家可以理解好这些概念,至少以后不会被它们吓到,如果只是想知道希尔伯特空间是什么,那看到相应的章节不再往下看就好

    BTW,第一次写博客,讲的比较多,生怕说不明白,大神们不要嫌烦就好,如果你前面的感觉都知道可以从中间开始看。

     

    什么是数学中的空间

    我们知道数学的特点就是抽象,数学家喜欢把问题的本质抽象出来,而不再是只针对具体的问题,所以现代数学喜欢以集合为研究对象,比如你想研究你们班上的同学,那么你的研究对象就是由你们班上所有同学组成的集合,比如你做机器学习想分析一组数据,那么你要研究的集合就是由每一个数据组成的集合。所以,看到这里我们明白了,数学家们在研究问题时首先要明确研究的对象。

    有了研究的对象,还需要什么呢?那就是你的研究对象所需要遵循的规则。比如你要研究你们班谈恋爱的状况,刚刚说了,每一个同学是集合中的一个元素,既然你要研究的问题是你们班的恋爱状况,那你就要定义一个恋爱关系。比如我这么定义,班里每一个同学可以和另一名同学(不能和自己)之间建立恋爱关系(没有规定必须是异性恋)。好了,我定义完了,于是我们就得到了一个赋有某种规则的班上同学的集合,当然你的定义可以和我不一样,比如你思想很open,你觉得一个人可以和几个人保持恋爱关系,那么fine,你按照你的定义来就好,定义了之后的规则就变成了公理,以后的任何操作以及推到都只能在公理的基础上进行。我们可以把这个定义了恋爱规则同学的集合叫做一个同学恋爱空间。如果你说:“同学之间不只有恋爱关系啊,还有纯洁的友谊。”好呀,如果你也需要研究交友关系,那么你再按照你心目中的定义,定义一下交朋友的原则就好了。如果你在同学恋爱空间的基础上又加入了交朋友的定义,那么恭喜你,你就得到了一个同学恋爱交友空间。那么得到了这个空间有什么用呢?你就可以在这个空间里研究你们班同学的恋爱和交友关系了,但是你的一切研究包括推倒、计算,都必须基于你定义的公理,不能按照自己的常识,不然你就又把抽象的东西具象化了,这就失去了抽象出来的意义。

    好,如果大家不厌其烦的看完了上面的例子,那么可以明白数学中谈到的空间需要有两部分组成,研究的对象内在的规则,或者叫做元素结构,有了这些我们就可以在这基础上研究我们感兴趣的问题。

    好了,讲完了什么是空间,我们来看几种数学中的空间,看完之后你将明白它们的含义和关系。

     

    线性空间

    线性空间就是定义了加法和数乘的空间。

    先来说一种我们最常见的空间吧,那就是线性空间,线性空间是什么意思呢?这里就不从的概念开始讲了,什么对加法封闭、零元、负元啥的,不然就又变得像课本一样吓人了,我们力求用通俗又不失严谨的话把问题解释清楚。大家可以时刻回想之前举得例子,元素和结构。那线性空间中的元素是什么呢,这不重要,可以是任何东西,线性空间强调的是空间中的元素满足线性结构

    那如何才能得到线性结构呢,我们需要定义加法数乘。定义加法和数乘需要8条公理,这里就不放了,免得大家头大,线性代数课本上第一章都会有。这里想说的是,加法和数乘在我们生活中是想当然的概念,小学生也知道,一条狗加一条狗等于两条狗,一条狗乘以3等于三条狗。但其实我们在数学中不能够想当然,一切东西都要先定义了才可以使用,这里的加法和数乘和大家从小到大接触的没什么两样。

    定义了加法和数乘,空间里的一个元素就可以由其他元素线性表出,这就是线性空间。

     

    度量空间

    度量空间就是定义了距离的空间。

    这里的距离就要好好的和大家掰扯掰扯了,因为它不像加法和数乘这样的想当然。如果我问你什么是距离,你回答两点之间的连线的长度的话,那说明你还是naive。如果在地球上,你想从中国去美国,走直线的话你可能要穿过地心,但是这是不可能的,所以地球上两点之间最短的距离应该经过两个点的直径为地球直径的大圆上的一部分。

    设想另一个场景,你在做出租车,从城市的一个地方去另一个地方,因为道路都是网格型的,你也不可能让司机从楼中穿过,所以你走的最短路线是一条折线,实际上,这种距离叫做曼哈顿距离

    事实上,还有很多种不同距离的定义方式,例如闵可夫斯基距离,马氏距离,切比雪夫距离等等,我们最常用的两点之间的连线叫做欧式距离。

    我们可以按照我们的需要或者具体问题的具体情况,用不同的方式来定义距离。那么到底什么是距离呢,说白了距离就是两个点(元素)对应一个数,x,y是集合中的两个元素,那么x,y的距离d(x,y)是由x,y这两个元素决定的一个数。

    那么我们是不是可以按照任何我们想要的方式来定义距离呢,并不是,因为稍有常识的人都知道,距离不能是负的,负的距离我们不知道是什么意义,一个点和自己的距离应该是0,不然我们会感觉很奇怪。其实在定义距离时,有三条公理必须遵守,这三条公理来源于我们对距离的常识:

    (1)非负性、同一性:d(x,y)≥0,当且仅当x=y时取等号;

    (2)对称性:d(x,y)=d(y,x);

     

    (3)三角不等式:d(x,z)≤d(x,y)+d(y,z)。

    如果可以满足以上三条,那么任何定义距离的方式都是OK的。

    一个定义了距离的空间我们把它成为度量空间

     

    赋范空间

    赋范空间就是定义了范数的空间。

    学理工科的都听过范数的概念,简单理解,x的范数||x||就是x的长度。那么这里的长度和上一节中说的距离到底有什么区别呢。距离的概念是针对两个元素来说的,例如d(x,y)指的是x与y两个元素之间的距离,而范数是针对一个元素来说的,每一个元素都对应一个范数,可以将范数理解为一个元素到零点的距离(这只是一种理解,并不是定义),也就是它自己的长度。定义范数和距离一样也要满足一些要求:

    (1)非负性:||x||≥0;

    (2)||ax||=|a| ||x||,即里面的数乘可以提出来;

    (3)三角不等式:||x||+||y||≥||x+y||。

    我们依然可以任意定义范数,只要满足以上三条。

    不知道大家有没有发现,如果我们定义了范数,可以在这基础上定义距离:d(x,y)=||x-y||。根据范数的三条性质,我们可以证明我们这样定义的距离也满足距离的定义,聪明的你可以自己证明一下(对称性的证明,提一个-1出来,一加绝对值就是1了)。

    也就是说范数其实是一个更加具体的概念,有了范数一定能利用范数定义距离,但是有距离不能定义范数

    也许你会问,你不是说理解范数就是一个元素到零点的距离吗,那定义范数为||x||=d(x,0) 不就行了吗。这样的话,对于范数的第二条性质就不一定会满足,||ax||=d(ax,0),而d(ax,0)不一定等于|a|d(x,0),具体等不等于还要看你的距离是怎么定义的。

     

    线性赋范空间

    线性赋范空间,就是把上面的性质加到一起呗,就是定义了加法、数乘和范数的空间

    有了之前的解释,这就应该很好理解了,不同的空间只是加的条件不一样。有的加的东西多,有的加的东西少

     

    巴拿赫空间

    巴拿赫空间就是完备的赋范空间

    赋范空间是什么意思之前已经说过了,那完备的空间又是什么意思呢?

    我们先来看一下令人头大的定义:如果一个空间是完备的,那么该空间中的任何一个柯西序列都收敛在该空间之内

    现在我将慢慢解释这个定义,首先来说一下柯西序列是什么,柯西序列就是随着序数增加,值之间的距离越来越小的序列。换一种说法是,柯西序列可以在去掉有限个值之后,使任意两个值之间的距离都小于任意给定正常数(其实这就是定义了一个极限而已)。

    那么任意一个柯西序列都收敛在该空间内是什么意思呢,举个例子你就明白了。

    设定义在有理数空间Q上的序列:,其中[x]表示x取整数部分。

    对于这个数列来说,每一个元素的分子分母都是整数,所以每一个xn都在有理数空间Q上,那这个序列的极限呢,稍有常识的人都能看出,这个序列的极限是,而这并不是一个有理数,所以这个柯西序列的极限不在该空间里面,也就是说有理数空间Q是不完备的。

    所以完备的意义我们可以这样理解,那就是在一个空间上我们定义了极限,但是不论你怎么取极限,它的极限的值都不会跑出这个空间,那么这个空间就是完备空间

    另外,不知道你有没有发现,上面在解释什么是柯西序列的时候,有一个词我加了下划线,那就是距离,也就说说在定义完备空间之前,要先有距离的概念。所以完备空间,其实也是完备度量空间

    所以,巴拿赫空间满足几条特性呢:距离、范数、完备。

     

    内积空间

    定义了内积的空间就是内积空间。

    内积就是我们所说的点乘、标积,它的定义方式也不是唯一的,但如同距离范数的定义一样,内积的定义也要满足某些条件,不能随便定义。具体的条件这里便不再展开,大家可以去看线性代数书或者直接百度。

    内积对我们来说并不是一个陌生的概念,我们从中学就开始接触向量的点乘。也能够初步的理解它的意义,只有定义了内积,才会有夹角的概念,才会有正交的概念,另外内积也可以定义范数,也就是说内积是比范数更具体的一个概念。内积的好处大大的有,在理工科的各个领域都有着极其重要的作用,这里不再详细讨论。

     

    欧式空间

    欧式空间使我们经常听到的概念,它就是定义了内积的有限维实线性空间

    别看它的定义一大长串修饰,其实每一个都是我们生活中常见的概念,可以说我们脑海中对真实世界的认识最接近于欧式空间。我们想当然的距离、长度、夹角等计算都在欧式空间中定义了。

     

    希尔伯特空间

    终于迎来了我们今天的主角,希尔伯特空间就是完备的内积空间

    到了这里,我们来捋一捋这些概念的关系。其实,这些空间的定义之间的关系是,有的更加具体(加的限定条件更多),有的更加抽象(加的限定条件更少)。就像是,植物、水果、热带水果、热带植物……这些概念的关系。那么这些空间之间的关系是怎样的呢,可以看这张图。

    只有加法和数乘就是线性空间

    定义了距离的线性空间就是线性度量空间

    再更具体一点定义了范数,就是赋范空间

    再多定义一个内积,就是内积空间

    希尔伯特空间呢,就是再多定义一个完备性,这里的完备性是为了取极限操作而准备的。也就是说有了完备性,取极限才不会跑出自己的空间。

    为什么要这么麻烦呢?是因为研究不同问题的需要,之前说了,现代数学以集合为研究对象,首先确定所研究的元素,然后定义需要用到的结构。例如欧式空间中,每一个向量就是我们所研究的元素,內积运算就是我们所定义的结构。有些问题我们不涉及夹角,只用研究距离和线性性质,那我们完全可以在线性度量空间中来研究,就没有必要定义內积;甚至有时我们连距离都不需要,这样的空间叫拓扑空间(元素的交并运算仍属于同一集合)。所以说,这些空间概念的定义,这些结构的定义是为了研究各种不同的具体问题,或者说是为了将现实中各种具体问题抽象出来,为解决问题提供严谨的数学理论基础。这便是这些空间的由来。

    欧式空间的应用场景很好理解,因为我们生活的就是一个三维的欧式空间,我们想当然的理解的距离,长度,夹角的概念就是欧式空间中距离,范数,內积的定义。那么希尔伯特空间的应用场景呢,希尔伯特空间中的元素一般是函数,因为一个函数可以视为一个无穷维的向量。如果大家熟悉傅里叶变换或者泰勒展开,便能自然的想到这个空间的基底是什么。没错,也是一组无限多的函数。

    再生核希尔伯特空间

    如果大家还不了解支持向量机的基本推导以及核技巧(kernel trick),大家可以去看这两篇博客,讲的特别清楚:

    机器学习实战教程(八):支持向量机原理篇之手撕线性SVM

    机器学习实战教程(九):支持向量机实战篇之再撕非线性SVM

    核技巧将不能线性可分的数据集映射到高维空间,使其变得线性可分。如果已经理解了这些内容,其实对于理解非线性支持向量机来说已经足够了。关键大家容易不理解的是再生核希尔伯特空间和这个核技巧的关系。

    其实关系是这样的:我们定义了一种核函数(例如径向基函数),就定义了一个希尔伯特空间,而这个核函数的再生性使得我们可以不去计算高维特征空间中的內积,而只需计算核函数,降低了大量的计算量。

    展开全文
  • 在学习机器学习的同学如果对SVM中的核函数进行深究,一定会见到再生核希尔伯特空间(RKHS)这个概念,其他理工科的同学往...

    在学习机器学习的同学如果对SVM中的核函数进行深究,一定会见到再生核希尔伯特空间(RKHS)这个概念,其他理工科的同学往往也会在书中遇到希尔伯特空间这样的字眼,还有什么巴拿赫空间、赋范线性空间等等。但是非理学院的同学遇到这些字眼往往会被吓到,或者觉得好高大上。但是,这些概念其实一点都不难,读了今天我的文章,希望大家可以理解好这些概念,至少以后不会被它们吓到,如果只是想知道希尔伯特空间是什么,那看到相应的章节不再往下看就好

    BTW,第一次写博客,讲的比较多,生怕说不明白,大神们不要嫌烦就好,如果你前面的感觉都知道可以从中间开始看。

     

    什么是数学中的空间

    我们知道数学的特点就是抽象,数学家喜欢把问题的本质抽象出来,而不再是只针对具体的问题,所以现代数学喜欢以集合为研究对象,比如你想研究你们班上的同学,那么你的研究对象就是由你们班上所有同学组成的集合,比如你做机器学习想分析一组数据,那么你要研究的集合就是由每一个数据组成的集合。所以,看到这里我们明白了,数学家们在研究问题时首先要明确研究的对象。

    有了研究的对象,还需要什么呢?那就是你的研究对象所需要遵循的规则。比如你要研究你们班谈恋爱的状况,刚刚说了,每一个同学是集合中的一个元素,既然你要研究的问题是你们班的恋爱状况,那你就要定义一个恋爱关系。比如我这么定义,班里每一个同学可以和另一名同学(不能和自己)之间建立恋爱关系(没有规定必须是异性恋)。好了,我定义完了,于是我们就得到了一个赋有某种规则的班上同学的集合,当然你的定义可以和我不一样,比如你思想很open,你觉得一个人可以和几个人保持恋爱关系,那么fine,你按照你的定义来就好,定义了之后的规则就变成了公理,以后的任何操作以及推到都只能在公理的基础上进行。我们可以把这个定义了恋爱规则同学的集合叫做一个同学恋爱空间。如果你说:“同学之间不只有恋爱关系啊,还有纯洁的友谊。”好呀,如果你也需要研究交友关系,那么你再按照你心目中的定义,定义一下交朋友的原则就好了。如果你在同学恋爱空间的基础上又加入了交朋友的定义,那么恭喜你,你就得到了一个同学恋爱交友空间。那么得到了这个空间有什么用呢?你就可以在这个空间里研究你们班同学的恋爱和交友关系了,但是你的一切研究包括推倒、计算,都必须基于你定义的公理,不能按照自己的常识,不然你就又把抽象的东西具象化了,这就失去了抽象出来的意义。

    好,如果大家不厌其烦的看完了上面的例子,那么可以明白数学中谈到的空间需要有两部分组成,研究的对象内在的规则,或者叫做元素结构,有了这些我们就可以在这基础上研究我们感兴趣的问题。

    好了,讲完了什么是空间,我们来看几种数学中的空间,看完之后你将明白它们的含义和关系。

     

    线性空间

    线性空间就是定义了加法和数乘的空间。

    先来说一种我们最常见的空间吧,那就是线性空间,线性空间是什么意思呢?这里就不从的概念开始讲了,什么对加法封闭、零元、负元啥的,不然就又变得像课本一样吓人了,我们力求用通俗又不失严谨的话把问题解释清楚。大家可以时刻回想之前举得例子,元素和结构。那线性空间中的元素是什么呢,这不重要,可以是任何东西,线性空间强调的是空间中的元素满足线性结构

    那如何才能得到线性结构呢,我们需要定义加法数乘。定义加法和数乘需要8条公理,这里就不放了,免得大家头大,线性代数课本上第一章都会有。这里想说的是,加法和数乘在我们生活中是想当然的概念,小学生也知道,一条狗加一条狗等于两条狗,一条狗乘以3等于三条狗。但其实我们在数学中不能够想当然,一切东西都要先定义了才可以使用,这里的加法和数乘和大家从小到大接触的没什么两样。

    定义了加法和数乘,空间里的一个元素就可以由其他元素线性表出,这就是线性空间。

     

    度量空间

    度量空间就是定义了距离的空间。

    这里的距离就要好好的和大家掰扯掰扯了,因为它不像加法和数乘这样的想当然。如果我问你什么是距离,你回答两点之间的连线的长度的话,那说明你还是naive。如果在地球上,你想从中国去美国,走直线的话你可能要穿过地心,但是这是不可能的,所以地球上两点之间最短的距离应该经过两个点的直径为地球直径的大圆上的一部分。

    设想另一个场景,你在做出租车,从城市的一个地方去另一个地方,因为道路都是网格型的,你也不可能让司机从楼中穿过,所以你走的最短路线是一条折线,实际上,这种距离叫做曼哈顿距离

    事实上,还有很多种不同距离的定义方式,例如闵可夫斯基距离,马氏距离,切比雪夫距离等等,我们最常用的两点之间的连线叫做欧式距离。

    我们可以按照我们的需要或者具体问题的具体情况,用不同的方式来定义距离。那么到底什么是距离呢,说白了距离就是两个点(元素)对应一个数,x,y是集合中的两个元素,那么x,y的距离d(x,y)是由x,y这两个元素决定的一个数。

    那么我们是不是可以按照任何我们想要的方式来定义距离呢,并不是,因为稍有常识的人都知道,距离不能是负的,负的距离我们不知道是什么意义,一个点和自己的距离应该是0,不然我们会感觉很奇怪。其实在定义距离时,有三条公理必须遵守,这三条公理来源于我们对距离的常识:

    (1)非负性、同一性:d(x,y)≥0,当且仅当x=y时取等号;

    (2)对称性:d(x,y)=d(y,x);

     

    (3)三角不等式:d(x,z)≤d(x,y)+d(y,z)。

    如果可以满足以上三条,那么任何定义距离的方式都是OK的。

    一个定义了距离的空间我们把它成为度量空间

     

    赋范空间

    赋范空间就是定义了范数的空间。

    学理工科的都听过范数的概念,简单理解,x的范数||x||就是x的长度。那么这里的长度和上一节中说的距离到底有什么区别呢。距离的概念是针对两个元素来说的,例如d(x,y)指的是x与y两个元素之间的距离,而范数是针对一个元素来说的,每一个元素都对应一个范数,可以将范数理解为一个元素到零点的距离(这只是一种理解,并不是定义),也就是它自己的长度。定义范数和距离一样也要满足一些要求:

    (1)非负性:||x||≥0;

    (2)||ax||=|a| ||x||,即里面的数乘可以提出来;

    (3)三角不等式:||x||+||y||≤||x+y||。

    我们依然可以任意定义范数,只要满足以上三条。

    不知道大家有没有发现,如果我们定义了范数,可以在这基础上定义距离:d(x,y)=||x-y||。根据范数的三条性质,我们可以证明我们这样定义的距离也满足距离的定义,聪明的你可以自己证明一下(对称性的证明,提一个-1出来,一加绝对值就是1了)。

    也就是说范数其实是一个更加具体的概念,有了范数一定能利用范数定义距离,但是有距离不能定义范数

    也许你会问,你不是说理解范数就是一个元素到零点的距离吗,那定义范数为||x||=d(x,0) 不就行了吗。这样的话,对于范数的第二条性质就不一定会满足,||ax||=d(ax,0),而d(ax,0)不一定等于|a|d(x,0),具体等不等于还要看你的距离是怎么定义的。

     

    线性赋范空间

    线性赋范空间,就是把上面的性质加到一起呗,就是定义了加法、数乘和范数的空间

    有了之前的解释,这就应该很好理解了,不同的空间只是加的条件不一样。有的加的东西多,有的加的东西少

     

    巴拿赫空间

    巴拿赫空间就是完备的赋范空间

    赋范空间是什么意思之前已经说过了,那完备的空间又是什么意思呢?

    我们先来看一下令人头大的定义:如果一个空间是完备的,那么该空间中的任何一个柯西序列都收敛在该空间之内

    现在我将慢慢解释这个定义,首先来说一下柯西序列是什么,柯西序列就是随着序数增加,值之间的距离越来越小的序列。换一种说法是,柯西序列可以在去掉有限个值之后,使任意两个值之间的距离都小于任意给定正常数(其实这就是定义了一个极限而已)。

    那么任意一个柯西序列都收敛在该空间内是什么意思呢,举个例子你就明白了。

    设定义在有理数空间Q上的序列:,其中[x]表示x取整数部分。

    对于这个数列来说,每一个元素的分子分母都是整数,所以每一个xn都在有理数空间Q上,那这个序列的极限呢,稍有常识的人都能看出,这个序列的极限是,而这并不是一个有理数,所以这个柯西序列的极限不在该空间里面,也就是说有理数空间Q是不完备的。

    所以完备的意义我们可以这样理解,那就是在一个空间上我们定义了极限,但是不论你怎么取极限,它的极限的值都不会跑出这个空间,那么这个空间就是完备空间

    另外,不知道你有没有发现,上面在解释什么是柯西序列的时候,有一个词我加了下划线,那就是距离,也就说说在定义完备空间之前,要先有距离的概念。所以完备空间,其实也是完备度量空间

    所以,巴拿赫空间满足几条特性呢:距离、范数、完备。

     

    内积空间

    定义了内积的空间就是内积空间。

    内积就是我们所说的点乘、标积,它的定义方式也不是唯一的,但如同距离范数的定义一样,内积的定义也要满足某些条件,不能随便定义。具体的条件这里便不再展开,大家可以去看线性代数书或者直接百度。

    内积对我们来说并不是一个陌生的概念,我们从中学就开始接触向量的点乘。也能够初步的理解它的意义,只有定义了内积,才会有夹角的概念,才会有正交的概念,另外内积也可以定义范数,也就是说内积是比范数更具体的一个概念。内积的好处大大的有,在理工科的各个领域都有着极其重要的作用,这里不再详细讨论。

     

    欧式空间

    欧式空间使我们经常听到的概念,它就是定义了内积的有限维实线性空间

    别看它的定义一大长串修饰,其实每一个都是我们生活中常见的概念,可以说我们脑海中对真实世界的认识最接近于欧式空间。我们想当然的距离、长度、夹角等计算都在欧式空间中定义了。

     

    希尔伯特空间

    终于迎来了我们今天的主角,希尔伯特空间就是完备的内积空间

    到了这里,我们来捋一捋这些概念的关系。其实,这些空间的定义之间的关系是,有的更加具体(加的限定条件更多),有的更加抽象(加的限定条件更少)。就像是,植物、水果、热带水果、热带植物……这些概念的关系。那么这些空间之间的关系是怎样的呢,可以看这张图。

    只有加法和数乘就是线性空间

    定义了距离的线性空间就是线性度量空间

    再更具体一点定义了范数,就是赋范空间

    再多定义一个内积,就是内积空间

    希尔伯特空间呢,就是再多定义一个完备性,这里的完备性是为了取极限操作而准备的。也就是说有了完备性,取极限才不会跑出自己的空间。

    为什么要这么麻烦呢?是因为研究不同问题的需要,之前说了,现代数学以集合为研究对象,首先确定所研究的元素,然后定义需要用到的结构。例如欧式空间中,每一个向量就是我们所研究的元素,內积运算就是我们所定义的结构。有些问题我们不涉及夹角,只用研究距离和线性性质,那我们完全可以在线性度量空间中来研究,就没有必要定义內积;甚至有时我们连距离都不需要,这样的空间叫拓扑空间(元素的交并运算仍属于同一集合)。所以说,这些空间概念的定义,这些结构的定义是为了研究各种不同的具体问题,或者说是为了将现实中各种具体问题抽象出来,为解决问题提供严谨的数学理论基础。这便是这些空间的由来。

    欧式空间的应用场景很好理解,因为我们生活的就是一个三维的欧式空间,我们想当然的理解的距离,长度,夹角的概念就是欧式空间中距离,范数,內积的定义。那么希尔伯特空间的应用场景呢,希尔伯特空间中的元素一般是函数,因为一个函数可以视为一个无穷维的向量。如果大家熟悉傅里叶变换或者泰勒展开,便能自然的想到这个空间的基底是什么。没错,也是一组无限多的函数。

    再生核希尔伯特空间

    如果大家还不了解支持向量机的基本推导以及核技巧(kernel trick),大家可以去看这两篇博客,讲的特别清楚:

    机器学习实战教程(八):支持向量机原理篇之手撕线性SVM

    机器学习实战教程(九):支持向量机实战篇之再撕非线性SVM

    核技巧将不能线性可分的数据集映射到高维空间,使其变得线性可分。如果已经理解了这些内容,其实对于理解非线性支持向量机来说已经足够了。关键大家容易不理解的是再生核希尔伯特空间和这个核技巧的关系。

    其实关系是这样的:我们定义了一种核函数(例如径向基函数),就定义了一个希尔伯特空间,而这个核函数的再生性使得我们可以不去计算高维特征空间中的內积,而只需计算核函数,降低了大量的计算量。

    展开全文
  • 再生核希尔伯特空间和核方法

    千次阅读 2019-10-19 11:44:58
    之前一直以为自己把方法搞懂了,但读论文的时候遇到方法,总是有些细节的地方感觉模棱两可,后来才发现自己还有很多东西没学到,现在专门写一篇关于方法的博客以作记录,也便于后面又学到新的内容时进行扩充。...

    前言

    之前遇到过很多次再生核希尔伯特空间,但一直没有搞懂,最近读论文又遇到了,就花了些时间进行了了解,并在此基础上对核方法加深了理解。

    1 再生核希尔伯特空间的理解

    本节参照https://zhuanlan.zhihu.com/p/29527729。

    1.1 函数与无穷向量

    本人数学基础比较差,该文章中的第一句“每一个函数f都可以看做一个无限维的向量”就让我想了一些时间,最后大概是理解了,举个例子:
    定义 f = e x f=e^{x} f=ex,对f进行泰勒展开可得:
    f ( x ) = 1 + x + 1 2 ! x 2 + 1 3 ! x 3 + . . . f(x)=1+x+\frac{1}{2!}x^{2}+\frac{1}{3!}x^{3}+... f(x)=1+x+2!1x2+3!1x3+...
    令向量 α = ( 1 , 1 , 1 2 ! , 1 3 ! , . . . ) T , β = ( 1 , x , x 2 , x 3 . . . ) T \alpha =(1,1,\frac{1}{2!},\frac{1}{3!},...)^{T},\beta =(1,x,x^{2},x^{3}...)^{T} α=(1,1,2!1,3!1,...)Tβ=(1,x,x2,x3...)T,那么 f ( x ) = α T β f(x)=\alpha ^{T}\beta f(x)=αTβ,此时我们可以把f(x)看做是无穷维向量 α \alpha α,每输入一个x,可以获取对应的向量 β \beta β,然后做内积,就得到了f(x)的值;这样我们就将函数和一个无穷维向量联系起来了。
    但对于一个n阶多项式函数,如 f ( x ) = a n x n + a n − 1 x n − 1 + . . . + a 1 x 1 + a 0 f(x)=a_{n}x^{n}+a_{n-1}x^{n-1}+...+a_{1}x^{1}+a_{0} f(x)=anxn+an1xn1+...+a1x1+a0,按上面的方法似乎只能对应一个n+1维向量: ( a 0 , a 1 , . . . , a n − 1 , a n ) T (a_{0},a_{1},...,a_{n-1},a_{n})^{T} (a0,a1,...,an1,an)T
    我们换一种方法,对于一个在连续区间[a,b]的连续函数f(x),把区间中所有数看做一个向量,即 α = ( a , . . . , b ) T \alpha =(a,...,b)^{T} α=(a,...,b)T,显然 α \alpha α是无穷维的向量,那么我们把这个区间的所有数在f(x)作用下的值当成一个向量 β = ( f ( a ) , . . . , f ( b ) ) T \beta =(f(a),...,f(b))^{T} β=(f(a),...,f(b))T,那么 β \beta β也是无穷维的,我们可以把 β \beta β看做是f(x);此时对于任意一个 c ∈ [ a , b ] c\in [a,b] c[a,b](为了下面方便表述,我们令a<c<b),我们按上面的思路将c表述为向量 α = ( 0 , . . . , 1 , . . . , 0 ) T \alpha =(0,...,1,...,0)^{T} α=(0,...,1,...,0)T(只有在c的位置为1,其他位置都是0),那么 f ( c ) = β T α f(c)=\beta ^{T}\alpha f(c)=βTα。下面的篇幅中,我都按这种理解建立的无穷维向量进行展开。
    上面是我对“每一个函数f都可以看做一个无限维的向量”这句话的理解,感觉因该对f有一个限制,就是定义在连续区间,且在该区间内f不存在第二类间断点。如果有理解错误,还请大家指正。

    1.2 核函数

    1.2.1 核函数的性质

    通常所说的核函数K(x,y)就是正定核函数,满足:
    (1)正定性: ∫ ∫ f ( x ) K ( x , y ) f ( y ) d x d y ≥ 0 \int \int f(x)K(x,y)f(y)dxdy\geq 0 f(x)K(x,y)f(y)dxdy0
    (2)对称性: K ( x , y ) = K ( y , x ) K(x,y)=K(y,x) K(x,y)=K(y,x)
    Mercer定理给出,如果K(x,y)是有效核函数,当且仅当对于训练样本,其对应的核函数矩阵是对称半正定的。

    1.2.2 核函数的矩阵理解

    如果一维函数 ψ \psi ψ可以看成一个无穷维向量,那么我们可以把核函数K看作是行数和列数均为无穷的矩阵,这个矩阵的每个元素可以看做由相应的x值和y值确定的核函数值,每一行(列)均可看做核函数一个变量固定而形成的单变量函数。既然K是一个矩阵,那么我们可以对其进行特征值分解,因为矩阵是对称的,且是无穷维,那么就有无数个特征向量,每个向量是无穷维的,且特征向量之间是正交的。这里的特征向量也称为K的特征函数(下面的讨论中,可以把无穷维向量和函数等价理解),我们把这组特征函数表示为 ( ψ 0 , ψ 1 , . . . ) (\psi _{0},\psi _{1},...) (ψ0,ψ1,...),其中每个 ψ i \psi _{i} ψi是一个无穷维的列向量,对应的特征值为 λ i \lambda _{i} λi。我们令 Ψ = ( ψ 0 , ψ 1 , . . . ) \Psi =(\psi _{0},\psi _{1},...) Ψ=(ψ0,ψ1,...) Λ \Lambda Λ为对角线为特征值的对角矩阵,那么 K = Ψ Λ Ψ T K=\Psi \Lambda \Psi^{T} K=ΨΛΨT(这里结合线性代数中的对称矩阵特征值分解进行理解), K ( x , y ) = ∑ i = 0 ∞ λ i ψ i ( x ) ψ i ( y ) K(x,y)=\sum_{i=0}^{\infty }\lambda _{i}\psi _{i}(x)\psi _{i}(y) K(x,y)=i=0λiψi(x)ψi(y)
    注意,这里要将 ψ \psi ψ ψ ( x ) \psi (x) ψ(x)进行区分, ψ \psi ψ是一个列向量,是一个函数,而 ψ ( x ) \psi (x) ψ(x)则表明是 ψ \psi ψ的第x个元素,是一个值;这可能会与我们之前的印象 ψ ( x ) \psi(x) ψ(x)是一个函数不同,我们这里按矩阵进行理解,同样的K(x,y)也是一个值,是矩阵K的第x行第y列的值。该节下面部分也是这种理解。

    1.2.3 再生核希尔伯特空间

    上面提到核函数K有一组正交的特征函数,我们对这组特征函数进行改造得到 ( λ 0 ψ 0 , λ 1 ψ 1 , . . . ) (\sqrt{\lambda _{0}}\psi _{0},\sqrt{\lambda _{1}}\psi _{1},...) (λ0 ψ0,λ1 ψ1,...),并把改造的特征函数当做一组正交基来构建空间 H H H

    线性空间

    这个空间的任意一个函数f均可以由这组正交基来表示: f = ∑ i = 0 ∞ f i λ i ψ i f=\sum_{i=0}^{\infty }f_{i}\sqrt{\lambda _{i}}\psi _{i} f=i=0fiλi ψi,此时f在该空间中的表示为 f = ( f 0 , f 1 , . . . ) f=(f_{0},f_{1},...) f=(f0,f1,...),易得该空间关于加法和数乘运算是封闭的,所以空间 H H H是线性空间。

    内积空间

    我们在该空间中定义内积, f = ( f 0 , f 1 , . . . ) f=(f_{0},f_{1},...) f=(f0,f1,...) g = ( g 0 , g 1 , . . . ) g=(g_{0},g_{1},...) g=(g0,g1,...),那么我们定义f和g在该空间的内积: f . g = < f , g > = ∑ i = 0 ∞ f i g i f.g=<f,g>=\sum_{i=0}^{\infty }f_{i}g_{i} f.g=<f,g>=i=0figi,此时空间 H H H为内积空间。

    希尔伯特空间

    上面我们定义了内积,然后我们在内积的基础上引入范数: ∣ ∣ f ∣ ∣ = f . f ||f||=\sqrt{f.f} f=f.f ,此时该空间是一个赋范向量空间。根据泛函分析理论,对于不完备的赋范向量空间,一定可以使之完备化,从而得到完备的赋范向量空间(该句来自李航老师的《统计学习方法》),我们这里假设空间 H H H已经完备化了,那么内积空间+完备就是希尔伯特空间。

    再生性

    现在距离再生核希尔伯特空间只剩一个再生性了。
    前面我们知道 K ( x , y ) = ∑ i = 0 ∞ λ i ψ i ( x ) ψ i ( y ) K(x,y)=\sum_{i=0}^{\infty }\lambda _{i}\psi _{i}(x)\psi _{i}(y) K(x,y)=i=0λiψi(x)ψi(y),那么:
    K ( x , . ) = ∑ i = 0 ∞ λ i ψ i ( x ) ψ i K(x,.)=\sum_{i=0}^{\infty }\lambda _{i}\psi _{i}(x)\psi _{i} K(x,.)=i=0λiψi(x)ψi,在该空间对应的向量是: ( λ 0 ψ 0 ( x ) , λ 1 ψ 1 ( x ) , . . . ) (\sqrt {\lambda _{0}}\psi _{0}(x),\sqrt {\lambda _{1}}\psi _{1}(x),...) (λ0 ψ0(x),λ1 ψ1(x),...)
    K ( . , y ) = ∑ i = 0 ∞ λ i ψ i ψ i ( y ) K(.,y)=\sum_{i=0}^{\infty }\lambda _{i}\psi _{i}\psi _{i}(y) K(.,y)=i=0λiψiψi(y),在该空间对应的向量是: ( λ 0 ψ 0 ( y ) , λ 1 ψ 1 ( y ) , . . . ) (\sqrt {\lambda _{0}}\psi _{0}(y),\sqrt {\lambda _{1}}\psi _{1}(y),...) (λ0 ψ0(y),λ1 ψ1(y),...)
    上文提到对于任意的 f = ∑ i = 0 ∞ f i λ i ψ i f=\sum_{i=0}^{\infty }f_{i}\sqrt{\lambda _{i}}\psi _{i} f=i=0fiλi ψi,在该空间对应的向量是: ( f 0 , f 1 , . . . ) (f_{0},f_{1},...) (f0,f1,...)
    那么我们可以得到下面两个结论:
    (1)取K(x,.)和f的内积:
    K ( x , . ) . f = ( λ 0 ψ 0 ( x ) , λ 1 ψ 1 ( x ) , . . . ) ( f 0 , f 1 , . . . ) T = ∑ i = 0 ∞ f i λ i ψ i ( x ) = f ( x ) K(x,.).f=(\sqrt {\lambda _{0}}\psi _{0}(x),\sqrt {\lambda _{1}}\psi _{1}(x),...)(f_{0},f_{1},...)^{T}=\sum_{i=0}^{\infty }f_{i}\sqrt{\lambda _{i}}\psi _{i}(x)=f(x) K(x,.).f=(λ0 ψ0(x),λ1 ψ1(x),...)(f0,f1,...)T=i=0fiλi ψi(x)=f(x)
    (2)取K(x,.)和K(.,y)的内积:
    K ( x , . ) . K ( . , y ) = ( λ 0 ψ 0 ( x ) , λ 1 ψ 1 ( x ) , . . . ) ( λ 0 ψ 0 ( y ) , λ 1 ψ 1 ( y ) , . . . ) T = ∑ i = 0 ∞ λ i ψ i ( x ) ψ i ( y ) = K ( x , y ) K(x,.).K(.,y)=(\sqrt {\lambda _{0}}\psi _{0}(x),\sqrt {\lambda _{1}}\psi _{1}(x),...)(\sqrt {\lambda _{0}}\psi _{0}(y),\sqrt {\lambda _{1}}\psi _{1}(y),...)^{T}=\sum_{i=0}^{\infty }\lambda _{i}\psi _{i}(x)\psi _{i}(y)=K(x,y) K(x,.).K(.,y)=(λ0 ψ0(x),λ1 ψ1(x),...)(λ0 ψ0(y),λ1 ψ1(y),...)T=i=0λiψi(x)ψi(y)=K(x,y)
    这两条就是核函数的再生性,此时可以得出 H H H是再生核希尔伯特空间。
    一般来说,一个核函数确定了一个再生核希尔伯特空间。

    2 核方法

    很多人都知道核方法,定义函数 ϕ \phi ϕ,该函数将有限维的向量映射到高维,甚至是无穷维,但在高维上对 ϕ ( x ) \phi (x) ϕ(x) ϕ ( y ) \phi (y) ϕ(y)做内积,运算量较大,这时候就引入了核函数K(x,y),核函数满足 K ( x , y ) = < ϕ ( x ) , ϕ ( y ) > K(x,y)=<\phi (x),\phi (y)> K(x,y)=<ϕ(x),ϕ(y)>,这样就避免在高维空间上求内积,甚至不用显式定义函数 ϕ \phi ϕ

    2.1 再生核映射

    上面定义的 ϕ ( x ) = K ( x , . ) \phi (x)=K(x,.) ϕ(x)=K(x,.),我们将 ϕ \phi ϕ称为再生核映射,该映射将x映射到上面提到的再生核希尔伯特空间。上面提到 ϕ \phi ϕ将x映射到无穷维,那么我们该如何理解这个说法。
    按矩阵来理解二元函数,那么 ϕ ( x ) \phi (x) ϕ(x)对应核函数的第x行,那么 ϕ ( x ) \phi (x) ϕ(x)在该空间中是一个无穷维向量,因此 ϕ \phi ϕ将x映射到无穷维。
    从函数的角度来讲,K(x,y)是一个二元函数,当给定x后,K(x,.)(换个写法就是K(x0,y))就是关于y的单变量函数,而单变量函数对应无穷维向量。

    2.2 经验核映射

    该部分参照https://www.jianshu.com/p/1bbc5cef55cb
    对于输入 X = ( x 1 , x 2 , . . . , x n ) X=(x_{1},x_{2},...,x_{n}) X=(x1,x2,...,xn),我们应用核技巧会得到一个核矩阵K(注意和之前按矩阵理解核函数时的矩阵K作区分),该矩阵为n*n, K i j = < ϕ ( x i ) , ϕ ( x j ) > K_{ij}=<\phi (x_{i}),\phi (x_{j})> Kij=<ϕ(xi),ϕ(xj)>.
    我们定义经验核映射 ϕ \phi ϕ ϕ ( x i ) = K − 1 / 2 K i \phi (x_{i})=K^{-1/2}K_{i} ϕ(xi)=K1/2Ki,此时 ϕ ( x i ) T ϕ ( x j ) = K i T K − 1 K j \phi (x_{i})^{T}\phi (x_{j})=K_{i}^{T}K^{-1}K_{j} ϕ(xi)Tϕ(xj)=KiTK1Kj,其中 K i K_{i} Ki为K的第i列.

    结语:本文中有些符号的理解会和常用的不太一样,还有一些符号用的有点乱,例如讲再生核希尔伯特空间时的矩阵K和经验核映射的矩阵K是不一样的,阅读时注意结合具体情境。

    展开全文
  • 函数与希尔伯特空间 1.支持向量积-函数 (kernel)的概念由Aizenman et al.于1964年引入模式识别领域,原文介绍的是势函数的方法。在那之后,函数在模式识别领域沉积了很久。1992年Boser 等人的在解决支持...
  • 本文是系列文章《再生核希尔伯特空间[RKHS]导论》的第三部分,介绍核(kernel)的概念、求值泛函(Evaluation Functional)以及再生核希尔伯特空间(RKHS)。
  • 再生核希尔伯特空间(RKHS)和核函数

    万次阅读 多人点赞 2017-05-15 17:48:51
    之前看SVM核函数相关的问题,总是会碰到再生核希尔伯特空间(Reproducing Kernel Hilbert Space, RKHS)不过一直没有太仔细了解过到底是指的什么,前几天研究了一下。 希尔伯特空间先来说一下什么是希尔伯特空间。 ...
  • 现有过滤型特征选择算法并未考虑非线性数据的内在结构,从而分类准确率远远低于封装型算法,对此提出一种基于再生核希尔伯特空间映射的高维数据特征选择算法。首先基于分支定界法建立搜索树,并对其进行搜索;然后...
  • 再生核希尔伯特空间

    2021-04-02 11:03:00
    https://blog.csdn.net/ChangHengyi/article/details/80577318
  • 用于计算机模型功能校准的再生核希尔伯特空间方法。 先决条件 重现这项工作的数值结果需要以下 R 包。 通过安装为此工作开发的软件包 R CMD INSTALL calibration 重现部分数值结果的步骤 RMarkdown 文件是在数据...
  • 再生核希尔伯特空间(Reproducing Kernel Hilbert Space)一、Basic Definitions1.The Basic Idea2.The Reproducing Kernel Map(再生核映射)二、Theorems and Proofs1.Theorems2.RKHS总结 一、Basic Definitions ...
  • 再生核希尔伯特空间 reproducing kernel Hilbert space RKHSHS 希尔伯特空间Kernel 核reproducing kernel 再生核RKHSRKHS的应用 再生核希尔伯特空间 reproducing kernel Hilbert space (RKHS) 在机器学习中很常见,...
  • 基于多个再生核希尔伯特空间的多角度人脸识别.pdf
  • 假设 κ : R d × R d → R \kappa:\mathbb{R}^d\times \mathbb{R}^d\to\mathbb{R} κ:Rd×Rd→R是一个核函数,且 Φ \Phi Φ是对应的再生核映射,则 F κ = { f = ∑ i = 1 m α i Φ ( x i ) ∣ m ∈ N , x 1 , ...
  • 今天看一篇论文,看到了一个名词,RKHS(Reproducing Kernel Hilbert space)即再生核希尔伯特空间,不太明所以,所以百度查一查,这里简单记录一下。这个概念虽然并没有那么高大上,但建立在一系列的概念之上,下面...
  • 本文是系列文章《再生核希尔伯特空间[RKHS]导论》的第二部分,介绍内积空间(Inner Product Space)、希尔伯特空间(Hilbert Space)和再生核希尔伯特空间(Reproducing Kernel Hilbert Space,RKHS)。
  • 再生核: E非空集合,H为定义在E上的复函数Hilbert空间(∀t∈E,∀ψ∈...是Hilbert空间H的再生核,当且仅当 ∀t∈E,K(.,t)∈H ∀t∈E,∀ψ∈H,ψ,K(.,t)>=ψ(t) NOTE: 并不是H中的任意两个函数的内积
  • 这次系列文章主要进行RKHS相关的理论推导,以便对机器学习中的方法和技巧有更深的理解。 我们熟悉的SVM的推导中包含了一些数学技巧,包括最优化理论中的对偶问题,以及初学者很难理解的Reproducing Kernel ...
  • 1 线性模型与非线性模型 在学习表示定理之前我们要先理解...其实上一节写完就可以结束了,但感觉既然引出SVM了,就把KSVM也唠叨一下,这部分的难点在于如何理解再生核希尔伯特空间(RKHS),可以参照我之前的一篇博客...
  • 该文转载自CSDN博主「ChangHengyi」,原文链接:...在学习机器学习的同学如果对SVM中的核函数进行深究,一定会见到再生核希尔伯特空间(RKHS)这个概念,其他理工科的同学往往也会在书中遇到希尔伯特空间这样
  • 再生核希尔伯特空间 1、空间:包含元素和结构(规则)。 2、线性空间:定义了加法和数乘的空间。 3、度量空间:定义了距离的空间距离的定义有欧氏距离、曼哈顿距离、闵科夫斯基距离、马氏距离、切比雪夫距离。 ...
  • 本文是系列文章《再生核希尔伯特空间[RKHS]导论》的第一部分,介绍向量空间(Vector Space)、赋范空间(Normed Vector Space)、度量空间(Metric Space)和巴拿赫空间(Banach Space)。
  • 再生核希尔伯特空间首先一定是希尔伯特空间,所以先介绍希尔伯特(Hilbert)空间: 设E非空集合,H为定义在E上的线性空间: 定义内积: H×H→C ∀ψ,φ∈H,(ψ,φ)=ψ,φ>H 定义范数: ∀ψ∈H,||...
  • 再生希尔伯特空间与核函数讲解 文章目录再生希尔伯特空间与核函数讲解空间线性空间/向量空间...核函数的作用以及通俗理解再生核希尔伯特空间具体定义 空间 空间的概念就是 空间 = 集合 + 结构 线性空间/向量空间(Linear
  • Def1(Evaluation function) 令 H\mathcal{H}H 是一个 Hilbert 空间,X\mathcal{X}X 是一个非空集合, f:X→Rf:\mathcal{X}\to \mathbb{R}f:X→R 是定义在 H\mathcal{H}H 上的线性泛函。 对于任意的 x∈X,x\in \...
  • 上一章讨论了RKHS相关的定义,我们知道了只要找到一个正定的函数(positive define kernel),那么一定有这样一个希尔伯特空间,里面的所有元素可以用f(x)=⟨f(⋅),k(⋅,x)⟩,∀f∈Hf(x)=\langle f(\cdot),k(\cdot,x...
  • 这部分就先来说说空间,这个可以参考一下理解矩阵中关于空间的描述,常见的空间有 线性空间(向量空间)赋范线性空间内积空间欧式空间 Banach空间Hilbert空间 接下来就我自己的理解说说这几个空间(^__^) ...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 884
精华内容 353
关键字:

再生核希尔伯特空间