精华内容
下载资源
问答
  • VC
    2017-08-25 10:40:40

    在学习斯坦福大学吴恩达先生的机器学习公开课时,对VC维这块没有弄得太懂,后来找了一些资料进行补充学习,略通一二,现把理解的内容整理出来,仅供以后参考。

    问题的来源

    机器学习,是对问题建立数学模型。因为真实的模型未知,我们建立的模型,是否和真实的模型是一致的,是并不知道的。两者间的误差的累计叫风险
    我们建立好一个模型之后,在一个已经标注好的样本数据上进行测试,得到的结果与标注情况进行对比,其差值就是经验风险
    我们建立模型,努力使得其经验风险最小,但是其结果往往是使得建立的模型过于复杂(过拟合)。也就是在一个小样本上获得较好结果的模型,在大数据中的结果,往往不是尽如人意的。在此引入泛化误差(模型在真实情况(总体)上所表现出的误差就称为泛化误差)的概念。有人将真实的风险分为经验风险按和结构风险。认为结构风险与样本数量和分类函数的VC维有关,样本数量越大,结构风险越小;VC维越大,推广能力越差,结构风险越大。

    对分

    首先解释一下,对分的概念。
    假设,有一个假设集 H ,它是一个二分类的集合。 h 是其中的一个假设,当一个大小为N的数据样本集(x1,x1,,xN1)通过 h 得到的结果为(h(x1),h(x1),,h(xN1)),这个结果中的每个元素都是1或0(因为是二分类,所以只有两个结果),则称这个结果可以作为一个对分(Dichotomy)。

    参考

    1. 如何通俗的理解机器学习中的VC维、shatter和break point?
      知乎上关于vc维的解释,还是很好理解的
    更多相关内容
  • 通常在支持向量机算法中核函数参数是事先选定好的,而最小VC维分类器的非线性约束规划问题中包含RBF核的参数,在算法执行中可以自适应地确定。综合复形调优法、罚函数法及梯度法,提出了一种最小VC维分类器的实现...
  • VC维

    千次阅读 2016-06-02 12:32:53
    为什么引入VC维 PAC中以|H |来刻画样本复杂度,它存在以下不足:可能导致非常弱的边界;对于无限假设空间的情形, 1/b*(log2(|H|)+log2(1/d))((2)式)根本无法使用。因此有必要引入另一度量标准VC 维。假设空间的VC 维, ...

    为什么引入VC维
    PAC中以|H |来刻画样本复杂度,它存在以下不足:可能导致非常弱的边界;对于无限假设空间的情形, 1/b*(log2(|H|)+log2(1/d))((2)式)根本无法使用。因此有必要引入另一度量标准VC 维。假设空间的VC 维, 用VCdim(H)表示, 被定义为最大的样本数d ,使得在所有可能的2 d 种二分(dichotomy)中,都能找到与该划分一致的一个假设。VC 维较准确地描述了PAC 学习所需的样本的长度。若C H ,则C 的一致
    算法需要的样本数最多为:
    法需要的样本数最多为[ 5] :
    1/2(1 - ε)*(2VCdim(H)ln1/εln2/δ) (3)
    如假设空间是在布尔域内, 则(2)给出了较好的界;但若是在实数域内, 因此时Hn = ∞, 则只能用(3)式, 对于针对某一具体表示(如神经网络)或当训练数据有噪声时, 如何求其样本复杂度, 。若L 是一致算法, 且VCdim(H)是有限的, 则算法L 是PAC学习的;反过来, 若L 是PAC学习的, 则概念类C 必有有限的VC维。

    分散的概念
    分散(shatter)的概念:对于一个给定集合S={x1, … ,xd},如果一个假设类H能够实现集合S中所有元素的任意一种标记方式,则称H能够分散S。

    VC维的定义:
    H的VC维表示为VC(H) ,指能够被H分散的最大集合的大小。若H能分散任意大小的集合,那么VC(H)为无穷大。在《神经网络原理》中有另一种记号:对于二分总体F,其VC维写作VCdim(F)。

    二维线性分类器举例说明为什么其VC维是3,而不能分散4个样本的集合,这里也就是容易产生困惑的地方。下面进行解释
      对于三个样本点的情况,下面的S1所有的标记方式是可以使用线性分类器进行分类的,因此其VC维至少为3
     这里写图片描述
     虽然存在下面这种情况的S2,其中一种标记方式无法用线性分类器分类
     这里写图片描述
     但这种情况并不影响,这是因为,上一种的S1中,我们的H={二维线性分类器}可以实现其所有可能标签情况的分类,这和S2不能用H分散无关。

    而对于4个样本点的情况,我们的H不能实现其所有可能标签情况的分类(这是经过证明的,过程不详)如下图中某个S和其中一种标签分配情况:

    这里写图片描述
    从这个解释过程可以看出,对于VC维定义理解的前提是先理解分散的定义。分散中的集合S是事先选定的,而VC维是能分散集合中基数(即这里的样本数)最大的。因此,当VC(H)=3时,也可能存在S’,|S’|=3但不能被H分散;而对于任意事先给定的S”,|S”|=4,H不能对其所有可能的标签分配方式进行分散。这里所谓“事先给定”可以看作其点在平面上位置已定,但所属类别未定(即可能是任意一种标签分配)。

    抛出了一个结论:Dvc = d+1, d为feature vector的维度。
    要证明这个等式,可以将它分为两块证明,
    1 证明 Dvc >= d+1;
    2 证明 Dvc <= d+1;
    (此处不再具体证明)
    这里写图片描述
    这个图说了:
    1 Dvc越高 -> Ein下降(shatter能力变强)-> model complexity的penalty提高,导致Eout先降后升
    2 Dvc越低 -> Ein升高 -> model complexity的penalty降低,Eout最终也是会上升
    所以最好情况的Eout是我们选取Dvc在中间的情况,这样Ein和penalty都不高,即最终的Eout也不会太高。这也就是为什么,我们不能够盲目增加feature也不能有太少feature的原因。

    求二维上圆(3)和三角形(7)的VC维,需要给出说明。
    ———以下来自mythly(主要)和ejade(次要)的讨论结论——-
    一维,实数轴上的点,用区间分,VC=2

    二维,平面上的点
    用直线/圆(强于直线,直径无穷大时可看成直线)VC=3(维数+1)

    直线易证,圆3时易证 4时对任意四个点找最小的外接圆,然后要圆上的至多三个点在圆内,其余点在圆外,矛盾。

    用矩形/正方形 VC=4(维数*2)

    4时易证,5时取最上最左最右最下的点在里面,剩下一个点在外面。

    凸多边形 VC=维数*边数+1

    对三角形简要证明思路。
    证存在7可以时,举个正七边形,0个在里面1个在里面2个在里面3个在里面(以那三个为顶点画)都显然。剩下4567在里面,相当于任意0123在外面,比如3个在外面,三角形一条边割一个出去即可。
    证任何8不可以时,首先考察任意8个点的凸包(凸包概念请自学),如果有点在凸包内,那么要凸包上的点在里面,凸包里的点在外面,这显然是不可能的。
    否则就是8个点都在凸包上。取不相邻的4个在里面。另外不相邻的4个就要在外面,由于在外面至少要在三角形一条边的外面,根据鸽笼原理,至少有两个点在同一边的外面。这样势必那两点间的应该在里面的点也会被切出去,矛盾了。。。

    意思大致看看就行了嘛~格式很渣的>.<
    所以凸45678变形都可以用上述证法以此类推
    三维,根据推论
    平面/球 4(维数+1)
    超立方体(正方体,长方体)VC=6(维数*2)
    证略

    All the decision trees can be represented by Boolean functions Vc(H)=∞

    展开全文
  • 机器学习|VC维的理解

    2022-01-09 17:27:10
    图(b) ,可有16种对分,但是用线性分类器(图a中的假设空间)并不能实现 所以假设空间最多可以打散3个数据,于是可以有如下定义 定义(VC维) 假设空间的VC维是能被打散的最大数据集的大小 VC维的性质 VC维表示存在...

    考虑二分类问题

    现有数学定义:

    • 待分类样本集\{x_1,x_2,\cdots,x_m\}
    • 假设空间\mathcal{H}=\{h_1,h_2,\cdots\}

    那么利用假设对样本集进行标记,那么二分类就是对样本标记为1,-1

    例如

    ‘对分’和‘打散’

    h相当于利用红线,完成将样本点标记为‘+’或‘-’,每种标记称为一种“对分”

    对于二分类,最多有2^m种标记结果,于是取定义:

    \Pi_{\mathcal{H}}(m)=2^m

    m是样本集的数据数量

    若能实现所有种对分,则称数据集可被假设空间“打散”

    也就是说,不管我样本真实分类情况如何(所有可能情况),我都可以通过假设空间中的函数划分出来

    再回到例题:

    图(a) m=3,所以共有\Pi_\mathcal{H}(3)=2^3=8种可能的标记结果(分类结果),且均可以由假设空间\mathcal{H}实现;

    图(b) m=4,可有16种对分,但是用线性分类器(图a中的假设空间\mathcal{H})并不能实现

    所以假设空间\mathcal{H}最多可以打散3个数据,于是可以有如下定义

    定义(VC维) 假设空间\mathcal{H}的VC维是能被\mathcal{H}打散的最大数据集的大小

    VC(\mathcal{H})=max\{m:\Pi_\mathcal{H}(m)=2^m\}

    VC维的性质

    • VC维表示存在大小为d的数据集可被假设空间打散,不代表所有大小为d的数据集都可以
    • VC维定义与数据的分布无关

    常见模型的VC维

    1. 正弦函数的VC维:无穷

            对于二分类问题,正弦函数的假设空间为\mathcal{H}:sin(\alpha x),总可以用某种频率的正弦函数将数据准确的分开,所以可以处理样本数量为无穷

    2. SVM

     

    VC维:

    VC(\mathcal{H})\leq \min(D,[\frac{R^2}{\Delta^2}]+1)

    VC维的意义

    • 可以表示函数集的能力\mathcal{H}
    • 若VC维是无限,则经验风险总可以降低到0
    • 确定了风险的边界

     

    展开全文
  • VC维(VC Dimension)

    千次阅读 2020-12-25 17:44:15
    这个x就是VC维。 例子 1.线性函数 如果选用二维空间中的直线作为判别函数,该分类模型的VC维是多少? 答案:3 解释:如果是3个点,无论如何随机的打标签,都存在一条直线都可以将两类样本分开。 如果是4个点,就可能...

    定义

    VC Dimension:全称是Vapnik-Chervonenkis dimension。其用来衡量一个模型的复杂度,定义为:在该模型对应的空间中随机撒x点,然后对其中的每个点随机分配一个2类标签,使用你的模型来分类,并且要分对,请问x至多是多少。这个x就是VC维。

    例子

    1.线性函数

    如果选用二维空间中的直线作为判别函数,该分类模型的VC维是多少?
    答案:3
    解释:如果是3个点,无论如何随机的打标签,都存在一条直线都可以将两类样本分开。
    如果是4个点,就可能会出现一种标签序列,使得不存在一条直线将两类样本分开。如下图。
    在这里插入图片描述

    如果选用三维空间中的直线作为判别函数,该分类模型的VC维是多少?
    答案:4
    总结:
    在这里插入图片描述

    2.正弦函数

    如果选用一维空间中的正弦函数作为判别函数,该分类模型的VC维是多少?
    答案: ∞ \infty
    解释:我们总是可以调节相位和周期来使得对任意给定的样本点数量,任意的标签序列,将其分对。
    在这里插入图片描述
    比如调节b,a使得如下图,浅蓝色的点在函数的下面,深蓝色的点在函数上面。(画得不标准哈~~)。
    在这里插入图片描述

    3.最近邻模型

    在任意空间使用最近邻分类器,该分类模型的VC维是多少?
    答案: ∞ \infty
    解释:无论你给定多少个样本点,设为 q q q个,然后怎样地随机分配标签,设分配完毕后,正类有 m m m个,负类有 n n n个。我都可以设计一个如下分类器,将这些有标签的样本保存下来,正类标签样本集合为: x 1 , x 2 , . . . x m {x_1,x_2,...x_m} x1,x2,...xm,负类标签样本集合为: y 1 , y 2 . . . y n {y_1,y_2...y_n} y1,y2...yn,然后对这 q q q个样本进行分类, x i x_i xi为例,我们使用最近邻分类器,发现 x i x_i xi离我们保存的 x i x_i xi距离为0,那么判别其为正类。其他依次类推,总之,全部可以分对。

    另外,作为补充,我们发现,如果将最近邻分类器变成K近邻分类器,VC维会降低,这个留给你做思考,很简单地~。
    在这里插入图片描述

    相关讨论

    在这里插入图片描述

    在这里插入图片描述

    展开全文
  • VC维的理解

    2013-12-11 15:32:13
    VC维的理解,vc维是统计学习中的关键概念,如何理解它是一个关键步骤
  • 根据粗糙空间上的信赖性测度的性质和传统的统计学习理论的相关知识,在粗糙空间上学习理论的关键定理和学习过程一致收敛速度的界的基础上,给出了粗糙空间上退火熵、生长函数、VC维的概念及其相关的性质,以此为基础...
  • 机器学习,VC维理解

    2021-05-12 14:40:42
    VC维在机器学习中的意义还是很大的,它是统计学习理论用来衡量函数集性能的一种指标——VC维越大,则学习过程越复杂。 目前还没有通用的关于任意函数集VC维的计算理论,只知道一些特殊函数集的VC维。 可简.
  • VC维举例以及理解

    2020-05-22 18:36:43
    网上看了很多VC维的讲解,但依然云里雾里,我曾听过老师讲过两遍,也搜了很多解释,可能是我理解能力比较差,我始终无法深入明白是什么意思。又由于这个概念(或许)不是特别特别重要的概念,貌似也没有特别影响我做...
  • VC维理解

    千次阅读 2018-06-06 15:23:37
    转自:https://blog.csdn.net/winper001/article/details/52863548在...但进一步对VC维的介绍却不多,例如,VC维是什么?如何计算VC维?我们认为2D线性分类器的VC维为3,而不是4。即,2D线性分类器可以打散集合大小...
  • PAC增长函数与VC维极简例子动机例1:一个分割点例2:两个分割点 动机 从组合的方式,计算学习模型的表达能力。表达能力越强的模型越复杂。 例1:一个分割点 如图1所示,输入空间为实数轴。假设学习模型为一个分割点...
  • 机器学习和数据挖掘(7):VC维

    万次阅读 2017-07-24 11:49:07
    VC维回顾与说明如果一个假设空间存在突破点,则一定存在成长函数mH(N)m_{\mathcal H}(N)被某个上限函数B(N,k)B(N,k)所约束,而上限函数等于一个组合的求和形式∑k−1i=0CiN\sum_{i=0}^{k-1}C_N^i,易知该形式的最高...
  • 【AI数学】VC维的定义

    千次阅读 2018-10-08 13:18:36
    VC维是机器学习中经常可见的概念,要理解VC维,首先要知道VC维是用来干嘛的。 用途 度量模型的学习能力的指标,从一般意义上来说,VC维越大,其学习能力越强。比如,常见的神经网络模型,一个更深参数量越多的模型...
  • VC维这个概念很重要,关于机器学习中预防过拟合的一些操作都可以用这个概念解释。http://www.flickering.cn/machine_learning/2015/04/vc%E7%BB%B4%E7%9A%84%E6%9D%A5%E9%BE%99%E5%8E%BB%E8%84%89/中对VC维有非常...
  • 深入学习理论:VC维(VC dimensions)

    千次阅读 2018-04-20 15:49:33
    (喜极而泣,大费周章,终于把这个坑给填了) vc维在这里面起到了一个惩罚项的作用,它所表征的是模型的复杂程度,当模型越复杂的时候,vc维越大,泛化能力就越差;当模型越简单的时候,vc维越小,经验损失函数和...
  • 【机器学习】VC维

    千次阅读 2019-04-06 14:41:11
    VC维的直观定义 对一个指示函数集,如果存在h个样本能够被函数集中的函数按所有可能的2^h种形式分开,则称函数集能够把h个样本打散。 函数集的VC维就是它能打散的最大样本数目h。 若对任意数目的样本都有函数能将...
  • ###简介 VC维,全称为Vapnik-Chervonenkis Dimension,它反映了模型的学习能力,VC维越大,则模型的容量越大。 ###通俗定义 VC维的通俗定义是:对于一个指示函数集,如果存在 HHHHH HHHHHmax​。如果对任意数目的...
  • 关于VC维的理解

    万次阅读 多人点赞 2018-06-27 21:16:06
    简介 &amp;amp;nbsp;&amp;amp;...VC维,全称为Vapnik-Chervonenkis Dimension,它反映了模型的学习能力,VC维越大,则模型的容量越大。 通俗定义 &amp;amp;nbsp;&amp;amp;nbsp;
  • 机器学习之Rademacher复杂度和VC维

    千次阅读 2020-05-09 00:02:05
    - VC维 - Rademacher复杂度 categories: 机器学习 mathjax: true   机器学习中常用的假设集是无限的。但是,在处理无限假设集时,上一章的样本复杂性界限是不能提供信息的。有人可能会问,当假设集HHH为无穷时,...
  • 对分(Dichotomy)、增长函数(Growth Function)、突破点(Break Point)是计算学习理论中非常重要的概念,也是机器学习的基石。可以说如果不理解计算学习理论,那就不能从根本上理解机器学习。...二...
  • vc维的笔记(下)。。。。

    千次阅读 2018-03-10 23:08:14
    接着 vc维的笔记(上)。。。。继续写。。。
  • 提出变量可分离函数的径向基函数网络拟合模型(FittingModel based Rad ial Basis Function network toVariable Separab le Function, VSRBF)及其学习算法并分析VSRBF的VC维.VSRBF是一个由多个子径向基函数网络组成的...
  • 关于VC维

    2019-06-17 17:14:14
    博客地址
  • 详解机器学习中的VC维

    万次阅读 热门讨论 2015-04-03 16:10:03
    机器学习中的经典算法SVM(支持向量机)最初是由前苏联数学家Vladimir Vapnik 和 Alexey Chervonenkis 在 1963...二人合作完成的另外一个之于机器学习的重要贡献就是所谓的VC维,本文主要解释机器学习中的VC维这个概念

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 21,850
精华内容 8,740
关键字:

vc维