精华内容
下载资源
问答
  • 泛化误差上界

    2020-05-02 15:35:29
  • 文章目录先导内容一、 泛化能力(generalization ability)二、 泛化误差(generalization error)三、泛化误差上界(generalization error bound)重点来了!霍夫丁不等式的证明一、Markov’s Inequality(马尔可夫...
  • 左端即为泛化误差,右端则为泛化误差上界。泛化误差也可以理解为期望风险,而右式第一个也叫做经验风险。 这都是与我们的的模型相关的,我们希望我们的模型对未知数据也能有好的预测能力,也就是泛化能力较强,这样...
    1. Hoeffding不等式
      本篇文章不详细证明霍夫丁不等式怎么来的,主要讨论如何由霍夫丁不等式证明不等式:
      在这里插入图片描述
      左端即为泛化误差,右端则为泛化误差上界。泛化误差也可以理解为期望风险,而右式第一个也叫做经验风险。
      这都是与我们的的模型相关的,我们希望我们的模型对未知数据也能有好的预测能力,也就是泛化能力较强,这样才能说明我们的模型有着一定的可用性。
      证明上式则需要我们的霍夫丁不等式:
      在这里插入图片描述

    2. 泛化误差上界推导
      这里我们给出详细推导过程,并给每一步相应解释。
      如果针对二分类问题,此时误差函数取值只为 1或0 ,此时对于一组独立同分布变量X1,X2,X3…Xn。则Xi等于0或1。
      即对所有的i,有[ai,bi]=[0,1]。设F为X道Y的假设空间,此时若函数f属于该假设空间,则有:
      在这里插入图片描述

    R(f)即为期望风险,^R(f)即为经验风险,关于经验风险或期望风险有不是很了解的可以看看我之前的博客。推导过程如下由霍夫丁不等式有:

    在这里插入图片描述
    对于上式,先是将t替换再是利用bi-ai=1。得到上式。且我们可知R(f)=Sn/n),^R(f)=ESn/n。
    则可得下式
    在这里插入图片描述

    此时又有:

    在这里插入图片描述

    这里f属于假设空间的函数,但该假设空间是有限集合。第一个式子表示假设空间中函数满足上泛化误差上界公式的概率。此时它应等于每个函数满足泛化误差公式的概率的并集,这里可以将概率看成面积去理解,若每个函数都没有相交部分,则二式与三式相等,若有重合部分,则二式小于三式,这也就是二式小于等于三式的由来。再由霍夫丁不等式,则可得到四式。
    此时则可有
    在这里插入图片描述

    在这里插入图片描述

    展开全文
  • 【统计学习笔记】泛化误差上界1. 泛化误差2. 泛化误差上界 1. 泛化误差 学习方法的泛化能力是指由该方法学习到的模型对未知数据的预测能力,是学习方法本质上重要的性质。测试误差是依赖于测试数据集的,泛化误差是...

    【统计学习笔记】泛化误差上界

    1. 泛化误差

    学习方法的泛化能力是指由该方法学习到的模型对未知数据的预测能力,是学习方法本质上重要的性质。测试误差是依赖于测试数据集的,泛化误差是理论上的概念,如果学到的模型是f^\hat{f},那么这个模型对未知数据预测的误差即为泛化误差:
    Rexp(f^)=EP[L(Y,f^(X))]=X×YL(y,f^(x))P(x,y)dxdy1)R_{exp}(\hat{f})=E_P[L(Y,\hat{f}(X))]=\int_{\mathcal{X}\times\mathcal{Y}}L(y,\hat{f}(x))P(x,y)dxdy ……(1)
    泛化误差就是学习到的模型的期望风险。

    2. 泛化误差上界

    学习方法的泛化能力分析往往是研究泛化误差的概率上界,简称泛化误差上界。我们先用一个简单的二分类问题的例子来理解泛化上界:
    设训练数据集T=(x1,y1),(x2,y2),,(xN,yN)T={(x_1,y1),(x_2,y_2),\cdots ,(x_N,y_N)},T是从联合概率分布P(X,Y)独立同分布产生的,XRn,Y{1,+1}X\in R^n, Y\in \{-1,+1\},假设空间是函数的有限集合F={f1,f2,,fd}\mathcal{F}=\{f_1,f_2,\cdots ,f_d\},设f是从F\mathcal{F}中选取的函数,损失函数是0-1损失,则关于f的期望风险和经验风险分别是:
    R(f)=E[L(Y,f(X))]2R^(f)=1Ni=1NL(yi,f(xi))3 R(f)=E[L(Y,f(X))] ……(2)\\ \hat{R}(f)=\frac{1}{N}\sum\limits_{i=1}^NL(y_i,f(x_i)) ……(3)
    经验风险最小化函数是:
    fN=argminfFR^(f)4f_N=arg\min\limits_{f\in\mathcal{F}}\hat{R}(f)……(4)
    fN依赖于样本,因为只能从样本得到模型,所以人们更关心的是fN的泛化能力。
    R(fN)=E[L(Y,fN(X))]5R(f_N)=E[L(Y,f_N(X))] ……(5)
    在这里插入图片描述在这里插入图片描述

    这样就可以根据f的训练误差,确定在一定概率下,f泛化误差的范围。

    展开全文
  • 介绍 本文详细推导了《统计学习方法》第一章中,泛化误差上界的不等式。其中利用到了《离散数学》、《概率论》等的知识 推导的详细过程 可能字迹不够工整,如果有问题可以发评论 ...

    介绍

    本文详细推导了李航著《统计学习方法》第一章中,泛化误差上界的不等式。其中利用到了《离散数学》、《概率论》等的知识

    推导的详细过程

    可能字迹不够工整,如果有问题可以发评论
    手推公式1
    在这里插入图片描述

    展开全文
  • Markov 不等式; Hoeffding 不等式(Hoeffding 引理); 二类分类问题的泛化误差上界
  • 1.loge =lne =1 2.loge=lge=log(e) = 0.43429448190324 (摘自百度 : )笔者在一个公式上因为这个卡了15分钟)好了,先给出书上定义:不等式(1.25)左端R(f)是泛化误差,右端即为泛化误差上界。在泛化误差上界中,...
  • 本文在假设空间有限情况下的泛化误差上界分析,并给出了简要的C语言实现。
  • 在机器学习中我们知道学习方法的泛化能力往往是通过研究泛化误差的概率上界所进行的,这个就简称为泛化误差上界。用直观的理解,在有限的训练数据中得到一个规律,认为总体也是近似这个规律的,那么就能用这个规律...
  • 证明二类分类问题的泛化误差上界

    千次阅读 2018-09-18 19:58:37
    泛化误差上界: 对二分类问题,当假设空间是有限个函数的集合F={f1,f2,f3,...,fn}时,对任意一个函数,至少以概率,以下不等式成立: 其中, 不等式右端第一项为训练误差,训练误差越小,泛化误差就越小 第二...
  • 文章目录Hoeffding 不等式期望损失与经验损失泛化误差上界证明[^1] Hoeffding 不等式 第 2 版, 设 X1,X2,,⋯ ,XNX_1,X_2,,\cdots,X_NX1​,X2​,,⋯,XN​ 是独立随机变量,且 Xi∈[ai,bi],i=1,2,⋯ ,NX_{i} \in [a...
  • 泛化误差上界 References 统计学习方法(第2版)李航著 p25~27 定理 对于二分类问题,当假设空间是有限个函数的集合F={f1,f2,...,fd}F=\{f_1,f_2,...,f_d\}F={f1​,f2​,...,fd​}时,对任意一个函数f∈Ff\in Ff∈F...
  • 本篇博客旨在补充李航老师在《统计学习方法》第一章中关于Hoeffding’s Inequality的证明,明白了它 的由来才能对泛化误差上界有更深刻的认识。 先导内容 1、 泛化能力(generalization ability): 学习方法学习到...
  • 泛化能力 一、 泛化误差 学习方法的泛化能力(generalization ability):方法学习到的模型对未知数据...泛化误差定义:如果学习到的模型是f^\hat ff^​,那么用这个模型对未知数据预测的误差即为泛化误差(generali...
  • 泛化误差上界证明

    2019-02-27 11:14:38
  • 泛化误差:模型是f^\hat{f}f^​,该模型对于未知数据预测的误差即为泛化误差: Rexp⁡(f^)=EP[L(Y,f^(X))]=∫X×YL(y,f^(x))P(x,y)dx dy \begin{aligned} R_{\exp }(\hat{f}) &=E_{P}[L(Y, \hat{f}(X))] \\...
  • 通过简单的泛化误差上界的证明,说明机器能进行学习和预测的基本原理。 直观的理解 在有限的训练数据中得到一个规律,认为总体也是近似这个规律的,那么就能用这个规律进行预测。比如一个大罐子里装满了红...
  • 关于Hoeffding不等式及泛化误差上界

    千次阅读 2018-03-12 15:11:02
    一般而言,我们将考虑训练集上的训练误差和测试集上的泛化误差,事实上,训练误差的持续降低并不是那么令人愉快,因为这可能是“过拟合”在背后操纵着一切。总的来说,只有泛化误差的降低才能真的让人感觉美滋滋。 ...
  • CSDN博文https://blog.csdn.net/SanyHo/article/details/105569224 已经给出了较为详细的推导过程,这里只给出由Hoeffding不等式退出如下不等式: P(R(f)−R^(f)≥ϵ)≤exp(−2Nϵ2)\mathbb{P}(R(f) − \hat{R}(f) \...
  • 字不好看,见谅
  • 对了,1.29那里我手写推一下,如果有疑问可以看一下hhhhh(字太丑勿喷) 以上讨论的只是假设空间包含有限个函数情况下的泛化误差上界,对一般的假设空间要找到泛化误差界就没有那么简单,这里不作介绍(严肃脸) 好...
  • 欢迎大家交流讨论,一起进步!
  • 摘要:在提高字典鉴别能力的过程中,最大间隔字典...首先,利用支持向量机(SVM)的泛化误差上界理论对支持向量引导的字典学习算法(SVGDL)的鉴别条件进行改进;然后,利用SVM大间隔分类原理和MEB半径作为鉴别约束项,促使...
  • 模型过拟合及模型泛化误差评估

    千次阅读 2018-11-26 11:14:22
    在建立一个分类模型的过程中我们暂时对检验数据集一无所知(也就是暂时得不到真正泛化误差),那么此时我们是如何估计泛化误差的? 我们的目录: 目录 一、过拟合产生原因 二、过拟合与多重比较过程 三、泛化...
  • 通过简单的泛化误差上界的证明,说明机器能进行学习和预测的基本原理。 直观的理解 在有限的训练数据中得到一个规律,认为总体也是近似这个规律的,那么就能用这个规律进行预测。比如一个大罐子里装满了...
  • 名词解析之泛化误差

    2019-10-02 22:16:27
    后来业界就提出了泛化误差的概念(generalization error),在机器学习中泛化误差是用来衡量一个学习机器推广未知数据的能力,即根据从样本数据中学习到的规则能够应用到新数据的能力。常用的计算方法是:用在训练集...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 2,430
精华内容 972
关键字:

泛化误差上界