-
2018-09-12 21:37:46
归纳偏好(inductive bias):机器学习算法在学习过程中对某种类型假设的偏好。
例如:算法喜欢尽可能特殊的模型,则会选择“好瓜<->(色泽=*)^(根蒂=蜷缩)^(敲声=浑浊)”,如果算法尽可能一般的模型,则会选择“好瓜<->(色泽=*)^(根蒂=蜷缩)^(敲声=*)”。
通俗来讲:即在样本空间中存在多种假设,算法选择某种模型假设的偏好。
奥卡姆剃刀:若有多个假设和观察一致,选择最简单的那个。(但有时奥卡姆剃刀也会有不适用,当无法判断哪个更简单时,需要其他机制来解决这个问题)
概括:从假设空间中剪枝,剩余样本空间,样本空间中有多种符合的类型,对某种类型(特殊的,一般的,,,)假设的偏好,就叫归纳偏好。
更多相关内容 -
机器学习-归纳偏好(西瓜书系列1)
2021-12-23 22:30:52关于归纳偏好,对于一个数据,模型有许多的归纳偏好,也就是有许多的假设,那么如何进行归纳假设的选择呢,一般性的原则就是:最简单原则-奥卡姆剃刀原理,也就是使模型的结构尽量简单,这也是《统计学习》中提到的...每一种算法都带有一种归纳偏好,归纳偏好,可以理解为算法对于某种假设的偏好,这种偏好可以体现为线性回归模型对于模型线性的假设偏好等。
奥卡姆剃刀原理
关于归纳偏好,对于一个数据,模型有许多的归纳偏好,也就是有许多的假设,那么如何进行归纳假设的选择呢,一般性的原则就是:最简单原则-奥卡姆剃刀原理,也就是使模型的结构尽量简单,这也是《统计学习》中提到的结构风险最小化。
简单有什么好处呢,其中之一就是具有良好的泛化性,如果结构过于复杂,会产生过拟合的现象。NFL(没有免费的午餐)
如图,见详情可见机器学习p9,这个式子作以下说明:- 假设:P(f i)几率相等,也就是说每个目标函数的概率相等(f 就是各类问题所对应的目标函数,而La就是带有归纳偏好的选择算法)
- 公式解释:E代表使用La算法(某种归纳偏好),对所有的问题求解所产生的总误差(注意,是对所有问题)
- 公式的证明目的:证明使用某种算法(带有某种归纳偏好)求解所有问题,所产生的误差只与数据本身有关,与学习算法无关,这里也就是说:如果你想用一种招式打遍天下,输赢的局数,和你的招式是无关的,也就是 “天下没有免费的午餐”。
这里周教授并不是说选择什么算法都没有用了,我们不要忽略这样的前提:所有问题出现的概率相等,举个例子:两种瓜让我们分辨是否是好瓜,一种是带有特征A, 一种是特征B,我们有两种推理规则f1(判断A类型为好瓜,B为坏瓜), f2(判断原则相反),那么如果假设两种瓜出现的概率相等(问题出现的几率相等),那么我们应用f1或者f2 去判断两种问题 都是相同的误差,此时算法就失效了,但是,A特征的瓜世界有200个,但是B特征的瓜有1个,那么我们针对A类型的瓜挑取,当然选择f1作为依据,而不是整体考虑所有类型的瓜。
总结
这就要告诉我们:算法本身就是一种归纳偏好,如果所有的问题出现概率相等,那么解决所有问题产生的总误差,与你选择的算法无关,某个算法只在某个问题上才有意义。我们要具体问题,具体分析!
-
【《机器学习》周志华学习笔记1.4】~机器学习中的“归纳偏好”是什么?
2018-12-19 09:48:57归纳偏好 还是举例子: 三种属性:{白色、黄色、黑色}+{眼睛颜色蓝色、眼睛颜色不一样}+{有铃铛、没铃铛} 判断是不是“猫” 通过机器学习,现在给了一幅“白色”“眼睛蓝色”“有铃铛”的动物,让计算机判断...目录
还是举例子:
三种属性:{白色、黄色、黑色}+{眼睛颜色蓝色、眼睛颜色不一样}+{有铃铛、没铃铛} 判断是不是“猫”
通过机器学习,现在给了一幅“白色”“眼睛蓝色”“有铃铛”的动物,让计算机判断是不是猫
不同机器学习算法,在面对上述情况时,可能得到不同的结果。一部分可能判断这只动物是猫,一部分可能判断不是猫
为什么会出现这样情况?
通过学习得到的模型对应了的假设空间中的一个假设。
比如上面例子,其实属性很少, 同样属性的可以是一条小狗,而小狗对应的也是空间中的一个假设。
学习算法中,对某些属性可能更加有“偏好”,或者说更加在乎,给的权重更大,这将导致我们学习得到的模型更偏向于某种情况。比如假如算法给定只要是“白色”,那是一只猫的概率更大,这就是机器学习过程中对某种类型假设的偏好,称为“归纳偏好”
任何一个有效的机器学习算法必须要有其归纳偏好,否则它会在假设空间训练集上被“等效”假设迷惑,这将无法 产生确定的学习结果, 比如给了上述图片,机器判断是可能是猫,也可能是狗,你还不把机器砸了?
归纳偏好
- 归纳偏好对应了学习算法本身所做出的关于“什么样的模型更好”的假设,在具体的现实问题中,假设是否成立,即算法的归纳偏好是否与问题本身的匹配,大多数直接决定了算法能否取得好的性能。
- 对同样一组数据集进行机器学习,然后采用样本A去进行测试,可能算法A比算法B结果好;那么,一定存在样本B,算法B一定比算法A好!(有人问,那你做的这个学习有啥用?空谈数据样本的话,本来就没用。很可能现实样本A占了80%,样本B只占20%, 让你在实际中选择算法A还是算法B? 我们所有的假设都是概念性的,但遇到实际问题,要具体分析,不能专牛角,请自己再多读几遍,理解一下意思)
【CV之城】
CV之城重点关注于前沿领域:带你领略机器学习、深度学习、人工智能中的算法和思想,以及相关资讯
同时会邀请相关人员分享项目经历和学习历程
让我们一起在计算机视觉领域进步! -
机器学习--归纳偏好
2018-03-16 13:37:081.为什么会产生归纳偏好? 假设现在有三个与训练集一致的假设,但是与它们对应的模型在面临新的一个样本时,会产生不同的输出。这时明显是不合适的。这时我们需要对其得到的假设进行筛选,因此就产生了归纳偏好.2....1.为什么会产生归纳偏好?
假设现在有三个与训练集一致的假设,但是与它们对应的模型在面临新的一个样本时,会产生不同的输出。这时明显是不合适的。这时我们需要对其得到的假设进行筛选,因此就产生了归纳偏好.
2.深入理解:
实质上,其归纳偏好知识一种判断当一个训练集面对多种假设时的一种思想.
上表展示的是一个西瓜的数据集,首先要明确,这是一个二分类问题,我们的目的就是判断一个新的拿来的瓜究竟是不是好瓜,我们将判断好瓜的标准暂且就由三种属性进行判定(色泽,根蒂,敲声).
现在假设我们训练完成后,有多种对应好瓜的假设。
第一种标准(尽可能特殊):
好瓜<->(色泽=青绿)^(根蒂=蜷缩)^(敲声=浊响)
第二种标准(尽可能一般):
好瓜<->(色泽=*)^(根蒂=蜷缩)^(敲声=*)
机器学习对于上面的标准选择的思想就使用了归纳偏好,具体是偏好不同的属性比如在上述的两种标准中,独自偏爱色泽为青绿的这一属性.这就是归纳偏好.
另外需要补充的是在实际的应用中,对于不同的属性的偏好选择是应该是基于信赖可视为某种领域知识而产生的归纳偏好,而不是你想当然就视哪一个属性的属性值为你的归纳偏好.
3.更加直观的描述(周志华《机器学习》)
假设在下图中,每个训练样本是图中的一个点(x,y),要学得一个与训练一致的模型,相当于找到一条穿过所有的点的一条曲线,注意,下图中穿过这些样本点的曲线可以有很多种,这就相当于我们的上面所述训练的集合对应的不同的假设,而我们的归纳偏好,就是基于一种偏好选择一种适当的假设。比如:如果我们以最终的曲线要尽量的简洁为一个偏好,那么直观上我们肯定选择下面的曲线A,而不选择曲线B.
-
周志华《机器学习》 学习笔记(二) 假设空间与归纳偏好
2018-02-04 17:18:21一、假设空间 归纳(induction)与演绎(deduction)是科学推理的两个大基本手段。前者是从特殊到一半的...归纳学习有狭义和广义之分,广义的归纳学习大体相当于从样例中学习,而狭义的归纳学习则要求从训练数据 -
独家|一文带你理解机器学习中的“归纳偏好”真正含义!
2018-12-24 19:48:00↑ 点击上方【计算机视觉联盟】关注我们举例子: 三种属性:{白色、黄色、黑色}+{眼睛颜色蓝色、眼睛颜色不一样}+{有铃铛、没铃铛} 判断是不是“猫” 通过机器学习,现在... -
机器学习笔记(三)归纳偏好
2017-05-08 16:59:02任何一个有效的机器学习算法都要有其归纳偏好,否则他将被假设空间中看似在训练集上等效的假设所迷惑。 “奥卡姆剃刀”是一种常用的、自然科学研究中最基本的原则,他能引导算法确立较好的偏好,他的思想是,若有多... -
【机器学习杂货铺】——归纳偏好(暂缺)
2017-07-17 21:17:18【机器学习杂货铺】——归纳偏好(暂缺) 。。。。。 -
深度学习中的归纳性偏好
2022-04-11 15:48:38西瓜书解释:机器学习算法在学习过程中对某种类型假设的偏好,称为归纳性偏好。归纳性偏好可以看作是学习算法自身在一个庞大的假设空间中对假设进行选择的启发式价值观。 深度神经网络偏好的认为层次化处理信息有更... -
机器学习中理解算法的归纳偏置(偏好)
2017-07-15 16:12:04参考西瓜书对归纳偏置(偏好)的一些总结理解 模型对应假设空间中的一...归纳偏好可以看作学习算法自身在一个庞大的假设空间中对假设进行选择的启发式或者“价值观”。即天涯何处无芳草,却为什么偏偏选择你!!! -
机器学习(周志华版)学习笔记(三)归纳偏好
2017-12-27 10:30:42定义:机器学习算法在学习过程中对某种类型假设的偏好。 每种算法必有其归纳偏好,否则它将被假设空间中看似在训练集上“等效”的假设所迷惑,无法产生确定的学习结果。 例子理解: 编号 色泽... -
机器学习中的归纳偏置
2021-10-25 20:55:24机器学习中的归纳偏置 带着偏见看世界,否则你根本没有看待世界的方式。 本文主要参考整理自知乎问题:如何理解Inductive bias? No-Free-Lunch(NLF)定理指出学习是不可能的,除非有先验知识。通常情况下,我们... -
机器学习(西瓜书)学习笔记2——假设空间和归纳偏好
2019-06-17 21:39:30很显然,机器学习属于归纳的过程,亦称:归纳学习。 以西瓜举例,西瓜成熟与否和西瓜的色泽、根蒂、敲声这三个属性有关系,色泽的属性值:乌黑、青绿。根蒂的属性值:蜷缩、硬挺。敲声的属性值:浊响、沉闷。由这三... -
西瓜书-1.4归纳偏好
2022-04-25 20:43:43文章目录归纳偏好描述问题解决归纳偏好作用偏好的建立奥卡姆剃刀(`Occam's razor`)NFL定理(No Free Lunch Theorem) 归纳偏好 核心:学习算法自身的归纳偏好与问题是否匹配,往往会起到决定性作用。 描述 基于... -
机器学习(1)归纳偏好和NFL
2020-07-09 23:42:52机器学习(1)归纳偏好和NFL 这是萌新小白第一次写博客,也是刚刚开始机器学习的系统学习。第一次的博客主要介绍的是归纳偏好和NFL定理。 归纳偏好 任何一个有效的机器学习算法都必然有其归纳偏好,否则其就会... -
机器学习笔记——假设空间与归纳偏好
2018-09-12 17:28:43学习过程是一个在所有假设组成的空间,即假设空间中进行搜索的过程。搜索目标是找到与训练集“匹配”的假设。 举个例子: 这里要学习的目标是“好瓜”。暂且假设“好瓜”可由色泽,根蒂,敲声这三个因素完全确定... -
机器学习西瓜书:归纳偏好和没有免费午餐定理
2020-02-15 01:28:30机器学习算法在学习过程中对某种类型假设的偏好,称为“归纳偏好”或简称为“偏好”。 偏好的原则: 奥卡姆剃刀:若有多个假设与观察一致,则选择最简单的那个。 没有免费午餐定理: 首先约定如下: 样本空间χ\chi... -
【《机器学习》第1章绪论】机器学习+假设空间、版本空间+归纳偏好+AI发展与应用现状
2020-09-27 10:00:06什么是机器学习 机器学习:通过算法使得机器从大量历史数据中学习规律,从而对新样本做出分类或者预测 基本术语 泛化能力:学得模型应用新样本的能力 机器学习-泛化能力 有监督学习:回归、分类 无监督学习:... -
机器学习:超参数 、训练集、验证集、测试集、归纳偏好、经验误差与过拟合、性能度量、机器学习发展现状
2020-09-26 13:38:441.1 超参数 1.2 训练集、验证集、测试集 1.3 归纳偏好 1.4 经验误差与过拟合 1.5 性能度量(performance measure) 1.6 机器学习发展现状 -
机器学习概论--入门精讲视频
2021-06-09 13:08:04本课程是机器学习的普及课程,是基础的课程,主要介绍机器学习的定义、分类...讲解归纳偏好与可爱的奥卡姆剃刀(这里还有--没有免费的午餐);讲解了机器学习的发展历程;后贯串了机器学习常用的学习算法和辅助知识。 -
绪论——假设空间、归纳偏好、发展历程
2021-07-04 22:22:15例如:随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人都开启了学习机器学习,本文就介绍了机器学习的基础内容。 提示:以下是本篇文章正文内容,下面案例可供参考 一、pandas是什么? 示例:pandas... -
《机器学习》绪论中假设空间和归纳偏好的解释
2016-11-18 00:26:02假设空间是指所有可能的能满足样本输入和输出的假设函数h(x)的集合。...这就涉及到归纳偏好的概念了。 归纳偏好是一个能挑选最佳假设函数的基准。以韦小宝的7个老婆为例,这7个老婆均满足小宝的要求,因此构成 -
(4)绪论三:归纳偏好
2022-01-28 15:20:01机器学习算法在学习过程中对某种类型假设的偏好(对于一个新西瓜来说:让一个训练好的模型来判断它为好瓜还是坏瓜?可以根据某种特征判断它为好瓜,也可以根据另外一种特征判断它为坏瓜,归纳偏好就是看哪一个特征... -
机器学习:归纳偏好-“没有免费的午餐”定理
2017-08-22 15:44:31我们在机器学习中衡量两个算法,到底孰优孰劣,该怎么考虑?“没有免费的午餐定理”仿佛给了一个很令人 depressing 的答案:针对某一域的所有问题,所有算法的期望性能是相同的。但注意,这里有两个关键词,某一域的... -
机器学习——线性回归模型
2021-10-11 10:31:14线性回归—它试图学得 我们通过“均方误差”,即最小化的过程,称为线性回归...然而现实任务中我们可能解出多组和,从而得到多个模型,选择哪一个模型作为最终模型将由学习算法的归纳偏好决定,常见的做法是引入正则 -
机器学习基础知识整理归纳
2021-06-26 12:58:23机器学习基础知识整理归纳发布时间:2019-11-09 20:59,浏览次数:186关于机器学习的一些基本概念的整理1.前言1.机器学习是一门致力于研究如何通过计算的手段,利用经验来改善系统自身的性能的学科。1997年Mitchell给... -
图解机器学习算法(1) | 机器学习基础知识(机器学习通关指南·完结)
2022-03-09 22:35:51本文覆盖机器学习常见知识要点,包括机器学习流程、算法分类(监督学习、无监督学习、强化学习)、依托的问题场景(分类、回归、聚类、降维)、机器学习模型评估与选择等。 -
[学渣啃西瓜书]绪论-基本概念辨析(4)-归纳偏好
2021-10-15 14:36:54归纳偏好: 1- 尽可能特殊(属性值更具体)就用右上,中下的假设。 2- 尽可能一般(属性值更包容)就用左上。这个代表我们认为属性“根蒂”作为判断维度更有把握。 选取个假设更适合解决我们的问题呢? 书中... -
机器学习入门-西瓜书总结笔记
2022-03-22 13:56:38西瓜书第一章-绪论First step引言+基本术语假设空间归纳偏好发展历程与应用现状 First step 对于西瓜书内容做总结笔记,以下都是个人总结,如果有错误欢迎指证。 引言+基本术语 “模型” (model) 从数据中产生 ... -
AI学习笔记(3)——归纳偏好
2018-02-09 13:52:58归纳偏好(inductive bias):机器学习算法在学习过程中对某种类型假设的偏好。奥卡姆剃刀(Occam's razor):若有多个假设与观察一致,则选最简单的那一个。“没有免费的午餐”定理(No Free Lunch Theorem 简称NFL定理)...