每一种算法都带有一种归纳偏好，归纳偏好，可以理解为算法对于某种假设的偏好，这种偏好可以体现为线性回归模型对于模型线性的假设偏好等。

奥卡姆剃刀原理

关于归纳偏好，对于一个数据，模型有许多的归纳偏好，也就是有许多的假设，那么如何进行归纳假设的选择呢，一般性的原则就是：最简单原则-奥卡姆剃刀原理，也就是使模型的结构尽量简单，这也是《统计学习》中提到的结构风险最小化。
简单有什么好处呢，其中之一就是具有良好的泛化性，如果结构过于复杂，会产生过拟合的现象。

NFL（没有免费的午餐）

如图，见详情可见机器学习p9，这个式子作以下说明：

1. 假设：P(f i)几率相等，也就是说每个目标函数的概率相等（f 就是各类问题所对应的目标函数，而La就是带有归纳偏好的选择算法）
2. 公式解释：E代表使用La算法（某种归纳偏好），对所有的问题求解所产生的总误差（注意，是对所有问题）
3. 公式的证明目的：证明使用某种算法（带有某种归纳偏好）求解所有问题，所产生的误差只与数据本身有关，与学习算法无关，这里也就是说：如果你想用一种招式打遍天下，输赢的局数，和你的招式是无关的，也就是 “天下没有免费的午餐”。

 这里周教授并不是说选择什么算法都没有用了，我们不要忽略这样的前提：所有问题出现的概率相等，举个例子：两种瓜让我们分辨是否是好瓜，一种是带有特征A, 一种是特征B，我们有两种推理规则f1（判断A类型为好瓜，B为坏瓜）, f2（判断原则相反），那么如果假设两种瓜出现的概率相等（问题出现的几率相等），那么我们应用f1或者f2 去判断两种问题 都是相同的误差，此时算法就失效了，但是，A特征的瓜世界有200个，但是B特征的瓜有1个，那么我们针对A类型的瓜挑取，当然选择f1作为依据，而不是整体考虑所有类型的瓜。

总结

 这就要告诉我们：算法本身就是一种归纳偏好，如果所有的问题出现概率相等，那么解决所有问题产生的总误差，与你选择的算法无关，某个算法只在某个问题上才有意义。我们要具体问题，具体分析！

目录

还是举例子：

为什么会出现这样情况？

归纳偏好 

 还是举例子：

三种属性：{白色、黄色、黑色}+{眼睛颜色蓝色、眼睛颜色不一样}+{有铃铛、没铃铛}   判断是不是“猫”

通过机器学习，现在给了一幅“白色”“眼睛蓝色”“有铃铛”的动物，让计算机判断是不是猫

不同机器学习算法，在面对上述情况时，可能得到不同的结果。一部分可能判断这只动物是猫，一部分可能判断不是猫

为什么会出现这样情况？

通过学习得到的模型对应了的假设空间中的一个假设。

比如上面例子，其实属性很少， 同样属性的可以是一条小狗，而小狗对应的也是空间中的一个假设。

学习算法中，对某些属性可能更加有“偏好”，或者说更加在乎，给的权重更大，这将导致我们学习得到的模型更偏向于某种情况。比如假如算法给定只要是“白色”，那是一只猫的概率更大，这就是机器学习过程中对某种类型假设的偏好，称为“归纳偏好”

任何一个有效的机器学习算法必须要有其归纳偏好，否则它会在假设空间训练集上被“等效”假设迷惑，这将无法 产生确定的学习结果， 比如给了上述图片，机器判断是可能是猫，也可能是狗，你还不把机器砸了？

归纳偏好

• 归纳偏好对应了学习算法本身所做出的关于“什么样的模型更好”的假设，在具体的现实问题中，假设是否成立，即算法的归纳偏好是否与问题本身的匹配，大多数直接决定了算法能否取得好的性能。 
• 对同样一组数据集进行机器学习，然后采用样本A去进行测试，可能算法A比算法B结果好；那么，一定存在样本B，算法B一定比算法A好！（有人问，那你做的这个学习有啥用？空谈数据样本的话，本来就没用。很可能现实样本A占了80%，样本B只占20%， 让你在实际中选择算法A还是算法B？ 我们所有的假设都是概念性的，但遇到实际问题，要具体分析，不能专牛角，请自己再多读几遍，理解一下意思）

                                                                                【CV之城】

CV之城重点关注于前沿领域：带你领略机器学习、深度学习、人工智能中的算法和思想，以及相关资讯
同时会邀请相关人员分享项目经历和学习历程
让我们一起在计算机视觉领域进步！ 

1.为什么会产生归纳偏好？

   假设现在有三个与训练集一致的假设，但是与它们对应的模型在面临新的一个样本时，会产生不同的输出。这时明显是不合适的。这时我们需要对其得到的假设进行筛选，因此就产生了归纳偏好.

2.深入理解：

  实质上，其归纳偏好知识一种判断当一个训练集面对多种假设时的一种思想.

  上表展示的是一个西瓜的数据集，首先要明确，这是一个二分类问题，我们的目的就是判断一个新的拿来的瓜究竟是不是好瓜，我们将判断好瓜的标准暂且就由三种属性进行判定（色泽，根蒂，敲声）.

   现在假设我们训练完成后，有多种对应好瓜的假设。

第一种标准(尽可能特殊)：

   好瓜<->(色泽=青绿）^(根蒂=蜷缩)^(敲声=浊响)

第二种标准（尽可能一般）:

   好瓜<->(色泽=*)^(根蒂=蜷缩)^(敲声=*)

机器学习对于上面的标准选择的思想就使用了归纳偏好，具体是偏好不同的属性比如在上述的两种标准中，独自偏爱色泽为青绿的这一属性.这就是归纳偏好.

另外需要补充的是在实际的应用中，对于不同的属性的偏好选择是应该是基于信赖可视为某种领域知识而产生的归纳偏好，而不是你想当然就视哪一个属性的属性值为你的归纳偏好.

3.更加直观的描述（周志华《机器学习》）

   假设在下图中，每个训练样本是图中的一个点（x,y）,要学得一个与训练一致的模型，相当于找到一条穿过所有的点的一条曲线,注意，下图中穿过这些样本点的曲线可以有很多种，这就相当于我们的上面所述训练的集合对应的不同的假设，而我们的归纳偏好，就是基于一种偏好选择一种适当的假设。比如：如果我们以最终的曲线要尽量的简洁为一个偏好，那么直观上我们肯定选择下面的曲线A，而不选择曲线B.