数据集划分方法
 
留出（Hold-out）法
交叉验证(cross validation)法
自助法(bootstrap)
  
 

 
  一个模型的好坏终归还是需要一个客观的评价标准，但是现有标准都比较难以适用于单次评估，毕竟单次评估过于具有偶然性，这个问题的解决方法就是多训练几次模型，综合评估一下。
   但是训练模型总不能，在相同的数据集上，一直运行，一直评估。一个比较好的解决方法就是对数据集进行不同的划分，然后多训练几个模型，最后指标综合一下。这篇文章整理一下机器学习中数据集划分的方法，当然划分的主要目的还是为了多方面的评估模型。
   划分数据集的过程中主要目的就是为了把数据划分为不同的训练集和测试集，一般文献中也会将验证集隐含在训练集中，两者都是在训练过程中使用的。数据集选择的过程中有几点要求需要遵循。
 
训练集应尽可能的与测试集互斥
一定程度上，要保持训练和测试数据分布的一致性，这样有利于模型学习
 
   如果数据的采样过程中，想要保留类别比例，也就是说把每一个类别的数据作为采样单元，这样的采样方式就称为分层采样了。以下介绍几种基础的数据集选择方式。
 
留出（Hold-out）法
 
  直接将数据集D划分为两个互斥的集合，分别作为训练集和测试集。不同的划分能够导致不同的效果，因此单次使用留出法得到的估计结果往往不够可靠稳定，一般采用若干次随机划分, 重复试验之后取平均值作为评估结果。
   因为数据集被分成了数据集和测试集，这就导致了使用训练集训练的模型与整个数据集有差异。通常需要对S(训练集)和T(测试集)的比例进行权衡，一般使用$\frac{2}{3}到\frac{4}{5}$比例的样本用于训练。但是随着现在数据量越来越庞大，测试集的比例可以进一步的缩小，基本保证能够覆盖各种类型特征即可。
   留出法无法避免的一个困境就是大小权衡，若训练集S较大，则测试集T就会小，评估结果具有偶然性；若S较小，S训练出的模型与T训练出的模型差异过大，性能上不去。
 
交叉验证(cross validation)法
 
  相比于留出法的随机选择，交叉验证法更加确定了一点点。经常用于数据不充足的时候。
   通过重复的使用数据，对给定数据进行切分，将切分的数据集组合为训练集与测试集，以此来进行模型选择。切分的份数k就是k折(k-fold)交叉验证。
   具体做法是，先将数据集D划分为k个大小相似的互斥子集，每个子集$D_i$尽可能保持数据分布的一 致性(即分层采样)，然后每次用k-1个子集的并集，作为训练集。剩下的一份用作测试集，这样可以得到k个组合，然后训练k个模型，最终返回k组测试结果的均值和方差。经常看到k=10，也就是10折交叉验证。
   与留出法一样，为了减少因不同的划分而带来偏差，通常又要随机使用不同的划分，进行p次， 这就是p次k折交叉验证。
    如果令k=样本数m，最后留下一个分组，也就是一个样本，选择1个样本作为验证，就是留一(leave-one-out)法，这样使得S尽可能的接近了D，同时避免了划分带来的差别，但是就需要训练m个分类器，工作量可能是极其巨大的，往往在数据缺乏的情况下使用。这样能够最大程度保证训练集和原始数据集一致。
   这里补充一点，留一验证也是留k验证的特例，但是留k法需要选择其中k个样本，这就是一个从m个样本中选择其中k个的佩列问题，排列组合数目过于庞大，所以使用留一更加简单。
 
自助法(bootstrap)
 
  以自助采样为基础，每次随机有放回的从数据集D中抽取训练数据，一共m个数据,我们抽取m次，会有相当多的数据一次都没有被抽取到，我们用作测试集。
   自助法在数据集较小、难以有效划分时很有用，此外自助法可以从初始数据中产生多个不同的训练集，自助法改变了初始数据集的分布，通常会引入估计偏差，不适用于数据量充足的情况。
   有返回采样，每个样本每次被选中的概率就是$\frac{1}{m}$，则不被选中的概率就是$1-\frac{1}{m}$，难么采样m次，仍然不被选中的概率就是${\left(1-\frac{1}{m}\right)}^m$，这个表达式很熟悉，没错就是重要极限里的核心部分。这个表达式是一个关于m的增函数，也就是说样本不会被采样到的概率随着m增大而增大。但是最终有上界，就是$\frac{1}{e}$，所以测试集的比例从下界趋向于这个值。
   从样本中采样了m次，显然最终的训练集中，有的样本被重复采样了。
   以上几种数据集划分是常用的几种方式，但是合适的数据划分方式是不明显的，因为我们很难保证独立同分布。也很难知道多大的数据量适合训练。但是多尝试几个方法可以给我们更多的视野。

https://www.toutiao.com/a6703466554547241486/
 
 
 
大家好，今天我们学习【机器学习速成】之 为什么要拆分为三个子集：训练集、验证集、测试集
 
我们 马上学三点 ，
 
只划分训练集和测试集的不足
验证集在划分方案中的重要性
训练集、测试集、验证集三者区别
大家可以点击下面的“ 了解更多 ”，或搜索“ 马上学123 ”，在线观看PPT讲义
 
训练集和测试集工作流程
 
 
训练集和测试集工作流程
 
上一个课程 我们介绍了如何将数据集划分为训练集和测试集。 借助这种划分， 您可以对一个样本集进行训练， 然后使用不同的样本集测试模型。
 
我们来想象下运用该方法的实际情况， 我们有了测试集和训练集， 并按照上一节课程的要求对它们进行了妥善区分。 现在我们要进行一些迭代。 我将用训练数据训练一种模型， 然后使用测试集对模型进行测试 并观察其指标， 根据在测试集上获得的效果调整模型。
 
“ 调整模型 ”指的是 调整您可以想到的关于模型的任何方面， 从更改学习速率、添加或移除特征， 到从头开始设计全新模型。
 
我将调整一些设置， 比如调整学习速率或类似设置。 然后重新尝试前面的操作， 看看能否提高测试集准确率。 我可能会添加一些特征，也可能会去除一些特征， 并继续迭代， 直到根据测试集指标找出最佳模型为止。
 
这样有问题吗？ 我能想到的一点是： 我可能 针对测试集的特性进行了过拟合 。 这样就太糟糕了…
 
划分为三个子集
 
 
 
 
划分为三个子集
 
我们可以使用另一种方法来解决这个问题， 我可以在分组数据之外创建第三个数据集， 并将该数据集称为“ 验证集 ”， 这可以大幅降低过拟合的发生几率。
 
验证集和测试集应该来源于同一分布，且与真实需求一致。
 
 
 
更好的工作流程
 
我会使用一种新迭代方法， 对训练数据进行迭代训练， 然后仅基于验证集进行评估。
 
将测试集搁置一旁，完全不使用这些数据。 我将不断迭代、调整各种参数或对模型进行任何更改， 直到根据验证集得出比较理想的结果后。 再使用测试集再次检查该模型。
 
 
 
 
更好的工作流程
 
 
 
我要确保根据测试集得出的结果 基本上符合根据验证集得出的结果。 如果不符合，则充分说明我可能对验证集进行了过拟合。
 
不断使用测试集和验证集会使其逐渐失去效果。 也就是说，您使用相同数据来决定超参数设置 或其他模型改进的次数越多， 您对于这些结果能够真正泛化到未见过的新数据的信心就越低。
 
该工作流程之所以更好， 原因在于它暴露给测试集的信息更少。
 
如果可能的话，建议您收集更多数据来“刷新”测试集和验证集。 重新开始也是一种很好的重置方式。
 
训练集、测试集、验证集三者区别
 
 
 
 
训练集、测试集、验证集三者区别
 
 
 
训练集是用来训练模型内参数的数据集；
 
验证集用于调整超参数， 根据几组模型验证集上的表现 决定哪组超参数拥有最好的性能， 同时用来监控模型是否发生过拟合。
 
测试集用来评价模型泛化能力， 即之前模型使用验证集确定了超参数， 最后使用一个从没有见过的新数据集来判断这个模型是否工作。
 
三者区别举例： 我们把学生能力类比模型能力 训练集就像是学生的课本，学生根据课本里的内容来掌握知识， 验证集就像是练习作业， 通过作业可以知道不同学生学习情况、进步的速度快慢， 而最终的测试集就像是考试， 考的题是平常都没有见过，考察学生举一反三的能力。
 
为什么需要测试集？
 
 
 
 
训练集、测试集、验证集三者区别
 
训练集直接参与了模型调慘的过程， 显然不能用来反映模型真实的能力， 这样一些对课本死记硬背的学生将会拥有最好的成绩， 这是过拟合，显然不对。
 
同理，由于验证集参与了人工调参的过程， 也不能用来最终评判一个模型， 就像刷题库的学生也不能算是学习好的学生是吧。 所以要通过最终的考试， 也就是测试集来考察一个学生模型的真正的能力。
 
对于用于比赛的公开数据集， 验证集会公开标注，测试集不会公开。
 
千万不要用测试数据来训练模型！ 不然就监守自盗了！
 
总结：
 
只划分训练集和测试集， 会出现过拟合该测试集的风险；
 
样本数据集包括训练集、验证集、测试集， 其中训练集和验证集的作用是对学习模型进行参数择优， 测试集是测试该模型的泛化能力。
 
 
 

这里讲了三点，关键词有哪几个？
 
提问：AI比赛时，我们可以看到测试集吗？

机器学习，训练集，验证集和测试集的作用
训练集（train)、验证集（validation）和测试集（test）的意义
有监督的机器学习中，一般需要将样本分成独立的三部分训练集（train set），验证集（validation set)和测试集（test set）。其中训练集用来估计模型，验证集用来确定网络结构或者控制模型复杂程度的参数，而测试集则检验最终选择最优的模型的性能如何。
训练集（train)、验证集（validation）和测试集（test），这三个集合的区分可能会让人糊涂，特别是，有些读者搞不清楚验证集和测试集有什么区别。


Training set: A set of examples used for learning, which is to fit the parameters [i.e., weights] of the classifier. 
Validation set: A set of examples used to tune the parameters [i.e., architecture, not weights] of a classifier, for example to choose the number of hidden units in a neural network. 

Test set: A set of examples used only to assess the performance [generalization] of a fully specified classifier. 


训练集：学习样本数据集，通过匹配一些参数来建立一个分类器。建立一种分类的方式，主要是用来训练模型的。
验证集：对学习出来的模型，调整分类器的参数，如在神经网络中选择隐藏单元数。验证集还用来确定网络结构或者控制模型复杂程度的参数。
测试集：主要是测试训练好的模型的分辨能力（识别率等）
I. 划分
如果我们自己已经有了一个大的标注数据集，想要完成一个有监督模型的测试，那么通常使用均匀随机抽样的方式，将数据集划分为训练集、验证集、测试集，这三个集合不能有交集，常见的比例是8:1:1，当然比例是人为的。从这个角度来看，三个集合都是同分布的。


如果是做比赛，官方只提供了一个标注的数据集（作为训练集）以及一个没有标注的测试集，那么我们做模型的时候，通常会人工从训练集中划分一个验证集出来。这时候我们通常不再划分一个测试集，可能的原因有两个：1、比赛方基本都很抠，训练集的样本本来就少；2、我们也没法保证要提交的测试集是否跟训练集完全同分布，因此再划分一个跟训练集同分布的测试集就没多大意义了。
样本少的时候，上面的划分就不合适了。常用的是留少部分做测试集。然后对其余N个样本采用K折交叉验证法。就是将样本打乱，然后均匀分成K份，轮流选择其中K－1份训练，剩余的一份做验证，计算预测误差平方和，最后把K次的预测误差平方和再做平均作为选择最优模型结构的依据。特别的K取N，就是留一法（leave one out）。
II. 参数
有了模型后，训练集就是用来训练参数的，说准确点，一般是用来梯度下降的。而验证集基本是在每个epoch完成后，用来测试一下当前模型的准确率。因为验证集跟训练集没有交集，因此这个准确率是可靠的。那么为啥还需要一个测试集呢？
这就需要区分一下模型的各种参数了。事实上，对于一个模型来说，其参数可以分为普通参数和超参数。在不引入强化学习的前提下，那么普通参数就是可以被梯度下降所更新的，也就是训练集所更新的参数。另外，还有超参数的概念，比如网络层数、网络节点数、迭代次数、学习率等等，这些参数不在梯度下降的更新范围内。尽管现在已经有一些算法可以用来搜索模型的超参数，但多数情况下我们还是自己人工根据验证集来调。


III. 所以
那也就是说，从狭义来讲，验证集没有参与梯度下降的过程，也就是说是没有经过训练的；但从广义上来看，验证集却参与了一个“人工调参”的过程，我们根据验证集的结果调节了迭代数、调节了学习率等等，使得结果在验证集上最优。因此，我们也可以认为，验证集也参与了训练。


那么就很明显了，我们还需要一个完全没有经过训练的集合，那就是测试集，我们既不用测试集梯度下降，也不用它来控制超参数，只是在模型最终训练完成后，用来测试一下最后准确率。

1.打乱数据 shuffle

我们有下面以个DataFrame




我们可以看到BuyInter的数值是按照0,-1,-1,2,2,2,3,3,3,3这样排列的，我们希望不保持这个次序，但是同时列属性又不能改变。
方法1：sample
  df.sample(frac=1) 这样对可以对df进行shuffle。其中参数frac是要返回的比例，比如df中有10行数据，我只想返回其中的30%,那么frac=0.3。
补充：
DataFrame.sample(n=None, frac=None, replace=False, weights=None, random_state=None, axis=None)

random_state:随机种子，固定值，控制每次随机抽样产生的结果相同

 


方法2：sklearn(机器学习的库）中也有shuffle的方法

from sklearn.utils import shuffle  
df = shuffle(df)