sklearn.model_selection.train_test_split随机划分训练集和测试集

官网文档：http://scikit-learn.org/stable/modules/generated/sklearn.model_selection.train_test_split.html#sklearn.model_selection.train_test_split

一般形式：
train_test_split是交叉验证中常用的函数，功能是从样本中随机的按比例选取train data和testdata，形式为：

X_train,X_test, y_train, y_test =

cross_validation.train_test_split(train_data,train_target,test_size=0.4, random_state=0)

参数解释：
train_data：所要划分的样本特征集

train_target：所要划分的样本结果

test_size：样本占比，如果是整数的话就是样本的数量

random_state：是随机数的种子。

随机数种子：其实就是该组随机数的编号，在需要重复试验的时候，保证得到一组一样的随机数。比如你每次都填1，其他参数一样的情况下你得到的随机数组是一样的。但填0或不填，每次都会不一样。

随机数的产生取决于种子，随机数和种子之间的关系遵从以下两个规则：

种子不同，产生不同的随机数；种子相同，即使实例不同也产生相同的随机数。

示例
 

fromsklearn.cross_validation import train_test_split
train= loan_data.iloc[0: 55596, :]
test= loan_data.iloc[55596:, :]
# 避免过拟合，采用交叉验证，验证集占训练集20%，固定随机种子（random_state)
train_X,test_X, train_y, test_y = train_test_split(train,
                                                   target,
                                                   test_size = 0.2,
                                                   random_state = 0)
train_y= train_y['label']
test_y= test_y['label']

 



公众号：剑指风险~持续关注风控技术与业务，不定期更新~

 

 

 

文章目录
导入文件
划分数据集和测试集
归一化处理

导入文件













划分数据集和测试集


train= [wine1(1:41,:);wine1(60:109,:);wine1(131:164,:)];

train_label= [wine1label(1:41);wine1label(60:109);wine1label(131:164)];

test= [wine1(42:59,:);wine1(110:130,:);wine1(165:178,:)];

test_label= [wine1label(42:59);wine1label(110:130);wine1label(165:178)];
归一化处理
[mtrain,ntrain] = size(train);

[mtest,ntest] = size(test);

dataset = [train;test];

[dataset_scale,ps] = mapminmax(dataset’,0,1);

dataset_scale = dataset_scale’;

train= dataset_scale(1:mtrain,:);

test= dataset_scale( (mtrain+1):(mtrain+mtest),: );

一、sklearn.model_selection.train_test_split
作用：
随机划分训练集和测试集  
官网文档：
http://scikit-learn.org/stable/modules/generated/sklearn.model_selection.train_test_split.html#sklearn.model_selection.train_test_split
一般形式：
train_test_split是交叉验证中常用的函数，功能是从样本中随机的按比例选取train_data和test_data，
形式为：
X_train,X_test, y_train, y_test =  cross_validation.train_test_split(train_data,train_target,test_size=0.4, random_state=0) 
参数解释：  
train_data：所要划分的样本特征集；train_target：所要划分的样本结果；test_size：样本占比，如果是整数的话就是样本的数量；random_state：是随机数的种子。（随机数种子：其实就是该组随机数的编号，在需要重复试验的时候，保证得到一组一样的随机数。比如你每次都填1，其他参数一样的情况下你得到的随机数组是一样的。但填0或不填，每次都会不一样。随机数的产生取决于种子，随机数和种子之间的关系遵从以下两个规则：种子不同，产生不同的随机数；种子相同，即使实例不同也产生相同的随机数。）


二、sklearn.cross_validation模块
cross validation的含义：
对于原始数据我们要将其一部分分为train_data，一部分分为test_data。train_data用于训练，test_data用于测试准确率。在test_data上测试的结果叫做validation error。将一个算法作用于一个原始数据，我们不可能只做出随机的划分一次train_data和test_ data，然后得到一个validation error，就作为衡量这个算法好坏的标准。因为这样存在偶然性。我们必须好多次的随机的划分train
 data和test data，分别在其上面算出各自的validation error。这样就有一组validation error，根据这一组validation error，就可以较好的准确的衡量算法的好坏。 
cross validation是在数据量有限的情况下的非常好的一个evaluate performance的方法。而对原始数据划分出train_data和test_data的方法有很多种，这也就造成了cross validation的方法有很多种。   
（1）sklearn中的cross validation模块，最主要的函数是：sklearn.cross_validation.cross_val_score。
他的调用形式：
scores = cross_validation.cross_val_score(clf, raw data, raw target, cv=5, score_func=None) 
参数解释： 
clf：不同的分类器，可以是任何的分类器。比如支持向量机分类器（clf = svm.SVC(kernel='linear', C=1)）。 
cv：代表不同的cross validation的方法了。如果cv是一个int数字的话，并且如果提供了raw target参数，那么就代表使StratifiedKFold分类方式，如果没有提供raw target参数，那么就代表使用KFold分类方式。
cross_val_score函数的返回值就是对于每次不同的的划分raw_data时，在test_data上得到的分类的准确率。至于准确率的算法可以通过score_func参数指定，如果不指定的话，是用clf默认自带的准确率算法。 还有其他的一些参数不是很重要。
（2）train_test_split 
功能：
从样本中随机的按比例选取train_data和test_data。
调用形式：
X_train, X_test, y_train, y_test = cross_validation.train_test_split(train_data, train_target, test_size=0.4, random_state=0) 
参数解释：
test_size是样本占比。如果是整数的话就是样本的数量。random_state是随机数的种子。不同的种子会造成不同的随机采样结果。相同的种子采样结果相同。

在进行机器学习常常需要处理的一个问题是划分测试集和训练集。训练集用于训练模型，测试集则是根据训练集的训练结果来评判最终的训练效果。一般而言，测试集应该和训练集尽可能保持互斥～常用的数据集划分方法有一下几种



方法1：留出法

直接将数据集D划分为两个互斥的集合。

需要注意的问题：

在划分的时候应该尽量保持数据分布的一致性。例如在分类任务中应该保持正负样本比例相近。
划分存在多种方法，为得到合理的算法模型评估标准，应该进行多次数据集的划分。得到每次划分的数据集上的评估结果，取平均值作为评判模型优劣的标准。
训练集不能太大：训练集太大会导致测试集偏小，评估的结果可能不太准确稳定。
测试集不能太大：测试集太大会导致训练集偏小，训练出来的模型可能会完整数据集所需要的模型产生较大的偏差。
方法2：交叉验证（cross-Validation)

该方法先将数据集D划分为k个大小相似的互斥子集，每个子集在划分的时候应该保持数据分布的一致性，即从D中分层采样得到。然后进行k次训练，每次训练将k-1个子集的并集作为训练集，余下的作为测试集。这种方法有被成为“k折交叉验证（k-fold cross-validation）”。如果D.size() == k, 则该方法又被成为留一法（leave-one-out 简称LOO)。

需要注意的问题

划分数据集同样存在多种方法，为得到合理值。应该进行多次交叉验证，取评价指标的平均值作为最后的结果。
方法3：自助法

直接以自主采样法为基础，从中有放回的采样执行m次，得到包含m个样本的训练集。从未在训练集中出现的样本则作为测试样本放入测试集中。



需要注意的问题

自助法在数据集较小，难以有效划分训练集和测试集的时候比较有效。
自助法改变了原有数据的分布，这样会引入估计误差。
在数据量充足的时候尽量考虑用留出法或者交叉验证法