今天用一个实例给大家写写在机器学习中如何进行训练集和测试集的划分。

实例操练

首先导入今天要使用的数据集

import pandas as pddf = pd.read_csv("carprices.csv")df.head()

这是一个汽车销售的数据集，里面的变量包括汽车里程、使用年限、销售价格。我们今天要做的就是用汽车里程、使用年限来建立一个预测销售价格的机器学习模型。

首先，我们画图看一看数据关系

import matplotlib.pyplot as pltplt.scatter(df['Mileage'],df['Sell Price($)'])plt.scatter(df['Age(yrs)'],df['Sell Price($)'])

运行以上代码可以出2个点图，分别展示汽车里程和销售价格的关系和使用年限和销售价格的关系。

使用年限和销售价格的关系散点图

汽车里程和销售价格的关系散点图

通过两个散点图，我们可以发现使用线性回归模型进行建模还是比较好的方法，现在我们就要进行训练集和测试集的划分了

训练集 用来训练模型，估计参数

测试集 用来测试和评估训练出来的模型好坏，不能用于训练模型

划分数据集实操

首先我们要指定数据和数据标签

X = df[['Mileage','Age(yrs)']]y = df['Sell Price($)']

在本例中，数据集为汽车里程和使用年限构成的数据框，标签为汽车价格。

然后我们用train_test_split方法分割数据为训练集和测试集，代码如下

from sklearn.model_selection import train_test_splitX_train, X_test, y_train, y_test = train_test_split(X,y,test_size=0.3)

讲解一下train_test_split的参数：

train_test_split的基本形式如下

X_train,X_test, y_train, y_test =sklearn.model_selection.train_test_split(train_data,train_target,test_size=0.4, random_state=0,stratify=y_train)

其中

train_data：所要划分的样本特征集

train_target：所要划分的样本结果

test_size：样本占比，如果是整数的话就是样本的数量

random_state：是随机数的种子，在需要重复试验的时候，保证得到一组一样的随机数

stratify是为了保持split前类的分布，通常在类分布不平衡的情况下会用到stratify

在我们的例子中，我们只给出了test_size=0.3，所以我们按照7：3划分得到了训练集和测试集，而且这个划分是随机的。我们可以看一看训练数据长啥样

X_trainy_train

以上代码可以分别输出训练集的数据和标签。

建立线性回归模型

from sklearn.linear_model import LinearRegressionclf = LinearRegression()clf.fit(X_train, y_train)

通过以上代码我们便建立了回归模型，运用此模型我们可以进行对X_test的预测

clf.predict(X_test)

然后，我们将模型预测值和实际的y_test值进行对比可以得到模型正确率。

clf.score(X_test, y_test)

可以看到，我们训练的线性回归模型的正确率达到90%多。

使用机器学习算法时，通常需要把数据分为训练集和测试集，本文介绍R语言的三种实现方法，并通过示例进行学习。

使用R内置方法

依据sample函数生成指定概率的true和false的向量，然后利用该向量过滤数据集得到训练集和测试集，语法如下：

# 设置随机种子，使得示例可以重复
set.seed(1)

# df是要分割的数据集
# 使用 70% 数据集作为训练集，30% 作为测试集
sample <- sample(c(TRUE, FALSE), nrow(df), replace=TRUE, prob=c(0.7,0.3))
train  <- df[sample, ]
test   <- df[!sample, ]

下面示例把iris数据分为训练集和测试集：

# 设置随机种子，使得示例可以重复
set.seed(1)

data(iris)

# 使用 70% 数据集作为训练集，30% 作为测试集
sample <- sample(c(TRUE, FALSE), nrow(iris), replace=TRUE, prob=c(0.7,0.3))
train  <- iris[sample, ]
test   <- iris[!sample, ]

dim(iris)
# 150   5

dim(train)
# 106   5

dim(test)
# 44  5

从输出可以看到，总共150条记录，训练集大概包括 106 / 150 = 70.6% 。

使用caTools包

使用caTools包提供了sample.split函数，可以轻松进行数据分离。
subset函数返回满足条件的向量、矩阵或数据帧的子集，subset(x, subset, ...) 其中subset参数指定过滤条件：

library(caTools)

# 设置随机种子，使得示例可以重复
set.seed(1)

# df是要分割的数据集
# 使用 70% 数据集作为训练集，30% 作为测试集
sample <- sample.split(df$any_column, SplitRatio = 0.7)
train  <- subset(df, sample == TRUE)
test   <- subset(df, sample == FALSE)

我们用这种方法对iris数据集进行划分：

# 设置随机种子，使得示例可以重复
data(iris)
set.seed(2)

# df是要分割的数据集
# 使用 70% 数据集作为训练集，30% 作为测试集
sample <- sample.split(iris$Species, SplitRatio = 0.7)

train  <- subset(iris, sample == TRUE)
test   <- subset(iris, sample == FALSE)

dim(iris)
# 150   5

dim(train)
# 105   5

dim(test)
# 45  5

运行结果与上面示例差不多，需要说明的是sample.split函数，其语法如下：sample.split( Y, SplitRatio = 2/3, group = NULL )

其中Y为x向量类型，因此需要随意指定数据集的一列生成向量，SplitRatio有默认值。

使用dplyr包

下面我们来看看如何使用dplyr包实现同样功能。

library(dplyr)

# 设置随机种子，使得示例可以重复
set.seed(1)

df <- iris

# 依据数据集总行数生成序号
df$id <- 1:nrow(df)

# 使用 70% 数据集作为训练集，30% 作为测试集
train <- df %>% dplyr::slice_sample(prop = 0.70)

# 反向连接生成测试机
test  <- dplyr::anti_join(df, train, by = 'id')

dim(iris)
# 150   5

dim(train)
# 105   5

dim(test)
# 45   5

生成结果与上面一致，我们说明下slice_sample()函数，用于随机选择行，语法如下：

slice_sample(.data, ..., n, prop, weight_by = NULL, replace = FALSE)

• prop 用于指定概率
• n 指定数量
• replace 是否放回抽样，默认不放回

前言

在机器学习中训练模型时，经常需要按比例对数据集随机划分成训练集和测试集，本文总结了基于matlab和python的划分训练集和测试集的常用方法，仅供大家参考。

一、无序索引方法

1. matlab代码

% 确定随机种子，便于结果复现
rand('seed', 42);
% 生成和样本个数等长的无序索引序列
idx = randperm(length);  % length即为样本的总数，idx为生成的无序索引
% 选取80%作为训练集
train_data = data(idx(1:0.8*length), :);      % data为样本特征，格式为：样本数*特征数
train_labels = labels(idx(1:0.8*length), 1);  % labels为样本标签，的格式为：样本数*1
% 剩余20%作为测试集
test_data = data( idx(0.8*length+1:end), :);
test_labels = labels( idx(0.8*length+1:end), 1);

2. python代码

length = data.shape[1]
# length = len(labels)
# 生成和样本个数等长的无序索引序列
index = randperm(length)  # length即为样本的总数，idx为生成的无序索引
# 选取80%作为训练集(假设样本共100个)
idx1 = index[:80]
train_data = data[idx1]      # data为样本特征，格式为：样本数*特征数
train_labels = labels[idx1]  # labels为样本标签，的格式为：样本数*1
# 剩余20%作为测试集
idx2 = index[80:]
test_data = data[idx2]
test_labels = labels[idx2]

二、函数实现方法

1. 利用python库中的cross_validation.train_test_split方法

from numpy import random
import numpy as np
from sklearn import cross_validation

# 其中data为数据的特征矩阵，labels为标签，test_siz为测试的比例
x_train, x_test, y_train, y_test = cross_validation.train_test_split(data, labels, test_size=0.2, random_state=0)

2. 利用python库中的KFold方法（K折交叉验证方法）

from sklearn.model_selection import KFold
from sklearn import svm

# 其中data为数据的特征矩阵，labels为标签，train_index, test_index分别为训练集和测试集的样本索引
kf = KFold(n_splits=5)
for train_index, test_index in kf.split(data):
    x_train, x_test = data[train_index], data[test_index]
    y_train, y_test = labels[train_index], labels[test_index]

	clf = svm.SVC(C=0.2, kernel='linear', decision_function_shape='ovo')
	clf.fit(x_train, y_train)
	pred_acc = clf.score(x_test, y_test)