1.简单交叉验证

简单交叉验证方法是:首先随机地将已给数据分为两部分，一部分作为训练集,另一部分作为测试集（例如，70%的数据为训练集，30%的数据为测试集);然后用训练集在各种条件下（例如，不同的参数个数)训练模型，从而得到不同的模型;在测试集上评价各个模型的测试误差，选出测试误差最小的模型。

2.S折交叉验证

应用最多的是S折交叉验证(S-fold cross validation)，方法如下:首先随机地将已给数据切分为S个互不相交、大小相同的子集;然后利用S-1个子集的数据训练模型，利用余下的子集测试模型;将这一过程对可能的S种选择重复进行;最后选出S 次评测中平均测试误差最小的模型。

3．留一交叉验证

S折交叉验证的特殊情形是S = N，称为留一交叉验证(leave-one-out crossvalidation)，往往在数据缺乏的情况下使用。这里，N是给定数据集的容量。

将拆分与评价合并执行

sklearn.model_selection.cross_val_score(

estimator :用于拟合数据的估计器对象名称 : array-like，用于拟合模型的数据阵

y = None : array-like，有监督模型使用的因变量

groups = None : array-like，形如(n_samples,)，样本拆分时使用的分组标签scoring = None : string,callable or None，模型评分的计算方法

cv = None : int，设定交互验证时的样本拆分策略

   None,使用默认的3组拆分

   integer,设定具体的拆分组数

   object / iterable 用于设定拆分

   n_jobs = 1,verbose = 0,fit _params = Nonepre_dispatch = '2*n_jobs '

)返回:每轮模型对应评分的数组

#导入波士顿房价数据集
from sklearn.datasets import load_boston
boston = load_boston()

#导入线性回归模型
from sklearn.linear_model import LinearRegression
reg = LinearRegression()

#将拆分与评价合并执行
from sklearn.model_selection import cross_val_score
scores = cross_val_score(reg,boston.data,boston.target,cv=10)
scores

array([ 0.73376082,  0.4730725 , -1.00631454,  0.64113984,  0.54766046,
        0.73640292,  0.37828386, -0.12922703, -0.76843243,  0.4189435 ])

scores.mean(),scores.std()

(0.20252899006056552, 0.5952960169512287)

scores = cross_val_score(reg,boston.data,boston.target,
                        scoring = 'explained_variance',cv=10)
scores

array([ 0.74784412,  0.5381936 , -0.80757662,  0.66844779,  0.5586898 ,
        0.74128804,  0.41981565, -0.11666214, -0.44561819,  0.42197365])

scores.mean()

0.2726395697941396

保证案例顺序的随机性

样本中案例顺序如果非随机，将会对模型验证带来严重的影响。

KFold等函数有一个内置的参数shuffle，可以要求在拆分数据前将数据索引随机排序（但该参数默认为False ) 。

cross_val_score等函数无此参数，因此必要时应当先对数据进行随机排序。

#对数据进行随机重排，保证拆分的均匀性
import numpy as np
X, y = boston.data,boston.target
indices = np.arange(y.shape[0])
np.random.shuffle(indices)
X, y = X[indices],y[indices]

from sklearn.linear_model import LinearRegression
reg = LinearRegression()
from sklearn.model_selection import cross_val_score
scores = cross_val_score(reg,X,y,cv=10)
scores

array([0.52652498, 0.64479681, 0.71332622, 0.77957089, 0.72579498,
       0.72621903, 0.75031061, 0.82087958, 0.60974587, 0.69110699])

scores.mean(),scores.std()

(0.698827597597641, 0.08145985882932301)

同时使用多个评价指标

cross_validate函数使用的参数基本和cross_val_score相同，但是功能上有以下扩展:

可以指定多个指标对模型进行评估。

除测试集得分之外，还会返回一个包含训练得分，拟合次数，得分次数的字典。

#同时使用多个指标评价
from sklearn.model_selection import cross_validate

scoring = ['r2','explained_variance']
scores = cross_validate(reg,X,y,cv=10,scoring = scoring,return_train_score = False)
scores

{'fit_time': array([0.0009985 , 0.00099707, 0.        , 0.00099754, 0.        ,
        0.00099707, 0.00099802, 0.00099802, 0.0009973 , 0.00099707]),
 'score_time': array([0.00199246, 0.00099778, 0.00099754, 0.00099707, 0.0009973 ,
        0.00099945, 0.00099349, 0.00099659, 0.00100994, 0.001019  ]),
 'test_r2': array([0.52652498, 0.64479681, 0.71332622, 0.77957089, 0.72579498,
        0.72621903, 0.75031061, 0.82087958, 0.60974587, 0.69110699]),
 'test_explained_variance': array([0.52675173, 0.64615136, 0.71723182, 0.78034103, 0.75457833,
        0.7437355 , 0.75721027, 0.83083647, 0.61009188, 0.69155294])}

scores['test_r2'].mean()

0.698827597597641

使用交互验证后的模型进行预测

sklearn.model_selection.cross_val_predict(

estimator, x, y = None,groups = None, cv = Nonen_jobs = 1, verbose = 0, fit_params = None

pre_dispatch = ‘2*n_jobs’

method = ‘predict’ :指明估计器使用的预测命令

method = 'predict _proba’时，各列按照升序对应各个类别

)返回: ndarray，模型对应的各案例预测值

from sklearn.model_selection import cross_val_predict
pred = cross_val_predict(reg,X,y,cv=10)
pred[:10]

array([22.86797177, 19.21452593, 35.87564631, 15.69494715, 16.97841578,
       19.70808991, 24.73419866, 21.24975714, 20.34802558, 24.82573974])

from sklearn.metrics import r2_score
r2_score(y,pred)

0.7143750140718722

作者：贺旭 （中央财经大学）

Stata连享会   计量专题 || 精品课程 || 简书推文 || 公众号合集

连享会计量方法专题……

本文介绍交叉验证方法，然后以 kfoldclass 命令和 crossfold 为范例使读者更深入的了解该方法。

该方法在 RDD 分析中确定最优带宽时非常有用。

1 交叉验证的介绍

1.1 交叉验证的含义是什么？

交叉验证，顾名思义，就是重复的使用数据。具体来说，就是把样本数据切成 K 份，组合为不同的训练集和测试集，用训练集来训练模型，用测试集来评估模型预测的好坏。在此基础上可以得到多组不同的训练集和测试集，某次训练集中的某样本在下次可能成为测试集中的样本，即所谓“交叉”。

1.2 交叉验证有什么作用？

第一，交叉验证可以多次的使用数据，有助于解决数据补充足的问题；

第二，交叉验证有助于防止过度拟合（模型样本内拟合的很好，样本外却很糟糕）；

第三，用交叉验证来来进行模型的评价与选择。

1.3 常用的交叉验证有哪些方法？

K 折叠交叉验证 (K-fold Cross Validation)

将所有样本分割为大小相等的 K 组，每次取其中的一份为测试集，其他的为训练集，最后根据测试结果来评价模型。

例如：将数据集粗略地分为比较均等不相交的 10 份，然后取其中的 1 份进行测试，另外的 9 份进行训练，然后求得预测误差的平均值作为最终的评价。如图：

留一法 (Leave One Out)

如果 K 的值为样本的个数，也就是每次取 1 个样本作为测试集，剩下的为训练集来训练模型，最后根据测试结果来评价模型。

留 P 法 (Leave P Out)

它从完整的样本集中每次取 P 个样本作为测试集，剩下的作为训练集来训练模型，最后根据测试结果来评价模型。

连享会计量方法专题……

2. 范例：运用 crossfold 命令对线性回归模型等模型进行K折叠交叉验证

命令 crossfold 可以对线性回归模型、分位数回归模型等多种模型进行交叉验证，，并且报告交叉验证的 MAE、RMSE 、psuedo-R-squared(因变量预测值与实测值的相关系数的平方)等指标，用以评价模型。

2.1 crossfold 命令的语法格式

其语法格式为：

crossfold model [model_if] [model_in] [model_weight], 
        [eif()] [ein()] [eweight(varname)] 
        [stub(string)] [k(value)] [loud]
        [mae] [r2]
        [model_options]

其中：

• model 为要估计的模型；
• eweight 在计算模型的预测指标时，赋予各预测误差值得的权重；
• stub() 将估计的结果保存并起一个名称，放入括号中；
• k() 设置交叉验证的次数；
• loud 将分为K组的每组估计结果显示在窗口中；
• mae 显示交叉验证的 MAE,如果不选，默认显示RMSE；
• r2 显示交叉验证的 psuedo-R-squared,如果不选，默认显示RMSE；

2.2 实例演示

导入数据后，做一个线性回归，并报告 MAE。

. sysuse nlsw88
. crossfold reg wage union, mae

报告的结果显示为

             |       MAE 
-------------+-----------
        est1 |  3.173351 
        est2 |  3.098101 
        est3 |  3.112503 
        est4 |  2.997055 
        est5 |  2.968615 

该结果同时会以矩阵储存在 r(stub) 中，stub为命令stub中所起的名字，如果没有，默认储存在 r(est) 中。

3. 范例：运用 kfoldclass 命令对二元结果模型进行交叉验证

命令 kfoldclass 可以在 Stata 中对模型进行K折叠交叉验证 （K-fold Cross Validation），但是其使用有两个限制：其一，是该命令只适用于用于二结果模型（比如 Logit 模型等）；其二，是在该命令中添加的模型选项前，需要确认该 Stata 已经安装有关模型模块。

3.1 kfoldclass 命令的语法格式

其语法格式为：

kfoldclass depvar indepvars [if] [in] [weight] , model(str) [k(#) cutoff(#) save figure model_options]

其中：

• depvar 为被解释变量；
• indepvars 为解释变量；
• model 为被用来进行交叉验证的的模型，包括 logit, probit, randomforest, boost, -
• svmachines(使用前需要确保这些模块都已经安装）；
• k 为将样本分为多少组进行交叉验证，默认值为5；
• cutoff(#) 为在 classification tables（分类表）判断预测结果为正的概率的阈值，阈值默认值为0.5。比如：模型拟合值为0.7，若阈值设置为0.6，因为0.7 > 0.6则将预测结果为正。
• save 意思是将模型拟合的值保存在数据表格中，包括两个结果，第一个是结果变量名为 full,其将所有样本数据来计算模型参数，然后再用所有样本数据计算拟合值；第二个结果变量名为 test，将用训练集来计算模型参数，用计算出的模型参数来在测试集中计算拟合值。
• figure 选择该选项可画出全部数据和测试数据的 ROC 曲线，如果 ROC 曲线越凸向 （0,1） 点，则说明模型的 ACU 值越大，预测效果越好，关于 ROC 曲线和 ACU 值的一个通俗的介绍参考 《 简单梳理对AUC的理解 》； 《 AUC，ROC我看到的最透彻的讲解 》。

3.2 实例演示

首先导入数据然后按照 kfoldclass 的语法格式 输入命令

 . webuse lbw, clear 
 . kfoldclass low age lwt i.race smoke ptl ht ui, model(logit) k(5) save fig

其中，模型选择的是 logit 模型，将数据分为5组，保存拟合值，并画出 ROC 曲线。

首先，呈现 ROC 曲线，如图：

如果 ROC 越偏向左上角，这说明模型预测效果越好，同时图片下方还计算了 AUC 的值（也就是横坐标从 0 到 1 曲线下方的面积），全部样本的AUC值为 0.7462，测试样本的 AUC 值为 0.6716。

同时还会显示以下表格：

表格 1

Classification Table for Full Data:
              -------- True --------
Classified |         D            ~D  |      Total
-----------+--------------------------+-----------
     +     |        21            12  |         33
     -     |        38           118  |        156
-----------+--------------------------+-----------
   Total   |        59           130  |        189

这个表格是用全部样本作为训练集，然后用全部样本作为测试集，最后的统计结果。其中：纵坐标 + 表示拟合值等于 1 的数目，- 表示拟合值等于 0 的数目；横坐标 D 代表真实等于 1 的数目 ，~D 代表真实值等于 0 的数目。

表格 2

Classification Table for Test Data:
              -------- True --------
Classified |         D            ~D  |      Total
-----------+--------------------------+-----------
     +     |        19            19  |         38
     -     |        40           111  |        151
-----------+--------------------------+-----------
   Total   |        59           130  |        189

这个表格表示的是：将样本分为 5 组，分别用其中一组为测试集集，然后用剩下的所有组的样本作为训练集，然后根据设置的阈值判断拟合的结果，这样循环 5 次使每一组都做过一次测试集。其中：纵坐标 + 表示拟合值等于 1 的数目，- 表示拟合值等于 0 的数目；横坐标 D 代表真实等于 1 的数目 ，~D 代表真实值等于 0 的数目。

表格 3

Classified + if predicted Pr(D) >= .5
True D defined as  != 0
                                            Full         Test
----------------------------------------------------------------
Sensitivity                     Pr( +| D)   35.59%       32.20%
Specificity                     Pr( -|~D)   90.77%       85.38%
Positive predictive value       Pr( D| +)   63.64%       50.00%
Negative predictive value       Pr(~D| -)   75.64%       73.51%
----------------------------------------------------------------
False + rate for true ~D        Pr( +|~D)    9.23%       14.62%
False - rate for true D         Pr( -| D)   64.41%       67.80%
False + rate for classified +   Pr(~D| +)   36.36%       50.00%
False - rate for classified -   Pr( D| -)   24.36%       26.49%
----------------------------------------------------------------
Correctly classified                        73.54%       68.78%
----------------------------------------------------------------
ROC area                                    0.7462       0.6716
----------------------------------------------------------------
p-value for Full vs Test ROC areas                       0.0000
----------------------------------------------------------------

具体说明如下：

• 第一列为变量名；
• 第二列为变量的含义：比如 Pr( +| D) 代表在真实值为 1 的集合中，预测也为 1 的样本数量占真实值为 1 集合的比率，Pr( -|~D) 代表真实值为 0 的集合中，预测为 0 的样本占真实值为 0 集合中样本数目的比率）
• 第三列为用全部数据训练模型得到的变量值；
• 第四列为用交叉验证法训练模型得到的变量值。

Correctly classified 表示预测的准确率，也就是预测对的样本数占所有样本的数量。

ROC area 表示 AUC 值，也就是 ROC 曲线下方的面积。

对各种评价指标的计算及定义具体参考 [《 机器学习：准确率 (Precision)、召回率 (Recall)、F值(F-Measure)、ROC 曲线、PR 曲线 》]。

4 文献推荐

1. Efron B , Gong G . A Leisurely Look at the Bootstrap, the Jackknife, and Cross-Validation[J]. The American Statistician, 1983, 37(1):36-48. [PDF]
2. Arlot S , Celisse A . A survey of cross-validation procedures for model selection[J]. Statistics Surveys, 2009, 4(2010):40-79. [PDF]
3. Zhang Y , Yang Y . Cross-validation for selecting a model selection procedure[J]. Journal of Econometrics, 2015, 187(1):95-112. [PDF]

参考资料

• 简单梳理对AUC的理解
• AUC，ROC我看到的最透彻的讲解
• 模型选择的几种 机器学习：准确率(Precision)、召回率(Recall)、F值(F-Measure)、ROC曲线、PR曲线
• 交叉验证

关于我们

• 「Stata 连享会」 由中山大学连玉君老师团队创办，定期分享实证分析经验， 公众号：StataChina。
• 公众号推文同步发布于 CSDN 、简书 和 知乎Stata专栏。可在百度中搜索关键词 「Stata连享会」查看往期推文。
• 点击推文底部【阅读原文】可以查看推文中的链接并下载相关资料。
• 欢迎赐稿： 欢迎赐稿。录用稿件达 三篇 以上，即可 免费 获得一期 Stata 现场培训资格。
• E-mail： StataChina@163.com
• 往期推文：计量专题 || 精品课程 || 简书推文 || 公众号合集