进行交叉validation时，划分交叉验证集，此处以五折交叉验证集的划分为例子（python实现）
 
# -*- coding: utf-8 -*-
import os,os.path as op
import numpy as np
import random
train_txt = '/media/dell/dell/data/huawei_remotesensing/train/train1.txt'
val_txt   = '/media/dell/dell/data/huawei_remotesensing/val/val.txt'
txt_tlpt  = '/home/dell/Desktop/train/folds_split/{}_{}.txt'

def GetLines(txt_path):
    return [line for line in open(txt_path).readlines() if len(line)>0]

TrainList = GetLines(train_txt)
ValList   = GetLines(val_txt)
AllList   = TrainList+ValList
random.shuffle(AllList)
def WriteTxt(List,txt_path):
    f = open(txt_path,'w+')
    for line in List:
        f.writelines(line)
    if op.exists(txt_path):
        print('{}\t{}'.format(txt_path,len(List)))

def ReAllocation(AllList,fold=5):
    unit = int(len(AllList)/fold)
    for i in range(fold):
        j = fold-i-1
        TrainList = AllList[:unit*j]+AllList[unit*(j+1):]
        ValList   = AllList[unit*j:unit*(j+1)]
        WriteTxt(TrainList,txt_tlpt.format('train',i+1))
        WriteTxt(ValList,txt_tlpt.format('val',i+1))

ReAllocation(AllList)

一、数据的划分及各部分的作用
 
    在机器学习、深度学习领域，我们通常会将数据分为训练集、验证集和测试集三部分。 
   训练集的目的是去训练不同的模型； 
   验证集则是去评估各个模型，选出最好的1或2个模型； 
   测试集则是最后测试一下选出的模型。测试集不是必须的！  
 
二、训练集/测试集/验证集的划分比例
 
    当数据集规模较小时（如100、1000、10000，可以理解为规模小于百万时），一般会采用传统的划分方法，即按照： 
  方式一：将训练集和测试集按照70%、30%的比例划分得到，然后从训练集中取10%作为验证集。 
  方式二：按照60/20/20的比例划分数据，分别得到训练集、测试集、验证集。 
  当数据规模超过百万时，传统的划分方式不再适用，此时可以按照98/1/1的比例来划分数据，甚至可以将验证集的比例划分的更小（如0.25 0.25 甚至是0.1， 0.1）。  

在做深度学习时，经常需要将数据集划分为3份，本代码可按照比例划分数据集，df为dataframe，ratio_train，ratio_test，ratio_val分别为训练集、测试集和验证集的比例。直接调用函数即可
 
from sklearn.model_selection import train_test_split
 
def train_test_val_split(df,ratio_train,ratio_test,ratio_val):
     train, middle = train_test_split(df,test_size=1-ratio_train)
     ratio=ratio_val/(1-ratio_train)
     test,validation =train_test_split(middle,test_size=ratio)
     return train,test,validation
 
演示例子：将数据集df按照训练集：测试集：验证集=0.6:0.2:0.2的比例划分
 train,test,val=train_test_val_split(df,0.6,0.2,0.2)

划分80%的训练集，10%的验证集，10%的测试集
 使用skleran的train_test_split进行划分，分两次进行。
 
from sklearn.model_selection import train_test_split
x_train, x_test, y_train, y_test = train_test_split(X, Y, test_size = 0.20, random_state = 0)
x_test, x_valid, y_test, y_valid = train_test_split(x_test, y_test, test_size = 0.5, random_state = 0)
 
#查看是否按比例正确划分数据集
 print(len(x_train),len(x_valid),len(x_test)) #输出训练集，验证集大小