最近在复盘优达学城的机器学习项目， 重新写了一下波斯顿放假预测的项目，除了模型的选择及网格搜索进行选择参数的相关知识外，还着重复习了关于学习曲线和复杂度曲线（验证曲线）
 
        首先学习曲线和复杂度曲线（验证曲线）的区别，学习曲线是指在参数值确定的情况下，训练集和验证集的得分情况的对比，复杂度曲线（验证集曲线）是展示某个参数在取不同值时候，训练集与测试集得分情况的对比。
 
        学习曲线的X轴是数据的数量，y轴是得分；复杂度曲线（验证曲线）的x轴是一个参数的值:比如max_depth（1,2,3,4,5,6,7,8,9,10），y轴是训练集和测试集在各个参数取值情况下的得分
 
 
 
 
 
 上面两张图分别是学习曲线和复杂度曲线
 
 
 
下面来说一下学习曲线或者验证曲线的数据集合的划分
 
1 ShuffleSplit 划分
 
上面的两个图中就是用ShuffleSplit 方式对数据集合进行划分的，代码如下:
 
cv = ShuffleSplit(features.shape[0], n_iter = 10, test_size = 0.2, random_state = 0)
train_sizes = np.rint(np.linspace(1, data.shape[0]*0.8 - 1, 9)).astype(int)

train_sizes, train_score, test_score = curves.learning_curve(
    XGBRegressor(), X, y, cv=cv, train_sizes=train_sizes,scoring =score_fun
    )

train_score_mean = np.mean(train_score,axis=1)
strain_score_std = np.std(train_score)
test_score_mean = np.mean(test_score,axis=1)
test_score_stu = np.stu(train_score,axis=1)
 
在学习曲线函数中，通过cv 参数来设置划分的数据集，有几种方式:
 
（1）如上边代码，cv 是按照某种方式划分好的数据集
 
（2）cv=10，这种cv 是数字格式，是直接采用n-fold 的交叉检验的方式进行，直接设置n的值即可
 
（3）自己手动划分
 
#数据集合中有490条数据 index 是从0-489
train_index = np.arange(0,391)
test_index = np.arange(391,489)

#构建cv 集合
test_cv = [[train_index,test_index]]

#学习曲线 cv参数传入test_cv
sizes,train_scores,test_scores = curves.learning_curve(regressor,features,prices,cv=test_cv,train_sizes=train_sizes)
 
下面看下学习曲线的画法，代码如下：
 
sizes,train_scores,test_scores = curves.learning_curve(regressor,features,prices,cv=cv,train_sizes=train_sizes)

train_std = np.std(train_scores, axis = 1)
train_mean = np.mean(train_scores, axis = 1)
test_std = np.std(test_scores, axis = 1)
test_mean = np.mean(test_scores, axis = 1)

depth = 4
ax = fig.add_subplot(2,2,1)
ax.plot(sizes, train_mean, 'o-', color = 'r', label = 'Training Score')
ax.plot(sizes, test_mean, 'o-', color = 'g', label = 'Training Score')
ax.fill_between(sizes, train_mean - train_std,train_mean + train_std, alpha = 0.15, color = 'r')
 ax.fill_between(sizes, test_mean - test_std, test_mean + test_std, alpha = 0.15, color = 'g')
    
 ax.set_ylabel('Score')
 ax.set_title('max_depth = %s'%(depth))
 ax.set_ylim([-0.05, 1.05])
 
 来看下这三种划分方式的学习曲线情况：
 
（1）shuffleSplit 划分：cv=ShuffleSplit（.......） cv=cv,对于这个数据集 很适合
 
 
(2) cv=10 交叉验证 n-fold 划分方式
 
 
可以看出学习曲线变化很大
 
（3） 手动划分 test_cv=[[train_index,test_index]] ,cv=test_cv
 
 
由此可以看出，对于同一个数据集，划分的方式不同，其验证曲线会有很大差别 。
 
 
 
 

scikit-learn中有非常多的曲线，对于调参非常有用处，我经常用到的曲线是学习曲线，验证曲线以及交叉验证曲线。
 
使用这些曲线的代码格式非常固定：
 
返回值 = 曲线名字（模型对象，X, Y, 交叉验证数量，评分标准.....）
 
它们只是返回值不同以及其中设置的参数略有不同。
 
学习曲线：（learning curve）
 
这条曲线的主要作用是观察数据集的大小对于模型性能的影响。
 
使用代码如下：
 
train_sizes, train_scores, valid_scores = learning_curve(
SVC(kernel='linear'), X, y, train_sizes=[50, 80, 110], cv=5，scoring='r2')
 
其中train_sizes=[50, 80, 110]的意思是选择50个、80个、110个样本数据，还可以[0.1,0.2,1.0]这样设置，这就是按照比例来分割数据的意思。
 
验证曲线：（validation curve）
 
这条曲线的用处主要是观察超参数对模型带来的影响，为模型选择合适的超参数。
 
使用代码如下：
 
sklearn.learning_curve.validation_curve(estimator, X, y, param_name, param_range, cv=None, scoring=None, n_jobs=1, pre_dispatch='all', verbose=0)
 
train_scores, valid_scores = validation_curve(Ridge(), X, y, "超参数的名称",                                               np.logspace(-7, 3, 3))
 
交叉验证曲线 （cross_val_score)
 

 from sklearn.cross_validation import cross_val_score
 
scores = cross_val_score(knn, X, y, cv=10, scoring='accuracy')
 
以上是调节模型参数的三种曲线，使用非常方便。
 
 
 
 

提高学习算法性能的简单但功能强大的判定工具：学习曲线，验证曲线
 

 
 
 
学习曲线
 
 
学习曲线能判定偏差和方差问题
 
 
 
高偏差与高方差：
 


 
以上模型应用于训练和交叉验证准确率很低，此模型未能很好打的拟合数据。
 

 

 
 
常用的方法：增加模型参数的数量，或者降低正则化程度。
 
       如果不适合正则化则进行降维。
 

 

 
 
使用SKlearn中的学习曲线函数评估模型：
 

# 学习曲线诊断偏差和方差问题
%matplotlib inline
import matplotlib.pyplot as plt
from sklearn.learning_curve import learning_curve

pipe_lr = Pipeline([('scl', StandardScaler()),
            ('clf', LogisticRegression(penalty='l2', random_state=0))])

train_sizes, train_scores, test_scores =\
                learning_curve(estimator=pipe_lr, 
                X=X_train, 
                y=y_train, 
                train_sizes=np.linspace(0.1, 1.0, 10), 
                cv=10,
                n_jobs=1)

train_mean = np.mean(train_scores, axis=1)
train_std = np.std(train_scores, axis=1)
test_mean = np.mean(test_scores, axis=1)
test_std = np.std(test_scores, axis=1)

plt.plot(train_sizes, train_mean, 
         color='blue', marker='o', 
         markersize=5, label='training accuracy')

plt.fill_between(train_sizes, 
                 train_mean + train_std,
                 train_mean - train_std, 
                 alpha=0.15, color='blue')

plt.plot(train_sizes, test_mean, 
         color='green', linestyle='--', 
         marker='s', markersize=5, 
         label='validation accuracy')

plt.fill_between(train_sizes, 
                 test_mean + test_std,
                 test_mean - test_std, 
                 alpha=0.15, color='green')

plt.grid()
plt.xlabel('Number of training samples')
plt.ylabel('Accuracy')
plt.legend(loc='lower right')
plt.ylim([0.8, 1.0])
plt.tight_layout()
# plt.savefig('./figures/learning_curve.png', dpi=300)
plt.show()


 


 
 
 
通过learning_curve函数的train_size可以控制用于生产学习曲线的样本的绝对或者相对数量。
 
设置train_sizes=np.linspace(0.1, 1.0, 10),来使用训练集是等间距间隔的10个样本。
 
通过cv参数设置k值，
 
通过fill_between函数加入平均准确率标准差的信息，表示评估结果的方差。
 

 

 
 
验证曲线：
 
 
 
 
通过验证曲线判定过拟合于欠拟合。
 
验证曲线是一种通过定位过拟合于欠拟合等诸多问题的方法，帮助提高模型性能的有效工具。
 
验证曲线绘制的是准确率与模型参数之间的关系。
 

 

 
 
使用SKlearn绘制验证曲线：
 

 
from sklearn.learning_curve import validation_curve

param_range = [0.001, 0.01, 0.1, 1.0, 10.0, 100.0]
train_scores, test_scores = validation_curve(
                estimator=pipe_lr, 
                X=X_train, 
                y=y_train, 
                param_name='clf__C', 
                param_range=param_range,
                cv=10)

train_mean = np.mean(train_scores, axis=1)
train_std = np.std(train_scores, axis=1)
test_mean = np.mean(test_scores, axis=1)
test_std = np.std(test_scores, axis=1)

plt.plot(param_range, train_mean, 
         color='blue', marker='o', 
         markersize=5, label='training accuracy')

plt.fill_between(param_range, train_mean + train_std,
                 train_mean - train_std, alpha=0.15,
                 color='blue')

plt.plot(param_range, test_mean, 
         color='green', linestyle='--', 
         marker='s', markersize=5, 
         label='validation accuracy')

plt.fill_between(param_range, 
                 test_mean + test_std,
                 test_mean - test_std, 
                 alpha=0.15, color='green')

plt.grid()
plt.xscale('log')
plt.legend(loc='lower right')
plt.xlabel('Parameter C')
plt.ylabel('Accuracy')
plt.ylim([0.8, 1.0])
plt.tight_layout()
# plt.savefig('./figures/validation_curve.png', dpi=300)
plt.show()


 


 
 
验证的是参数C，定义在逻辑回归的正则化参数，记为clf__C。
 
通过param_range参数设置值的范围。
 
由图可知，C的最优值为0.1附近。
 

 

 

 
 

 
 

 

 

 

 
 
 
 
 
 
 
SKlearn库学习曲线和验证曲线
 
转载于:https://www.cnblogs.com/andylhc/p/10416978.html