网格搜索

class sklearn.model_selection.GridSearchCV(

estimator :考虑优化的估计器

param_grid : dict or list of dictionaries，希望进行搜索的参数阵

scoring = None : string/callable/list/tuple/dict/None，模型评分方法

fit_params = None, n_jobs = 1, cv = None

iid = True :数据是否在各fold间均匀分布，此时将直接最小化总样本的损失函数refit = True :是否使用发现的最佳参数重新拟合估计器

verbose = 0, pre_dispatch = '2*n_jobs ', error_score = 'raise’return_train_score = True :是否返回训练集的评分

)

GridSearchCV类的属性:

cv_results_ :字典格式的参数列表，可被直接转换为pandas数据框

best_estimator_ :网格搜索得出的最佳模型

best_score_ :最佳模型的平均交互验证得分

best_params_ : dict，最佳模型的参数设定

best_index_ : int，最佳模型对应的索引值

scorer_ : function or a dict，用于选择最佳模型的评分函数

n_splits_ : int，交叉验证的拆分数

GridSearchCV类的方法:

  decision_function ( *args，**kwargs) :调用筛选出的最佳模型并返回预测结果其余标准API接函数

decision_function返回数据点属于每个类别的判定系数，若为正数，则代表该点属于这一类，负数则表示该点不属于这一类。判定系数的绝对值越大，判断的可信度越高。

from sklearn import svm
from sklearn import datasets
from sklearn.model_selection import GridSearchCV
import pandas as pd 

iris = datasets.load_iris()
parameters = {'kernel':('linear','rbf'),'C':[1.10]} #实例化
svc = svm.SVC(probability = True)
clf = GridSearchCV(svc,parameters)
clf.fit(iris.data,iris.target)

GridSearchCV(cv='warn', error_score='raise-deprecating',
             estimator=SVC(C=1.0, cache_size=200, class_weight=None, coef0=0.0,
                           decision_function_shape='ovr', degree=3,
                           gamma='auto_deprecated', kernel='rbf', max_iter=-1,
                           probability=True, random_state=None, shrinking=True,
                           tol=0.001, verbose=False),
             iid='warn', n_jobs=None,
             param_grid={'C': [1.1], 'kernel': ('linear', 'rbf')},
             pre_dispatch='2*n_jobs', refit=True, return_train_score=False,
             scoring=None, verbose=0)

from sklearn.svm import SVC

#显示所有拟合模型的参数设定
pd.DataFrame(clf.cv_results_)

clf.best_params_

{'C': 1.1, 'kernel': 'linear'}

print(clf.decision_function(iris.data))#网格搜索

[[ 2.24627744  1.29829892 -0.30632837]
 [ 2.23781119  1.29693571 -0.30471538]
 [ 2.24548583  1.29718879 -0.30559412]
 [ 2.23591041  1.29589056 -0.30389728]
 [ 2.24795778  1.29822418 -0.3064484 ]
 [ 2.23752685  1.29735806 -0.30495212]
 [ 2.2434869   1.29624146 -0.30483534]
 [ 2.24100113  1.29748846 -0.30534443]
 [ 2.23661182  1.2953947  -0.30365738]
 [ 2.2375786   1.2973143  -0.30492944]
 [ 2.24558626  1.29895555 -0.30665596]
 [ 2.23718064  1.29655761 -0.3044249 ]
 [ 2.23997815  1.29729146 -0.30513039]
 [ 2.2512266   1.29724082 -0.30622266]
 [ 2.25842469  1.3013034  -0.30927775]
 [ 2.25245732  1.29965175 -0.30772804]
 [ 2.25194914  1.29891281 -0.3072508 ]
 [ 2.24452273  1.29771579 -0.30581239]
 [ 2.23723948  1.29851098 -0.30565066]
 [ 2.24582594  1.29783236 -0.30600783]
 [ 2.23172213  1.29768867 -0.30467686]
 [ 2.24234659  1.29705619 -0.30520883]
 [ 2.25994866  1.29879541 -0.30806837]
 [ 2.22220568  1.29476653 -0.30201257]
 [ 2.22238071  1.29523835 -0.30233811]
 [ 2.22837826  1.29635472 -0.30354531]
 [ 2.23246711  1.29580915 -0.30353915]
 [ 2.24249366  1.29815377 -0.30588644]
 [ 2.24452963  1.29837334 -0.30620727]
 [ 2.23329426  1.2959152  -0.30367832]
 [ 2.23097932  1.29600008 -0.30353221]
 [ 2.23636238  1.29729451 -0.30481098]
 [ 2.25330507  1.29966903 -0.30782355]
 [ 2.2557716   1.30030318 -0.30843809]
 [ 2.23545141  1.29669764 -0.30435806]
 [ 2.2485707   1.29833029 -0.30657146]
 [ 2.2491945   1.29959712 -0.30737741]
 [ 2.24969301  1.29855531 -0.30681499]
 [ 2.24251854  1.29603049 -0.30461341]
 [ 2.24086415  1.29773868 -0.30548479]
 [ 2.24814273  1.29786457 -0.3062567 ]
 [ 2.22578517  1.29425389 -0.30197265]
 [ 2.24585572  1.29640343 -0.30517211]
 [ 2.22992334  1.29464894 -0.30258346]
 [ 2.22639242  1.29551952 -0.3028421 ]
 [ 2.23584715  1.29603506 -0.30398092]
 [ 2.24398491  1.29802466 -0.30594642]
 [ 2.24190045  1.29650998 -0.30483816]
 [ 2.24570962  1.29872219 -0.30652718]
 [ 2.24310378  1.29771639 -0.30567798]
 [-0.25888157  2.27043006  0.84961887]
 [-0.25420288  2.26613432  0.85736765]
 [-0.26566202  2.26422889  1.03089525]
 [-0.24725457  2.26389816  0.83953777]
 [-0.26167944  2.26301954  0.97285293]
 [-0.2558817   2.26139866  0.91727953]
 [-0.25960377  2.26047526  0.98289875]
 [-0.19807268  2.27437013  0.7462427 ]
 [-0.25819096  2.26876747  0.85971716]
 [-0.23803641  2.26291864  0.81574102]
 [-0.22433167  2.27078106  0.76857795]
 [-0.24705163  2.26470632  0.8338466 ]
 [-0.24425962  2.27327002  0.78539706]
 [-0.26147994  2.26048024  1.01994941]
 [-0.21600922  2.27333011  0.75641414]
 [-0.25140742  2.2712808   0.81140066]
 [-0.2559883   2.25665492  0.98796188]
 [-0.23905423  2.273164    0.77761803]
 [-0.26533223  2.25720279  1.11452981]
 [-0.23621673  2.27128811  0.78004053]
 [-0.26495855  2.24680537  1.16854301]
 [-0.23955415  2.2718155   0.78305262]
 [-0.27060306  2.25321773  1.1785179 ]
 [-0.26019837  2.26448894  0.92626119]
 [-0.24921993  2.27097946  0.8065506 ]
 [-0.25268911  2.26997762  0.82331433]
 [-0.26531537  2.26507325  1.00569519]
 [-0.27032769  2.25456052  1.17143878]
 [-0.25759465  2.26029055  0.95342037]
 [-0.20874231  2.27830251  0.74273904]
 [-0.23361723  2.27122032  0.77690547]
 [-0.22625653  2.27409475  0.76152715]
 [-0.23467384  2.27203226  0.77563407]
 [-0.27318245  1.24299275  2.21645134]
 [-0.25579586  2.25427719  1.025428  ]
 [-0.25255831  2.26139138  0.88790408]
 [-0.2609764   2.26533568  0.92399971]
 [-0.25977858  2.26537697  0.90938447]
 [-0.23921988  2.26768065  0.79813843]
 [-0.24402523  2.26517928  0.82109608]
 [-0.2540305   2.26200534  0.89343164]
 [-0.25783181  2.26278911  0.92107182]
 [-0.24081212  2.27029624  0.79080786]
 [-0.20208621  2.27458063  0.74730352]
 [-0.2479946   2.26442341  0.83926823]
 [-0.24139608  2.26915346  0.7964656 ]
 [-0.24494709  2.26657115  0.81671407]
 [-0.24899229  2.26941618  0.81397179]
 [-0.16817711  2.27765932  0.73375002]
 [-0.24293044  2.26735753  0.80760147]
 [-0.28707384  1.14947354  2.28119096]
 [-0.27544166  1.22551722  2.24241259]
 [-0.28572654  1.21950229  2.26763227]
 [-0.28075419  1.22722381  2.253935  ]
 [-0.28496263  1.19919165  2.27167675]
 [-0.29221928  1.20120343  2.28271138]
 [-0.26350515  1.23390222  2.19566155]
 [-0.28872304  1.22449799  2.27171205]
 [-0.28536738  1.22270759  2.26580515]
 [-0.28702396  1.1962758   2.27552215]
 [-0.27295679  1.24123017  2.21846124]
 [-0.27867286  1.23154175  2.24615515]
 [-0.28099808  1.22753736  2.25431583]
 [-0.27600114  1.21779044  2.24849707]
 [-0.27838341  1.19196788  2.26253449]
 [-0.27824419  1.21747936  2.25346649]
 [-0.27892215  1.23592175  2.24334747]
 [-0.29050259  1.20935777  2.27863355]
 [-0.29632366  1.14630194  2.29280364]
 [-0.27446017  1.24383688  2.21985224]
 [-0.28353826  1.21366733  2.26542492]
 [-0.27210994  1.22438478  2.23485951]
 [-0.29332401  1.2025653   2.28418614]
 [-0.2716128   1.24523345  2.20596604]
 [-0.28175043  1.22264441  2.25843786]
 [-0.28427267  1.23661991  2.25666445]
 [-0.26887359  1.24715529  2.1886087 ]
 [-0.2689827   1.24534071  2.19396581]
 [-0.28314739  1.20961778  2.26596079]
 [-0.28185127  1.24735998  2.24067838]
 [-0.28776392  1.22705696  2.26896304]
 [-0.2869051   1.23657142  2.26293051]
 [-0.28371257  1.20202648  2.26897129]
 [-0.27174181  1.25176897  2.18997946]
 [-0.27988353  1.23805115  2.2441591 ]
 [-0.2888502   1.21427543  2.27478929]
 [-0.28160162  1.19629383  2.2668145 ]
 [-0.27824449  1.23534175  2.24198858]
 [-0.26693842  1.24624323  2.18133534]
 [-0.27913621  1.23429921  2.24525582]
 [-0.28339523  1.2030499   2.26818344]
 [-0.27624857  1.23436839  2.23730158]
 [-0.27544166  1.22551722  2.24241259]
 [-0.28569412  1.20057856  2.27257418]
 [-0.28405792  1.19376775  2.27133323]
 [-0.27826174  1.22537803  2.24926502]
 [-0.27556832  1.23623495  2.23346001]
 [-0.27601105  1.23598869  2.23502853]
 [-0.2782753   1.21132467  2.25621161]
 [-0.27247876  1.23666418  2.22329881]]

随机搜索

在不明确可能的参数候选值时，可以在指定的参数值分布中进行取样，实现对参数的随机搜索。class sklearn.model_selection.RandomizedSearchCV(

estimator :

param_distributions : dict，希望进行搜索的参数字典

n_iter = 10 : int，考虑抽取出的参数组合数，该参数用于控制计算总量

scoring = None， fit _params = None, n_jobs = 1, iid = True

refit = True :使用整个数据集重新fit搜索到的最佳参数组合模型

cv = None, verbose =0 

pre_dispatch = '2*n_jobs ', random_state = Noneerror_score = 'raise',

return_train_score = True

）

RandomizedSearchCV类的属性（和GridSearchCV类相同):

cv_results_ :字典格式的参数列表，可被直接转换为pandas数据框

best_estimator_ : 网格搜索得出的最佳模型

best_score_ :最佳模型的平均交互验证得分

best_params_ : dict，最佳模型的参数设定

best_index_ : int，最佳模型对应的索引值

scorer_ : function or a dict，用于选择最佳模型的评分函数

n_splits_ : int，交叉验证的拆分数

RandomizedSearchCV类的方法（和GridSearchCV类相同)︰

decision_function (*args,**kwargs) :调用最佳模型，并返回预测结果其余标准API接函数

import scipy.stats as stats
from sklearn import datasets
from sklearn.model_selection import RandomizedSearchCV
import pandas as pd
from sklearn.svm import SVC

#导入数据集并设定参数
iris = datasets.load_iris()
parameters2 = {"kernel":('linear','rbf'),
             'C':stats.expon(scale=100),
             'gamma':stats.expon(scale=1),
             'class_weight':('balanced',None)}

svc = SVC()

clf = RandomizedSearchCV(svc,parameters2)
clf.fit(iris.data,iris.target)
pd.DataFrame(clf.cv_results_)

clf.best_params_

{'C': 15.88249498314624,
 'class_weight': None,
 'gamma': 1.693966803275749,
 'kernel': 'linear'}

什么是超参数?

今天，隐藏着数学世界的算法只需要几行代码就可以训练出来。它们的成功首先取决于训练的数据，然后取决于用户使用的超参数。这些超参数是什么?

超参数是用户定义的值，如kNN中的k和Ridge和Lasso回归中的alpha。它们严格控制模型的拟合，这意味着，对于每个数据集，都有一组唯一的最优超参数有待发现。最基本的方法便是根据直觉和经验随机尝试不同的值。然而，正如您可能猜到的那样，当有许多超参数需要调优时，这个方法很快就会变得无用。

今天将介绍两种自动超参数优化方法:随机搜索和网格搜索。给定一组模型的所有超参数的可能值，网格搜索使用这些超参数的每一个组合来匹配模型。更重要的是，在每个匹配中，网格搜索使用交叉验证来解释过拟合。在尝试了所有的组合之后，搜索将保留导致最佳分数的参数，以便您可以使用它们来构建最终的模型。

随机搜索采用的方法与网格稍有不同。它不是详尽地尝试超参数的每一个单独组合，这在计算上可能是昂贵和耗时的，它随机抽样超参数，并试图接近最好的集合。

如果人工编写这种测试方法，会非常的费力，幸好Scikit-learn提供了GridSearchCV和RandomizedSearchCV类，使这个过程变得轻而易举。今天，你将了解他们的一切!

准备数据

我们将对爱荷华州住房数据集（https://www.kaggle.com/c/house-prices-advanced-regression-techniques/data）的随机森林回归模型进行调整。我之所以选择随机森林，是因为它有足够大的超参数，使本指南的信息更加丰富，但您将学习的过程可以应用于Sklearn API中的任何模型。所以,让我们开始:

houses_train = pd.read_csv("data/train.csv")
houses_test = pd.read_csv("data/test.csv")

houses_train.head()

目标是SalePrice。为简单起见，我将只选择数字特性:

X = houses_train.select_dtypes(include="number").drop("SalePrice", axis=1)
y = houses_train.SalePrice

X_test = houses_test.select_dtypes(include="number")

首先，训练集和测试集都包含缺失值。我们将使用SimpleImputer来处理它们:

from sklearn.impute import SimpleImputer

# Impute both train and test sets
imputer = SimpleImputer(strategy="mean")
X = imputer.fit_transform(X)
X_test = imputer.fit_transform(X_test)

现在，让我们用默认参数拟合一个基本的RandomForestRegressor。由于我们将只将测试集用于最终评估，我将使用训练数据创建一个单独的验证集:

%%time

from sklearn.ensemble import RandomForestRegressor
from sklearn.model_selection import train_test_split

X_train, X_valid, y_train, y_valid = train_test_split(X, y, test_size=0.3)

# Fit a base model
forest = RandomForestRegressor()

_ = forest.fit(X_train, y_train)

>>> print(f"R2 for training set: {forest.score(X_train, y_train)}")
>>> print(f"R2 for validation set: {forest.score(X_valid, y_valid)}\n")

R2 for training set: 0.9785951576271396
R2 for validation set: 0.832622375495487

Wall time: 1.71 s

注意:本文的主要重点是如何执行超参数调优。我们不会担心其他问题，如过拟合或特征工程，因为这里我们要说明的是：如何使用随机和网格搜索，以便您可以在现实生活中应用自动超参数调优。

我们在测试集上得到了R2的0.83。我们只使用默认参数来拟合回归变量，这些参数是:

>>> forest.get_params()

{'bootstrap': True,
 'ccp_alpha': 0.0,
 'criterion': 'mse',
 'max_depth': None,
 'max_features': 'auto',
 'max_leaf_nodes': None,
 'max_samples': None,
 'min_impurity_decrease': 0.0,
 'min_impurity_split': None,
 'min_samples_leaf': 1,
 'min_samples_split': 2,
 'min_weight_fraction_leaf': 0.0,
 'n_estimators': 100,
 'n_jobs': None,
 'oob_score': False,
 'random_state': None,
 'verbose': 0,
 'warm_start': False}

有很多超参数。我们不会调整所有的内容，而是只关注最重要的内容。具体地说:

n_esimators:要使用的树的数量
max_feauters:每个节点拆分时要使用的特性数量
max_depth:每棵树上的叶子数量
min_samples_split:分裂内部节点所需的最小样本数
min_samples_leaf:每个叶子中的最小样本数量
bootstrap:取样方法，是否替换。

网格搜索和随机搜索都试图为每个超参数找到最优值。让我们先看看随机搜索的实际情况。

随机搜索Sklearn RandomizedSearchCV

Scikit-learn提供RandomizedSearchCV类实现随机搜索。它需要两个参数来建立:一个估计器和超参数的可能值集，称为参数网格或空间。让我们为我们的随机森林模型定义这个参数网格:

n_estimators = np.arange(100, 2000, step=100)
max_features = ["auto", "sqrt", "log2"]
max_depth = list(np.arange(10, 100, step=10)) + [None]
min_samples_split = np.arange(2, 10, step=2)
min_samples_leaf = [1, 2, 4]
bootstrap = [True, False]

param_grid = {
    "n_estimators": n_estimators,
    "max_features": max_features,
    "max_depth": max_depth,
    "min_samples_split": min_samples_split,
    "min_samples_leaf": min_samples_leaf,
    "bootstrap": bootstrap,
}

>>> param_grid

{'n_estimators': array([ 100,  200,  300,  400,  500,  600,  700,  800,  900, 1000, 1100,
        1200, 1300, 1400, 1500, 1600, 1700, 1800, 1900]),
 'max_features': ['auto', 'sqrt', 'log2'],
 'max_depth': [10, 20, 30, 40, 50, 60, 70, 80, 90, None],
 'min_samples_split': array([2, 4, 6, 8]),
 'min_samples_leaf': [1, 2, 4],
 'bootstrap': [True, False]}

这个参数网格字典应该在模型文档中出现的语法中有超参数作为键。可能的值可以以数组的形式给出。

现在，让我们最后从sklearn导入RandomizedSearchCV。model_selection并实例化它:

from sklearn.model_selection import RandomizedSearchCV

forest = RandomForestRegressor()

random_cv = RandomizedSearchCV(
    forest, param_grid, n_iter=100, cv=3, scoring="r2", n_jobs=-1
)

除可接受的估计量和参数网格外，还具有n_iter参数。它控制了我们在搜索中允许的超参数组合的随机选择的迭代次数。我们将其设置为100，因此它将随机抽样100个组合并返回最好的分数。我们也使用三折交叉验证与决定系数作为评分，这是默认的。你可以从sklearn.metrics.SCORERS.keys()中传递任何其他得分函数。现在让我们开始这个过程:

注意，因为随机搜索执行交叉验证，所以我们可以将它作为一个整体来适应训练数据。由于交叉验证的工作方式，它将为训练和验证创建单独的设置。另外，我将n_jobs设置为-1，以使用我的机器上的所有内核。

%%time

_ = random_cv.fit(X, y)

>>> print("Best params:\n")
>>> print(random_cv.best_params_)

Best params:

{'n_estimators': 800, 'min_samples_split': 4, 
'min_samples_leaf': 1, 'max_features': 'sqrt', 
'max_depth': 20, 'bootstrap': False}

Wall time: 16min 56s

经过~17分钟的训练后，可以使用.best_params_属性访问找到的最佳参数。我们也可以看到最好的分数:

>>> random_cv.best_score_

0.8690868090696587

我们得到了87%左右的决定系数比基础模型提高了4%

Sklearn GridSearchCV

你永远不要根据RandomSearchCV的结果来选择你的超参数。只使用它来缩小每个超参数的值范围，以便您可以为GridSearchCV提供更好的参数网格。

你会问，为什么不从一开始就使用GridSearchCV呢?看看初始参数网格:

n_iterations = 1

for value in param_grid.values():
    n_iterations *= len(value)
    
>>> n_iterations

13680

有13680个可能的超参数组合和3倍CV, GridSearchCV将必须适合随机森林41040次。使用RandomizedGridSearchCV，我们得到了相当好的分数，并且只需要100 * 3 = 300 次训练。

现在，是时候在之前的基础上创建一个新的参数网格，并将其提供给GridSearchCV:

new_params = {
    "n_estimators": [650, 700, 750, 800, 850, 900, 950, 1000],
    "max_features": ['sqrt'],
    "max_depth": [10, 15, 20, 25, 30],
    "min_samples_split": [2, 4, 6],
    "min_samples_leaf": [1, 2],
    "bootstrap": [False],
}

这次我们有:

n_iterations = 1

for value in new_params.values():
    n_iterations *= len(value)
    
>>> n_iterations

240

240种组合，这还是很多,但是比起之前的计算已经少很多了。让我们导入GridSearchCV并实例化它:

from sklearn.model_selection import GridSearchCV

forest = RandomForestRegressor()

grid_cv = GridSearchCV(forest, new_params, n_jobs=-1)

我不需要指定评分和CV，因为我们使用的是默认设置，所以不需要指定。让我们适应并等待:

%%time

_ = grid_cv.fit(X, y)

print('Best params:\n')
print(grid_cv.best_params_, '\n')
Best params:

{'bootstrap': False, 'max_depth': 15, 'max_features': 'sqrt', 'min_samples_leaf': 1, 'min_samples_split': 2, 'n_estimators': 950} 

Wall time: 35min 18s

35分钟后，我们得到了以上的分数，这一次——确实是最优的分数。让我们看看他们与RandomizedSearchCV有多少不同:

>>> grid_cv.best_score_

0.8696576413066612

你感到惊讶吗?我也是。结果的差别很小。然而，这可能只是给定数据集的一个特定情况。

当您在实践中使用需要大量计算的模型时，最好得到随机搜索的结果，并在更小的范围内在网格搜索中验证它们。

结论

从上面看您可能会认为这一切都很棒。 如果我们使用了以上的方法对超参数进行调整就可以不必再去看超参数的实际用途，并且可以找到它们的最佳值。 但是这种自动化需要付出巨大的代价：计算量大且费时。

您可能会像我们在这里那样等待几分钟才能完成。 但是，我们的数据集只有1500个样本，如果您同时结合了网格搜索和随机搜索，找到最佳参数将花费我们近一个小时的时间。 想象一下，您要等待那里的大型数据集需要多少时间。

那么，网格搜索和随机搜索是否可用于较小的数据集？当然可以！ 对于大型数据集，您需要采用其他方法。 幸运的是，Scikit学习已经涵盖了“不同的方法”……。 我们会在后面文章中介绍HalvingGridSearchCV和HalvingRandomizedSearchCV。 敬请关注！

作者：Bex T

deephub翻译组