使用 sklearn 进行预测建模管道答案

【问题标题】：predictive modelling pipeline with sklearn使用 sklearn 进行预测建模管道
【发布时间】：2018-12-01 10:40:42
【问题描述】：

我已经逐渐从R 移动到Python 来进行一些预测建模。我想知道使用交叉验证进行超参数优化并将训练模型应用于新实例的最佳管道是什么。

您将在下面看到一个我使用随机森林做的快速示例。我想知道这是否可以，您会从中添加或删除什么？

#import data sets
train_df = pd.read_csv('../input/train.csv') 
test_df = pd.read_csv('../input/test.csv')

#get the predictors only
X_train = train_df.drop(["ID", "target"], axis=1) 
y_train = np.log1p(train_df["target"].values)  

X_test = test_df.drop(["ID"], axis=1)

#grid to do the random search

from sklearn.model_selection import RandomizedSearchCV 

n_estimators = [int(x) for x in np.linspace(start = 200, stop = 2000, num = 10)]
max_features = ['auto', 'sqrt']
max_depth = [int(x) for x in np.linspace(10, 110, num = 11)] 
max_depth.append(None)
min_samples_split = [2, 5, 10]
min_samples_leaf = [1, 2, 4]
bootstrap = [True, False]  

# Create the random grid
random_grid = {'n_estimators': n_estimators,
           'max_features': max_features,
           'max_depth': max_depth,
           'min_samples_split': min_samples_split,
           'min_samples_leaf': min_samples_leaf,
           'bootstrap': bootstrap}

#Create the model to tune
rf = RandomForestRegressor()
rf_random= RandomizedSearchCV(estimator = rf, param_distributions = random_grid, n_iter = 100, cv = 10, verbose=2, random_state=42, n_jobs =10)
#fit the random search model
rf_random.fit(X_train, y_train) 

#get the best estimator
best_random = rf_random.best_estimator_ 

# train again with the best parameters on the whole training data?
best_random.fit(X_train,y_train)

#apply the best predictor to the test set
pred_test_rf = np.expm1(best_random.predict(X_test))

.best_estimator_ 是否使用网格搜索中找到的最佳参数来实例化模型？
如果是这样，我是否需要使用整个训练数据再次重新训练（如上所述），还是已经重新训练？
我想知道这种方法是否可行，或者有哪些最佳实践可以在 python 中使用 sklearn。

【问题讨论】：

标签： python machine-learning scikit-learn cross-validation

【解决方案1】：

1) 是的，它是由 best_params_ 从 rf_random 发起的估算器

2) 不，它已经对整个数据进行了训练，不需要这样做best_random.fit(X_train,y_train)

RandomizedSearchCV 有一个参数'refit'，默认为True：

refit : boolean, or string default=True
        Refit an estimator using the best found parameters on the whole dataset.

3) 你的方法似乎没问题。这是标准方式。其他事情可能取决于各种因素，如数据类型、数据大小、使用的算法（估计器）、探索可能性的时间等。但这部分最适合https://stats.stackexchange.com。

【讨论】：