无法保存管道估算器

Question

我正在尝试训练一个简单的管道：

pipeline = Pipeline(
    [
        ('scaler', StandardScaler()),
        ('deepnc', deepnc),
    ])

其中 deepnc 是 Keras 分类器：

def create_spec_model(n_col=115, density_value=2, init='normal', dropout=0.2, learning_rate=0.005, decay=0.001,
                      momentum=0.9):
    # create model
    model = Sequential()
    model.add(Dropout(dropout, input_shape=(n_col,)))
    model.add(Dense(50 * density_value, init=init, activation='relu', W_constraint=maxnorm(2),
                    W_regularizer=l1l2(l1=0, l2=1e-4)))
    model.add(Dropout(dropout))
    model.add(Dense(30 * density_value, init=init, activation='relu', W_constraint=maxnorm(2),
                    W_regularizer=l1l2(l1=0, l2=1e-4)))
    model.add(Dropout(dropout))
    model.add(Dense(1, init=init, activation='sigmoid'))
    # load weights
    try:
        model.load_weights(spec_model_path)
    except:
        pass
    # Compile model
    sgd = SGD(lr=learning_rate, momentum=momentum, decay=decay, nesterov=True)
    model.compile(loss='binary_crossentropy', optimizer=sgd, metrics=['accuracy'])
    return model

我将管道放入随机搜索并检查一些参数：

deepnc = KerasClassifier(build_fn=create_spec_model, validation_split=0.1, dropout=0.2, learning_rate=0.005,
                         decay=0.001, verbose=2)
# grid search epochs, batch size and optimizer
optimizers = ['adam']
init = ['uniform', 'normal']
epochs = np.array([20, 40])
batches = np.array([20, 50, 100])
learning_rate = [0.005, 0.01]
dropout = [0.2, 0.3, 0.5]
decay = [0, 0.001, 0.005, 0.01]
density_value = [1, 2, 4]
param_grid = dict(deepnc__nb_epoch=epochs, deepnc__batch_size=batches, deepnc__init=init, deepnc__dropout=dropout,
                  deepnc__learning_rate=learning_rate,
                  deepnc__density_value=density_value)
grid = RandomizedSearchCV(estimator=pipeline, param_distributions=param_grid, n_iter=100, cv=5, verbose=1,
                          scoring='accuracy', fit_params={'deepnc__callbacks': [earlyStopping, modelCheck]})

grid.fit(np.array(X_train.iloc[:, :115]), y_train)

之后，我想保存最佳估算器和最佳参数：

joblib.dump(grid.best_estimator_, 'models/deepn_spec_model.pkl')
joblib.dump(grid.best_params_, 'models/deepn_spec_model_best_params.pkl')

由于某种原因，前者不起作用。幸运的是，我在控制台中运行了脚本，因此我能够单独运行后者并保存最佳参数。但是，我仍在试图弄清楚如何保存模型。我猜想将 Keras 的 scikit 包装器与 Pipeline 和 RandomizedSearchCV 结合会导致问题？

我也试过这个代码：

path = 'models/deepn_spec_model.pkl'
pickle.dump(grid.best_estimator_, open(path, 'wb'))

但它产生了相同的错误回溯。我在下面发布了一个缩短的版本，因为它非常长，并且由一遍又一遍地重复相同的片段组成。谷歌搜索错误没有帮助。有什么想法吗？

  File "/usr/lib/python2.7/pickle.py", line 286, in save
f(self, obj) # Call unbound method with explicit self
  File "/usr/lib/python2.7/pickle.py", line 606, in save_list
    self._batch_appends(iter(obj))
  File "/usr/lib/python2.7/pickle.py", line 621, in _batch_appends
    save(x)
  File "/usr/lib/python2.7/pickle.py", line 286, in save
    f(self, obj) # Call unbound method with explicit self
  File "/usr/lib/python2.7/pickle.py", line 568, in save_tuple
    save(element)
  File "/usr/lib/python2.7/pickle.py", line 286, in save
    f(self, obj) # Call unbound method with explicit self
  File "/usr/lib/python2.7/pickle.py", line 655, in save_dict
    self._batch_setitems(obj.iteritems())
  File "/usr/lib/python2.7/pickle.py", line 669, in _batch_setitems
    save(v)
  File "/usr/lib/python2.7/pickle.py", line 286, in save
    f(self, obj) # Call unbound method with explicit self
  File "/usr/lib/python2.7/pickle.py", line 754, in save_global
    (obj, module, name))
PicklingError: Can't pickle <function start_console_server at 0x7f0c22d08a28>: it's not found as __main__.start_console_server

额外问题：我是否正确使用了随机搜索？与最初的努力相比，我没有得到太大的进步。

Answer 1

只需为 Keras-Pickle 问题添加另一种解决方法。

它有点不完整，但允许 Keras 模型使用 pickle 存储，因此它适用于模型和包含对象。

http://zachmoshe.com/2017/04/03/pickling-keras-models.html

Answer 2

无法保存封装在 Scikit 分类器中的 Keras 模型GitHub Reference。

但是，有一个解决方法（或 2 个）！一种是Nassim Ben points out，使用 ModelCheckpoint 保存最佳权重并“重新创建”模型。

在我的情况下，在做了一些研究之后，我决定换一种方式，可以说更容易：训练后，简单地做：

grid.best_estimator_.model.save(path)

这（即在保存之前添加 .model）确保访问底层 Keras 模型，保存方法可以正常工作。现在你可以简单地做

deepnc_cont = keras.models.load_model(path)

而且它有效 - 至少对我来说：)

请注意，如果出于某种原因，我需要一个 KerasClassifier 对象（scikit 包装器），它将无法工作，因为它的构造函数要求生成模型的函数，所以我可能不得不遵循 Nassim 的路线?不过我不确定。

Answer 3

我知道这不是您要找的东西，但是……什么都没有：

鉴于您的回调对象已保存最佳权重，您只需要模型对象。该模型在您的函数create_spec_model() 中。您唯一需要的是最佳参数。所以：

# Save parameters of the best estimator.
pickle.dump(grid.best_estimator_.named_steps['deepnc'].get_params(),open('params.pkl','wb'))

在加载时，假设您的函数 create_spec_model() 仍在您的代码中：

import inspect

def load_model(params_path, weights_path):
    params = pickle.load(open(params_path,'rb'))
    params = {k: params[k] for k in inspect.getargspec(create_spec_model)[0] if k in params.keys()}
    model = create_spec_model(**params)
    model.load_weights(weights_path)
    return model

这对你有帮助吗？

Answer 4

您无法使用 joblib 或 pickle 保存 keras 模型。 而是使用保存方法并显示here。

或者在你的情况下：

path = 'models/deepn_spec_model.pkl'
grid.best_estimator_.save(path)

并加载模型：

from keras.models import load_model
path = 'models/deepn_spec_model.pkl'
model = load_model(path)

另外请注意，由于这不是严格意义上的 pickle 文件而是 HDF5 文件，您不妨将文件扩展名更改为“.h5”。