Keras 没有使用完整的 CPU 内核进行训练

Question

我正在使用 Tensorflow 后端的 Keras 在我的机器上的一个非常庞大的数据集上训练 LSTM 模型。我的机器有 16 个内核。在训练模型时，我注意到所有核心的负载都低于 40%。

我已经通过不同的来源寻找解决方案，并尝试提供在后端使用的核心

config = tf.ConfigProto(device_count={"CPU": 16})
backend.tensorflow_backend.set_session(tf.Session(config=config))

即使在那之后负载仍然相同。

这是因为模型很小吗？一个纪元大约需要 5 分钟。如果它使用全核，则可以提高速度。

如何告诉 Keras 或 Tensorflow 使用全部可用内核（即 16 个内核）来训练模型。？？

我已经解决了这些 stackoverflow 问题并尝试了其中提到的解决方案。它没有帮助。

Limit number of cores used in Keras

Answer 1

您如何准确地训练模型？您可能想考虑使用 model.fit_generator() 但使用 Keras Sequence 对象而不是自定义生成器。这允许安全地使用多处理并将导致所有内核都被使用。

您可以查看Keras docs 的示例。