运行神经网络需要更长的时间答案

【问题标题】：Running Neural Networks Takes Longer Time运行神经网络需要更长的时间
【发布时间】：2018-03-04 22:02:08
【问题描述】：

我正在运行一系列神经网络（使用 Tensorflow 后端的 Keras 库），我在 Jupyter Notebook 中训练每个神经网络所花费的时间有以下结果：

ELAPSED TIME: 2.7005105018615723
0
ELAPSED TIME: 2.4810903072357178
1
ELAPSED TIME: 2.801435708999634
2
ELAPSED TIME: 2.6753993034362793
3
ELAPSED TIME: 2.8625667095184326
4
ELAPSED TIME: 2.5828065872192383
5

稍后你有：

ELAPSED TIME: 5.062163829803467
0
ELAPSED TIME: 5.162402868270874
1
ELAPSED TIME: 5.301288366317749
2
ELAPSED TIME: 5.386904001235962
3
ELAPSED TIME: 6.126806020736694
4

该程序包含一个函数，该函数在各自的数据集上训练一个单独的神经网络模型，并且只导出它们的最终训练精度（保存到另一个文件）。

我认为后面的网络训练需要更长的时间是因为程序消耗了太多的内存，所以我会在获得训练精度后删除模型（使用 del 关键字），但事实并非如此t 似乎做得很多。

如果我要重新启动 Jupyter Notebook 内核，运行每个网络的时间会缩短到大约 2 秒（原始持续时间），但运行后一个模型需要更长的时间。

这可能是什么原因，可以实施哪些解决方案？

注意：我没有包含任何代码，因为它会使这篇文章更加密集，但如果有必要我可以上传它。

【问题讨论】：

标签： python machine-learning neural-network keras jupyter-notebook

【解决方案1】：

您是否在 NVIDA GPU 上运行？如果是这样，旧模型的某些部分可能仍在 GPU 上。尝试在慢速模型运行时运行nvidia-smi，看看是否有其他东西正在耗尽 GPU 内存/资源。

如果这不起作用，您还可以运行 tensorflow 时间线并比较慢速和快速运行。有关如何在 Keras 中生成时间线的更多信息：https://github.com/tensorflow/tensorflow/issues/9868 我在下面粘贴的用于创建时间线的代码取自该链接

from tensorflow.python.client import timeline

# Make your keras model
# ...
run_options = tf.RunOptions(trace_level=tf.RunOptions.FULL_TRACE)
run_metadata = tf.RunMetadata()
model.compile(loss='MSE', optimizer='Adam', options=run_options, run_metadata=run_metadata)
# Run model in your usual way
# ...
trace = timeline.Timeline(step_stats=run_metadata.step_stats)
with open('timeline.ctf.json', 'w') as f:
    f.write(trace.generate_chrome_trace_format())

有关 tensorflow 时间线的更多信息，请参阅 https://stackoverflow.com/a/37774470/2826818 该时间线可让您查看每个操作所花费的时间，并确定是哪一个操作导致速度变慢。

【讨论】：

【解决方案2】：

您可以在完成每个模型后清除会话，这为我解决了问题。

from keras import backend as K
for model in models_to_train:
    model.fit(X, y)
    # save necessary metrics
    K.clear_session()

（在我将 tensoflow-gpu 更新到 1.9.0 之前，我遇到了分段错误）

【讨论】：