第一次在 docker 中运行时，Tensorflow 推理非常慢

Question

我为使用 tensorflow 进行推理的服务器构建了一个 docker 映像。我在 docker 映像中安装了带有 pip 的 tensorflow-gpu。它适用于我的带有 Titan x gpus 的机器。但是当我在另一台具有 1080 ti gpus 的机器上运行 docker 容器时。第一次运行变得非常慢，大约需要 90 秒，通常第一次运行需要 7 秒，接下来的运行需要 1 秒。我尝试将 tf_cudnn_use_autotune 设置为 0，并且还挂载了一个文件夹来保存 cuda 缓存。但这并不能真正解决问题。有人有什么建议吗？

Answer 1

这里是a link。 我找到了这个。

运行一次 TensorFlow 后，编译后的内核会被 CUDA 缓存。如果使用 docker 容器，数据不会被缓存，每次 TensorFlow 启动都会支付罚金。