Tensorflow、OpenAI Gym、Keras-rl 在基本强化学习示例中的性能问题

Question

我正在做强化学习，但我遇到了性能问题。

情况，无自定义代码：

• 我在 Google Cloud 上加载了一个 Google 深度学习 VM (https://console.cloud.google.com/marketplace/details/click-to-deploy-images/deeplearning)。随附安装了所有先决条件（CUDA、cuDNN、驱动程序）和 NVidia K80 显卡。
• 已安装keras-rl、OpenAI gym
• 现在，当我在第 46 行使用 Visualize=False 运行（标准）示例 dqn_cartpole.py 时，它使用了我大约 20% 的 GPU，导致每秒大约 100 步，这比使用 CPU 慢大约 3 倍我的 Razer Blade 15 (i7-8750H)。
• 我已经检查了我能想到的所有瓶颈，CPU 使用率、内存和 HD I/O 都正常。

请帮忙！

提前致谢

Answer 1

这不一定是问题。就性能而言，使用 GPU 并不是“免费”的，而且它并不总是比 CPU 快。因为并非所有东西都在 GPU 上运行（例如，健身房环境本身仍然在 CPU 上运行），所以您确实会产生“通信成本”（例如，将内存移入和移出 GPU）。只有当您真正能够充分利用您的 GPU 时，这才是值得的。

现在，GPU 也不一定比 CPU 快。 GPU 非常擅长并行执行大量类似的计算。这是必要的，例如，对于大型矩阵之间的矩阵乘法，这在训练大型深度神经网络时确实经常发生。如果你只需要相对少量的可以像这样并行完成的计算，并且大部分只有顺序代码，那么 GPU 肯定会比 CPU 慢（而且你提到的 CPU 是一个相当强大的 CPU）。

现在，如果我查看您链接的正在构建神经网络的代码部分 (starting from line 22)，那看起来就像一个相当小的神经网络；只有几层，每层有 16 个节点。这不是一个巨大的神经网络，卷积层之后是大型（例如数百个节点）全连接层（对于像 Cartpole 这样的小问题，这可能确实是矫枉过正）。所以，你只能使用 20% 的 GPU 就不足为奇了（它根本不能并行使用更多，因为被相乘的矩阵太小了），而且它比简单地慢也不一定令人惊讶也可以在 CPU 上运行。