如何同时使用 CUDA 代码加速 Tensorflow-gpu答案

【问题标题】：How to speed up Tensorflow-gpu with using CUDA code simultaneoulsy如何同时使用 CUDA 代码加速 Tensorflow-gpu
【发布时间】：2020-04-24 01:52:05
【问题描述】：

我只有一个 GPU（GTX 1070，8GB VRAM），我想在同一个 GPU 上同时使用 tensorflow-gpu 和另一个 CUDA 代码。但是，同时使用 CUDA 代码和 tensorflow-gpu 会使 tensorflow-gpu 的速度降低大约两倍。 tensorflow-gpu 和 CUDA 代码配合使用有没有什么办法可以提速？

【问题讨论】：

一个字的答案是否定的

标签： tensorflow cuda

【解决方案1】：

@talonmies 评论的稍长版本：

GPU 很棒，但它们的资源仍然有限。任何使用 GPU 的出色构建应用程序都会尽最大努力使设备饱和，而为其他应用程序留下很少的资源。事实上，优化 GPU 代码（无论是着色器、CUDA 还是 CL 内核）的目标和挑战之一就是确保尽可能高效地使用所有 CU。

假设 TF 已经这样做了：在运行另一个 GPU 密集型应用程序时，或者您正在共享一个已经在全速运行的资源。所以，事情慢了下来。

一些选项是：

获得第二个或更快的 GPU。
优化您的 CUDA 内核以减少需求并简化您的 TF 内容。虽然在为 GPGPU 开发时始终牢记这一点很重要，但它不太可能对您当前的问题有所帮助。
不要同时运行这些东西。这可能会比您目前拥有的这种准时间切片情况稍微快一些。

【讨论】：