您可以同时使用本地 CPU 和 Google Colab GPU 吗？答案

【问题标题】：Can you use your local CPU and Google Colab's GPU at the same time?您可以同时使用本地 CPU 和 Google Colab GPU 吗？
【发布时间】：2021-12-11 18:47:39
【问题描述】：

我正在运行一些笔记本电脑，这些笔记本电脑在不同的点上都是 CPU 和 GPU 密集型的。在我的本地 PC 上运行笔记本电脑的 CPU 功率很快，但速度很慢，因为我的 GPU 不能用于 Torch（我有一个带有 AMD GPU 的 Ryzen 9）。另一方面，在 Colab GPU 上运行笔记本在 GPU 部分速度很快，但在 CPU 部分非常慢。

我知道可以使用本地运行时使用我的 CPU，但是我也被本地 GPU 卡住了。是否可以仅分配我的本地 CPU 并同时使用 Google colab GPU？

（另一种解决方案是在我的本地机器上运行 CPU 密集型代码，存储中间结果，然后将 Google GPU 用于 GPU 密集型部分。但这当然是次优的。）

【问题讨论】：

标签： python gpu google-colaboratory cpu torch

【解决方案1】：

据我所知，您可以使用内置分配策略在多个 GPU、多台机器或 TPU 之间分配训练。

MultiWorkerMirroredStrategy 是您最有可能寻找的那个。它有两种跨设备通信的实现。最重要的是，CommunicationImplementation.RING 是基于 RPC 的，同时支持 CPU 和 GPU。

详情：Link 1 Link 2

【讨论】：