Talos 多 GPU 功能

Question

我正在尝试为我的 CNN 运行 Talos 超参数搜索。拥有 6 个 GPU 可以更快地运行实验，Talos 功能 multi_gpu 似乎很方便。

my_new_model = multi_gpu(my_new_model, gpus=6)
my_new_model.compile(...)

需要在model.compile之前调用函数。

但似乎仍然只有一个作业同时执行。 我希望同时处理具有 6 个可能路径的实验。现在它还在一个接一个地工作。

有什么想法吗？

Answer 1

multi_gpu 用于在单个机器上的多个 GPU 上运行单个任务。

根据您在数据集、架构、参数等方面所做的工作，这可以显着减少实验时间。尽管排列仍然是“一个接一个”地执行，但每次排列的执行时间更短。