Horovod 弹性调整运行时的工人数量

Question

我一直在 docker 中同时使用 TensorFlow 和 PyTorch 来使用 Horovod，如Horovod docker 中所述，在固定数量的容器下，每件事都可以正常工作

我查看了 Horovod Elastic Demos Horovod examples，但它们没有显示如何在运行时更改工作人员的数量。

我需要知道如何在运行时增加或减少工作人员的数量？

Answer 1

您需要的是一个特定于 Docker 的主机发现，它告诉 Elastic Horovod 所有可用的容器。一种通用的方法是使用horovodrun 并通过--host-discovery-script 提供主机发现脚本。调用时，脚本会返回可用主机列表。请参阅Elastic Horovod 文档的Running with horovodrun 部分。

在不久的将来，Horovod 中将内置特定于服务提供商的主机发现功能，因此用户无需为通用提供商实现脚本。