使用 AMI 和通用文件的 Amazon EC2 现货实例队列

Question

我想使用自定义 AMI（docker？）启动多个 Amazon EC2 现货实例（舰队？），以执行深度学习训练任务。为了训练模型，我希望所有实例共享一组通用文件。

这里的想法是，当现货实例因定价限制/需求而被 AWS 终止时，不要丢失训练历史记录并在 EBS（网络驱动器？）中保留备份。任务状态可以在文件中更新，然后在实例可用时恢复。

是否可以启动所有实例并让它们协同工作以完成训练任务？什么样的设置可以做到这一点？

Answer 1

首先，您可能对来自 AWS Marketplace 的 Deep Learning AMI 感兴趣，它完全配置了流行的深度学习工具。

如果您使用的软件希望将其数据保存到本地文件系统（而不是 Amazon S3），那么您可以使用 Deep Learning AMI 在多个 Amazon EC2 实例（包括 Spot 实例）之间共享一个文件系统。 Amazon EFS 类似于 NAS，可以跨多个实例同时使用。

可以通过User Data script 挂载 EFS 卷，以及用于加载和运行所需应用程序的设置脚本（这比制作新的 AMI 更容易）。