首次运行 nvidia-docker2 容器非常慢答案

【问题标题】：First run of a nvidia-docker2 container very slow首次运行 nvidia-docker2 容器非常慢
【发布时间】：2019-02-06 11:14:07
【问题描述】：

在 EC2 p2.xlarge 实例上运行支持 GPU 的 docker 容器时，我在容器开始运行之前遇到了 30 到 90 秒的延迟。后续容器快速启动（延迟 1 秒）。

EC2 运行 ubuntu 18.04，NVIDIA 驱动程序版本 396.54 和 nvidia-docker2（按照官方安装指南：https://github.com/NVIDIA/nvidia-docker）

我正在使用最新的官方 CUDA 映像进行测试： docker run --rm nvidia/cuda nvidia-smi

我的机器上启用了持久模式。如https://github.com/NVIDIA/nvidia-docker/wiki/Frequently-Asked-Questions#how-do-i-install-the-nvidia-driver 中所述，“为什么我的容器从 2.0 开始很慢？”它应该是解决方案，但对我不起作用。

感谢任何可能导致延迟的想法以及如何解决它。

【问题讨论】：

【解决方案1】：

我在 cmets 中看到您已经从互联网上提取了 Docker 映像，但您确定该映像没有保存到 EBS 快照中吗？例如，在使用 NVIDIA Docker 创建 AMI 期间，您可能已拉取该映像并将其保存到根 AMI 卷。

如果是这种情况，那么由于 EBS 卷是如何从快照中恢复的，您会遇到这种延迟。

...从快照还原的卷上的存储块必须先初始化（从 Amazon S3 拉下并写入卷），然后您才能访问该块。此初步操作需要时间，并且会导致第一次访问每个块时 I/O 操作的延迟显着增加。

因此，当您第一次运行 Docker 容器时，AWS 会将数据从 S3 下载到您的 EBS 卷，这需要一些时间。第二次你的容器启动很快，因为数据已经在卷上。

【讨论】：

您的答案似乎指向了正确的方向 - 初始化 EBS 卷后，容器启动速度要快得多。但与您的假设相反，该映像是在 EC2 启动后下载的，并且不包含在 AMI 中。我还注意到，在容器运行后从 EC2 创建 AMI（新的 AMI 包含退出的容器）时，延迟要短得多。
您确定要下载图像的所有图层吗？也许您正在下载的图像基于已下载到该卷的另一个图像。在下载之前使用以下命令检查现有图像：$ docker images -a。如果有，请尝试将其全部删除：$ docker rmi $(docker images -a -q)，然后下载您的图像。
卷上没有图像。在实例启动后下载所有图像层。