将文件从 GCP 存储桶复制到 Container-Optimized OS

Question

如何在实例启动时将文件从 GCP 存储桶下载到容器优化操作系统 (COS)？

---

我知道以下解决方案：

• gcloud compute copy-files
• SSH through console
• SCP

然而，所有这些都必须在实例启动后手动和外部完成。

还有cloud init，但我找不到有关如何从存储桶复制文件的任何信息。 Examples seem to be suggesting 最好直接在云初始化文件中包含文件内容，这不是我想做的事情，因为安全性。是否可以使用 cloud init 从 Storge 存储桶下载文件？

我考虑过使用startup script，但 COS 缺少诸如 gcloud 或 gsutil 之类的 CLI 工具，无法在启动脚本中运行任何此类命令。

我知道我可以手动复制文件，然后将图像另存为 boot disk，但我希望有一些解决方案可以避免这样做。

最重要的是，我假设我不是在要求不可能的事情，因为 COS 实例设置允许我指定可以挂载到起始容器上的 Docker 卷。这似乎表明，当 COS 尝试在启动时运行我的映像时，我应该能够在实例上拥有一些私有文件。但是怎么做呢？

---

尝试使用 cloud-sdk 映像执行启动脚本并将文件复制到那里 as suggested by Guillaume 有一段时间对我不起作用，showing this log。最终我意识到cloud-sdk 图像在未压缩时为 2.41GB，需要 2 多分钟才能完成拉取。我再次尝试了一个空的 COS 实例，启动脚本成功完成，从存储桶下载数据。

但是，2.41GB 的图像和超过 2 分钟的启动时间听起来有点过分下载 2KB 的文件。不是吗？

我很高兴看到我的问题的有效解决方案（感谢 Guillaume！）虽然我仍然想知道：没有更好的方法来做到这一点吗？我觉得这种方式比手动把文件放到COS实例上，然后再创建一个机器镜像，以备日后使用更不整洁。

Answer 1

根据 Guillaume 的回答，我创建并发布了 gsutil wrapper image，以 voyz/gsutil_wrap 的形式提供。这样我就可以使用以下命令运行startup-script：

docker run -v /host/path:/container/path \
  --entrypoint gsutil voyz/gsutil_wrap \
  cp gs://bucket/path /container/path

它本质上是Guillaume suggested 的副本，但它使用的图像仅包含运行gsutil 所需的最低设置。因此，它的重量为 0.22GB，平均在 10-20 秒内提取 - 而 Guillaume 建议的 google/cloud-sdk 图像分别为 2.41GB 和超过 2 分钟。

另外，感谢this incredibly useful StackOverflow answer，它允许 gsutil 使用默认服务帐户进行身份验证。

Answer 2

启动脚本是执行此操作的正确位置。是的，COS 缺少一些有用的库。

但是你可以运行容器！例如，Google Cloud SDK 容器！

所以，在 VM 元数据中添加这个启动脚本：

• 键 -> startup-script
• 值->

docker run -v /local/path/to/copy/files:/dummy/container/path \
  --entrypoint gsutil google/cloud-sdk \
  cp gs://your_bucket/path/to/file /dummy/container/path

注意：启动脚本以 root 模式运行。如果您需要更改文件访问模式，请在启动脚本中执行 chmod/chown。

如果您需要有关此命令行的更多说明，请告诉我

---

当然，使用新鲜的 COS 镜像，启动时间是相当长的（拉取容器镜像并解压）。

为了减少启动时间，您可以“烘焙”您的图像。我的意思是，从 COS 开始，下载/安装你想要的东西（或者只执行googkle/cloud-sdk 容器的docker pull）和create a custom image from this。

这样，所有必需的依赖项都将出现在映像上，并且启动启动会更快。