如果 CloudBuild 失败，则在 Cloud Build 中使用 2 个 Dockerfile 来重用中间步骤映像

Question

Cloud Build 因超时错误而失败（我正在尝试使用 Prophet 部署 CloudRun）。因此，我试图将 Dockerfile 一分为二（将图像保存在两者之间，以防万一失败）。我会像这样拆分 Dockerfile：

• Dockerfile_one：python + 先知的依赖关系
• Dockerfile_two：image_from_Dockerfile_one + 先知 + 其他依赖项

cloudbuild.yaml 应该是什么样子：

1. 如果有以前可用的映像跳过该步骤，否则使用 Dockerfile_one 运行该步骤并保存映像
2. 使用步骤（1）中的镜像，添加更多依赖并保存镜像以进行部署

这是 cloudbuild.yaml 现在的样子

steps:
#  create gcr source directory
- name: 'bash'
  args:
    - '-c'
    - |
      echo 'Creating gcr_source directory for ${_GCR_NAME}'
      mkdir _gcr_source
      cp -r cloudruns/${_GCR_NAME}/. _gcr_source

# Build the container image
- name: 'gcr.io/cloud-builders/docker'
  args: ['build', '-t', 'gcr.io/$PROJECT_ID/${_GCR_NAME}', '.']
  dir: '_gcr_source'

# Push the container image to Container Registry
- name: 'gcr.io/cloud-builders/docker'
  args: ['push', 'gcr.io/$PROJECT_ID/${_GCR_NAME}']

# Deploy container image to Cloud Run
- name: 'gcr.io/cloud-builders/gcloud'
  entrypoint: gcloud
  args:
  - run
  - deploy
  - ${_GCR_NAME}
  - --image=gcr.io/$PROJECT_ID/${_GCR_NAME}

非常感谢！

Answer 1

不是答案，而是一种解决方法。如果有人有同样的问题，使用 Python3.8 而不是 3.9 对 Cloud Build 有效。

这就是 Dockerfile 的样子：

RUN pip install --upgrade pip wheel setuptools

# Install pystan
RUN pip install Cython>=0.22
RUN pip install numpy>=1.7
RUN pip install pystan==2.19.1.1

# Install other prophet dependencies
RUN pip install -r requirements.txt
RUN pip install prophet

虽然弄清楚如何为 CloudRun 迭代构建图像，但真的很棒。

Answer 2

为什么您的 Cloud Build 会因超时错误而失败？

在 docker 中构建图像时，减小图像大小很重要。通常会创建多个 dockerfile 来处理图像大小限制。在您的情况下，您无法减小图像大小并仅包含所需的内容。

有什么办法可以改正？

• 根据这个documentation，多阶段构建，（在 Docker 17.05) 允许您在第一次“构建”中构建您的应用程序 容器并在另一个容器中使用结果，同时使用 相同的 Dockerfile。
• 您在 Dockerfile 中使用了多个 FROM 语句。每个 FROM 指令可以使用不同的基础，并且每个指令都开始一个新的 构建阶段。您可以选择性地从一个阶段复制工件 给另一个人，在决赛中留下你不想要的一切 图片。要展示它是如何工作的，请关注link。
• 您只需要一个 Dockerfile。
• 结果是与以前相同的微小生产图像，带有一个 显着降低复杂性。你不需要创建任何 中间图像，您不需要提取任何伪影到 您的本地系统。

它是如何工作的？

• 您可以name your build stages。默认情况下，阶段不是 命名，并通过它们的整数来引用它们，从 0 开始 对于第一个 FROM 指令。但是，您可以通过以下方式命名您的阶段 在 FROM 指令中添加一个 AS。
• 构建映像时，不一定需要构建 整个 Dockerfile 包括每个阶段。您可以指定target build stage。
• 使用多阶段构建时，您不仅限于从 您之前在 Dockerfile 中创建的阶段。您可以使用 复制——从指令到copy from a separate image，或者 使用本地镜像名称、本地或 Docker 上可用的标签 注册表或标签 ID。
• 您可以通过引用pick up where a previous stage离开 使用 FROM 指令时对其进行处理。
• Google documentation中有一个dockerfile的例子 它使用多阶段构建。 hello 二进制文件首先内置 容器并注入第二个容器。因为第二个容器 基于scratch，生成的图像只包含你好 二进制文件，而不是过程中所需的源文件和目标文件 构建。

FROM golang:1.10 as builder

WORKDIR /tmp/go
COPY hello.go ./
RUN CGO_ENABLED=0 go build -a -ldflags '-s' -o hello

FROM scratch
CMD [ "/hello" ]
COPY --from=builder /tmp/go/hello /hello

• 这里是 tutorial，用于了解多阶段构建的工作原理。

Answer 3

你需要有 2 个管道

1. 第一个创建基本映像。像这样，您可以在每次需要重建此基础映像时触发它，其生命周期可能与您的应用程序生命周期不同。类似的东西

steps:
- name: 'gcr.io/cloud-builders/docker'
  args: ['build', '-t', 'gcr.io/<PROJECT_ID>/base-image', '-f', 'DOCKERFILE_ONE', '.']
images: ['gcr.io/<PROJECT_ID>/base-image']

1. 然后，在您的第二个 dockerfile 中，从基础映像开始，并使用第二个 Cloud Build 管道来构建、推送和部署它（就像您在问题的最后 3 个步骤中所做的那样）

FROM gcr.io/<PROJECT_ID>/base-image
COPY .....
....
...