在 Google Cloud Build 期间在 Google Cloud SQL 上运行 node.js 数据库迁移

Question

我想在 Cloud Build 过程中运行用 node.js 编写的数据库迁移。

目前，正在执行数据库迁移命令，但 Cloud Build 进程似乎无权通过具有用户名/密码的 IP 地址连接到 Cloud SQL。

Answer 1

在 Cloud SQL 和 Node.js 的情况下，它看起来像这样：

steps:
  # Install Node.js dependencies
  - id: yarn-install
    name: gcr.io/cloud-builders/yarn
    waitFor: ["-"]

  # Install Cloud SQL proxy
  - id: proxy-install
    name: gcr.io/cloud-builders/yarn
    entrypoint: sh
    args:
      - "-c"
      - "wget https://storage.googleapis.com/cloudsql-proxy/v1.20.1/cloud_sql_proxy.linux.amd64 -O cloud_sql_proxy && chmod +x cloud_sql_proxy"
    waitFor: ["-"]

  # Migrate database schema to the latest version
  # https://knexjs.org/#Migrations-CLI
  - id: migrate
    name: gcr.io/cloud-builders/yarn
    entrypoint: sh
    args:
      - "-c"
      - "(./cloud_sql_proxy -dir=/cloudsql -instances=<CLOUD_SQL_CONNECTION> & sleep 2) && yarn run knex migrate:latest"
    timeout: "1200s"
    waitFor: ["yarn-install", "proxy-install"]

timeout: "1200s"

您将同时启动yarn install 并下载Cloud SQL Proxy。完成这两个步骤后，运行启动代理，等待 2 秒，最后运行 yarn run knex migrate:latest。

为此，您需要在 GCP 项目中启用 Cloud SQL Admin API。

<CLOUD_SQL_INSTANCE> 是您的 Cloud SQL 实例连接名称，可以在 here 中找到。 SQL 连接设置中将使用相同的名称，例如host=/cloudsql/example:us-central1:pg13.

另外，请确保 Cloud Build 服务帐号在数据库实例所在的 GCP 项目中具有“Cloud SQL Client”角色。

Answer 2

使用google-appengine/exec-wrapper。正是这样做的图像。用法（请参阅链接中的 README）：

steps:
- name: "gcr.io/google-appengine/exec-wrapper"
  args: ["-i", "gcr.io/my-project/appengine/some-long-name",
         "-e", "ENV_VARIABLE_1=value1", "-e", "ENV_2=value2",
         "-s", "my-project:us-central1:my_cloudsql_instance",
         "--", "bundle", "exec", "rake", "db:migrate"]

-s 设置代理目标。

Answer 3

以下是 Cloud Build + Cloud SQL Proxy + Docker 的组合方法。

如果您在 Cloud Build 中的 Docker 容器内运行数据库迁移/操作，它将无法直接访问您的代理，因为 Docker 容器与主机是隔离的。

这是我设法启动并运行的：

  - id: build
    # Build your application
    waitFor: ['-']

  - id: install-proxy
    name: gcr.io/cloud-builders/wget
    entrypoint: bash
    args:
      - -c
      - wget -O /workspace/cloud_sql_proxy https://storage.googleapis.com/cloudsql-proxy/v1.15/cloud_sql_proxy.linux.386 && chmod +x /workspace/cloud_sql_proxy
    waitFor: ['-']

  - id: migrate
    name: gcr.io/cloud-builders/docker
    entrypoint: bash
    args:
      - -c
      - |
        /workspace/cloud_sql_proxy -dir=/workspace -instances=projectid:region:instanceid & sleep 2 && \
        docker run -v /workspace:/root \
        --env DATABASE_HOST=/root/projectid:region:instanceid \
        # Pass other necessary env variables like db username/password, etc.
        $_IMAGE_URL:$COMMIT_SHA
    timeout: '1200s'
    waitFor: [build, install-proxy]

因为我们的 db 操作是在 Docker 容器中进行的，所以我找到了通过指定 Unix 套接字 -dir/workspace 而不是暴露 TCP 端口 5432 来提供对 Cloud SQL 的访问的最佳方法。

注意：对于 Cloud Build，我建议使用目录 /workspace 而不是 /cloudsql。

然后我们将/workspace 目录挂载到Docker 容器的/root 目录，这是您的应用程序代码所在的默认目录。当我尝试将其挂载到 /root 以外的位置时，似乎什么也没发生（可能是权限问题，没有错误输出）。

另外：我注意到代理版本 1.15 运行良好。我遇到了新版本的问题。您的里程可能会有所不同。

Answer 4

从gcr.io/cloudsql-docker/gce-proxy 的标签1.16 开始，当前接受的答案不再有效。这是一种不同的方法，它使代理与需要它的命令保持在同一步骤中：

  - id: cmd-with-proxy
    name: [YOUR-CONTAINER-HERE]
    timeout: 100s
    entrypoint: sh
    args:
      - -c
      - '(/workspace/cloud_sql_proxy -dir=/workspace -instances=[INSTANCE_CONNECTION_NAME] & sleep 2) && [YOUR-COMMAND-HERE]'

一旦主进程退出，代理将自动退出。此外，如果代理或给定的命令失败，它将将该步骤标记为“错误”。

这确实要求二进制文件位于 /workspace 卷中，但这可以手动提供，也可以通过如下的 prereq 步骤提供：

  - id: proxy-install
    name: alpine:3.10
    entrypoint: sh
    args:
      - -c
      - 'wget -O /workspace/cloud_sql_proxy https://storage.googleapis.com/cloudsql-proxy/v1.16/cloud_sql_proxy.linux.386 &&  chmod +x /workspace/cloud_sql_proxy'

此外，这应该适用于 TCP，因为代理将与命令位于同一容器中。

Answer 5

Cloud Build 使用服务帐号运行，您似乎需要为此帐号授予对 Cloud SQL 的访问权限。 您可以找到有关设置服务帐户权限的更多信息here。