在 Google Cloud Build 期间在 Google Cloud SQL 上运行 node.js 数据库迁移

Question

我想在 Cloud Build 过程中运行用 node.js 编写的数据库迁移。

当前正在执行数据库迁移命令，但 Cloud Build 进程似乎无法通过带有用户名/密码的 IP 地址连接到 Cloud SQL。

Answer 1

在使用 Cloud SQL 和 Node.js 的情况下，它看起来像这样：

steps:
  # Install Node.js dependencies
  - id: yarn-install
    name: node:18
    entrypoint: yarn
    args: ["install", "--frozen-lockfile"]
    waitFor: ["-"]

  # Install Cloud SQL proxy
  - id: proxy-install
    name: node:18
    entrypoint: sh
    args:
      - "-c"
      - "wget https://storage.googleapis.com/cloud-sql-connectors/cloud-sql-proxy/v2.4.0/cloud-sql-proxy.linux.amd64 -O cloud_sql_proxy && chmod +x cloud_sql_proxy"
    waitFor: ["-"]

  # Migrate database schema to the latest version
  - id: migrate
    name: node:18
    entrypoint: sh
    args:
      - "-c"
      - "mkdir /cloudsql; chmod 777 /cloudsql; (./cloud_sql_proxy --unix-socket /cloudsql <CLOUD_SQL_CONNECTION> & sleep 2) && yarn knex migrate:latest"
    timeout: "1200s"
    waitFor: ["yarn-install", "proxy-install"]
timeout: "1200s"

您将启动

yarn install

并并行下载 Cloud SQL Proxy。完成这两个步骤后，运行启动代理，等待 2 秒，最后运行

yarn knex migrate:latest

。

为此，您需要在 GCP 项目中启用 Cloud SQL Admin API。

其中

<CLOUD_SQL_INSTANCE>

是您的 Cloud SQL 实例连接名称，可以在此处找到。您的 SQL 连接设置中将使用相同的名称，例如

host=/cloudsql/example:us-central1:pg13

。

此外，请确保 Cloud Build 服务帐户在数据库实例所在的 GCP 项目中具有“Cloud SQL Client”角色。

Answer 2

从

1.16

的标签

gcr.io/cloudsql-docker/gce-proxy

开始，当前接受的答案不再有效。这是一种不同的方法，可以使代理与需要它的命令保持相同的步骤：

  - id: cmd-with-proxy
    name: [YOUR-CONTAINER-HERE]
    timeout: 100s
    entrypoint: sh
    args:
      - -c
      - '(/workspace/cloud_sql_proxy -dir=/workspace -instances=[INSTANCE_CONNECTION_NAME] & sleep 2) && [YOUR-COMMAND-HERE]'

主进程退出后，代理也会自动退出。此外，如果代理或给定的命令失败，它会将步骤标记为“错误”。

这确实要求二进制文件位于

/workspace

卷中，但这可以手动提供或通过如下先决步骤提供：

  - id: proxy-install
    name: alpine:3.10
    entrypoint: sh
    args:
      - -c
      - 'wget -O /workspace/cloud_sql_proxy https://storage.googleapis.com/cloudsql-proxy/v1.16/cloud_sql_proxy.linux.386 &&  chmod +x /workspace/cloud_sql_proxy'

此外，这应该适用于 TCP，因为代理将与命令位于同一容器中。

Answer 3

使用 google-appengine/exec-wrapper。这是一个图像来做到这一点。用法（请参阅链接中的自述文件）：

steps:
- name: "gcr.io/google-appengine/exec-wrapper"
  args: ["-i", "gcr.io/my-project/appengine/some-long-name",
         "-e", "ENV_VARIABLE_1=value1", "-e", "ENV_2=value2",
         "-s", "my-project:us-central1:my_cloudsql_instance",
         "--", "bundle", "exec", "rake", "db:migrate"]

-s

设置代理目标。

Answer 4

Cloud Build 使用服务帐户运行，您似乎需要为此帐户授予对 Cloud SQL 的访问权限。 您可以在此处找到有关设置服务帐户权限的更多信息。

Answer 5

以下是如何结合 Cloud Build + Cloud SQL Proxy + Docker。

如果您在 Cloud Build 中的 Docker 容器内运行数据库迁移/操作，它将无法直接访问您的代理，因为 Docker 容器与主机隔离。

这是我成功启动并运行的内容：

  - id: build
    # Build your application
    waitFor: ['-']

  - id: install-proxy
    name: gcr.io/cloud-builders/wget
    entrypoint: bash
    args:
      - -c
      - wget -O /workspace/cloud_sql_proxy https://storage.googleapis.com/cloudsql-proxy/v1.15/cloud_sql_proxy.linux.386 && chmod +x /workspace/cloud_sql_proxy
    waitFor: ['-']

  - id: migrate
    name: gcr.io/cloud-builders/docker
    entrypoint: bash
    args:
      - -c
      - |
        /workspace/cloud_sql_proxy -dir=/workspace -instances=projectid:region:instanceid & sleep 2 && \
        docker run -v /workspace:/root \
        --env DATABASE_HOST=/root/projectid:region:instanceid \
        # Pass other necessary env variables like db username/password, etc.
        $_IMAGE_URL:$COMMIT_SHA
    timeout: '1200s'
    waitFor: [build, install-proxy]

因为我们的数据库操作是在 Docker 容器内进行，所以我找到了通过指定 Unix 套接字

-dir/workspace

而不是公开 TCP 端口 5432 来提供对 Cloud SQL 访问的最佳方法。

注意：对于 Cloud Build，我建议使用目录

/workspace

而不是

/cloudsql

。

然后我们将

/workspace

目录挂载到 Docker 容器的

/root

目录，这是应用程序代码所在的默认目录。当我尝试将其安装到

/root

以外的地方时，似乎没有发生任何事情（可能是权限问题，没有错误输出）。

另外：我注意到代理版本 1.15 运行良好。我在使用新版本时遇到了问题。您的里程可能会有所不同。

Answer 6

这是我在 2024 年更新的解决方案，基于 Konstantin 的解决方案：

- id: install-proxy
name: 'gcr.io/cloud-builders/wget'
entrypoint: bash
args:
  - "-c"
  - "wget https://storage.googleapis.com/cloud-sql-connectors/cloud-sql-proxy/v2.8.1/cloud-sql-proxy.linux.amd64 -O cloud_sql_proxy && chmod +x cloud_sql_proxy"

- id: migrate
    waitFor: ['install-proxy']
    name: '<YOUR IMAGE>'
    entrypoint: sh
    args:
      - "-c"
      - "(./cloud_sql_proxy --address <DB_HOST> --port <DB_PORT> <PROJECT_ID>:<REGION>:<DB_INSTANCE> & sleep 2) && cd <YOUR SCRIPT FOLDER> && <YOUR MIGRATION SCRIPT>"
    timeout: '1200s'