如何从 Google Cloud SQL 将数据检索到 Airflow DAG？

Question

我想从 Cloud SQL 中将数据检索到气流 DAG（数据并不大，最多 3 列，最多可能 6 行），该数据位于另一个项目中。

所以项目 A 有 Composer/Airflow 项目 B 有 Cloud SQL

有一个 VPC 网络扩展了这两个项目。所以这不是我现在的问题。

我发现了这个问题但是它说要将数据导出到Cloud Storage，但是如何将该数据导入回DAG？

我在互联网上搜索了一些东西，但不确定它是否正确。 示例 1。 下面的MySqlOperator似乎只能执行DDL或DML查询。

from datetime import datetime   
from airflow import DAG   
from airflow.providers.mysql.operators.mysql import MySqlOperator

文档：示例 1 文档

我也尝试了 Bing Copilot 和 Chat GPT，但它们给出的响应不一致，所以我在想是否有可能将数据导入 DAG。 由于 Airflow 旨在编排而不是处理数据。

Answer 1

要从 Composer DAG 连接到 CloudSQL，您可以在托管 Composer 实例的底层 GKE 中设置 CloudSQL 代理。

这个 Gist 提供了有关如何设置 CloudSQL 代理和从 DAG 操作员访问的不错的说明。

MySqlOperator 应该允许您执行插入和查询操作。