如何使用 Airflow 将 BQ 表转换为 Postgres 表

Question

我的 GCP 项目空间中有一个 BQ 表，也有一个团队通用的 postgres 数据库。我必须使用 Airflow 将表从 bigquery 转移到 postgres 表（创建一个新表）。

我发现有一个“PostgresToGCSOperator”，但不是来自“GCSToPostgresOperator”，否则我会以某种 avro/csv/parquet 格式将我的 bigquery 表传输到 gcs，然后使用 GCSToPostgresOperator 将数据传输到 postgres 表中。

如果还有其他选择，如使用数据流等，请告诉我。我当前的 gcp 项目权限仅适用于 GCS、BQ、DataProc 和 CloudBuild，我对上述内容具有提供者角色。

我只是研究到现在，因为我是 Airflow 的新手，不知道如何同时使用我的 GCP 项目和 postgres 数据库配置它。

Answer 1

最近，BigQueryToPostgresOperator被添加到

apache-airflow-providers-google

中，并将在几天内发布。

但是我们有可用的 RC，你可以安装它

pip install apache-airflow-providers-google==10.1.0rc2

否则，等待 pip install

apache-airflow-providers-google==10.1.0