如何将数据从 Google Big Query 导出到 PostgreSQL

Question

我在 BigQuery 中存储了一个表，我想在 PostgreSQL 数据库中创建该表+数据的副本。这个 PostgreSQL 在 Google Cloud SQL 中。

此导出将每天进行，即每天都会将同一张表导出到 PostgreSQL，因此理想的解决方案可以自动化/重复，而不是手动解决方案。

我怎样才能实现这个目标？

Answer 1

您可以使用 BigQuery 和 CloudSQL API 来执行此操作，将 BQ 表以 CSV 格式导出到云存储，然后将文件作为 CloudSQL 中的表导入。然后，您可以使用 Cloud Functions + Cloud Scheduler（甚至使用Cloud DataFlow来实现更复杂的管道）来自动化此过程。