我如何有效地将BigQuery表迁移到本地Postgres？

Question

我需要将表从BigQuery迁移到本地Postgres数据库。

我如何有效地做到这一点？

即将来临的一些想法

1. 我将使用Google API从表中导出数据
2. 本地存储
3. 最后，导入到Postgres

但是我不确定是否可以对TB中的大量数据执行此操作。另外，如何使该过程自动化？我可以为此使用詹金斯吗？

Answer 1

从BigQuery导出数据，进行存储并将其导入PostgreSQL是一种很好的方法。您可以考虑以下两种其他选择：

1]有一个PostgreSQL wrapper for BigQuery，可以直接从BigQuery查询。根据您的情况，这可能是最简单的数据传输方式。但是，对于结核病而言，这可能不是最佳方法。此建议由@David在此SO question中提出。

2）使用Dataflow。您可以使用Apache Beam进行传输以创建ETL流程。看看transferring data from BigQuery to CloudSQL的操作方法。您可能需要对其进行调整以适合本地PostgreSQL，但是这个想法仍然存在。

这里是另外一个SO answer，它提供了关于此方法的更多上下文。