从 BigQuery 中提取数据并加载到 SQL Server 中的最佳方法是什么？

Question

我想创建一些通用管道，我可以在其中传递表名或自定义 SQL 作为输入，并将所需数据从 BigQuery 加载到 SQL Server。该管道应处理每日增量数据负载和初始历史负载（约 100 GB）。

我正在尝试通过 Apache Beam（数据流）创建它，我在编码方面面临一些挑战，但在深入研究数据流开发之前，我想了解从 BigQuery 中提取数据并将其加载到任何数据库中的最佳方法 Oracle， SQL Server、Postgres 等？除了数据流之外，还有什么方法是最佳优化的方法吗？

Answer 1

您可以尝试 Dataflow 模板 (https://cloud.google.com/dataflow/docs/guides/templates/provided-templates)，它为 BigQuery 提供了一些预定义的 Beam 管道作为源。