将数据从云 SQL postgres 复制到 bigQuery

问题描述 投票:0回答:2

我正在寻找将数据库从云 SQL (postgres) 更改为 bigQuery 的推荐方法?我发现 CDC 流似乎不适用于 postgres,有人知道此功能的时间表吗?

非常感谢您的帮助。

乔纳森。

google-bigquery google-cloud-sql
2个回答
1
投票

借助 Datastream for BigQuery,您现在可以将数据和架构更新从操作数据库直接复制到 BigQuery。

Datastream 以最小的延迟读取 MySQL、PostgreSQL、AlloyDB 和 Oracle 数据库中的每个更改(插入、更新和删除)并将其传送到 BigQuery 中。源数据库可以托管在本地、Google Cloud 服务(例如 Cloud SQL 或 Bare Metal Solution for Oracle)上,也可以托管在任何云上的任何位置。

https://cloud.google.com/datastream-for-bigquery

https://cloud.google.com/datastream/docs/quickstart-replication-to-bigquery

CloudSql -> GCS -> BigQuery

https://cloud.google.com/architecture/performing-etl-from-relational-database-into-bigquery

云端数据融合

https://cloud.google.com/data-fusion/docs/tutorials/replicating-data/sqlserver-to-bigquery

Cloud SQL 联合查询

https://cloud.google.com/bigquery/docs/cloud-sql-federated-queries

使用数据流从 SQL Server 到 BigQuery

https://cloud.google.com/dataflow/docs/guides/templates/provided/sqlserver-to-bigquery


0
投票

您必须创建 ETL 流程。这将允许您自动将数据从 Postgres 转换为 BigQuery。您可以使用多种方法来做到这一点,但我将向您指出我已经实现的两种主要方法:

方式一: 手动设置 ETL 流程:

使用开源工具创建 ETL... 此方法涉及使用 COPY 命令从 PostgreSQL 表和标准文件系统文件迁移数据。它可以用作带有 SQL 函数或 PL/pgSQL 过程的普通 SQL 语句,这为以完全转储或增量方式提取数据提供了很大的灵活性。您需要知道这是一个耗时的过程,并且需要您投资工程带宽! 另外,您可以尝试不同的技术堆栈来实现上述内容,我推荐这个 Java Spring Data Flow

方式2: 使用数据流

您可以使用 GCP 的 DataFlow 自动化 ETL 流程,而无需编写自己的解决方案。当然,速度更快,但成本也更高。

DataFlow 是统一的流和批数据处理 无服务器、快速且经济高效。

查看更多详细信息并立即了解这里 另请检查这个

© www.soinside.com 2019 - 2024. All rights reserved.