我们在 AWS 上托管了一个带有关系数据库 (Aurora PostgreSql) 的应用程序。我们的客户希望每天将数据复制到其 Google Big Query 实例。数据量大于 1 TB，因此不可能每天满载，因此我们必须使用某种更改数据捕获。出于安全原因，我不想在公共网络中公开我们的数据库，并且由于其他原因，VPN 站点到站点连接已被排除。 因此，我们考虑将 AWS Database Migration Service 与 CDC 结合使用，并将数据增量导出到 S3 存储桶。
现在的问题是客户如何将这些数据从那里获取到其 Google BigQuery 中，或者是否有我们可能忽略的任何其他方式。
比约恩
VPN 连接已排除，因此无法使用 Qlik Replicate。
一种方法是将每日数据传输到 Google Cloud 存储中，并使用日期作为命名约定的一部分。然后，您可以在 Google Cloud 存储桶上设置触发器（使用 Google Cloud 函数），以自动将数据传输到 Big Query 数据集。在此数据集中，您可以将数据传输到同一个表中，附加但按日期分区，或者您可以使用分片表。