为多数据源构建CDC架构的最佳实践

问题描述 投票:0回答:0

我们现在用自己的数据库运行这三个服务,我们想在它们之上构建聚合层。为此,我想构建 CDC(更改数据捕获)管道,我可以提出多种解决方案,但不确定所有选项是否都可以,因为我们之前没有这样做过。这是我们提出的选项。

  1. 使用像 PGsync 这样的开源将数据库更改流式传输到某个目的地。
  2. 使用 AWS 托管服务,AWS DMS + Kinesis 数据流 + Kinesis Flink => 弹性搜索
  3. Postgres 的 notify/listen 特性,让所有更改都被通知,并构建另一个名为 listener 的服务来监听更改事件。

我们希望在一分钟内实现数据延迟(数据库和聚合层之间的差距)。有没有人对上述选项有经验?或者任何好的参考资料都会很有帮助!

提前致谢!

data-analysis amazon-data-pipeline
© www.soinside.com 2019 - 2024. All rights reserved.