Kafka JDBC DB 同步 - 未来最新更新

问题描述 投票:0回答:1

我正在评估使用 Kafka 为我们公司项目同步本地和云数据库,并得到了一个奇怪的效果,新数据在真正创建/修改后仅 2 小时就通过 jdbc 数据源获取到主题。发生以下情况:

现有软件在本地 Oracle DB 中写入数据条目。 LAST_CHANGED_AT 列设置为客户真实的时间(例如,17.10.23 15:52:48,352053)。列类型为 TIMESTAMP。我无法影响这个过程或数据。

JdbcSourceConnector 监控字段并每秒轮询,它在企业 Kafka 实例中运行。当地时间已移动两个小时。因此,在创建条目时,服务器的本地时间为 13:52:48。直到 15:52:49 才会获取数据,因此显然 JdbcSourceConnector 忽略了未来的时间戳。

因为我们需要将最大数据同步到云端。 1-2秒的延迟,这样的延迟是不可接受的。作为 Kafka 的新手,我还无法找到解决方案。那么,有人可以帮助如何解决这种情况吗?

jdbc apache-kafka apache-kafka-connect
1个回答
0
投票

使用 Change-Data-Capture(Debezium 或 Oracle XStream)捕获所有数据库事件,而不是基于任意时间戳的 JDBC 轮询

© www.soinside.com 2019 - 2024. All rights reserved.