我想在 mongo 数据库中创建一个操作数据存储。源数据在oracle数据库中可用。问题是在迁移时，源数据库中的数据可能会被更新。由于源中有数百万条记录，如何有效地协调源数据库和目标数据库？
我尝试使用 Spring Batch 程序根据时间戳进行协调，但这并不有效。
您正在寻找的是 CDC（连续数据捕获）。 有像 Oracle Golden Gate 和 Shareplex 这样的商业工具，它们可以窃听数据库中的更改并将其发送到 Kafka 流中。
您可以从 Kafka 获取这些更改并将它们存储在 Mongo 或 Elastic 中。
另外还有大约十几个“免费”DCD 工具，它们基于 Oracle Logminer。只需谷歌搜索“Oracle CDC Kafka”即可。