Kafka源连接器中的语义恰好一次

问题描述 投票:1回答:1

在阅读了有关Kafka幂等运算和事务之后,我想看看Kafka源连接器是否使用它们中的任何一个以确保一次语义。

[经过一番阅读之后,我发现源连接器使用了自己的某种“偏移量”,该偏移量存储了它所做的最后一次操作,然后我看到Debezium source connector for MongoDB至少可以实现一次语义。

所以我的问题是,为什么MongoDB源连接器不能保证一次语义准确?如果连接器可以通过事务将每条消息与偏移量一起提交,那么它可以确保消息和偏移量都在Kafka内,从而确保一次语义。

apache-kafka apache-kafka-connect
1个回答
2
投票

Kafka是仅附加日志。如果源连接器在产生事件和提交偏移量之间处于正常消费者操作的一部分而消失,则可能存在使用者需要重置为最后一个未提交的偏移量的可能性

© www.soinside.com 2019 - 2024. All rights reserved.