如何使用 Kafka HTTP Sink 连接器从特定偏移量消费消息

Question

我使用 Kafka Confluence HTTP Sink Connector 来消费来自 Kafka 主题的消息，默认情况下它从头开始读取所有消息。我有一个用例，我想停止连接器一段时间并稍后恢复 HTTP 接收器连接器。当我恢复连接器时，我想从特定偏移量读取消息。

我在这里寻找与偏移相关的配置https://docs.confluence.io/kafka-connect-http/current/connector_config.html但我找不到任何。

如何从特定偏移量消费消息？

Answer 1

所有（至少大多数）接收器连接器都使用 Kafka Consumer 组。

您可以使用

kafka-consumer-groups --reset-offsets

命令首先查找连接器到特定偏移量的组。然后，当它再次开始时，它应该从该位置开始读取。

默认情况下它会从头开始读取所有消息

不一定。默认情况下，

auto.offset.reset=latest