Kafka是否提供生产者水平补偿?

问题描述 投票:0回答:1

假设,我有多个Kafka生产者同时为一个Kafka Topic生产数据。

是否有可能获得给定生产者生产的最后一个偏移量?

例如:

生产者:P1 , P2

主题:T1具有一个分区Partition-0

[P1发布了100条记录,[P2发布了150条记录。

我想找出分别由P1和P2发布的最后一条记录的偏移量。

注意,我并不是在要求全局Topic-Partition偏移量。

apache-kafka offset producer
1个回答
0
投票

Kafka经纪人不跟踪该信息。

[只有生产者拥有该信息,但它甚至不是其内置指标的一部分。如果要跟踪每个生产者的最后偏移量,则需要自己在每个生产者实例中创建一个指标。

例如,您可以简单地检索offset返回的RecordMetadata对象中的send(),并将其公开为度量。

© www.soinside.com 2019 - 2024. All rights reserved.