获取Kafka使用细节

问题描述 投票:0回答:1

我正在尝试找到获取我的kafka群集的当前使用情况统计信息的方法。我希望收集以下信息:

  1. kafka集群中的主题数量
  2. 每个kafka经纪人的分区数量
  3. 活跃消费者和生产者的数量
  4. 每个kafka经纪人的客户端连接数
  5. 每个分区上的消息数,磁盘大小等
  6. 滞后复制品,消费者滞后等
  7. 积极的消费群体

可以而且应该收集的任何其他统计数据,目前我正在考虑收集上述统计数据。

我可以使用zookeeper实用程序获得1和2但我在休息时迷路了。我看过Jconsole中的mbeans,但没有找到任何关于上面的内容。我也试过JmxTool来使用基于正则表达式的表达来获取这些mbeans,但这也没有用。

我正在使用Kafka v2.1并使用新的消费者API,因此zookeeper没有任何关于消费者的信息。

任何指针都会很有帮助!

apache-kafka monitoring kafka-consumer-api kafka-producer-api
1个回答
0
投票

不妨使用https://github.com/yahoo/kafka-managerhttps://github.com/linkedin/cruise-control来获取这些信息。

$ KAFKA_HOME / bin下有脚本可以帮助你。

kafka集群中的主题数量

./kafka-topics.sh --zookeeper localhost:2181 --list

每个kafka经纪人的分区数量

./kafka-topics.sh --zookeeper localhost:2181 - 描述

每个分区上的消息数,磁盘大小等

./kafka-log-dirs.sh --describe --bootstrap-server localhost:9092

滞后复制品,消费者滞后等

./kafka-consumer-group.sh --bootstrap-server localhost:9092 --group $ GROUP_NAME --describe

活跃消费者群体活跃消费者和生产者的数量

你不能得到活跃的制片人。 Know existing producers for a kafka topic

./kafka-consumer-group.sh --bootstrap-server localhost:9092 --list

每个kafka经纪人的客户端连接数

./

© www.soinside.com 2019 - 2024. All rights reserved.