使用 kafka jmx 导出器公开 kafka 主题 LAG

Question

我正在尝试公开 Prometheus 指标，该指标显示每个 Kafka 主题中的 LAG 值。我使用 kafka_exporter 来导出 Kafka 指标。

我在

prom-jmx-agent.config.yaml

中添加了这个图案

lowercaseOutputName: true
rules:
- pattern: kafka.consumer<type=consumer-fetch-manager-metrics, client-id=(.+), topic=(.+), partition=(.+)><>(records-lag)
  name: kafka_consumer_fetch_records_lag
  labels:
    clientId: "$1"
    topic: "$2"
    partition: "$3"
    help: "Kafka Consumer Fetch Records Lag"
    type: GAUGE

我创建了一些滞后以便能够在 Prometheus 中看到

我希望看到名为

kafka_consumer_fetch_records_lag

的指标，但它没有出现在指标列表中。

Answer 1

上述 JMX 导出器配置必须添加到基于 JVM 的消费者客户端。经纪商没有

kafka_consumer_fetch_records_lag

指标

如果你想找到所有客户端（包括非 JVM 客户端）的延迟，

• https://github.com/seglo/kafka-lag-exporter
• https://github.com/linkedin/Burrow
• https://github.com/zalando-incubator/remora