如何使用Prometheus指标监控Grafana中的Flink Backpressure

Question

Flink Web UI具有出色的背压部分。但我看不出Prometheus记者给出的任何指标，可以用来检测Grafana仪表板的背压。

有没有办法在Flink Web UI之外获得相同的指标？使用此处描述的指标https://ci.apache.org/projects/flink/flink-docs-stable/monitoring/metrics.html。甚至还有一个prometheus刮刀刮刮网api？

Answer 1

Flink仪表板中显示的背压监控未使用指标系统，因此这些值不能通过MetricsReporter获得。但您可以通过REST api访问此信息

/jobs/:jobid/vertices/:vertexid/backpressure

虽然这种背压检测机制很有用，但它确实有其局限性。它的工作原理是调用Thread.getStackTrace（），这是很昂贵的，而一些运算符（如AsyncFunction）在未被采样的线程中执行关键活动。

调查背压的另一种方法是在flink-conf.yaml中设置此配置选项

taskmanager.network.detailed-metrics: true

然后，您可以查看衡量入站/出站网络队列长度的指标。