过滤从 Spark 发送到 Graphite/Prometheus 的指标

Question

我正在尝试监控 Spark。 Spark 将指标推送到 Graphite 和 Prometheus，但似乎我无法选择它发送的指标，而且有很多。

我不想让 Graphite 和 Prometheus 实例超载。

有没有办法过滤这些指标？在 Spark 配置还是 Graphite/Prometheus 配置中？

Answer 1

此配置将仅发送适合所提供的正则表达式的指标。

"spark.metrics.conf.*.sink.graphite.regex"="optional_regex_to_send_matching_metrics"

您可以在文档中查看。