有没有办法用Prometheus来监控Hadoop的指标?

问题描述 投票:1回答:1

所以我目前正在运行双集群进行数据处理,一个是Kubernetes集群,另一个是Hadoop集群。

K8s集群在监控方面已经搞定,因为在上面部署Prometheus和Grafana相当容易。

对于 Hadoop集群 然而,我仍然在寻找一个好的方法来实现这个目标。

我们的目标是要有一个统一的监控解决方案,所以我觉得选择Prometheus是个不错的主意,因为我已经很熟悉它了,但看起来它并不直接。

Hadoop默认通过HTTP API公开一些指标,但这些指标并不是 "Prometheus友好 "的。

如果你能解释一下我如何实现这一点,将非常感激。

hadoop prometheus jmx
1个回答
0
投票

我建议你看看这个。https:/github.commarcelmayhadoop-hdfs-fsimag-exporter。

在大多数情况下,当应用程序不暴露普罗米修斯指标时,你可以使用一个导出器,有很多这样的导出器。

他们收集指标,并以Prometheus友好的方式公开它们。

© www.soinside.com 2019 - 2024. All rights reserved.