所以我目前正在运行双集群进行数据处理,一个是Kubernetes集群,另一个是Hadoop集群。
K8s集群在监控方面已经搞定,因为在上面部署Prometheus和Grafana相当容易。
对于 Hadoop集群 然而,我仍然在寻找一个好的方法来实现这个目标。
我们的目标是要有一个统一的监控解决方案,所以我觉得选择Prometheus是个不错的主意,因为我已经很熟悉它了,但看起来它并不直接。
Hadoop默认通过HTTP API公开一些指标,但这些指标并不是 "Prometheus友好 "的。
如果你能解释一下我如何实现这一点,将非常感激。
我建议你看看这个。https:/github.commarcelmayhadoop-hdfs-fsimag-exporter。
在大多数情况下,当应用程序不暴露普罗米修斯指标时,你可以使用一个导出器,有很多这样的导出器。
他们收集指标,并以Prometheus友好的方式公开它们。