对我的 Hadoop 集群进行监控和可观察性

问题描述 投票:0回答:1

我正在尝试在我的 Hadoop 集群上创建一个监控和可观察性基础设施。

我的集群是通过cloudera manager管理的,因此我有一些问题,也许你们中的一些人可以帮助我:

  1. cloudera 在哪里保存他们的指标? tsdb?
  2. 如何收集指标?出口商?
  3. 有没有办法让我在Grafana中使用cloudera manager作为数据源?

主要问题是:基础设施架构的正确方法是什么? 为每个服务 jvm 使用 jmx 导出器? 像 Prometheus 一样将所有指标保存在 tsdb 中并在 Grafana 中查询?

如果需要更多信息,我很乐意提供。

hadoop prometheus grafana cloudera cloudera-manager
1个回答
0
投票

据我所知,是的,Cloudera Manager 有自己的指标数据库(不确定它是开源工具,但监控信息位于数据库中)。我认为有 Python 代理来收集指标......

是的,有 Grafana 数据源

但是 JMX Exporters 会显示比您在那里看到的更多的详细信息,但是您随后需要为该数据创建自己的仪表板。

© www.soinside.com 2019 - 2024. All rights reserved.