生产中的Kafka UI监视工具

Question

需要检查用于监控生产中的Kafka的工具。另外，该工具不需要许可证或重型硬件。特别是，我需要一个工具来评估有关主题，主题健康的消费者补偿。

Answer 1

镜头Lenses（来自Landoop）通过用户界面，流SQL引擎和群集监视功能增强了Kafka。它可以更快地监视Kafka数据管道。

他们提供了一个免费的多合一码头工人（Lenses Box），该码头工人可以为单个代理提供最多2500万条消息。请注意，建议在开发环境中使用。

Cloudera SMMStreams Messaging Manager是用于监视和管理运行Cloudera或Hortonworks kafka的群集的解决方案。它还具有复制功能。

汇合另一个选项是Confluent Enterprise，它是用于生产环境的Kafka发行版。它还包括Control Centre，这是Apache Kafka的管理系统，可从用户界面进行群集监视和管理。

Yahoo CMAK（Apache Kafka的集群管理器，以前称为Kafka管理器）Kafka Manager or CMAK是用于监视Kafka的工具，与上述工具相比，该工具提供的功能较少。

KafDropKafDrop是用于监视Apache Kafka群集的UI。该工具显示诸如代理，主题，分区之类的信息，甚至可以让您查看消息。它是一个运行在Spring Boot上的轻量级应用程序，只需很少的配置。

LinkedIn洞穴Burrow是Apache Kafka的监视伴侣，无需指定阈值即可将消费者延迟检查作为服务提供。它监视所有消费者的承诺抵销，并根据需要计算这些消费者的状态。提供HTTP端点以按需请求状态，并提供其他Kafka群集信息。还有一些可配置的通知程序，可以通过电子邮件或HTTP调用向其他服务发送状态。

Kafka工具Kafka Tool是用于管理和使用Apache Kafka群集的GUI应用程序。它提供了一种直观的UI，可让用户快速查看Kafka集群中的对象以及集群主题中存储的消息。它包含面向开发人员和管理员的功能。

---

[如果您负担不起许可证，请去Yahoo Kafka Manager，LinkedIn Burrow或KafDrop。 Confluent和Landoop的产品是目前最好的产品，但是不幸的是，它们需要许可证。

有关更多详细信息，请参阅我的博客文章Overview of UI Monitoring tools for Apache Kafka Clusters。

Answer 2

有几种免费的监视解决方案，但是都有其局限性。例如，Burrow，Kafka Manager，Kafdrop，您可以使用JMX指标以及类似InfluxDB和Grafana的内容来brew your own。

Confluent Control Center非常适合您的要求，但是它确实需要许可证。有一个30 day free trial available。它不仅需要监视一系列指标，还需要监视各个主题以及流经并校验和的消息，以确保准确报告消耗量。

Answer 3

我刚刚发布了kafka的开源GUI：https://github.com/tchiotludo/kafkahq任何反馈表示赞赏！

preview

您还可以在这里找到其他一些用户界面：https://github.com/monksy/awesome-kafka/blob/master/tools.md#dashboards

Answer 4

Kafka正在通过JMX产生大量信息。您可以使用任何JMX客户端来获取它。即使在您的应用程序内部，您也可以将Kafka JMX信息转发到您的JMX MBean进行构建，例如JMX Facade。

一些具体建议：

• Grafana + Prometheus与Kafka搭配使用效果很好。您也可以从互联网下载一些随时可以使用的仪表板（免费）；
• 我也一直在使用hawtio来查看JMX信息，并且它也在做这项工作（免费）；
• Confluent还提供监视；
• Dynatrace中也有一些特殊的支持。

Answer 5

这取决于监视的程度和自动化程度。 Kafka Manager是一个很好的起点，可以开始深入了解/观察集群的运行状况，吞吐量，延迟等，以及一些基本的管理操作，但是很快您将获得更多。例如，您需要监视消费者的健康状况吗？您是否需要查看主题内容来调试应用程序，执行验尸，跟踪消息流等？您将如何处理不良/格式错误的邮件，“中毒”主题等？建议您在工具箱中再添加一些项目：

• 借阅-监视消费者组的滞后并在消费者落后时发出警报。
• Kafdrop 3-提供代理信息，并让您浏览主题内容（文本和Avro格式）。这是原始Kafdrop项目的最新分支，支持最新版本的Kafka。 免责声明：我是该项目的维护者之一。
• [Prometheus和Grafana-与Manager / Monitor有一些重叠，但是Prometheus / Grafana更加完善，具有大量社区支持，更易于与其他工具集成，自动发出警报，等等。

以上所有都是开源的，不需要许可。我之所以没有在其中列出Confluent，Landoop或KaDeck工具是因为它们是商业性的并且需要许可。而且，它们在OSS替代品方面并没有给您太多帮助，恕我直言。

[自2014年以来，已经运行Kafka一段时间作为大型微服务部署的主要消息传递/事件主干，不能仅仅强调基本的经纪人级别检查并查看整个端到端的重要性。消息路径，从生产者到消费者。具有讽刺意味的是，我们发现大多数时候我们都觉得经纪人在忙，实际上是应用程序编写得不好。我们倾向于使用工具的组合，直到编写我们自己的基本“ canary”应用程序为止，这些应用程序伪装成消息生产者和消费者，并在出现不利情况时为我们提供领先的指示。

[Kafka确实在$KAFKA_HOME/bin中附带了一些基本的CLI工具，例如kafka-console-consumer.sh（用于阅读本主题），以及其他工具，例如kafka-topics.sh和kafka-configs.sh用于管理任务。还有一个单独的工具-Kafkacat-用于浏览主题。但是以我的经验，这些方法只能作为最后的手段使用，例如，如果您失去了与群集的连接，并且需要安装到一个代理节点上，那么它们确实很有用。但是它们本身并不是监视工具。

Answer 6

[Xeotek KaDeck是免费的Apache Kafka监视解决方案]]，可在您的台式PC或容器上作为跨平台的桌面应用程序或作为Web服务（仅限“企业版”）运行。

KaDeck专注于Java和JavaScript中应用程序的数据分析，端到端监视和快速原型制作。可以编写复杂的查询（例如在JavaScript中），并且可以过滤相关数据并将其显示在透明表中。还显示数据集和数据来源的时间分布（作为流程图）。当然也可以生成数据，可以管理主题等等。

最重要的独特卖点之一是，应用程序的设计方式使得开发人员，业务部门和应用程序操作都可以使用它。

Web版本还提供基于角色的访问管理，审核日志等。

此外，KaDeck不是基础结构监视工具

。因此，如果您主要是想监视代理（等等）的内存消耗，则应该看看无数的APM工具之一。这也是有道理的，因为他们可以做的更多，而且基础架构操作不必为每个组件引入单独的工具。KaDeck而是处理应用程序的开发和操作，新业务用例的数据和流程分析，从而创建数据透明性。

我是Xeotek的创始人，所以很高兴收到您的反馈。