我需要一个最好是内置的解决方案（而不是创建自己的应用程序），这将有助于管理人员搜索Kafka中的多个/所有主题。我们正在使用Confluent平台。基本上，用户应该能够在UI中搜索关键字，并且它应该搜索多个/所有Kafka主题的当前日志并返回数据。我们环境中的所有主题都使用json进行通信。
因此，这种搜索将使我们能够跟踪流，例如，多个微服务将数据从一个系统发送到另一个系统，并且可以通过所有json中都存在的相关ID来跟踪此流。因此，如果有人搜索此相关ID，则他应该能够看到流中涉及的消息。此搜索稍后将有更多用例。
我们需要一个涉及最少编码的解决方案。我们希望使用像Kibana这样的UI。
[在基本阅读中，我怀疑下面的解决方案，但是不确定，因为我是Confluent的新手（之前使用过开源Apache Kafka）：Sol 1：使用ksqldb。 （需要更多有关如何使用它的帮助）Sol 2：通过使用内置插件的Kafka Connect to Elastic Search，流式传输所有主题数据，并在Elastic之上使用Kibana。
请帮助找到最佳的情况。
当然可以使用Elastic。
不过，您也可以使用Splunk。
pdk还提供了Pilosa工具，该工具可在Kafka事件上创建分布式索引。 （无从属关系）
另一种选择是distributed tracing在clients之间使用拦截器，而不是“针对所有主题”，这听起来像您实际需要的，而不是日志收集