如何在elasticsearch和kibana中加入索引

Question

我知道我正在用 SQL 术语来思考这个问题，所以我知道思维方式将会发生转变。

基本上，我从 GitHub 获取有关操作的 Webhooks，并且我想将一些数据放在一起以进行可视化。

我希望能够将这两个索引连接在一起，以便可以从与

path

索引中的条目相对应的

workflow_run

索引中提取

workflow_job

数据，以便我可以显示与作业关联的文件条目。最终，我将把它们组合在一起，并列出最失败的工作。

指数样本如下：

在 Kibana 中可视化这些数据的正确方法是什么？

Answer 1

我知道我正在用 SQL 术语来思考这个问题，所以我知道思维方式将会发生转变。

TL;DR：这是正确的。如果您想使用 Kibana，您需要对所有内容进行非规范化。如果它不在具有同质记录的单个索引中，您将不会成为一个快乐的露营者。

这里几乎不支持多对多关系。 Kibana 和 Elasticsearch 都无法处理它们。 Elasticserch 对一对多关系的支持有限。如果您可以使其成为一对多关系（例如，您可以创建单个工作流程记录），那么 Elasticsearch 可以使用连接字段或嵌套记录来处理一对多关系。有几个疑问。请注意，在这种情况下，所有记录都必须驻留在同一索引（如果是连接字段），甚至是同一记录（如果是嵌套字段）。

不幸的是，目前 Kibana 还没有正确支持 nested fields 和 [join fields] (https://github.com/elastic/kibana/issues/3730)。有一些功能，例如查询嵌套字段可用，但总的来说，大多数查询和聚合要么不可能，要么会意外中断。