Elasticsearch - 来自 Airflow API 的级联 http 输入

Question

我想从Elasticsearch调用API（Airflow - 用于监控），如下例所示： https://www.elastic.co/guide/en/elasticsearch/reference/current/input-http.html#input-http-auth-basic-example 我需要：

1. 从具有特定标签的 API (/dags) 获取项目列表，然后针对此列表中的每个 DAG
2. 获取具有 dag_id (dags/{dag_id}/dagRuns) 的 DAG 的状态，以便我知道执行是成功还是失败

是否可以在 Elasticsearch http 输入中进行级联调用？或者也许有可能（我没有看到）以另一种方式从 Airflow 获取有关失败 DAG 的信息？

Answer 1

通过Watcher链输入可以实现这样的级联调用。

我从 wiki 获取的示例代码：

    "input" : {
    "chain" : {
    "inputs" : [ 
      {
        "first" : {
          "simple" : { "path" : "/_search" }
        }
      },
      {
        "second" : {
          "http" : {
            "request" : {
              "host" : "localhost",
              "port" : 9200,
              "path" : "{{ctx.payload.first.path}}" 
            }
          }
        }
      }
    ]
  }
}

当前 wiki 的链接：https://www.elastic.co/guide/en/elasticsearch/reference/current/input-chain.html