使用Logstash解析嵌套的Apache Airflow日志行

问题描述 投票:1回答:1

我正在努力使用Logstash过滤器将Apache Airflow日志导入Elasticsearch,以解析日志行。我正在努力寻找适当的方法来解决的一件事是处理嵌套日志行的情况,例如如果工作流从任务内记录。例如,one日志行可能看起来像这样:

[2020-01-28 20:23:21,341] {{base_task_runner.py:115}} INFO - Job 389: Subtask delete_consumptiondata [2020-01-28 20:23:21,341] {{cli.py:545}} INFO - Running <TaskInstance: azureconsumption_usage-1.1.delete_consumptiondata 2020-01-27T00:00:00+00:00 [running]> on host devaf1-dk1.sys.dom

是否有人在思考什么是合适的方法,或者甚至更好的经验,例如处理这样的嵌套日志行?

airflow logstash-grok
1个回答
0
投票

[许多其他人在日志上使用JSON格式来解决此类问题。尝试阅读这篇文章,其中对如何执行此操作有更深入的说明:

https://medium.com/@semih.sezer/how-to-send-airflow-logs-to-elasticsearch-using-filebeat-and-logstash-250c074e7575

© www.soinside.com 2019 - 2024. All rights reserved.