grok not parsing logs

Question

日志样本

[2020-01-09 04:45:56] VERBOSE[20735][C-0000ccf3] pbx.c: Executing [9081228577525@from-internal:9] Macro("PJSIP/3512-00010e39", "dialout-trunk,1,081228577525,,off") in new stack

我正在尝试解析一些日志，我已经测试了一些日志，并返回了所需的结果。但是，当我将其与配置组合并运行时，日志未解析到索引中。

这是我的配置：

input{
        beats{
                port=>5044
        }
}
filter
{
        if [type]=="asterisk_debug"
        {
                if [message] =~ /^\[/
                {
                        grok
                        {
                                match =>
                                {
                                        "message" => "\[%{TIMESTAMP_ISO8601:log_timestamp}\] +(?<log_level>(?i)(?:debug|notice|warning|error|verbose|dtmf|fax|security)(?-i))\[%{INT:thread_id}\](?:\[%{DATA:call_thread_id}\])? %{DATA:module_name}\: %{GREEDYDATA:log_message}"
                                }
                                add_field => [ "received_timestamp", "%{@timestamp}"]
                                add_field => [ "process_name", "asterisk"]
                        }
                        if ![log_message]
                        {
                mutate
                {
                    add_field => {"log_message" => ""}
                }
            }
            if [log_message] =~ /^Executing/ and [module_name] == "pbx.c"
            {
                grok
                {
                        match =>
                        {
                                "log_message" => "Executing +\[%{DATA:TARGET}@%{DATA:dialplan_context}:%{INT:dialplan_priority}\] +%{DATA:asterisk_app}\(\"%{DATA:protocol}/%{DATA:Ext}-%{DATA:Channel}\",+ \"%{DATA:procedure},%{INT:trunk},%{DATA:dest},,%{DATA:mode}\"\) %{GREEDYDATA:log_message}"
                        }
                }

            }
                }
        }
}
output{
        elasticsearch{
        hosts=>"127.0.0.1:9200"
        index=>"new_asterisk"
}
}

当我将其检入kibana索引时，该索引仅显示原始日志。问题：为什么我的conf甚至不解析我成功测试过的grok日志（对我来说）。

Answer 1

似乎您的grok-actions根本没有被应用，因为数据被索引为原始索引并且没有抛出错误标记。显然，您的文档不包含值为asterisk_debug的字段type，这是执行grok-actions的条件。

为了验证这一点，您可以实现一个简单的else-path，它添加了一个字段或标记来指示不满足条件，如下所示：

filter{
  if [type]=="asterisk_debug"{
    # your grok's ...
  }
  else{
    mutate{
      add_tag => [ "no_asterisk_debug_type" ]
    }
  }
}