查找具有不同结构的文件的grok模式

Question

我有一个日志文件，其中并非所有行的格式都相同。如何找到此类文件的正确grok模式。

[15:37:20:030|1] [TdmUtil.c: 1534:fnTDM_LoadLocalFoo] F_LAA       : 1
[15:37:20:032|1] [TdmUtil.c: 1281:fnTDM_GetPreDef]  pdeGetData : MAX_IRAT_NBR_PER_SERVED_CELL_SYS = 256
[15:37:20:091|1] [TdmUtil.c:  293:fnTDM_PrtIndexKey] fnTDM_GetIndexKeyNum Error!!

这样，很少有几行以line1的格式，很少有几行以line2的格式，依此类推。我可以为每行写一个grok模式，但是我不知道如何组合它们。有什么办法解决这个问题？

Answer 1

我为您准备了一些东西。但是在与您分享之前，建议您使用在线GROK调试器以编写GROK模式（如果在Dev Tools-> GROK调试器下使用它，则Kibana中有1个）。您还应该签出available GROK patterns。

我看到所有3行的前缀都相同，即[time|num] [class: line number: function name] log text我为此创建了GROK模式。如果要进一步分解log text，可以通过取消注释text字段中的第二个匹配项并提供所需的grok模式来做到这一点。

input {
    file {
        path => "C:/work/elastic/logstash-6.5.0/config/test.txt"
        start_position => "beginning"
        codec => multiline {
            pattern => "^\[%{TIME}\|"
            negate => true
            what => "previous"
        }
        type => "whatever"
    }
}
filter {
    if [type] == "whatever" {
        grok {
            break_on_match => false
            match => { "message" => "^\[%{TIME:time}\|%{NUMBER:num}\]%{SPACE}\[%{DATA:class}:%{SPACE}%{NUMBER:linenumber:int}:%{DATA:function}\]%{GREEDYDATA:text}$"}
            #match => { "text" => ""}
        }
    }
}

output {
    elasticsearch {
        hosts => ["http://localhost:9200"]
        index => "test"
    }
}

以上配置文件将在Kibana中为您提供以下字段：