Filebeat输入字段未发送到Logstash

Question

StackOverflow社区！

我正在尝试使用Filebeat收集一些系统日志，然后在Kibana中查看它们之前用LogStash对其进行进一步处理。

现在，由于我的日志位置不同，因此我试图在filebeat.yml中为每个字段添加特定的标识字段。

- type: log
   enabled: true
   paths:
     - C:\Users\theod\Desktop\Logs\Test2\*
processors:
 - add_fields:
    target: ''
   fields: 
    name:"drs"


 - type: log
   enabled: true
   paths:
     - C:\Users\theod\Desktop\Logs\Test\*
processors:
 - add_fields:
    target: ''
   fields: 
    name:"pos"

据此，我试图在Logstash conf文件中应用一些Grok过滤器：

input {
  beats {
    port => 5044
  }
}


filter
{    
if "pos" in [fields][name] {
        grok {
            match => { "message" => "\[%{LOGLEVEL:LogLevel}(?: ?)] %{TIMESTAMP_ISO8601:TimeStamp} \[%{GREEDYDATA:IP_Address}] \[%{GREEDYDATA:Username}] %{GREEDYDATA:Operation}] \[%{GREEDYDATA:API_RequestLink}] \[%{GREEDYDATA:Account_name_and_Code}] \[%{GREEDYDATA:Additional_Info1}] \[%{GREEDYDATA:Additional_Info2}] \[%{GREEDYDATA:Store}] \[%{GREEDYDATA:Additional_Info3}](?: ?)%{GREEDYDATA:Error}" }
        }   
}
if "drs" in [fields][name] {
        grok {
            match => { "message" => "%{TIMESTAMP_ISO8601:TimeStamp} \[%{DATA:Thread}] %{LOGLEVEL:LogLevel} (?: ?)%{INT:Sequence} %{DATA:Request_Header}] %{GREEDYDATA:Request}" }
        }   
}   
}



output
{
if "pos" in [fields][name] {
    elasticsearch {
    hosts => ["localhost:9200"]
    index => "[fields][name]logs-%{+YYYY.MM.dd}"
    }
}
else if "pos" in [fields][name] {
elasticsearch {
    hosts => ["localhost:9200"]
    index => "[fields][name]logs-%{+YYYY.MM.dd}"
    }
} else {
elasticsearch {
    hosts => ["localhost:9200"]
    index => "logs-%{+YYYY.MM.dd}"
    }
}
}

现在，每次运行此命令时，Logstash conf中的条件将被忽略。在检查Filebeat日志时，我注意到没有字段发送到Logstash。

有人可以提供一些指导，也许指出我做错了什么？

谢谢！

Answer 1

您的Filebeat配置未添加字段[fields][name]，而是由于您的[name]而在文档的顶层添加了字段target configuration。

processors:
 - add_fields:
   target: ''
   fields: 
    name:"pos"

您的所有条件测试字段[fields][name]，该字段不存在。

更改条件以测试[name]字段。

if "pos" in [name] { 
    ... your filters ...
}