我有配置为的Filebeat探矿器
prospectors:
- type: log
paths: /var/log/nginx/*error*.log
enabled: true
fields:
source_type: topic-secerror-nginx
output.kafka:
hosts: ["kafkahost:kafkaport"]
topic: "%{[fields][source_type]}"
我在filebeat中收到奇怪的错误,如下所示
2019-11-20T10:25:08.167Z INFO kafka/log.go:36 producer/broker/[[3 %!d(string=topic-secerror-nginx) 2]] state change to [open] on %!s(MISSING)/%!d(MISSING)
2019-11-20T10:25:08.167Z INFO kafka/log.go:36 producer/leader/[[topic-secerror-nginx %!s(int32=2) %!s(int=3)]]/%!d(MISSING) state change to [flushing-%!d(MISSING)]
2019-11-20T10:25:08.167Z INFO kafka/log.go:36 producer/leader/[[topic-secerror-nginx %!s(int32=2)]]/%!d(MISSING) state change to [normal]
kafka没有使用从filebeat发送的任何信息。
当我将其设置为调试模式时,错误为:>
%!s(int32=1)]]/%!d(MISSING) abandoning broker %!d(MISSING)
我的文件拍探矿机具有探矿机的配置:-类型:日志路径:/var/log/nginx/*error*.log已启用:正确的字段:...
我解决了这个问题。问题在于防火墙在filebeat和kafka之间被阻止。将filebeat日志记录设置为调试时,拒绝了有关TCP连接的其他信息。