过滤掉非目录inode的hdfs审计日志

Question

我正在使用 Logstash 将 HDFS 审核日志消息填充到 Kafka 主题中。

我在 Kafka 主题中收到的示例消息具有以下格式：

allowed=true    ugi={myuser} (auth:SIMPLE)  ip={/x.x.x.x}   cmd={listStatus, open, ...} src={src path} dst={destination path} perm=null proto=rpc

有没有办法过滤掉所有“src”属性指向文件系统上非目录 indoe 的消息？我只对获取 HDFS 上目录的消息感兴趣！

Answer 1

您能否展示如何使用logstash 将 HDFS 审核日志消息填充到 Kafka 主题中？ 我使用 KafkaLog4jAppender 尝试了同样的操作，但没有成功。任何使用logstash 的帮助都将受到赞赏。