filebeat可以将一个数据传输到logstash和kafak？

Question

我想用filebeat把一个日志发给logstash和kafak，然后logstash把日志发给es，我可以在es中搜索，kafak用它来分析数据。

filebeat.yml

output.logstash:
  hosts: ["172.31.29.xxx:5044"]
output.kafka:
    enabled: true
    hosts: ["xxx"]
    topic: "test-log"

这不行，有什么办法吗？

Answer 1

你不能，filebeat只支持一个输出。

你有两种方法可以做到你想要的。

1. 只把你的日志发送到Kafka，并配置logstash从Kafka主题读取，然后发送到elasticsearch。
2. 将你的日志发送到logstash，让logstash同时输出到Kafka和elasticsearch。

使用第一种方案，你将在Kafka中获得原始事件，并使用logstash从中读取并在需要时应用一些过滤器，使用第二种方案，如果你想应用一些过滤器并仍然将原始事件发送到kafka，你将需要克隆每个事件。