filebeat修改其他来源的数据以丰富json

Question

日志格式包含以逐行格式编码的json。每行是

{data,payload:/local/path/to/file}
{data,payload:/another/file}
{data,payload:/a/different/file}

最初的想法是将logstash配置为使用http输入，编写获取文件的java（或其他任何东西）守护程序，逐行解析，用文件内容替换有效负载，然后将数据发送到logstash。

我无法修改服务器的工作方式，因此无法更改日志格式。Logstash机器是不同的主机，因此无法直接访问文件。Logstash无法从server_host挂载共享文件夹。由于解决方案的合规性需要我尊重一些不在我控制范围内的愚蠢规则，因此我无法为logstash打开端口。

现在，为了节省时间并具有比定制解决方案更可靠的功能，可以将filebeat配置为处理json的每一行，然后再将其发送到logstash，然后再添加到它。>

{data,payload:content_of_the_file}
日志格式包含以逐行格式编码的json。每行是{data，payload：/ local / path / to / file} {data，payload：/ another / file} {data，payload：/ a / different / file}最初的想法是配置...

] >

Filebeat

将无法进行这种高级转换，因为它仅用于转发日志，甚至无法像logstash那样进行基本的字符串处理。我建议您编写一个自定义脚本来执行此转换并将输出写入另一个文件。

您可以使用filebeat将此新文件的内容发送到logstash。

Answer 1

Filebeat