如何将YARN应用程序日志保留在本地文件系统而不是HDFS中?

问题描述 投票:0回答:1

我将yarn.log-aggregation-enable设置为true,这使NodeManager立即将所有容器日志串联到一个文件中,并将它们上传到HDFS中的${yarn.nodemanager.remote-app-log-dir}/${user.name}/logs/<application ID>中,然后从本地用户日志目录中删除它们。

我想将这些日志保留在本地文件系统(not HDFS)一段时间,以便将这些日志转发到像ELK这样的持久日志记录机制。

hadoop yarn elastic-stack amazon-emr
1个回答
0
投票

您可以通过以下步骤将hdfs装载到本地文件系统:

© www.soinside.com 2019 - 2024. All rights reserved.