我将yarn.log-aggregation-enable
设置为true
,这使NodeManager
立即将所有容器日志串联到一个文件中,并将它们上传到HDFS
中的${yarn.nodemanager.remote-app-log-dir}/${user.name}/logs/<application ID>
中,然后从本地用户日志目录中删除它们。
我想将这些日志保留在本地文件系统(not HDFS
)一段时间,以便将这些日志转发到像ELK这样的持久日志记录机制。
您可以通过以下步骤将hdfs
装载到本地文件系统: