纱线日志 - 标准输出和stderr成为巨大的文件 - 如何避免这种情况

Question

西尔斯朋友和大学

我们有带有hadoop版本的ambari集群 - 2.6.4集群包括52个datanode机器，以下问题发生在9台数据节点机器上

所以我将解释这个问题：

我们注意到关于纱线原木的关键问题

我们看到stderr和stdout是巨大的文件在我们的例子中sdb是相关的磁盘而sdb大小只有20G所以实际上stderr和stdout都是7G的每个文件

所以/ grid / sdb变满了

我的问题是 - 是否可以限制这些文件？

[root@datanode04 container_e41_1549894743658_0020_02_000002]# df -h /grid/sdb
Filesystem      Size  Used Avail Use% Mounted on
/dev/sdb         20G   20G  712K 100% /grid/sdb
[root@datanode04 container_e41_1549894743658_0020_02_000002]# pwd
/grid/sdb/hadoop/yarn/log/application_1549894743658_0020/container_e41_1549894743658_0020_02_000002
[root@datanode04 container_e41_1549894743658_0020_02_000002]# du -sh *
6.9G    stderr
6.9G    stdout

Answer 1

这是在hadoop集群中运行多个服务时由于日志累积而在hadoop集群中获取大型日志文件的常见情况。如果您正在运行Ambari托管的hadoop集群，则需要从Ambari配置log4j.properties。您可以为hadoop集群中运行的服务配置此项。这将确保您的hadoop集群中的日志轮换和保留。

以下是来自hortonwork（HDP）的参考链接，其中可以找到有关配置在hadoop集群中运行的不同服务的log4j properties的信息。希望这会有所帮助。