hdfs + namenode + 编辑文件越来越大，如何限制编辑文件的大小？

Question

我们的HDP集群有7台数据节点机器。

在...之下 /hadoop/hdfs/namenode/current/

我们可以看到更多 1500 编辑文件每个文件都是围绕 7M 到 20M 如下

7.8M    /hadoop/hdfs/namenode/current/edits_0000000002331008695-0000000002331071883
7.0M    /hadoop/hdfs/namenode/current/edits_0000000002331071884-0000000002331128452
7.8M    /hadoop/hdfs/namenode/current/edits_0000000002331128453-0000000002331189702
7.1M    /hadoop/hdfs/namenode/current/edits_0000000002331189703-0000000002331246584
11M     /hadoop/hdfs/namenode/current/edits_0000000002331246585-0000000002331323246
8.0M    /hadoop/hdfs/namenode/current/edits_0000000002331323247-0000000002331385595
7.7M    /hadoop/hdfs/namenode/current/edits_0000000002331385596-0000000002331445237
7.9M    /hadoop/hdfs/namenode/current/edits_0000000002331445238-0000000002331506718
9.1M    /hadoop/hdfs/namenode/current/edits_0000000002331506719-0000000002331573154
9.0M    /hadoop/hdfs/namenode/current/edits_0000000002331573155-0000000002331638086
7.8M    /hadoop/hdfs/namenode/current/edits_0000000002331638087-0000000002331697435
7.8M    /hadoop/hdfs/namenode/current/edits_0000000002331697436-0000000002331755881
8.0M    /hadoop/hdfs/namenode/current/edits_0000000002331755882-0000000002331814933
9.8M    /hadoop/hdfs/namenode/current/edits_0000000002331814934-0000000002331884369
11M     /hadoop/hdfs/namenode/current/edits_0000000002331884370-0000000002331955341
8.7M    /hadoop/hdfs/namenode/current/edits_0000000002331955342-0000000002332019335
7.8M    /hadoop/hdfs/namenode/current/edits_0000000002332019336-0000000002332074498

是否可以通过一些方法将文件大小降到最低 HDFS 配置？(或尽量减少编辑文件的数量)因为我们的磁盘很小，而且磁盘现在是 100%

/dev/sdb                   100G   100G     0 100% /hadoop/hdfs

Answer 1

你可以配置 dfs.namenode.num.checkpoints.retained 和 dfs.namenode.num.extra.edits.retained 属性来控制存放NameNode编辑目录的目录大小。

• dfs.namenode.num.extra.edits.retained‍‍ 属性来控制存放NameNode编辑目录的大小。 dfs.namenode.num.checkpoints.retention。存储目录中保留的图像检查点文件的数量。从最老的保留检查点恢复最新的命名空间所需的所有编辑日志也会被保留。
• dfs.namenode.num.extra.edits.retained: 保留的额外事务数量：保留的事务数量超过了重启 NameNode 所需的最低限度。对于审计目的，或对于 HA 设置，远程备用节点可能已离线一段时间，需要较长的保留编辑日志才能再次启动，这可能很有用。

资源。https:/docs.cloudera.comHDPDocumentsHDP3HDP-3.1.5data-storagecontentproperties_toset_the_size_of_namenode_edits_directory.html。