如何在不重启Hadoop服务的情况下清除 "副本保留空间"？

Question

如何找到原因"为复制品保留空间" 不断增加，如何限制这类缓存的空间？我们发现，"为复制品保留空间"超过了非DFS使用的空间（上月）。但是我们没有找到原因 :(

我们知道如何计算 "非DFS"，但"为复制品保留空间"显示的空间大小与 "Non DFS "实际占用的空间不一致。例如我们有6TB的卷。

1. "使用的DFS"需要4TB
2. "自由空间"上的体积是2TB（这个信息得到的"df -h")
3. "非外勤部"需要2TB（为什么？"如果"df -h"显示我们有2TB的自由空间)

目前，为了释放分配给这种类型的缓存的空间（"Replicas的保留空间"），我们需要重新启动数据节点服务。但在我们看来，这并不是解决方案!

我们使用 HDP v3.0.1, HDFS v3.1, Oracle JDK 8u181

Answer 1

对于面临该类问题的人来说。首先你应该了解问题的本质。要做到这一点，请阅读以下问题的描述。

• https:/issues.apache.orgjirabrowseHDFS-8072。
• https:/issues.apache.orgjirabrowseHDFS-9530。
• https:/issues.apache.orgjirabrowseHDFS-6489。

下面的链接将有助于了解什么是块复制。

• https:/blog.cloudera.comunderstanding-hdfs-recovery-processes-part-1。
• https:/blog.cloudera.comunderstanding-hdfs-recovery-processes-part-2。

解决办法

1. 在写入或追加过程中，发现与Hadoop的连接经常中断的错误软件。
2. 试图改变复制策略（风险）。
3. 将Hadoop更新到后期版本

在不重启Hadoop服务的情况下，您无法重置 "副本保留空间"。