集群主机的存储空间比HDFS似乎识别/有权访问的空间大？如何增加HDFS存储使用量？

Question

HDFS（HDP v3.1.0）的存储空间不足[[用尽存储空间]]时出现问题”（这也导致在接受模式下挂起火花作业的问题）。我假设存在一些配置，我可以让HDFS使用节点主机上已经存在的更多存储空间，但从快速谷歌搜索中并不清楚。有更多经验的人可以帮忙吗？在Ambari用户界面中，我看到...（从ambari UI）（从NameNode UI）。

然而，当通过ambari UI查看整个主机时，

似乎在群集主机上仍有大量空间

（此列表中的最后4个节点是数据节点，每个节点总共有一个140GB的存储空间）不确定相关设置，但这是ambari中的常规设置：我对“ HDFS的保留空间”设置的解释是，它显示应该为非DFS（即本地FS）存储保留13GB的空间，因此看来HDFS已经用完了空间似乎没有任何意义。我是错误地解释了吗？该问题中应显示任何其他HDFS配置吗？

看着HDFS的磁盘使用情况，我看到...

[hdfs@HW001 root]$ hdfs dfs -du -h /
1.3 G    4.0 G    /app-logs
3.7 M    2.3 G    /apps
0        0        /ats
899.1 M  2.6 G    /atsv2
0        0        /datalake
39.9 G   119.6 G  /etl
1.7 G    5.2 G    /hdp
0        0        /mapred
92.8 M   278.5 M  /mr-history
19.5 G   60.4 G   /ranger
4.4 K    13.1 K   /services
11.3 G   34.0 G   /spark2-history
1.8 M    5.4 M    /tmp
4.3 G    42.2 G   /user
0        0        /warehouse

总共约269GB consumed（也许设置shorter interval to spark-history cleanup也会有所帮助吗？）。看着HDFS上的可用空间，我看到...

[hdfs@HW001 root]$ hdfs dfs -df -h /
Filesystem                        Size     Used  Available  Use%
hdfs://hw001.ucera.local:8020  353.3 G  244.1 G     31.5 G   69%

但ambari报告容量为91％，所以这对我来说似乎很奇怪（除非我在这里误解了某些内容（LMK）。]

我假设存在

一些配置，我可以让HDFS使用节点主机上已经存在的更多存储空间

，但从快速谷歌搜索中并不清楚。有经验的人可以帮忙吗？另外，如果有人可能会因为我没有看到的其他问题而导致LMK，]HDFS（HDP v3.1.0）的存储空间不足时出现问题（这也导致以接受模式挂起的火花作业出现问题）。我假设可以进行某些配置...

Answer 1

例如，您没有提到/tmp中是否有不良数据可以清除。