HDFS数据块存储

Question

• 1）我有2个数据节点一个HDP群集。但对于HDFS复制因子为3。当存储在这种情况下，第三个副本块？
• 2）如果我在上传HDFS一个文件（与复制因子为3）， 不应将文件大小增加3倍于HDFS（因为有2 额外的副本）
• 3）有没有一种方法，我可以检查哪些数据块驻留在数据节点（据我所知，元数据信息会 在名称节点，但有没有提供我的信息）命令？

Answer 1

1）由于NameNode的不允许的DataNodes为具有相同的块的多个副本，创建的副本的最大数量是当时的DataNodes的总数。

参考：https://hadoop.apache.org/docs/r3.1.1/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html#Simple_Coherency_Model（在副本放置：第一个孩子步骤）

这意味着如果你有2个数据节点，您的复制因子不能是3。

2）你的文件的大小将是相同的。然而，使用三个数量的副本会增加你的存储开销。我的意思是，如果你的文件是什么2 GB。你与3个副本使用让您的文件。这意味着你被分配6 GB（2 GB是原始文件和2个+ 2 GB的是复印件），为您的文件存储空间。