重新创建EMR群集后仍保持HDFS状态

Question

是否可以在重新创建emr群集后将HDFS存储的状态持久化？以我的经验，本地存储的所有文件都会丢失。

是否可以选择使用已挂载的卷（例如EFS）并将EMR群集挂载到该文件挂载？例如：

  <property>
    <name>dfs.datanode.data.dir</name>
    <value>file:///mnt/my/efs/location/</value>
  </property> 

[寻找一种方法来删除群集在删除后最后保留的位置。任何帮助，将不胜感激。

Answer 1

EMR群集将EC2实例的本地存储和已安装的EBS用于HDFS磁盘区域（您可以检查可用的磁盘空间量，HDFS或多或少是在EMR群集节点上安装的磁盘量）。据我所知，使用EFS是不可行的，因为在创建EMR群集时，无法使用IAM权限使用EFS和Security Gateway进行附加。

我们可以使用S3DistCp (s3-dist-cp)从HDFS复制到S3。或坚持使用EMRFS而不是HDFS。