AWS EMR群集中的磁盘空间问题

Question

我们在AWS中配置了11个节点（1个主机+10个核心）EMR集群。我们为每个节点选择了100 GB的磁盘空间。

配置群集时，EMR仅自动为根分区（/ dev / xvda1）分配10GB。几天后，根分区磁盘空间变满，由于这个原因，我们无法运行任何作业或使用yum命令安装基本软件，如git。

[hadoop@<<ip address>> ~]$ df -BG
Filesystem     1G-blocks  Used Available Use% Mounted on
devtmpfs             79G    1G       79G   1% /dev
tmpfs                79G    0G       79G   0% /dev/shm
/dev/xvda1           10G    10G       0G  100% /
/dev/xvdb1            5G    1G        5G   4% /emr
/dev/xvdb2           95G   12G       84G  12% /mnt
/dev/xvdf            99G   12G       83G  12% /data

你能帮助我们，如何解决这个问题？

1. 如何将root分区（/ dev / xvda1）磁盘空间增加到30GB？
2. 默认情况下，使用yum或rpm的所有安装都将转到root分区（/ dev / xvda1）。如何绕过安装到root分区（/ dev / xvda1）的软件？
3. 无论解决方案是什么，它都不应该干扰现有的EMR安装。

非常感谢帮助。

Answer 1

所有EMR AMI都有10GB的固定根容量，因此EMR群集的所有ec2实例都是如此。您在EMR上选择的所有应用程序都将安装在此根卷上，并且预计占用此磁盘的大约90％。此时，既不会增加此卷大小也不会更改应用程序安装行为。因此，您应该避免使用此根卷来安装应用程序，而是将您的自定义应用程序安装在更大的卷上，例如/ mnt /。您还可以将一些根目录符号链接到更大的卷，然后安装您的应用程序。

Answer 2

好像/var/aws/emr/packages占据了大部分空间（30％）。 Idk如果这个文件夹可以是rm -rf /var/aws/emr/packages'd或者应该符号链接到/mnt，但删除它似乎对我有用。

Answer 3

最近遇到了同样的问题。找到相应的ec2实例，在描述选项卡中找到并单击链接根设备。它指向一个EBS Id，点击它。在操作中单击修改卷。请求所需的总空间后。你可能不得不运行诸如“growpart”之类的命令来让os调整到新的大小。