s3distcp失败，“ mapreduce_shuffle不存在”

Question

当我在下面运行命令时，

s3-dist-cp --src s3://test/9.19 --dest hdfs:///user/hadoop/test

我对auxService遇到错误。

20/02/03 07:52:13 INFO mapreduce.Job: Task Id : attempt_1580716305878_0001_m_000000_2, Status : FAILED
Container launch failed for container_1580716305878_0001_01_000004 : org.apache.hadoop.yarn.exceptions.InvalidAuxServiceException: The auxService:mapreduce_shuffle does not exist

[在许多QnA中，我找到了这样的解决方案link。

但是节点管理器没有任何过程。

[hadoop@ip-172-31-37-115 ~]$ initctl list | grep yarn
hadoop-yarn-timelineserver start/running, process 8149
hadoop-yarn-resourcemanager start/running, process 17331
hadoop-yarn-proxyserver start/running, process 8147

我的EMR是通过emr-5.28.0的快捷菜单创建的。有没有人知道这个问题？

谢谢！

Answer 1

我确定有某种方法可以更新配置，但是我所做的是使用'高级'设置创建集群并选择了以下软件包：

冈里亚蜂巢色调马豪猪特兹火花Hadoop的（共8个）

其中大多数（除spark外）都使用默认设置（快速设置中软件包的第一个单选按钮）安装。这些软件包之一或与之相关的原因是导致s3-dist-cp被安装的原因，并且我能够在没有问题的情况下使用它。