-Dmapred.job.name不适用于s3-dist-cp命令

Question

我想使用s3-dist-cp将一些文件从emr-hdfs复制到s3存储桶，我已经尝试了来自“ EMR主节点”的此cmd：

s3-dist-cp -Dmapred.job.name=my_copy_job --src hdfs:///user/hadoop/abc s3://my_bucket/my_key/

此命令执行正常，但是当我在纱线资源管理器UI中检查作业名称时，它显示如下：S3DistCp hdfs:///user/hadoop/abc **->** s3://my_bucket/my_key/

而预期的工作名称应该是my_copy_job

感谢您的帮助！

注意：当我使用此选项-Dmapred.job.name=my_copy_job运行hadoop distcp时，它在yarn RM UI中正确显示了作业名称，但该作业最终失败了

Answer 1

s3-dist-cp不像-D那样支持运行时期间设置的hadoop distcp样式属性。 S3 Distcp仅接受列出的here有限选项集。除了S3DistCp定义的这些选项之外，它还接受Tool Interface's通用选项。

但是JobName不是其中之一。 JobName在S3DistCp代码中为hardcoded，不能被覆盖。