如何在 AWS EMR 启动后添加 shell 脚本

Question

目前，我使用的是临时集群，每当我的 shell 脚本在“add_step”中遇到故障时，它就会关闭。我已经启动了 EMR 来调试它，但不知道在启动后在哪里添加和测试我的脚本。

我单击了步骤并选择了“自定义 Jar”，然后 如果我在 S3 路径中提供 shell 脚本，如下面的屏幕截图所示。它失败。如何在 EMR 运行时执行脚本。

Answer 1

以下是添加的详细步骤

https://emr-etl.workshop.aws/spark_etl/steps.html