EMR-4.2.0自定义Jar文件错误

Question

我在AWS - EMR-4.2.0版本中运行sqoop安装脚本，然后是this documentation。创建集群后（在步骤中），我已将我的sqoop脚本作为参数提交，并将s3：//elasticmapreduce/libs/script-runner/script-runner.jar/ command-runner.jar作为jar文件提交，但得到的错误就像这个。你能帮我解释一下原因和问题吗？

错误：

    Exception in thread "main" java.lang.RuntimeException: java.io.IOException: Cannot run program "s3://bmsgcm/spark/install-sqoop.sh" (in directory "."): error=2, No such file or directory
    at com.amazonaws.emr.command.runner.ProcessRunner.exec(ProcessRunner.java:139)
    at com.amazonaws.emr.command.runner.CommandRunner.main(CommandRunner.java:13)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:606)
    at org.apache.hadoop.util.RunJar.run(RunJar.java:221)
    at org.apache.hadoop.util.RunJar.main(RunJar.java:136)
Caused by: java.io.IOException: Cannot run program "s3://bmsgcm/spark/install-sqoop.sh" (in directory "."): error=2, No such file or directory
    at java.lang.ProcessBuilder.start(ProcessBuilder.java:1047)
    at com.amazonaws.emr.command.runner.ProcessRunner.exec(ProcessRunner.java:92)
    ... 7 more
Caused by: java.io.IOException: error=2, No such file or directory
    at java.lang.UNIXProcess.forkAndExec(Native Method)
    at java.lang.UNIXProcess.<init>(UNIXProcess.java:187)
    at java.lang.ProcessImpl.start(ProcessImpl.java:130)
    at java.lang.ProcessBuilder.start(ProcessBuilder.java:1028)
    ... 8 more

Answer 1

command-runner.jar只能读取本地文件。您可以添加引导脚本以将文件从S3复制到本地文件系统。

Answer 2

Piggybox是正确的。与2.x和3.x EMR AMI上使用的script-runner.jar不同，command-runner.jar只能运行本地命令。引导脚本是执行此操作的最佳方法。

例如，如果您在S3上有一些火花驱动程序，并且您有一个shell脚本（也在S3上）将它们复制到主节点以供以后在spark-submit的作业流程步骤中使用，那么您可能有一个步骤这个：

Steps=[
    {
        'Name': 'Install My Spark Drivers',
        'ActionOnFailure':'TERMINATE_JOB_FLOW',
        'HadoopJarStep':
            'Jar': 's3://us-east-1.elasticmapreduce/libs/script-runner/script-runner.jar',
            'Args': [
                's3://my-bucket/spark-driver-install.sh',
            ]
        }
   },
   ...other steps...
]

如果你只是将command-runner.jar换成script-runner.jar那么，正如你所经历的那样，你将在EMR 4.x上失败。

相反，进行引导操作以调用脚本，如：

BootstrapActions=[
    {
        'Name': 'Install My Spark Drivers',
        'ScriptBootstrapAction': {
            'Path': 's3://my-bucket/spark-driver-install.sh',
            'Args': []
        }
    }
]

上面的例子表示为boto3 run_job_flow kwargs。但是，对于我来说，如何在Web控制台中完成相同的操作并不是很明显。

Answer 3

要执行脚本，您可以使用script-runner。我也面临同样的问题。我的脚本有^ M个字符导致了这个问题。删除那些工作。