Spark提交成功但Airflow Bash操作员失败，退出代码127

Question

我正在使用气流bash运算符来运行spark-submit作业。火花作业需要一些参数。最后一个参数是一个字符串，可以使用“，”和“|”转换为嵌套数组分裂。示例提交命令：

spark-submit --verbose --master yarn --deploy-mode cluster --queue some_queue job.jar <dt> <s3bucket> <xx:yyy,zzz|ss:aaa,bbb>

奇怪的是当火花作业结束时，它会输出：

final status: SUCCEEDED
Command exited with return code 127
ERROR - Bash command failed

有没有人遇到同样的问题，我该如何解决？我有许多其他气流作业使用bash运算符来运行spark submit命令，从来没有像这样的问题。

Answer 1

在最后一个参数中转义管道，如下所示：

spark-submit --verbose --master yarn --deploy-mode cluster --queue some_queue job.jar <dt> <s3bucket> <xx:yyy,zzz\|ss:aaa,bbb>

要么

spark-submit --verbose --master yarn --deploy-mode cluster --queue some_queue job.jar <dt> <s3bucket> "<xx:yyy,zzz|ss:aaa,bbb>"