我已经SSH-进入Amazon EMR服务器,我想从终端提交一个用Python编写的Spark作业(一个简单的字数文件和一个sample.txt都在Amazon EMR服务器上)。我怎么做,语法是什么?
你可以运行这个命令。
spark-submit s3://your_bucket/your_program.py
如果你需要使用python3运行脚本,你可以在spark-submit之前运行这个命令。
export PYSPARK_PYTHON=python3.6
记得在提交之前将你的程序保存在一个桶中。提交火花.