从终端向亚马逊EMR集群提交pyspark作业。

问题描述 投票:0回答:1

我已经SSH-进入Amazon EMR服务器,我想从终端提交一个用Python编写的Spark作业(一个简单的字数文件和一个sample.txt都在Amazon EMR服务器上)。我怎么做,语法是什么?

pyspark amazon-emr spark-submit
1个回答
0
投票

你可以运行这个命令。

spark-submit s3://your_bucket/your_program.py

如果你需要使用python3运行脚本,你可以在spark-submit之前运行这个命令。

export PYSPARK_PYTHON=python3.6

记得在提交之前将你的程序保存在一个桶中。提交火花.

© www.soinside.com 2019 - 2024. All rights reserved.