Spark 提交错误 - 无法从 jar 加载主类 - PySpark

问题描述 投票:0回答:0

我正在运行下面的 spark submit 命令,并收到一条错误消息

cannot load main class from jar file:/path/to/dependency.zip
我很难理解为什么它在 zip 文件中寻找主类,因为我提供了
application.py
,它有主类?我在这里错过了什么?感谢您的帮助

spark-submit \
  --master yarn \
  --deploy-mode cluster \
  --pyfiles "/path/to/something.zip","/path/to/dependency.zip" \
  application.py "arg1" "arg2"
python apache-spark pyspark spark-submit
© www.soinside.com 2019 - 2024. All rights reserved.