我正在尝试使用 pyspark 和 spark-submit 执行 spark 作业到 kubernetes。我一直收到这个错误：
Exception in thread "main" java.lang.RuntimeException: problem during retrieve of org.apache.spark#spark-submit-parent-7e9ed941-7f18-429e-b1b5-6bc074a7ea2c: java.io.FileNotFoundException: /opt/spark/.ivy2/jars/org.eclipse.jetty_jetty-webapp-9.4.40.v20210413.jar (No such file or directory)我尝试了这里指出的解决方法：https://github.com/apache/spark/pull/32397#issuecomment-1285685087
但这意味着要构建要使用的 spark 自定义图像（目前我无法访问所使用的 spark 图像）。没有别的办法吗？
但它不起作用。我的火花提交是：
cmd = f""" {SPARK_HOME}/bin/spark-submit
--master {SPARK_MASTER}
--deploy-mode cluster
--name spark-policy-engine
--executor-memory {EXECUTOR_MEMORY}
--conf spark.executor.instances={N_EXECUTORS}
--conf spark.kubernetes.container.image={SPARK_IMAGE}
--conf spark.kubernetes.authenticate.driver.serviceAccountName={SPARK_ROLE}
--conf spark.kubernetes.namespace={NAMESPACE}
--conf spark.kubernetes.authenticate.caCertFile=/opt/selfsigned_certificate.pem
--conf spark.kubernetes.authenticate.submission.oauthToken={K8S_TOKEN}
--conf spark.hadoop.fs.s3a.impl=org.apache.hadoop.fs.s3a.S3AFileSystem
--conf spark.hadoop.fs.s3a.access.key={S3_CONFIG['aws_access_key_id']}
--conf spark.hadoop.fs.s3a.secret.key={S3_CONFIG['aws_secret_access_key']}
--conf spark.hadoop.fs.s3a.fast.upload=true
--conf spark.driver.extraJavaOptions=-Divy.cache.dir=/tmp
--conf spark.kubernetes.file.upload.path=s3a://{S3_CONFIG['bucket']}/dependencies
--packages org.mongodb.spark:mongo-spark-connector_2.12:3.0.1,org.apache.hadoop:hadoop-aws:3.3.1,com.amazonaws:aws-java-sdk-bundle:1.11.901,org.apache.hadoop:hadoop-common:3.3.1
--archives local://{dep} {spark_files}
"""