将 Spark-Submit 的路径传递到 Python 脚本中

问题描述 投票:0回答:1

我想将我在

spark-submit
命令行命令中使用的路径传递到我的 Python 脚本中,以便在写出文件时使用。 (注意:不是当前工作目录,或者脚本本身所在目录的完整路径,而是命令本身传入的级别)

例如:

在命令行中:

spark-submit --imagine_args_here home/new/user/spark.py

spark-submit --imagine_args_here new/user/spark.py

然后在我的代码中:

import os
dir = path_from_spark-submit.split("/user/spark.py")[0]
with open() as f:
     *write something*

这对我来说很重要,因为我希望能够从目录中的不同级别运行脚本,而不会将其打印到不同的位置。

否则,还有其他方法可以实现这一目标吗?

谢谢!

python apache-spark
1个回答
0
投票

来自

spark-submit -h

  --conf, -c PROP=VALUE       Arbitrary Spark configuration property.
  --properties-file FILE      Path to a file from which to load extra properties. If not
                              specified, this will look for conf/spark-defaults.conf.

您可以使用这两个选项之一传递属性值。

例如

spark-submit --conf spark.my_arg='new/user/spark.py'

然后使用您拥有的众多选项之一阅读它。

例如

path_from_spark_submit = spark.conf.get("spark.my_arg")

© www.soinside.com 2019 - 2024. All rights reserved.