我想将我在
spark-submit
命令行命令中使用的路径传递到我的 Python 脚本中,以便在写出文件时使用。 (注意:不是当前工作目录,或者脚本本身所在目录的完整路径,而是命令本身传入的级别)
例如:
在命令行中:
spark-submit --imagine_args_here home/new/user/spark.py
或
spark-submit --imagine_args_here new/user/spark.py
然后在我的代码中:
import os
dir = path_from_spark-submit.split("/user/spark.py")[0]
with open() as f:
*write something*
这对我来说很重要,因为我希望能够从目录中的不同级别运行脚本,而不会将其打印到不同的位置。
否则,还有其他方法可以实现这一目标吗?
谢谢!
来自
spark-submit -h
:
--conf, -c PROP=VALUE Arbitrary Spark configuration property.
--properties-file FILE Path to a file from which to load extra properties. If not
specified, this will look for conf/spark-defaults.conf.
您可以使用这两个选项之一传递属性值。
例如
spark-submit --conf spark.my_arg='new/user/spark.py'
然后使用您拥有的众多选项之一阅读它。
例如
path_from_spark_submit = spark.conf.get("spark.my_arg")