将 Spark-Submit 的路径传递到 Python 脚本中

Question

我想将我在

spark-submit

命令行命令中使用的路径传递到我的 Python 脚本中，以便在写出文件时使用。 （注意：不是当前工作目录，或者脚本本身所在目录的完整路径，而是命令本身传入的级别）

例如：

在命令行中：

spark-submit --imagine_args_here home/new/user/spark.py

或

spark-submit --imagine_args_here new/user/spark.py

然后在我的代码中：

import os
dir = path_from_spark-submit.split("/user/spark.py")[0]
with open() as f:
     *write something*

这对我来说很重要，因为我希望能够从目录中的不同级别运行脚本，而不会将其打印到不同的位置。

否则，还有其他方法可以实现这一目标吗？

谢谢！

Answer 1

来自

spark-submit -h

：

  --conf, -c PROP=VALUE       Arbitrary Spark configuration property.
  --properties-file FILE      Path to a file from which to load extra properties. If not
                              specified, this will look for conf/spark-defaults.conf.

您可以使用这两个选项之一传递属性值。

例如

spark-submit --conf spark.my_arg='new/user/spark.py'

然后使用您拥有的众多选项之一阅读它。

例如

path_from_spark_submit = spark.conf.get("spark.my_arg")