为什么驱动程序内存不在我的 Spark 上下文配置中？

Question

当我运行以下命令时：

spark-submit --name "My app" --master "local[*]" --py-files main.py --driver-memory 12g --executor-memory 12g

在我的

main.py

中使用以下代码：

sc = SparkContext.getOrCreate()
print(sc.getConf().getAll())

驱动程序内存和执行程序内存不会出现在配置中。即使我处于本地模式，我想我至少应该在配置中拥有驱动程序内存。

有什么想法为什么不是这样吗？

Answer 1

您的提交命令不正确。 confs 应位于

.py

文件之前。请参阅使用 Spark-Submit 启动应用程序：

 ./bin/spark-submit \
  --class <main-class> \
  --master <master-url> \
  --deploy-mode <deploy-mode> \
  --conf <key>=<value> \
  ... # other options
  <application-jar> \
  [application-arguments]

[...] 对于 Python 应用程序，只需传递

.py

文件代替 JAR，然后使用

 将 Python 

<application-jar>

、

.zip

 或 

.egg

 文件添加到搜索路径.py

。

也就是说，你的命令应该是这样的：

--py-files