spark-submit选项列表

问题描述 投票:0回答:2

Spark configurations page上提到了大量的可调设置。但是,正如here所述,SparkSubmitOptionParser属性的Spark属性名称可能与该属性名称不同。

例如,spark.executor.cores--executor-cores被传递为spark-submit


我在哪里可以找到Spark的所有调整参数的详尽列表(以及它们的SparkSubmitOptionParser属性名称),可以使用spark-submit命令传递?

apache-spark spark-submit
2个回答
3
投票

虽然@ suj1th的宝贵意见确实解决了我的问题,但我正在回答我自己的问题,直接解决我的问题。


  • 您无需查找给定SparkSubmitOptionParser属性(配置设置)的Spark属性名称。两者都会做得很好。但请注意,使用情况之间存在细微差别,如下所示: spark-submit --executor-cores 2 spark-submit --conf spark.executor.cores=2 上面显示的两个命令都具有相同的效果。第二种方法采用--conf <key>=<value>格式的配置。
  • 将值括在引号中(如果这不正确/不完整,请更正我) (i)数值不需要用任何类型的引号(单个''或double "")括起来(如果你愿意,你仍然可以)。 (ii)如果该值具有space字符,则将整个事物用""中的双引号"<key>=<value>"括起来,如here所示。
  • 有关可以使用spark-submit传递的所有配置的完整列表,请运行spark-submit --help
  • 在@ suj1th提供的this link中,他们说: 在SparkConf上显式设置的配置值采用最高优先级,然后传递给spark-submit的标志,然后是默认文件中的值。 如果您不清楚配置选项的来源,可以通过使用--verbose选项运行spark-submit来打印细粒度的调试信息。

以下来自Spark docs的两个链接列出了很多配置:


0
投票

在您的情况下,您应该从文件中加载配置,如此document中所述,而不是将它们作为标志传递给spark-submit。这减轻了将SparkSubmitArguments映射到Spark配置参数的开销。引用上述文件:

以这种方式加载默认Spark配置可以避免对spark-submit的某些标志的需要。例如,如果设置了spark.master属性,则可以安全地省略--master中的spark-submit标志。通常,在SparkConf上显式设置的配置值采用最高优先级,然后传递给spark-submit的标志,然后是默认文件中的值。

© www.soinside.com 2019 - 2024. All rights reserved.