如何将--num-executors选项与spark-submit一起使用？

Question

我试图通过以下方式通过spark-submit提交应用程序时覆盖num-executors之类的spark属性：

spark-submit --class WC.WordCount \
--num-executors 8 \
--executor-cores 5 \
--executor-memory 3584M \
...../<myjar>.jar \
/public/blahblahblah /user/blahblah

但是其运行时默认执行者数量为2。但是如果添加，我可以覆盖属性

--master yarn

有人可以解释为什么会这样吗？有趣的是，在我的应用程序代码中，我将master设置为yarn-client：

val conf = new SparkConf()
   .setAppName("wordcount")
   .setMaster("yarn-client")
   .set("spark.ui.port","56487")

val sc = new SparkContext(conf)

有人可以谈谈选项--master的工作原理吗？>

我试图通过spark-submit提交应用程序时重写spark属性，例如num-executors，如下所示：spark-submit --class WC.WordCount \ --num-executors 8 \ --executor-cores 5 \。 ..

Answer 1

我尝试通过以下方式通过spark-submit提交应用程序时覆盖num-executors之类的spark属性

Answer 2

如果您想使用不同的母版或不同的内存量]运行相同的应用程序