创建会话时的 Spark master 与 Spark 提交命令中的对比

Question

如果我在创建spark-submit时在

SparkSession

命令和班级中都设置了

master

，哪个优先？

命令示例：

spark-submit --class sample-class --master yarn-cluster --name sample-app  jar-path arg1 arg2

sample-class

的有用代码：

SparkSession session = SparkSession.builder().appName("sample-app")
                .config("spark.sql.warehouse.dir", "/apps/hive/warehouse").master("local[*]").enableHiveSupport()
                .getOrCreate();

---

如果我在这两种情况下设置不同的master会发生什么。

Answer 1

您在代码中选择的主配置将是实际使用的配置。

原因：您正在通过代码中的主配置覆盖spark-submit中的主配置。