Spark重试尝试配置无法使用spark会话

Question

我试图限制火花应用程序尝试。失败一次后，作业将以纱线客户端模式重新提交。

我正在使用Azure Data Factory中的HDInsight活动。如果从ADF传递参数，则限制为一次尝试。

#

 val conf: SparkConf = new SparkConf()
  conf.set("spark.yarn.maxAppAttempts","5")
  conf.set("yarn.resourcemanager.am.max-attempts","5")

  val sc = SparkSession.builder
     .master("yarn")
    .config(conf)
    .appName("test")
    .enableHiveSupport()
    //.config("yarn.resourcemanager.am.max-attempts","1")
    //.config("spark.yarn.maxAppAttempts","1")
    .getOrCreate() ##

sc.conf.set("spark.yarn.maxAppAttempts","1")

从控制台显示打印参数（spark.yarn.maxAppAttempts，1）（yarn.resourcemanager.am.max-attempts，1）

Answer 1

检查纱线簇内设置的yarn.resourcemanager.am.max-attempts的值。 Spark spark.yarn.maxAppAttempts不能超过纱线群集中设置的值。它应该小于和等于yarn.resourcemanager.am.max-attempts，以便spark应用程序可以尊重纱线设置。