从Airflow SparkSubmitOperator提交Spark应用程序时如何设置YARN队列

Question

我是Airflow和SparkSubmitOperator的新手。我可以看到，在定位YARN时，Spark应用程序已提交到“ root.default”队列中。

简单问题-如何设置自定义队列名称？

wordcount = SparkSubmitOperator(
    application='/path/to/wordcount.py',
    task_id="wordcount",
    conn_id="spark_default",
    dag=dag
)

ps.s。我已经阅读了文档：

谢谢

Answer 1

我现在看到--queue值来自Airflow spark-default连接：

Conn Id = spark_default
Host = yarn
Extra = {"queue": "root.default"}

在Airflow WebServer UI中将Extra更改为{“ queue”：“ default”}