在计划程序池上提交Spark作业

Question

我在集群模式下运行火花流工作，我创建了一个内存为200GB（CDH）的池。我想在那个游泳池上运行我的火花流工作，我试着设置

sc.setLocalProperty("spark.scheduler.pool", "pool")

在代码但它不工作，我也尝试了spark.scheduler.pool seems not working in spark streaming，每当我运行它在默认池中的工作。可能的问题是什么？我可以在提交作业时添加任何配置吗？

Answer 1

在纱线中我们可以添加

--conf spark.yarn.queue="que_name"到spark-submit命令。然后它将仅使用该特定队列及其资源。

Answer 2

我遇到了与Spark 2.4相同的问题。在我的情况下，通过删除我的Spark配置中的默认“spark.scheduler.pool”选项解决了该问题。

我将问题追溯到Spark中的一个错误 - https://issues.apache.org/jira/browse/SPARK-26988。问题是，如果在基本配置中设置配置属性“spark.scheduler.pool”，则无法使用setLocalProperty覆盖它。从基本配置中删除它使其正常工作。有关详细信息，请参阅错误说明。