纱线从我们在spark-submit命令中传递的执行程序数量中为应用程序主服务器分配一个容器

问题描述 投票:0回答:1

假设我正在用yarn-client模式提交一个Spark应用程序。在Spark提交中,我将--num-executors传递为10。当客户端将此spark应用程序提交到resourceManager时,

资源管理器是否从--num-executors(10)中为应用程序主进程分配一个执行器容器,而其余的9会提供给实际的执行器?

它是为应用程序主服务器分配一个新容器还是仅为执行者分配10个容器?

apache-spark yarn
1个回答
0
投票

--num-executors是要从集群管理器(也可以是Hadoop YARN)中请求执行者的数量。这是Spark的要求。

(YARN应用程序的)应用程序主控只是YARN的事情。

Spark应用程序也可能是YARN应用程序。在这种情况下,Spark应用程序将为AM获得10个容器和一个额外的容器。

© www.soinside.com 2019 - 2024. All rights reserved.