假设我正在用yarn-client模式提交一个Spark应用程序。在Spark提交中,我将--num-executors传递为10。当客户端将此spark应用程序提交到resourceManager时,
资源管理器是否从--num-executors(10)中为应用程序主进程分配一个执行器容器,而其余的9会提供给实际的执行器?
或
它是为应用程序主服务器分配一个新容器还是仅为执行者分配10个容器?
--num-executors
是要从集群管理器(也可以是Hadoop YARN)中请求执行者的数量。这是Spark的要求。
(YARN应用程序的)应用程序主控只是YARN的事情。
Spark应用程序也可能是YARN应用程序。在这种情况下,Spark应用程序将为AM获得10个容器和一个额外的容器。