纱线容器,火花执行器和EMR中可用节点之间的关系是什么?

问题描述 投票:0回答:1

假设我有一个拥有1个主节点,3个核心节点和5个任务节点的集群。如果我在YARN集群模式下运行spark作业,驱动程序将在主节点上运行(主节点也可以运行执行程序吗?),每个容器可以有X个执行程序。我有3 + 5 = 8个容器吗?或者只有3个容器,因为只有核心节点可以存储数据?

另外,如果我有两个同时运行的spark作业,每个节点有2个独立的容器,每个spark作业有1个,或者2个spark jobs的执行器每个节点共用1个容器吗?

如果用户可以设置Yarn容器的数量,即总cluter memory / memory per,那么节点的物理数量是否重要?

apache-spark yarn amazon-emr
1个回答
0
投票

如果我在YARN群集模式下运行spark作业,则驱动程序将在主节点上运行

Spark驱动程序不在主节点上运行。主节点仅用于Yarn /资源管理器,Spark驱动程序在核心节点上运行。

如果运行两个Spark作业,则它们将在单个节点或不同节点中的不同容器上运行。

驱动程序在核心节点上运行,任务执行程序通常在任务节点上运行,但您可以将它们配置为在核心/任务节点上运行。

© www.soinside.com 2019 - 2024. All rights reserved.