Spark:在客户端执行模式下,边缘笔记或网关计算机是否与我的本地计算机相同?

问题描述 投票:-1回答:1

虽然在书《 [[Spark:The Definitive Guide]》中阅读了Spark执行模式,(第255页),但我在Client执行模式中发现,Spark Application Driver进程在一个称为网关机器边缘节点,它们“不在同一群集上”。这与Cluster执行模式相反,在执行模式中,Spark Application Driver进程在集群工作器节点之一上运行。说我在AWS EMR集群上提交作业。我知道我请求的

N

个节点中,其中的[[(N-1)个是Cluster Worker节点,一个是Cluster Driver节点。在Cluster执行模式下,Spark驱动程序进程在((N-1)]] Cluster Worker节点之一上运行。 我的问题是在

Client

执行模式下,Spark Application Driver进程是否在AWS自身创建的其他Edge Node上运行,还是是否在我的笔记本电脑上运行从我启动集群的位置运行某个Spark应用程序。
[在阅读Spark:The Definitive Guide(pp。255)一书中的Spark执行模式时,我发现在Client执行模式中,Spark Application Driver进程在所谓的...上运行]]] >

amazon-web-services apache-spark amazon-emr theory execution
1个回答
© www.soinside.com 2019 - 2024. All rights reserved.