Spark Driver在集群模式下运行在哪里可以控制?

问题描述 投票:0回答:1

虽然我有几个文档表明驱动程序在其自己的节点上运行,而该节点是主节点,而从节点上的执行程序也称为Worker,但我以某种方式对此感到困惑。因此,如果可能,我想确认以下内容:

Driver在哪个类型的集群上运行:

  1. 独立
  2. 个月

所以我想我有2个答案,这是主人的司机。但是我不确定1和3.有人可以帮助澄清吗?

最后,如果驱动程序与执行程序共享一个节点,这是否意味着当我们调整集群节点的大小时,我们需要考虑更多的线程可能实际运行它并且内存使用量可能更大?换句话说,我们应该系统地超大我们的节点以考虑潜在的驱动因素。

apache-spark spark-submit
1个回答
2
投票

所有集群管理器都具有客户端模式和集群模式的概念。客户端模式表示驱动程序从创建提交请求的位置运行。这并不意味着必须从主节点执行驱动程序,只有从主服务器提交应用程序时才会执行。

例如,如果我将应用程序从本地IDE提交给Spark Master,则驱动程序将在我的本地计算机上运行。

© www.soinside.com 2019 - 2024. All rights reserved.