如何使用不同类型的从站设置spark集群

问题描述 投票:0回答:1

我很新兴。现在我正试图看看是否可以设置具有不同ec2实例类型的从属的spark集群。我想这样做的原因是我在我的aws帐户上有不同的ec2实例类型的限制。如果我可以使用所有可用的ec2实例运行spark作业,那将是很棒的。我一直在搜索(google,stackoverflow等等),但似乎人们认为从节点的ec2类型总是相同的(我知道驱动程序节点可以是不同的类型)。如果您需要更多说明,请告诉我。

非常感谢任何建议!

amazon-web-services apache-spark amazon-ec2
1个回答
0
投票

我会联系AWS并提高我的限制,以便您没有这个问题。

您将面临的问题是Hadoop将假设所有节点都具有相同的可用资源。这主要意味着记忆。如果你运行大量需要大量内存的作业,你会看到不断的失败。否则,您将需要为适合任何节点的较小作业配置hadoop。这将意味着更大的工作永远不会运行。

如果您可以选择具有相同内存的实例,则可以最大限度地减少问题。

除非你是配置Hadoop(或想成为一个)的专家,否则我不会这样做。保持每种类型节点的完全相同的实例类型。

© www.soinside.com 2019 - 2024. All rights reserved.