当提交SparkSubmit的机器和Yarn机器架构不一样时,对程序有影响吗?

问题描述 投票:0回答:0

背景

我有一个购买请求,需要一些机器来构建一个 Hadoop 集群。我们目前的可选架构是

arm
x86
。 我们提交
Spark and Flink
作业的机器在集群之外(现有机器),这些客户端机器使用不同的 CPU 架构。

问题

比如我们用

x86
搭建集群,但是部分client机器是基于
arm
架构的,会不会影响spark和Flink作业的执行?

作为星火:

Spark 可在 Windows 和类 UNIX 系统(例如 Linux、Mac OS)上运行,并且它应该在运行支持的 Java 版本的任何平台上运行。这应该包括 x86_64 和 ARM64 上的 JVM。

作为 Flink:

FLINK-13448 还没有解决,但是我观察到主要的子问题已经解决了,只有一个FLINK-13652 还开着,不过只是一个描述类型的jira,理论上应该不会影响Flink 的性能,我用 Arm 做了我们工作的基础测试,都通过了

作为工作依赖

我的 Spark 和 Flink 作业都只使用纯 Java 依赖。据我所知,它们应该是跨平台的(arm 和 x86)。

我的理解

根据我对

yarn-container
工作原理的理解,如果提交机器的架构与运行机器的架构不同应该无关紧要。

但是我在网上没有找到这方面的经验,让我有点不安,所以我想在购买机器之前了解更多信息。

如果确实有影响,有没有对应的解决方案(还是基于混合架构)

当然,事先测试是必须的,但现阶段我想了解更多信息,如果您有相关经验,请告诉我!

apache-spark apache-flink hadoop-yarn arm64
© www.soinside.com 2019 - 2024. All rights reserved.