我有一个购买请求,需要一些机器来构建一个 Hadoop 集群。我们目前的可选架构是
arm
和x86
。
我们提交 Spark and Flink
作业的机器在集群之外(现有机器),这些客户端机器使用不同的 CPU 架构。
比如我们用
x86
搭建集群,但是部分client机器是基于arm
架构的,会不会影响spark和Flink作业的执行?
作为星火:
Spark 可在 Windows 和类 UNIX 系统(例如 Linux、Mac OS)上运行,并且它应该在运行支持的 Java 版本的任何平台上运行。这应该包括 x86_64 和 ARM64 上的 JVM。
作为 Flink:
FLINK-13448 还没有解决,但是我观察到主要的子问题已经解决了,只有一个FLINK-13652 还开着,不过只是一个描述类型的jira,理论上应该不会影响Flink 的性能,我用 Arm 做了我们工作的基础测试,都通过了
作为工作依赖
我的 Spark 和 Flink 作业都只使用纯 Java 依赖。据我所知,它们应该是跨平台的(arm 和 x86)。
根据我对
yarn-container
工作原理的理解,如果提交机器的架构与运行机器的架构不同应该无关紧要。
但是我在网上没有找到这方面的经验,让我有点不安,所以我想在购买机器之前了解更多信息。
如果确实有影响,有没有对应的解决方案(还是基于混合架构)
当然,事先测试是必须的,但现阶段我想了解更多信息,如果您有相关经验,请告诉我!