在Kubernetes / Mesos中运行YARN集群

问题描述 投票:2回答:1

我正在使用YARN在spark上运行一组dockerized应用程序,我想知道在Kubernetes中部署集群是否可行,或者Mesos是更好的选择?在决定一位经理取代另一位经理之前,我将非常感谢任何架构上的陷阱。

apache-spark docker kubernetes yarn mesos
1个回答
0
投票

您可以为Kubernetes使用Apache Livy构建:https://github.com/jahstreet/spark-on-kubernetes-helm。此设置完全替代了Yarn支持的Spark功能,并在顶部添加了一些其他功能。

© www.soinside.com 2019 - 2024. All rights reserved.