我正在使用YARN在spark上运行一组dockerized应用程序,我想知道在Kubernetes中部署集群是否可行,或者Mesos是更好的选择?在决定一位经理取代另一位经理之前,我将非常感谢任何架构上的陷阱。
您可以为Kubernetes使用Apache Livy构建:https://github.com/jahstreet/spark-on-kubernetes-helm。此设置完全替代了Yarn支持的Spark功能,并在顶部添加了一些其他功能。