为什么Flink使用Yarn?

问题描述 投票:2回答:1

我正在深入研究Flink,看看我如何在项目中使用它并对创建者/高级思考者提出问题...为什么Flink使用Yarn作为默认资源管理器?

是否考虑过Kubernetes?或者它是我们开始使用Yarn的那些东西之一,它运作得很好......

我遇到过许多项目和文章,它们允许Kubernetes和Yarn一起工作,包括允许纱线与Mesos一起部署的Myraid项目(但我在Kubernetes ......)

我有一个非常大的计算集群,我使用了大约2000个节点,我想使用Flink的超酷CEP功能来支持Kafka基础设施(也部署在这个kubernetes环境中)。

我希望了解使用Yarn作为Flink下面的资源管理器的原因,并且如果可能(通过一些努力和对项目的贡献)使Kubernetes成为Yarn的选项。

请注意 - 我是Yarn的新手 - 只是阅读它。也是Flink的新手,了解部署和横向扩展架构。

kubernetes yarn apache-flink
1个回答
0
投票

Flink与YARN无关。它也可以在Apache Mesos上运行,也有用户在Kubernetes上运行它。在当前版本(Flink 1.4.1)中,在Kubernetes中运行Flink时需要考虑一些事项(请参阅此talk by Patrick Lucas)。

Flink社区目前也在努力改进Flink对容器设置的支持。这项工作被称为FLIP-6,将包含在下一个版本中(Flink 1.5.0)。

© www.soinside.com 2019 - 2024. All rights reserved.