Flink：管理器的数量是否与纱线上的nodeManager数量相关

Question

我使用'在YARN上运行单个Flink作业'模式在纱线上运行flink作业，命令如下：./ bin / link run -m yarn-cluster -yn 5 ./examples/batch/WordCount。罐

问题是：

1. 无论我如何修改参数：' - ''（-yn 2 / -yn 3 / -yn 4 ....），纱线群集只为我的工作创建1个TaskManager和1个JobManager。我的纱线群集只有3个节点（一个是ResourceManager，两个是nodeManager），我认为flink的纱线客户端可能会发现只有两个nodeManager，因此客户端只创建两个管理器，一个是jobmanager，另一个是taskmanager。
2. 我的flink版本是1.6。

经理人数与纱线上的nodeManagers数量有关吗？

Answer 1

使用-yn，您可以指定要使用的YARN容器的数量。每个YARN容器都有一个Flink TaskManager。因此，TaskManagers的数量与YARN NodeManager的数量无关。

您确定有足够的内存和vCore可用于启动总共6个容器（1个JobManager和5个TaskManager）吗？如果是这样，日志在启动作业时对TaskManagers，slot和parallelism的数量有何评价？

Answer 2

我想我已经找到了原因。“在YARN上运行一个Flink工作”模式就像'纱线模式'，首先创建一个jobManager然后将作业提交给职位管理员。

通过这种方式，我们有两个重要的参数：-p（并行）和-ys（槽）。如果p是6而槽是2，那么集群将创建3（6/2）个taskManagers，param -yn不是有效。并行性的默认值是1，因此无论我设置什么样的参数，集群只为我创建一个taskManager。