带有节点标签的配置单元重叠

问题描述 投票:0回答:1

我有一个hortonworks 3.1集群。最初,我有6个数据节点,3个主节点,这6个数据节点都具有96gb的内存。我能够正常旋转3个重叠节点。现在我有3个新节点,内存为256gb,我现在想将其用于重叠节点。

我向3个新节点添加了一个节点标签“ llap”。然后我给laplap队列分配了相同的标签。 (所有其他节点均为默认标签)

出于某种原因,当我启动膝上电脑时,出现以下错误:失败:org.apache.hadoop.yarn.exceptions.YarnException:组件重叠:指定的内存大小(224256)大于配置的最大容器内存大小(94208)

我已经尝试了所有我能想到的东西,但是似乎lapl希望在旧节点而不是新节点上旋转东西...

我已经度过了我的生活,但是我一直在cloudera / hortonworks中找到相同的参考,我一遍又一遍地弄乱了……任何帮助将不胜感激!

hive yarn
1个回答
0
投票

您的错误是由于YARN的配置参数决定了最大容器大小:

  • yarn.scheduler.maximum-allocation-mb

在您的情况下,您试图分配到单个容器224256MB,yarn.scheduler.maximum-allocation-mb的配置为94208MB。

有一篇很好的文章详细介绍了如何设置LLAP配置:

https://community.cloudera.com/t5/Community-Articles/LLAP-sizing-and-setup/ta-p/247425

© www.soinside.com 2019 - 2024. All rights reserved.