dataproc cluster update(resize)命令未完成

问题描述 投票:1回答:1

我们有一个数据集群,我们为大型作业动态调整大小。我提交了一个群集调整大小请求,以便将我们的群集从10名工作人员,3名先发制人员减少到原来的规模(1m,2名工作人员),但这仍然没有在一小时后完成。

这是正常的吗?有没有办法重新发出请求?目前我在进度样式消息中获得了集群更新。

google-cloud-dataproc
1个回答
0
投票

如果使用Graceful Decommissioning缩减Dataproc 1.2+集群,预计如果集群上正在运行的作业可能需要很长时间 - 缩减操作将等待YARN容器在退役节点上完成。

此外,如果您正在密集使用HDFS,则节点停用可能需要很长时间才能复制数据以防止数据丢失。

在当前操作完成之前,您无法发出另一个调整大小操作。

© www.soinside.com 2019 - 2024. All rights reserved.