Spark的Hadoop YARN资源分配缓慢

Question

我有这个问题，其中YARN分配资源用于Spark的速度非常慢，有时添加执行器太晚了。停电后此操作开始，重新启动群集后，即使我重新启动几次，它也开始运行缓慢。没有配置被更改。以前运行良好。

上面的图片显示了执行器的添加很晚。有时根本没有添加一些执行器。下面的图片是在停电之前拍摄的。

任何人都可以知道发生了什么吗？它仍在工作，但比以前慢得多。

Answer 1

纱线具有动态资源分配属性。我不确定您是否启用了此属性。如果启用，则yarn将根据负载分配资源。