在hadoop中,我们是否知道资源管理器是否将任何超时值等标记为死节点?我在集群中停止了一个数据节点(对于我的hdfs和NM而言),并等待了10分钟以上,但是资源管理器仍然说它正在“运行”。谢谢!
RM认为NM为LOST之前的默认间隔在YarnConfiguration.java
中设置为10分钟(60,000 ms):
YarnConfiguration.java
在您的环境中,通过覆盖 /** How long to wait until a node manager is considered dead.*/
public static final String RM_NM_EXPIRY_INTERVAL_MS =
YARN_PREFIX + "nm.liveness-monitor.expiry-interval-ms";
public static final int DEFAULT_RM_NM_EXPIRY_INTERVAL_MS = 600000;
中的yarn.nm.liveness-monitor.expiry-interval-ms
属性,默认值可能已更改为更长的时间。
P.S。您可能也有兴趣阅读John Fang的yarn-site.xml
re。 NM转换和RM状态机。