我们有一个在HDFS 2.7.3上运行的火花流应用程序,Yarn作为资源管理器。在运行应用程序时,这两个文件夹:
/tmp/hadoop/data/nm-local-dir/filecache
/tmp/hadoop/data/nm-local-dir/filecache
正在填满,因此磁盘。所以从我的研究中发现,在yarn-site.xml中配置这两个属性会有所帮助。
<property>
<name>yarn.nodemanager.localizer.cache.cleanup.interval-ms</name>
<value>2000</value>
</property>
<property>
<name>yarn.nodemanager.localizer.cache.target-size-mb</name>
<value>2048</value>
</property>
我在每个namenode和masternode上的yarn-site.xml上配置了它们,并使用stop-yarn.sh start-yarn.sh在masternode上重新启动了yarn。然而,这似乎没有帮助。在进行配置更改时我是否遗漏了任何内容?我们如何确保将这些更改传播到所有工作节点?
YARN worker是由ResourceManager管理的NodeManagers。 HDFS使用DataNodes和NameNode。您必须在运行NodeManagers的所有主机上重新启动YARN才能使这些更改生效。