我在hadoop中使用yarn应用程序命令的输出来了解使用作业名称运行的mapreduce作业的详细信息。我的群集正在使用HDP分发。有谁知道,直到工作状态有多长?它是否记录了前几天的工作?
这取决于我们的群集配置。在生产级别设置中,通常有一个历史/存档服务器可用于保存先前运行的日志。在默认纱线配置中,日志保留设置为1天,因此默认情况下会保留1天的日志。
如果历史服务器正在运行,则其默认端口为19888.检查mapred-site.xml
以获取以下条目
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>{job-history-hostname}:19888</value>
</property>
和yarn-site.xml
<property>
<name>yarn.log.server.url</name>
<value>http://{job-history-hostname}:19888/jobhistory/logs</value>
</property>