Apache Spark历史服务器日志

Question

我的Apache Spark应用程序处理巨型RDD并通过History Server生成EventLog。如何导出这些日志并将其导入另一台计算机以通过History Server UI查看它们？

Answer 1

我的群集使用Windows 10，出于某种原因，使用此操作系统，如果日志文件未在计算机本身上生成，则不会加载日志文件。使用像Ubuntu这样的其他操作系统，我能够在浏览器上查看History Server的日志。

Answer 2

将应用程序writes events运行到spark-defaults.conf中配置的spark.eventLog.dir（例如HDFS - hdfs：// namenode / shared / spark-logs）时的火花。

然后，火花历史记录服务器根据spark.history.fs.logDirectory设置读取它们。这两个日志目录必须相同，并且spark历史服务器进程应具有读取这些文件的权限。因此，这些将是每个应用程序的事件日志目录中的json文件。这些你可以使用适当的filesystem commands访问。