在 Goolge Dataproc 历史服务器上看不到“不完整的应用程序”

Question

当我运行 spark 作业时，我无法在“不完整的应用程序”选项卡下的历史服务器上看到它，并且在作业完成之前它不会显示。是否需要设置一些设置才能使工作显示在那里？

Answer 1

啊好像设定是： 'spark:spark.history.fs.gs.outputstream.type' 需要设置为 'FLUSHABLE_COMPOSITE'

否则它只会在工作完成时才写入更新。