Spark 连续结构化流不显示输入速率或处理速率指标

Question

我正在独立集群上运行我的 Spark 连续结构化流应用程序。但是我注意到，像平均输入/秒或平均进程/秒这样的指标没有在结构化流 UI 上显示（作为 NaN）。我有spark.sql.streaming.metricsEnabled = true

如果我在微批量结构化流中运行应用程序，我可以看到这些指标。我还在 databricks 上尝试了这个连续流应用程序，不知何故我能够看到这些指标。我想知道如何监控独立集群上的连续流指标。谢谢！

Answer 1

很久以前的这个 PR 可能会有所帮助：https://github.com/apache/spark/pull/24537/