降低 Spark Streaming Info 日志的频率

Question

当我部署 Spark Streaming 作业并通过 Spark2-submit 运行它时，我每秒都会收到这样的日志消息：

21/02/24 21:45:27 INFO yarn.Client: Application report for application_1612163470992_382017 (state: RUNNING)

是否可以以某种方式减少此类输出的间隔（例如每 10 分钟一次）？有人知道该怎么做吗？ 我正在使用 Scala Spark 2.3.0。

谢谢。

Answer 1

找到了！它由

spark.yarn.report.interval

配置处理。 （至少在 Spark v2.4.5 上）。我可以通过将以下内容添加到

spark-submit

来进行更改：

 --conf spark.yarn.report.interval=30000

注意：该值以毫秒为单位