在 Spark Kubernetes 集群上配置特定于应用程序的日志记录

Question

我有一个在 Kubernetes 上运行的 Spark 集群，使用 this Bitnami Helm 图表。

查看 Spark 文档，我在以下位置创建了一个 log4j2 配置文件：

/opt/bitnami/spark/conf/log4j2.properties

此日志文件中的配置按预期工作正常。

现在，我有一个基于 Spring boot 的应用程序，我正在使用

spark-submit

命令在此集群上执行它。

此应用程序在以下位置有一个 log4j2 配置文件：

src/main/resources/log4j2.xml

当我使用

spark-submit

命令执行这个 jar 时，这个文件的配置似乎不起作用。我还提供了其他 Stackoverflow 线程的以下论点：

--conf "spark.driver.extraJavaOptions=-Dlog4j.configuration=log4j2.xml"
--conf "spark.executor.extraJavaOptions=-Dlog4j.configuration=log4j2.xml"

仍然有同样的问题。

如何从应用程序级别的日志文件覆盖集群级别的日志配置？