如何在同一个项目中为多个火花应用指定不同的log4j.properties文件？

Question

我的项目有多个spark应用（每个应用都有自己的spark会话），所有这些应用都指向同一个log4j.properties文件，我想为一些作业指定不同的log4j.properties文件（log4j_1.properties）。我想指定不同的log4j.properties文件（log4j_1.properties）的一些工作。我尝试了下面的方法，但它仍然只从原始文件（log4j.properties）中获取配置。

不知道我错过了什么？

conf.set("spark.driver.extraJavaOptions", "-Dlog4j.configuration=file:log4j_1.properties")

注意：我可以在Spark上看到上面的选项设置。

1. 我可以在SparkUI环境选项卡上看到上面的选项设置。
2. log4j_1.properties和log4j.properties都在classpath中。

Answer 1

试试

-Dlog4j.configuration=log4j_1.properties