在Apache Livy中使用logback.xml

Question

我正在尝试将logback.xml与Apache Livy ReST API一起使用，但无法使其正常工作。我尝试过如下提交logback.xml路径。

data = {
    "file" : "<PATH_TO_JAR_FILE>",
    "className" : "<CLASS_NAME>",
    "files": ["file:///path/to/log4j.properties", "file:///path/to/logback.xml"],
    "conf": {"driver-java-options":"-Dlogback.configurationFile=file:///path/to/logback.xml"}
}

但是，我收到警告Ignoring non-spark config property: driver-java-options=-Dlogback.configurationFile。我可以使用logback.xml而不是spark.driver.extraJavaOptions添加driver-java-options文件，但是由于JVM已经启动，所以它没有什么区别。所以我的问题是，如何让Livy使用logback.xml。

Answer 1

我看到您正在尝试配置Apache Livy服务器的日志记录。但是，使用其REST API（IIUC，您正在发送POST /batches或/sessions），您正在提交Spark作业并将logback.xml馈送到Spark驱动程序进程，该进程与Livy Server进程是分开的。

您需要做的是在启动时将-Dlogback.configurationFile=...选项传递给Livy Server进程。最有可能（取决于您的Livy版本和环境），您应该设置export LIVY_SERVER_JAVA_OPTS=-Dlogback.configurationFile=...环境变量，并以$LIVY_HOME/bin/livy-server start开头Livy。请参阅GitHub上的the script。>