如何在使用spark-submit命令时修复Logger错误的初始化

Question

运行我的spark-jdbc作业连接到另一个数据库时，我遇到了问题。但我之前有错误。 org.apache.spark.internal.Logging中线程“main”java.lang.AbstractMethodError中的异常$ class.initializeLogIfNecessary（Logging.scala：99）

我的Logger无法通过scala初始化。我正在使用scala 2.11和相同版本的spark。

无法通过IDE调试此问题，因为一切都很好，但是当我运行spark-submit时，则会发生错误。

Answer 1

使用Spark 2.3时出现了同样的错误，我应该使用Spark 2.2。显然这个方法在后来的版本中是抽象的，所以我得到了那个错误。

试试这个

https://community.hortonworks.com/articles/197922/spark-23-structured-streaming-integration-with-apa.html