spark-atlas-connector：“ SparkCatalogEventProcessor-thread”类未找到异常

Question

按照spark-atlas-connector的说明进行操作。我在运行简单代码以在Spark中创建表时遇到以下错误

Spark2 2.3.1地图集1.0.0

批次cmd为：

spark-submit --jars /home/user/spark-atlas-connector/spark-atlas-connector-assembly/target/spark-atlas-connector-assembly-0.1.0-SNAPSHOT.jar
--conf spark.extraListeners=com.hortonworks.spark.atlas.SparkAtlasEventTracker
--conf spark.sql.queryExecutionListeners=com.hortonworks.spark.atlas.SparkAtlasEventTracker
--conf spark.sql.streaming.streamingQueryListeners=com.hortonworks.spark.atlas.SparkAtlasStreamingQueryEventTracker
--files /home/user/atlas-application.properties
--master local
/home/user/SparkAtlas/test.py

线程“ SparkCatalogEventProcessor线程”中的异常java.lang.NoClassDefFoundError：com.hortonworks.spark.atlas.sql.SparkCatalogEventProcessor.process（SparkCatalogEventProcessor.scala：36）上的org / apache / spark / sql / sql / catalyst / catalog / ExternalCatalogWithListener在com.hortonworks.spark.atlas.sql.SparkCatalogEventProcessor.process（SparkCatalogEventProcessor.scala：28）在com.hortonworks.spark.atlas.AbstractEventProcessor $$ anonfun $ eventProcess $ 1.apply（AbstractEventProcessor.scala：72）在com.hortonworks .spark.atlas.AbstractEventProcessor $$ anonfun $ eventProcess $ 1.apply（scala.Option.foreach（Option.scala：257）位于com.hortonworks.spark.atlas.AbstractEventProcessor.eventProcess（AbstractEventProcessor.scala） ：71）at com.hortonworks.spark.atlas.AbstractEventProcessor $$ anon $ 1.run（AbstractEventProcessor.scala：38）原因：java.lang.ClassNotFoundException：org.apache.spark.sql.catalyst.catalog.ExternalCatalogWithListener在java .net.URLClassLoader.findClass（URLClas sLoader.java:382），位于java.lang.ClassLoader.loadClass（ClassLoader.java:424），java.lang.ClassLoader.loadClass（ClassLoader.java:357）

提前感谢。

Answer 1

尝试下载以下jar，并将其添加到Spark的lib文件夹中，或将其添加到--driver-class-pathcmd中的spark-submit

spark-catalyst_2.11-2.3.1.jar