HD insight Spark从事件中心获取消息java.lang.NoClassDefFoundError：org / apache / spark / eventhubs / ConnectionStringBuilder $ error

Question

我正在尝试建立与事件中心的连接以检索消息，我能够在azure hdinsight门户中提供的Jupyter笔记本中运行它。尝试在intellij中设置相同时，我遇到错误。

错误：作业状态已死亡错误：诊断：位于sun.reflect.NativeMethodAccessorImpl.invoke（NativeMethodAccessorImpl.java:62）的sun.reflect.NativeMethodAccessorImpl.invoke0（本地方法）at sun.reflect.DelegatingMethodAccessorImpl.invoke（DelegatingMethodAccessorImpl.java： 43）在java.lang.reflect.Method.invoke（Method.java:498）at org.apache.spark.deploy.yarn.ApplicationMaster $$ anon $ 4.run（ApplicationMaster.scala：721）引起：java.lang .ClassNotFoundException：org.apache.spark.eventhubs.ConnectionStringBuilder $ at java.net.URLClassLoader.findClass（URLClassLoader.java:382）at java.lang.ClassLoader.loadClass（ClassLoader.java:424）at java.lang.ClassLoader。 loadClass（ClassLoader.java:357）...还有7个

代码示例如下

    import org.apache.spark.SparkConf
import org.apache.spark.streaming.{Seconds, StreamingContext}
import org.apache.spark.eventhubs._
import org.apache.spark.sql.types._
import org.apache.spark.sql.functions._
import org.apache.spark._
object SparkStreaming_Event {
  def main(args: Array[String]) {
    val sparkConf = new SparkConf().setAppName("StreamEvents")
    val ssc = new StreamingContext(sparkConf, Seconds(10))
    val connectionString = ConnectionStringBuilder("Connectionstring").setEventHubName("Name").build
    val ehConf = EventHubsConf(connectionString)
      .setStartingPosition(EventPosition.fromEndOfStream)
      .setMaxRatePerPartition(10000)
    val stream = EventHubsUtils.createDirectStream(ssc, ehConf)
    stream.print()
    ssc.start()
    ssc.awaitTermination()
  }
}

不知道我在这里缺少什么，我可以看到外部库下的罐子。

Answer 1

我得到了它的工作，回答我自己的问题。

虽然我们在构建工具中提供了依赖项，但我们需要在Azure中上传相应的jar以使它们可用于Hdinsight集群。

1.在blob存储中加载jar（与hdinsight关联）

2.在spark jars字段中的IntelliJ Idea中提供hdinsight运行配置中的blob路径，如下所示。

wasb：//[email protected]/foldername/jarfile.jar

希望这能有所帮助。