线程“ streaming-start”中的异常java.lang.NoClassDefFoundError:twitter4j / StreamListener

问题描述 投票:1回答:1

我正在尝试将Twitter数据流式传输为流媒体。我使用以下命令导出了其他罐子-

spark-shell --jars twitter4j-core-4.0.1.jar,spark-streaming-twitter_2.11-1.6.2.jar

但是在ssc.start()时,出现以下错误-

scala> ssc.start()

线程“ streaming-start”中的异常java.lang.NoClassDefFoundError:twitter4j / StreamListener在org.apache.spark.streaming.twitter.TwitterInputDStream.getReceiver(TwitterInputDStream.scala:55)

在org.apache.spark.streaming.scheduler.ReceiverTracker $$ anonfun $ 8.apply(ReceiverTracker.scala:415)

在org.apache.spark.streaming.scheduler.ReceiverTracker $$ anonfun $ 8.apply(ReceiverTracker.scala:414)

在scala.collection.TraversableLike $$ anonfun $ map $ 1.apply(TraversableLike.scala:244)

在scala.collection.TraversableLike $$ anonfun $ map $ 1.apply(TraversableLike.scala:244)

在scala.collection.IndexedSeqOptimized $ class.foreach(IndexedSeqOptimized.scala:33)

在scala.collection.mutable.ArrayOps $ ofRef.foreach(ArrayOps.scala:108)

在scala.collection.TraversableLike $ class.map(TraversableLike.scala:244)

在scala.collection.mutable.ArrayOps $ ofRef.map(ArrayOps.scala:108)

在org.apache.spark.streaming.scheduler.ReceiverTracker.launchReceivers(ReceiverTracker.scala:414)

在org.apache.spark.streaming.scheduler.ReceiverTracker.start(ReceiverTracker.scala:157)

在org.apache.spark.streaming.scheduler.JobScheduler.start(JobScheduler.scala:82)

在org.apache.spark.streaming.StreamingContext $$ anonfun $ liftedTree1 $ 1 $ 1.apply $ mcV $ sp(StreamingContext.scala:610)

在org.apache.spark.streaming.StreamingContext $$ anonfun $ liftedTree1 $ 1 $ 1.apply(StreamingContext.scala:606)

在org.apache.spark.streaming.StreamingContext $$ anonfun $ liftedTree1 $ 1 $ 1.apply(StreamingContext.scala:606)

在org.apache.spark.util.ThreadUtils $$ anon $ 1.run(ThreadUtils.scala:122)

原因:java.lang.ClassNotFoundException:twitter4j.StreamListener

在java.net.URLClassLoader.findClass(URLClassLoader.java:381)

在java.lang.ClassLoader.loadClass(ClassLoader.java:424)

在java.lang.ClassLoader.loadClass(ClassLoader.java:357)

... 16更多]

18/03/29 16:20:55 INFO StreamingContext:StreamingContext已开始

我是以下链接中给出的代码-

https://acadgild.com/blog/streaming-twitter-data-using-spark/

谢谢..

我正在尝试将Twitter数据流式传输为流媒体。我已经使用以下命令导出了其他jar-spark-shell --jars twitter4j-core-4.0.1.jar,spark-streaming-twitter_2.11-1.6.2.jar ...

apache-spark spark-dataframe spark-streaming
1个回答
0
投票
似乎缺少依赖项,您需要添加
© www.soinside.com 2019 - 2024. All rights reserved.