我正在尝试将Twitter数据流式传输为流媒体。我使用以下命令导出了其他罐子-
spark-shell --jars twitter4j-core-4.0.1.jar,spark-streaming-twitter_2.11-1.6.2.jar
但是在ssc.start()
时,出现以下错误-
scala> ssc.start()
线程“ streaming-start”中的异常java.lang.NoClassDefFoundError:twitter4j / StreamListener在org.apache.spark.streaming.twitter.TwitterInputDStream.getReceiver(TwitterInputDStream.scala:55)
在org.apache.spark.streaming.scheduler.ReceiverTracker $$ anonfun $ 8.apply(ReceiverTracker.scala:415)
在org.apache.spark.streaming.scheduler.ReceiverTracker $$ anonfun $ 8.apply(ReceiverTracker.scala:414)
在scala.collection.TraversableLike $$ anonfun $ map $ 1.apply(TraversableLike.scala:244)
在scala.collection.TraversableLike $$ anonfun $ map $ 1.apply(TraversableLike.scala:244)
在scala.collection.IndexedSeqOptimized $ class.foreach(IndexedSeqOptimized.scala:33)
在scala.collection.mutable.ArrayOps $ ofRef.foreach(ArrayOps.scala:108)
在scala.collection.TraversableLike $ class.map(TraversableLike.scala:244)
在scala.collection.mutable.ArrayOps $ ofRef.map(ArrayOps.scala:108)
在org.apache.spark.streaming.scheduler.ReceiverTracker.launchReceivers(ReceiverTracker.scala:414)
在org.apache.spark.streaming.scheduler.ReceiverTracker.start(ReceiverTracker.scala:157)
在org.apache.spark.streaming.scheduler.JobScheduler.start(JobScheduler.scala:82)
在org.apache.spark.streaming.StreamingContext $$ anonfun $ liftedTree1 $ 1 $ 1.apply $ mcV $ sp(StreamingContext.scala:610)
在org.apache.spark.streaming.StreamingContext $$ anonfun $ liftedTree1 $ 1 $ 1.apply(StreamingContext.scala:606)
在org.apache.spark.streaming.StreamingContext $$ anonfun $ liftedTree1 $ 1 $ 1.apply(StreamingContext.scala:606)
在org.apache.spark.util.ThreadUtils $$ anon $ 1.run(ThreadUtils.scala:122)
原因:java.lang.ClassNotFoundException:twitter4j.StreamListener
在java.net.URLClassLoader.findClass(URLClassLoader.java:381)
在java.lang.ClassLoader.loadClass(ClassLoader.java:424)
在java.lang.ClassLoader.loadClass(ClassLoader.java:357)
... 16更多]
18/03/29 16:20:55 INFO StreamingContext:StreamingContext已开始
我是以下链接中给出的代码-
https://acadgild.com/blog/streaming-twitter-data-using-spark/
谢谢..
我正在尝试将Twitter数据流式传输为流媒体。我已经使用以下命令导出了其他jar-spark-shell --jars twitter4j-core-4.0.1.jar,spark-streaming-twitter_2.11-1.6.2.jar ...