我正在尝试编写一个脚本,通过 Spark Streaming 从 kafka 读取数据,但是当我运行“sbtcompile”时,我收到此错误:
sbt.librarymanagement.ResolveException:下载org.apache.spark时出错:spark-sql-kafka-0-10_3:3.5.0
火花版本:3.5.0 卡夫卡版本:kafka_2.13-3.6.1
如有任何帮助,我们将不胜感激
如果这与版本兼容性有关,该问题的可能解决方案是什么。
_3
不是该包的有效版本
这对于 SBT 来说是正确的
libraryDependencies += "org.apache.spark" %% "spark-sql-kafka-0-10" % "3.5.0"
但请确保您安装了 Scala 2.13,而不是 Scala 3,因为 Spark 不支持该功能