spark Streaming 和 kafka 集成依赖问题

Question

我正在尝试编写一个脚本，通过 Spark Streaming 从 kafka 读取数据，但是当我运行“sbtcompile”时，我收到此错误：

sbt.librarymanagement.ResolveException：下载org.apache.spark时出错：spark-sql-kafka-0-10_3：3.5.0

火花版本：3.5.0 卡夫卡版本：kafka_2.13-3.6.1

如有任何帮助，我们将不胜感激

如果这与版本兼容性有关，该问题的可能解决方案是什么。

Answer 1

错误中提到的

_3

不是该包的有效版本

这对于 SBT 来说是正确的

libraryDependencies += "org.apache.spark" %% "spark-sql-kafka-0-10" % "3.5.0"

但请确保您安装了 Scala 2.13，而不是 Scala 3，因为 Spark 不支持该功能