我正在Scala(Eclipse IDE)中开发一个Spark进程,并在我的本地集群中运行良好,但是当我尝试使用SBT编译它时,我在我的电脑上安装了一个错误(见图片)。
我的第一个疑问是,如果我在build.sbt中明确地将scalaVersion设置为2.11.11,SBT会尝试使用scala 2.12进行编译。我尝试安装其他SBT版本具有相同的结果,也在其他PC中但不起作用。我需要帮助来解决它。
build.sbt
name := "Comple"
version := "1.0"
organization := "com.antonio.spark"
scalaVersion := "2.11.11"
libraryDependencies ++= Seq(
"org.apache.spark" %% "spark-core" % "2.2.0" % "provided",
"org.apache.spark" %% "spark-sql" % "2.2.0" % "provided"
)
assembly.sbt
addSbtPlugin("com.eed3si9n" % "sbt-assembly" % "1.0.2")
错误:
ResolveException: unresolved dependency: sbt_assembly;1.0.2: not found
尝试将assembly.sbt文件更改为:
addSbtPlugin("com.eed3si9n" % "sbt-assembly" % "0.14.5")
正如文档中所述:https://github.com/sbt/sbt-assembly
我最近使用spark-core_2.11版本2.2.0并且它有效。