我将其添加到
resolvers += "bintray-spark-packages" at "https://dl.bintray.com/spark-packages/maven/"
addSbtPlugin("org.spark-packages" % "sbt-spark-package" % "0.2.6")
为了导入sbt-spark-packages,但是sbt告诉我“提取结构失败:构建状态:错误”。
我试过其他插件,但行为总是一样的。
sbt 版本:1.8.2
scala 版本:2.13.10
见
https://github.com/databricks/sbt-spark-package/issues/50
Bintray 已经落日了
Bintray 已弃用。
https://spark-packages.org/package/databricks/sbt-spark-package
此包没有在 Spark 包存储库中发布的任何版本,也没有提供 maven 坐标。您可能必须从源代码构建这个包,或者它可能只是一个脚本。
试试
git clone https://github.com/databricks/sbt-spark-package.git
cd sbt-spark-package
git reset --hard v0.2.6
sbt package
现在你有
sbt-spark-package/target/scala-2.10/sbt-0.13/sbt-spark-package-0.2.6.jar
.
做
sbt publishLocal
,它将在~/.ivy2/local/org.spark-packages/sbt-spark-package/scala_2.10/sbt_0.13/0.2.6/jars/sbt-spark-package.jar
发布。
现在可以如下使用了
build.sbt
lazy val root = (project in file("."))
.settings(
name := "scalademo",
scalaVersion := "2.11.12"
)
project/build.properties
sbt.version = 0.13.18
project/plugins.sbt
addSbtPlugin("org.spark-packages" % "sbt-spark-package" % "0.2.6")