如何将“提供的”依赖项添加回运行/测试任务的类路径？

Question

这是build.sbt的一个例子：

import AssemblyKeys._

assemblySettings

buildInfoSettings

net.virtualvoid.sbt.graph.Plugin.graphSettings

name := "scala-app-template"

version := "0.1"

scalaVersion := "2.9.3"

val FunnyRuntime = config("funnyruntime") extend(Compile)

libraryDependencies += "org.spark-project" %% "spark-core" % "0.7.3" % "provided"

sourceGenerators in Compile <+= buildInfo

buildInfoPackage := "com.psnively"

buildInfoKeys := Seq[BuildInfoKey](name, version, scalaVersion, target)

assembleArtifact in packageScala := false

val root = project.in(file(".")).
  configs(FunnyRuntime).
  settings(inConfig(FunnyRuntime)(Classpaths.configSettings ++ baseAssemblySettings ++ Seq(
    libraryDependencies += "org.spark-project" %% "spark-core" % "0.7.3" % "funnyruntime"
  )): _*)

目标是拥有spark-core "provided"，因此它及其依赖项不包含在程序集工件中，而是将它们重新包含在运行时类路径中，以用于run-和test相关的任务。

似乎使用自定义作用域最终会有所帮助，但我在如何实际导致默认/全局运行/测试任务使用自定义libraryDependencies并希望覆盖默认值方面受到阻碍。我尝试过的东西包括：

(run in Global) := (run in FunnyRuntime)

等无济于事。

总结一下：这实际上是Web案例的一般化，其中servlet-api处于“提供”范围，而运行/测试任务通常派生一个servlet容器，该容器确实为运行的代码提供了servlet-api。这里唯一的区别是我没有分离出一个单独的JVM /环境;我只是想手动增加这些任务的类路径，有效地“撤消”“提供”范围，但是继续从组件工件中排除依赖性。

Answer 1

对于我在assembly.sbt中使用的类似情况：

run in Compile <<= Defaults.runTask(fullClasspath in Compile, mainClass in (Compile, run), runner in (Compile, run)) 

现在“运行”任务使用所有库，包括标有“提供”的库。无需进一步改动。

更新：

@rob解决方案似乎是唯一一个使用最新SBT版本的人，只需添加到settings中的build.sbt：

run in Compile := Defaults.runTask(fullClasspath in Compile, mainClass in (Compile, run), runner in (Compile, run)).evaluated,
runMain in Compile := Defaults.runMainTask(fullClasspath in Compile, runner in(Compile, run)).evaluated

Answer 2

加入@douglaz的回答，

runMain in Compile <<= Defaults.runMainTask(fullClasspath in Compile, runner in (Compile, run))

是runMain任务的相应修复。

Answer 3

如果你使用sbt-revolver插件，这里是一个解决它的“reStart”任务的方法：

fullClasspath in Revolver.reStart <<= fullClasspath in Compile

UPD：对于sbt-1.0，您可以使用新的分配表：

fullClasspath in Revolver.reStart := (fullClasspath in Compile).value

Answer 4

另一种选择是为程序集与运行/测试创建单独的sbt项目。这允许你运行sbt asseblyProj/assembly来构建一个胖jar，用于部署spark-submit，以及sbt runTestProj/run，可以直接通过带嵌入Spark的sbt运行。作为附加的好处，runTestProj无需在IntelliJ中进行修改即可工作，并且可以为每个项目定义单独的主类，以便例如使用sbt运行时，在代码中指定spark master。

val sparkDep = "org.apache.spark" %% "spark-core" % sparkVersion

val commonSettings = Seq(
  name := "Project",
  libraryDependencies ++= Seq(...) // Common deps
)

// Project for running via spark-submit
lazy val assemblyProj = (project in file("proj-dir"))
  .settings(
    commonSettings,
    assembly / mainClass := Some("com.example.Main"),
    libraryDependencies += sparkDep % "provided"
  )

// Project for running via sbt with embedded spark
lazy val runTestProj = (project in file("proj-dir"))
  .settings(
    // Projects' target dirs can't overlap
    target := target.value.toPath.resolveSibling("target-runtest").toFile,
    commonSettings,
    // If separate main file needed, e.g. for specifying spark master in code
    Compile / run / mainClass := Some("com.example.RunMain"),
    libraryDependencies += sparkDep
  )