Apache Spark 2.3.1和2.0.0的兼容性

Question

我想使用用Apache Spark 2.0.0（GitHub repo here）开发的应用程序，但我只在我的iMac上安装了Spark 2.3.1（它似乎是目前唯一支持自制程序的人）。我可以使用sbt assembly成功编译它，但是当我运行给定here的第一个示例时，我收到以下错误：

java.lang.NoSuchMethodError：breeze.linalg.DenseVector $ .canDotD（）Lbreeze / generic / UFunc $ UImpl2;

这是Spark 2.0.0和Spark 2.3.1使用的两个不同版本的Scala-breeze之间的兼容性问题。有没有办法轻松更改代码，以便能够与Spark 2.3.1一起使用？ （我之前从未使用过scala）

Answer 1

它可能是。您可以随时手动下载所需版本的Apache Spark（不是通过自制程序，而是通过从官方页面下载tar.gz存档并将其解压缩）。