Apache Spark Maven POM错误

Question

我正在尝试使用Apache Spark并遇到一些我遇到的问题。我有一个来自Apache Spark Github的JavaSparkHiveExample.java示例以及我在IntelliJ IDEA中创建的Maven项目的pom.xml。

我能够运行其他Spark示例（使用另一个更简单的POM），但this one给了我以下错误：

• Scala安装在Idea中

我是Maven的新手，因此我很欣赏我可以尝试的一些事情来解决这个问题。

Answer 1

问题是$ project.version的值。它指的是您的项目版本（2.3.0-snapshot）。在Maven中央存储库中，此版本没有任何maven依赖，因此您将面临此问题。您可以添加这样的新属性，而不是使用项目版本，并将其引用到所有依赖项版本

<properties>
 <spark.version>1.6.2</spark.version>
</properties>

然后在依赖项中使用它

<dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-core_${scala.binary.version}</artifactId>
      <version>${spark.version}</version>
    </dependency>

确保您使用的版本在maven存储库https://mvnrepository.com/ 中可用