我有一个在Scala 2.12中编译的jar文件,现在我想在emr 5.29.0上运行它。我如何运行它们,因为emr 5.29.0的默认版本是scala 2.11。
根据AWS Forum中的该线程,EMR上的所有Spark版本均使用Scala 2.11构建,因为它是稳定版本:
在EMR上,Spark是使用Scala-2.11.x构建的,目前它是稳定版本。按照-https://spark.apache.org/releases/spark-release-2-4-0.html,Scala-2.12仍在实验支持下。我们的服务团队是已经知道此功能请求,他们将添加一旦稳定,Scala-2.12.0将在以后的发行版中提供支持。
因此,您必须等到他们添加对将来的EMR版本的支持,或者您可能要使用Scala 2.12构建Spark并将其安装在EMR上。参见Building and Deploying Custom Applications with Apache Bigtop and Amazon EMR