具有Docker支持的EMR 6 Beta具有S3访问问题

Question

我正在探索具有Docker支持的新EMR 6.0.0，以便决定是否要使用它。我们的项目之一是用Scala 2.11编写的。但是EMR 6.0.0带有从Scala 2.12构建的Spark。所以我改用6.00-beta，它是从Scala 2.11构建的Spark 2.4.3。如果它适用于6.0.0-beta，那么我们会将代码升级到Scala 2.12并使用6.0.0。

当我尝试运行Scala Spark作业时遇到的几个问题：

1. [当试图从S3读取实木复合地板时，出现错误：java.lang.RuntimeException：无法创建临时目录：[/ mnt / s3]
2. [当我尝试使用https进行API调用时，出现错误：usun.security.validator.ValidatorException：PKIX路径构建失败：sun.security.provider.certpath.SunCertPathBuilderException：无法找到到请求目标的有效证书路径。
3. [当尝试从S3读取文件时，出现错误：找不到com.amazon.ws.emr.hadoop.fs.EmrFileSystem类。我能够通过--jars传递路径来破解此文件。也许不是最好的解决方案。

我猜测在引导过程中或在Docker文件中必须设置一些东西。

有人可以帮忙吗？谢谢！

Answer 1

我找出了S3问题。在测试版中，未安装/ mnt / s3并具有读取和写入权限。

所以我需要将“ docker.allowed.rw-mounts”添加到如下所示的容器执行器配置中：

docker.allowed.rw-mounts = / etc / passwd，/ mnt / s3