即使指定了hadoopConfig，Spark也无法写入S3加密存储桶

Question

[当我尝试写入从EMR上运行的我的Spark Streaming App进行AES-256加密的S3存储桶时，它会抛出403。无论出于什么原因，Spark会话都不尊重“ fs.s3a.server-side-加密算法”配置选项。

这是我正在使用的代码。

sparkSession.sparkContext().hadoopConfiguration().set("fs.s3a.access.key",accessKeyId);
sparkSession.sparkContext().hadoopConfiguration().set("fs.s3a.secret.key", secretKeyId);
sparkSession.sparkContext().hadoopConfiguration().set("fs.s3a.server-side-encryption-algorithm","AES256");

[当我通过AWS SDK使用常规Java代码时，我可以上传文件而没有任何问题。

Spark Session如何不兑现这一点。

谢谢卫星]]

[当我尝试从运行在EMR上的我的Spark Streaming App写入经过AES-256加密的AES-256加密的S3存储桶时，它会抛出403。无论出于什么原因，Spark会话都不遵守“ fs.s3a.server-。 。

Answer 1

能够解决它。我这是愚蠢的错误。