如何解决 EMR Spark 内存不足错误

Question

我有一个 Spark 作业，正在尝试在 EMR 上执行。它给了我以下错误：

java.lang.OutOfMemoryError: Java heap space
-XX:OnOutOfMemoryError="kill -9 %p"
Executing /bin/sh -c "kill -9 22611"...

我已经尝试过使用 m5.12xlarge 类型的 10 个核心实例，但仍然存在同样的问题。我的代码工作正常，因为我已经通过 AWS Glue 对其进行了测试，并且在 G1.X 和 20 个 DPU 上取得了成功（大约需要 3 小时才能完成工作）。关于如何选择 EMR 实例类型有什么建议吗？

Answer 1

因此，仅更改实例类型并不总是有帮助，我们还需要使用 Spark 配置。我遵循了here提到的内容，并且 EMR 上的工作很成功。

Answer 2

我遇到了同样的错误，您究竟更改了哪些配置有助于避免此错误？