如何配置Spark驱动程序以将给定的内存参数用于内存（RAM）和磁盘？

Question

[仅在内存（RAM）中使用spark时，由于内存较少而发生Java堆错误。我想同时使用RAM和磁盘。

Answer 1

为了处理Java堆内存，可以通过以下命令增加它

-XmxSIZE

For example: -Xmx1024M

但是对于Spark内存管理，您必须通过Spark环境文件（spark / conf / spark-env）设置spark驱动程序内存和执行程序内存。