为什么我不能在AWS Elastic Map Reduce中更改“spark.driver.memory”值？

Question

我想在AWS EMR上调整我的spark集群，但我无法更改spark.driver.memory的默认值，因为我的数据集很大，导致每个spark应用程序崩溃。

我尝试在主机上手动编辑spark-defaults.conf文件，我还尝试在创建集群时直接使用EMR仪表板上的JSON文件进行配置。

这是使用的JSON文件：

[
  {
    "Classification": "spark-defaults",
    "Properties": {
      "spark.driver.memory": "7g",
      "spark.driver.cores": "5",
      "spark.executor.memory": "7g",
      "spark.executor.cores": "5",
      "spark.executor.instances": "11"
      }
  }
]

使用JSON文件后，可以在“spark-defaults.conf”中正确找到配置，但在spark仪表板上，“spark.driver.memory”的默认值始终为1000M，而其他值则正确修改。有人遇到过同样的问题吗？先感谢您。

Answer 1

你需要设置

maximizeResourceAllocation =真

在spark-defaults设置中

[
   {
    "Classification": "spark",
    "Properties": {
       "maximizeResourceAllocation": "true"
    }
  }
]