AWS EMR 无服务器 Spark 作业异常

问题描述 投票:0回答:1

尝试运行一个简单的 Spark 作业(从 s3 读取 json 文件并打印架构)时出现此错误。

"com.amazonaws.emr.serverless.shaded.software.amazon.awssdk.services.emrserverlessresourcemanager.model.ServiceQuotaExceededException: Worker could not be allocated as the account has reached the service limit on the maximum vCPU it can use concurrently "

我仅使用 1 个 driver.core、1 个 executor.core 和 1 个执行程序实例运行这一项作业。 ServiceQuota 设置为同时使用 16vCPU。有人可以解释我如何达到服务配额限制吗?

amazon-web-services pyspark serverless amazon-emr
1个回答
0
投票

请看一下 aws 最佳实践吗? 这是有关 Spark 配置的 aws emr 最佳实践文档!

© www.soinside.com 2019 - 2024. All rights reserved.