Dataproc Serverless 计算资源配额

问题描述 投票:0回答:1

我尝试在 Serverless 中一次执行超过 10 个 Dataproc 批次,这些批次是由 Airflow 自动触发的,但只有 5-6 个批次正在执行,其余的由于配额不足而失败。

我尝试更改Airflow中的配置中的worker数量,但无法解决。帮助我在 Dataproc 和 Airflow 中进行必要的配置编辑,以便一次运行 10 个以上的 Dataproc 批次。

google-cloud-platform pyspark airflow google-cloud-dataproc
1个回答
0
投票

要运行 Dataproc Serverless 工作负载,您需要确保有足够的计算资源配额供其使用。请参阅文档,详细了解您可能需要调整才能运行 Dataproc Serverless 工作负载的配额:https://cloud.google.com/dataproc-serverless/quotas#compute-engine

© www.soinside.com 2019 - 2024. All rights reserved.