需要更新哪个Compute Engine配额才能使用50个工作线程(IN_USE_ADDRESSES,CPUS,CPUS_ALL_REGIONS ..?)运行数据流?

问题描述 投票:1回答:1
我们正在使用私人GCP帐户,我们希望处理30 GB的数据并使用SpaCy进行NLP处理。我们希望使用更多的工人,因此决定从最多80名工人开始,如下所示。我们提交了工作,但一些GCP标准用户配额出现了问题:

QUOTA_EXCEEDED: Quota 'IN_USE_ADDRESSES' exceeded. Limit: 8.0 in region XXX

distribution of the workers in Dataflow

[因此,我决定为某些区域的IN_USE_ADDRESSES请求一些新的配额50(花了我几次迭代才能找到可以接受此请求的区域)。我们提交了新的工作,并且遇到了新的配额问题:

QUOTA_EXCEEDED: Quota 'CPUS' exceeded. Limit: 24.0 in region XXX QUOTA_EXCEEDED: Quota 'CPUS_ALL_REGIONS' exceeded. Limit: 32.0 globally

enter image description here

我的问题是,例如,如果我想在一个地区使用50名工人,我需要更改哪些配额?文档https://cloud.google.com/dataflow/quotas似乎不是最新的,因为他们只说“要使用10个Compute Engine实例,您需要10个使用中的IP地址。”。如您所见,这还不够,还需要更改其他配额。是否有一些文档,博客或其他文章可以记录和解释?仅针对一个地区,就有49个Compute Engine配额可以更改!

我们正在使用私人GCP帐户,我们希望处理30 GB的数据并使用SpaCy进行NLP处理。我们想使用更多的工人,所以我们决定从最大数量的工人开始...

google-compute-engine google-cloud-dataflow quota
1个回答
3
投票
我建议您开始使用专用IP而不是公用IP地址。这将以两种方式为您提供帮助:-
© www.soinside.com 2019 - 2024. All rights reserved.