Google Cloud Storage 中每个文件夹的最大文件数

问题描述 投票:0回答:2

我想将 Google Cloud Storage 设置为我的数据湖,并且我正在使用 Pubsub + 数据流将交互保存到其中。 Dataflow 每 5 分钟创建一个新文件,并将其存储在 GCS 文件夹中。这最终会导致给定文件夹内出现大量文件。 GCS 文件夹中可以保存的文件数量有限制吗?

file memory google-cloud-storage limit directory-structure
2个回答
5
投票

没有实际限制。请记住,云存储中甚至没有真正的“文件夹”。只有一些带有名称看起来像文件夹的路径的对象,目的是帮助您组织和导航所有内容。


3
投票

上限为 5.2 pentillion,这甚至需要很多年才能创造出来

我们将一些服务存储为零计算 JSON 文件,并在 GCP 存储桶中包含子文件夹。我想确认我们可以在一个存储桶中存储超过 42 亿个文件夹,这样我们就可以通过 ID 访问我们的文件,就像在数据库中一样(目前每个文件夹最多有超过 10 万个文件 - 我们基本上使用 GCP 存储桶作为一种类型)的数据库的读:写比率远远超过 1m:1)。

我要求我们的工程团队开票并确认我们的使用是实用的,并且可以通过 42 亿个项目。 Google Cloud 支持人员确认,目前使用 Cloud Storage 的客户远远超出了 42 亿(32 位)限制,达到数万亿,并且主索引当前涉及 64 位指针,这可能是唯一的限制。

64 位是 5.2 pentillion,准确地说是 9,223,372,036,854,775,807。

它们确实有其他相关限制,例如每个存储桶每秒 1k 写入/5k 读取,它可以自动扩展,但有细微差别,因此,如果您认为可能会达到该限制,您可能需要在这里阅读:https ://cloud.google.com/storage/docs/request-rate.

作为参考,这里有一般存储配额和限制:https://cloud.google.com/storage/quotas

...它没有描述 64 位/5.2 pentillion 项目的限制,可能是因为该限制实际上是不可能达到的,因为创建这些对象需要大约十年的时间,之后将是 2032 年,他们可能会设计超越 64 位的 :)

© www.soinside.com 2019 - 2024. All rights reserved.