我想要一种在 Google Cloud Storage 存储桶之间复制非常大的数据集的自动化方法 -
例如。项目A中的B桶有6TB数据。单个文件最大可达 300 GB。当“完成”标记文件上传到存储桶时，所有文件都需要复制到项目 B 中的存储桶 B
我一直在尝试使用第一代云功能解决此问题（无法使用第二代）-
云函数检查“完成”文件何时上传到存储桶 A。然后，Python 脚本使用 google-cloud-storage 将存储桶 A 的所有文件复制到存储桶 B
由于 9 分钟超时，这预计会失败
有人知道一种优雅的方法来自动执行此复制吗？谢谢！
严格回答您的问题 - Cloud Functions v1 不可能超过 9 分钟超时。您实际上没有其他选择，除非您愿意通过多个函数调用来拆分和批量传输，这将是大量工作（并且如果您有一个要复制的文件总是需要更多的时间，那么对您没有帮助）比超时）。
GCP 和其他云提供商有许多其他后端产品可供您使用，让您在进行复制时更加灵活。对您的选项的完整讨论与 Stack Overflow 无关。