云功能更新oracle onprem db以处理大量数据

Question

我们的应用程序具有在 GCP 存储桶中上传 20TB 文件的用例。 一旦上传到 GCP 存储桶，相应的存储桶路径应更新为本地 Oracle 数据库。 GCP云功能或GCP pub sub将支持这个数据量吗？

需要一些解决方案来更新 oracle on prem db 中的 GCP 路径以处理大量数据

Answer 1

Cloud Functions（最大 32Gb 内存）或 PubSub（每条消息最大 10Mb）无法一次性处理如此大量的数据。

但是 Cloud Functions/PubSub 可以使用有协调器/通知器

• 您的应用程序在云存储中创建一个 20Tb 文件
• 在 Cloud Storage 上的 Finalized 事件上调用 Cloud Functions
• 云函数创建PubSub消息
• 您有一个 OnPrem 环境，可以拉取 PubSub 订阅（推送也是可能的，但对于您的安全团队来说通常更复杂），并且当检测到消息时，会在本地下载 20Tb 文件（您可以想象云功能会创建一个签名 URL）并将其放入消息中，以允许您的 OnPrem 环境在无需身份验证的情况下下载文件），然后将其加载到 Oracle 上。