S3对象上的Google Cloud Video Intelligence API

Question

使用Google Cloud Video Intelligence API处理/分析S3对象的最佳方法是什么？我目前的计划是将S3对象复制到Google Cloud Storage（GCS），然后调用API。要从S3复制到GCS，似乎只有Google Cloud Transfer Service API。

我想要的流程是：

1. 用户上传到S3。

2. 我的后端使用Google Cloud Transfer Service API从S3复制到GCS。

3. 在复制的对象上运行Google Cloud Video Intelligence API。

4. 检索结果。

5. 删除复制的对象。

是否有更好的选择可以避免复制？如果不是，那么Transfer Service API是复制单个对象的正确选择吗？

谢谢。

Answer 1

如果您必须将数据存储在S3中作为权威来源，那么我认为您当前的计划可能是最好的计划。如果您可以将GCS用作数据存储的家，那么显然可以简化此特定任务的工作。

Google Cloud的API希望能够轻松快速地访问数据（而不是尝试从诸如S3之类的某些远程服务中提取数据）。这意味着（从Google的角度来看）保存该数据的唯一合理位置是在GCS中。

Google Cloud Storage的转移服务绝对是正确的选择，如果您的用例合理，可以安排定期转移，或者按需触发一次性转移。对于以S3作为数据源的情况，您还可以应用过滤器以包含或排除（例如，目录前缀）和根据传输的最后修改时间来限制传输（如S3所报告）。

上面，您可以看到如何过滤文件以按前缀传输，并且还仅传输在过去24小时内更改过的文件。