如何获取从存储传输服务作业（AWS -> GCP）中跳过的数据

Question

我能够使用 GCP 存储传输服务成功地将数据从 AWS 中的存储桶传输到 GCP，并且我发现跳过了 17 个文件，因为 GCP 上的目标存储桶中存在同名文件，

如何识别这17个文件？

Answer 1

您在执行传输作业之前是否设置了日志记录？如果没有，您可以通过启用日志记录来查看所有失败的文件，然后重新运行传输，跳过已传输的文件。您可以按照以下步骤操作：

第 1 步：使用 loggingConfig 修补

失败的 TransferJob

第 2 步：再次运行传输作业 - 应重试所有失败的对象

第 3 步：读取传输日志以查找所有失败对象的名称（和详细信息）。

您可以查看此文档以了解更多详细信息 -

用于存储传输服务的云日志。