将文件从一个 S3 存储桶复制到另一个 S3 存储桶

Question

我必须将大约 20 TB 的数据从一个 S3 存储桶迁移到另一个 S3 存储桶，这两个存储桶都位于不同供应商的不同帐户中，而且我不是其中任何一个的所有者。

我已获得使用 IAM id/secert 访问源存储桶和目标存储桶的权限。

我正在使用 aws CLI 或 rclone CLI 进行传输。

我计划从 AWS 外部的盒子运行 CLI 命令，因为我无权访问源或目标 AWS。

复制或同步是否会通过 AWS 将文件直接移动到目的地，还是将文件从源下载到我的本地盒子，然后上传到目的地？

我自然希望 AWS 能够在不影响我的盒子的情况下进行传输。

提前谢谢您。

Answer 1

要在 S3 存储桶之间复制对象，您需要一组一组凭证，并对源存储桶具有读取访问权限，对目标存储桶具有写入访问权限。这需要供应商之间的协调，因为他们必须共同努力才能提供此访问权限。

如果你能做到这一点，那么你可以使用

aws s3 sync

或

aws s3 cp --recursive

直接在存储桶之间复制文件。

但是，如果您无法使用一组凭据来访问两个存储桶，那么您需要：

• 从源存储桶下载对象，然后
• 将对象上传到目标存储桶

最好从与 S3 存储桶位于同一区域的 Amazon EC2 实例来完成此操作，因为这将提供最低的延迟并避免数据传输费用。 EC2 实例不需要与存储桶位于同一账户中。