使用预签名 URL 从 S3 正确下载文件

Question

我正在尝试重构我当前的现有代码库以从 S3 下载多个文件。如果我正确理解文档，那么我在短时间内发出了太多请求 (1)、(2) 和 (3)。

查看 AWS SDK 文档，似乎存在正确的实现，如下所述：

• https://docs.aws.amazon.com/sdkref/latest/guide/feature-retry-behavior.html

但是到目前为止我还无法使用它。我确实检查了示例页面：

请参阅“上传或下载大文件”：

• https://docs.aws.amazon.com/sdk-for-net/v3/developer-guide/csharp_s3_code_examples.html

看起来 AmazonS3Client 不接受预签名 URL 作为输入（仅输出）。 TransferUtility

同样的故事

有人知道如何使用 AWS SDK 使用预签名 URL 正确从 S3 下载多个文件吗？我有一个可重现的案例，其中基本 HTTP 客户端设置因文件数量等于 7000 而失败。

参考资料：

1. https://repost.aws/knowledge-center/http-5xx-errors-s3
2. https://docs.aws.amazon.com/sdkref/latest/guide/feature-retry-behavior.html
3. https://docs.aws.amazon.com/sdk-for-net/v3/developer-guide/retries-timeouts.html

Answer 1

您可以将 s3 存储桶克隆到本地目录，这将自动下载您的视频