将文件从 s3 移动到 Sagemaker 实例

Question

所以问题如下：我有几个相对较大（20-30GB）的.zip文件，我已上传到s3 Bucket。由于解压缩它们的过程相当复杂（因为在我的情况下，使用 Lambda 的标准方法将不起作用，我相信由于未归档文档的大小将在 100-105GB 左右），所以我想到在Sagemaker Notebook 立即并在那里取消存档。问题是我的互联网带宽很弱，并且无法将文件直接作为一个块上传。有什么方法可以将这些文件从 s3 存储桶传输到 SM 实例（不使用从本地计算机直接上传）？

非常感谢！

Answer 1

1. 确保 SageMaker 笔记本实例上有足够的磁盘空间。
2. 在笔记本实例上，打开终端并运行

   aws s3 sync s3://bucket/zip_files_folder ./SageMaker

3. 解压等等...

本地互联网连接没有任何区别，因为文件在 S3 和笔记本实例之间传输，这两个实例都在 AWS 区域中运行。