我有一个本地文件共享，该共享已复制到雪球中并导入到s3存储桶（约70TB；许多小文件）自导入以来，用户已将内容添加到本地共享。我试图获取所有不存在的文件的列表，然后将它们传输到存储桶。
我尝试了一个同步和一个s3cmd同步，但是它必须遍历每个项目，我的想法是，如果我导出列表，然后仅运行需要移动它的项目，则可以节省大量时间。
正在寻求最简单，最快的方法的帮助
[如果您确定文件没有更改，即文件路径唯一地标识了内容，那么可以使用这种方法。另外，您可以检查尺寸是否保持不变。
要获取s3存储桶中的对象列表，请使用list-objects：
aws s3api list-objects --bucket text-content --query 'Contents[].{Key: Key, Size: Size}')