Sync aws s3 冰川文件不检查文件大小的时间戳但只检查目标文件是否存在?

问题描述 投票:0回答:0

如何同步 aws s3 冰川文件而不检查文件大小的时间戳,而只检查目标文件是否存在?

我们定期将我们的图片源文件(大约几十万)备份到 AWS 冰川,使用 --size-only 和 --delete 选项(因为文件的时间戳可能会有所不同,具体取决于编辑软件更改的事实)每次访问文件时的时间戳)。因此,仅编辑过的文件,同步了大小不同的文件,以及在 s3 目标上删除了源上不再存在的文件。 但最近当我们更改编辑软件版本时,它不得不升级其目录,更糟糕的是,在更新时它写入了一些文件,如 JPG 或 DNG 一些内部元数据,这本身导致了它们的大小发生变化。因此,现在 --size-only 选项是不够的,它现在根本不重要,因为 AWS 试图同步大约 80% 的文件,这些文件没有通过编辑更新,并且在源上没有任何实际差异,但大约元数据添加的大小差异很小。事实上,看起来我们必须重新上传 80% 的文件,没有任何理由。

所以我想知道,是否有可能仅根据文件的存在而不是其大小时间戳来同步本地和 s3 存储桶?

amazon-web-services amazon-s3 backup aws-cli
© www.soinside.com 2019 - 2024. All rights reserved.