如何删除 Amazon S3 中超过 7 天的文件？

20
投票

最简单的方法是在 Amazon S3 存储桶上定义对象生命周期管理。

您可以指定超过一定天数的对象应“过期”（删除）。最好的部分是，这会定期自动发生，您不需要运行自己的脚本。如果您想自己做，最好是编写一个脚本（例如用Python）来检索文件列表并删除早于特定日期的文件。

示例：

GitHub - jordansisssel/s3cleaner：Amazon S3 文件清理器 - 删除超过特定年龄的内容、匹配模式等。

用 shell 脚本来做有点混乱。

13
投票

我们稍微修改了代码，它运行良好。

aws s3 ls BUCKETNAME/ | while read -r line; do createDate=`echo $line|awk {'print $1" "$2'}` createDate=`date -d"$createDate" +%s` olderThan=`date --date "7 days ago" +%s` if [[ $createDate -lt $olderThan ]] then fileName=`echo $line|awk {'print $4'}` if [[ $fileName != "" ]] then aws s3 rm BUCKETNAME/$fileName fi fi done;

3
投票

s3cmd ls s3://your-address-here/ | awk -v dys="2" 'BEGIN { depoch=(dys*86400);cepoch=(systime()-depoch) } { gsub("-"," ",$1);gsub(":"," ",$2 );if (mktime($1" "$2" 00")<=cepoch) { print "s3cmd del "$4 } }' | bash

0
投票

而且，我的 s3 存储桶中的文件采用

FULL_BACKUP_2020-06-25.tar.gz

格式。

#!/bin/bash

#Defining variables.
#Date=`date +%Y-%m-%d`
ThreeDaysOldDate=`date -d '-3 days' +%Y-%m-%d | tr -d '-'`
Obj=`/usr/local/bin/aws s3 ls s3://bucket_name/folder/ | sed -n '2,$'p | awk '{print $4}'| cut -b 13-22 | tr -d '-'`

#Comparing files older than past 3 days and removing them from S3.
for i in $Obj
do
    if [ $i -lt $ThreeDaysOldDate ]; then
        var1="FULL_BACKUP_"
        var2=".tar.gz"
        year=$(echo $i | cut -c 1-4)
        mon=$(echo $i | cut -c 5-6)
        day=$(echo $i | cut -c 7-8)
        DATE=$var1$year-$mon-$day$var2
        /usr/local/bin/aws s3 rm s3://bucket_name/folder/$DATE > /dev/null 2>&1
    fi
done

0
投票

注意：

现有目录结构可能会被删除

。如果您不喜欢目录结构，您可以使用它。

如果您更喜欢目录结构，请提供最后一个子目录的完整路径，并在每次执行时修改它以保护父目录结构

。示例：

s3://BucketName/dir1/dir2/dir3/

s3://BucketName/dir1/dir2/dir4/

s3://BucketName/dir1/dir2/dir5/

vim s3_file_delete.sh

s3bucket="s3://BucketName"
s3dirpath="s3://BucketName/WithOrWithoutDirectoryPath/"
aws s3 ls $s3dirpath --recursive | while read -r line;
    do
     createDate=`echo $line|awk {'print $1" "$2'}`
     createDate=`date -d"$createDate" +%s`
     olderThan=`date --date "159 days ago" +%s`
     if [[ $createDate -lt $olderThan ]]
        then
         fileName=`echo $line|awk '{a="";for (i=4;i<=NF;i++){a=a" "$i}print a}' |awk '{ sub(/^[ \t]+/, ""); print }'`

         if [[ $fileName != "" ]]
         then
                 #echo "$s3bucket/$fileName"
                 aws s3 rm "$s3bucket/$fileName"
         fi
    fi

    done;

0
投票

Prabhu R

中的一个，以便能够在 MacOsX 上执行 shell 脚本（我使用 High Sierra 进行了测试） BUCKETNAME=s3://BucketName/WithOrWithoutDirectoryPath/ aws s3 ls $BUCKETNAME | while read -r line; do createDate=`echo $line|awk {'print $1" "$2'}` createDate=`gdate -d"$createDate" +%s` olderThan=`gdate '+%s' -d '1 week ago'` if [[ $createDate -lt $olderThan ]] then fileName=`echo $line|awk {'print $4'}` if [[ $fileName != "" ]] then echo "deleting " $BUCKETNAME$fileName aws s3 rm $BUCKETNAME$fileName fi fi done;

0
投票

#!/bin/bash #Purpose: functional for 7 days backup retention policy count=$(/usr/bin/sudo /usr/local/bin/aws s3 ls bucketname |nl|tail -n1|awk '{print $1}') if [[ "$count" == 8 ]] then filename=$(/usr/bin/sudo /usr/local/bin/aws s3 ls bucketname|awk '{print $NF}'|head -n1) /usr/bin/sudo /usr/local/bin/aws s3 rm s3://bucketname/$filename fi

0
投票

因此，如果将以下命令保存到 cleanup.sh 中，则可以运行：

./cleanup.sh

#!/bin/bash aws s3 ls $1/ --recursive | while read -r line; do createDate=`echo $line|awk {'print $1" "$2'}` createDate=`date -d"$createDate" +%s` olderThan=`date --date "$2 days ago" +%s` if [[ $createDate -lt $olderThan ]] then fileName=`echo $line|awk {'print $4'}` if [[ $fileName != "" ]] then aws s3 rm s3://$1/$fileName fi fi done;

问题描述投票：0回答：8

8个回答

最新问题

如何删除 Amazon S3 中超过 7 天的文件？

问题描述 投票：0回答：8

8个回答

最新问题

问题描述投票：0回答：8