S3对象到期使用boto

问题描述 投票:11回答:3

我试图想办法清理我的s3水桶。我想删除超过X天的所有密钥(在我的情况下,X是30天)。

我无法找到一种删除s3中对象的方法。

我使用了以下方法,其中没有一个工作(通过工作,我的意思是我尝试在X天后获取对象,并且s3仍在服务对象。我期待“找不到对象”或“对象已过期”消息

方法1:

    k = Key(bucket)
    k.key = my_key_name
    expires = datetime.utcnow() + timedelta(seconds=(10))
    expires = expires.strftime("%a, %d %b %Y %H:%M:%S GMT")
    k.set_contents_from_filename(filename,headers={'Expires':expires})

方法2:

    k = Key(bucket)
    k.key = "Event_" + str(key_name) + "_report"
    expires = datetime.utcnow() + timedelta(seconds=(10))
    expires = expires.strftime("%a, %d %b %Y %H:%M:%S GMT")
    k.set_meta_data('Expires', expires)
    k.set_contents_from_filename(filename)

如果任何人都可以共享为他们工作的代码,这将删除s3对象,那将是非常好的

python amazon-s3 boto
3个回答
15
投票

您可以使用lifecycle policies从s3中删除超过X天的对象。例如,假设您有以下对象:

logs/first
logs/second
logs/third
otherfile.txt

要在30天后过期日志/过期,你会说:

import boto
from boto.s3.lifecycle import (
    Lifecycle,
    Expiration,
)

lifecycle = Lifecycle()
lifecycle.add_rule(
    'rulename',
     prefix='logs/',
     status='Enabled',
     expiration=Expiration(days=30)
)

s3 = boto.connect_s3()
bucket = s3.get_bucket('boto-lifecycle-test')
bucket.configure_lifecycle(lifecycle)

您还可以检索生命周期配置:

>>> config = bucket.get_lifecycle_config()
>>> print(config[0])
<Rule: ruleid>
>>> print(config[0].prefix)
logs/
>>> print(config[0].expiration)
<Expiration: in: 30 days>

1
投票

jamesis的答案是使用boto,这是一个旧版本,将被弃用。目前支持的版本是boto3

日志文件夹上的相同过期策略可以按如下方式完成:

import boto3
from botocore.exceptions import ClientError

client = boto3.client('s3')
try:
    policy_status = client.put_bucket_lifecycle_configuration(
               Bucket='boto-lifecycle-test',
               LifecycleConfiguration={
                    'Rules': 
                           [
                             {
                             'Expiration':
                                {
                                 'Days': 30,
                                 'ExpiredObjectDeleteMarker': True
                                },
                             'Prefix': 'logs/',
                             'Filter': {
                               'Prefix': 'logs/',
                             },
                             'Status': 'Enabled',
                            }
                        ]})
except ClientError as e:
     print("Unable to apply bucket policy. \nReason:{0}".format(e))

这将覆盖logs上的任何现有生命周期配置策略。

一个好的方法是检查存储桶是否存在以及您是否有权在应用到期配置之前,即在try-except之前访问它

bucket_exists = client.head_bucket(
   Bucket='boto-lifecycle-test'
)

由于logs文件夹本身不是存储桶而是存储桶boto-lifecycletest中的对象,因此存储桶本身可以具有不同的过期策略。你可以从policy_exists的结果中查看这个,如下所示。

policy_exists = client.get_bucket_lifecycle_configuration(
    Bucket='boto-lifecycle-test')
bucket_policy = policy_exists['Rules'][0]['Expiration']

有关设置过期策略的更多信息,请访问Expiry policy


0
投票

Vaulstein的上述python脚本抛出了格式错误的XML异常。请在“状态”行的末尾删除额外的“,”:“启用”,“。

© www.soinside.com 2019 - 2024. All rights reserved.