使用 AWS Lambda 和 DynamoDB 进行网络抓取

问题描述 投票:0回答:0

我正在尝试使用 lambda 每 15 分钟从网站上抓取一次数据,并使用 dynamoDB 将其存储在表中以进行时间序列成本分析。该代码有效,但 dynamoDB 具有读取限制容量,我似乎无法检索 2240 行后的数据以将其存储为 CSV。还有其他方法可以继续免费存储 15 分钟的数据吗?您认为将 dynamoDB 数据存储在 s3 存储桶上并从 dynamo 表中删除旧数据条目可行吗?

amazon-web-services amazon-s3 web-scraping amazon-dynamodb
© www.soinside.com 2019 - 2024. All rights reserved.