json文件每天发布到一个s3存储桶。我想获取该json文件，对其进行一些处理，然后将数据发布到新的s3存储桶中，它将被拾取并存储在Redshift中。为此推荐的AWS管道是什么？ AWS lambda在新的json文件放在s3上时触发，然后启动类似AWS批处理作业的东西？或者是其他东西？我不熟悉所有AWS Web服务，因此可能忽略了一些显而易见的事情。
所以流程看起来像这样：
s3 bucket - >数据处理 - > s3 bucket - > redshift
这是我不确定的数据处理步骤 - 如何安排一些可以日常有效运行的可扩展的东西，并将数据放回原处。处理是解析json数据和一些聚合和数据清理。
这是我不确定的数据处理步骤 - 如何安排一些可以日常有效运行的可扩展的东西，并将数据放回原处。
不要担心Lambda的可扩展性，只关注短期运行的工作。这是一个例子：https://docs.aws.amazon.com/lambda/latest/dg/with-scheduledevents-example.html
我认为你缺少的一个难题是Schedule Expressions使用Rate或Cron的文档：https://docs.aws.amazon.com/lambda/latest/dg/with-scheduledevents-example.html