按计划获取数据并存储在AWS S3中

Question

我读过很多讨论并了解到使用 lambda 可以实现这一点。我的问题是是否有托管服务可以促进这一点？我正在考虑按计划从多个 http 端点获取 CSV，然后在 Glue 中进行处理。在此过程中理想地捕获 S3 中的内容。

内容小于100mb，时间不会超过15分钟限制。

谢谢

探索了 App Sync 连接器和 lambda。

Answer 1

好吧，让我总结一下，您想要按计划从 HTTP 端点获取数据，将其存储在 S3 中，然后在 Glue 中处理它，对吧。

这可以使用 Lambda + EventBridge 来完成：

• 使用 S3 源创建 Glue ETL 作业并添加您需要的其他步骤。
• 创建将按计划触发的 lambda 使用 EventBridge 计划 AWS Lambda 的示例。 Lambda 会将数据加载到 S3 中。
• 从 Lambda 触发 Glue ETL 作业 启动 AWS Glue 作业的 Lambda 示例