数据从S3迁移到RDS

Question

我的工作是在一个需求上，我正在做多部分上传的csv文件从on prem服务器到S3 Bucket。

为了实现这一点，使用AWS Lambda，我创建了一个预签名的网址，并使用这个网址，我上传的csv文件。现在，一旦我在AWS S3的文件，我希望它被移动到AWS RDS Oracle DB。最初，我打算使用AWS Lambda的。

因此，一旦我在S3中拥有文件，它就会触发lambda(s3事件)，lambda将把这个文件推送到RDS。但这个问题是与文件大小（600 MB）。

我正在寻找一些其他的方法，每当有一个文件上传到S3，它应该触发任何AWS服务，该服务将推送这个csv文件到RDS。我已经通过AWS DMSData Pipeline，但无法找到任何方法来自动迁移。

我需要在每次S3上传时自动迁移，这也是成本效益。

Answer 1

设置S3集成和建立SPROCS，以帮助自动加载。细节发现 此处.

更新。

看来你甚至不需要创建一个SPROC。你只需要使用RDS过程，就像概述的那样。此处. 然后，你只需创建一个事件驱动的lambda函数，在给定的S3事件上触发--例如对象PUT()、POST()、COPY等--传递S3元数据以访问事件对象。这里 是一个简单的Python例子，它说明了Lambda和config是什么样子的。然后，你将使用在触发事件上传递的元数据--就像在Python示例中所概述的那样--来动态地创建你的过程调用，然后执行该过程。你也可以添加符合你需求的后续工作流逻辑--例如 TASK_ID 希望能帮到你