将数据从 Dynamo 实时移动到 Redshift

Question

我想将数据从我们的 dynamo DB 移动到 redshift，但我想实时执行此操作，因为我们目前正在进行迁移并且仍在使用 dynamo DB，任何建议将不胜感激。

我做了一些研究，发现了以下可能的解决方案

• AWS 数据管道
• AWS Glue - 听说它有时不是最好的
• 亚马逊运动
• AWS Lambda
• Amazon DynamoDB 流
• AWS DMS

我对其中一些服务没有太多经验，因此任何建议的帮助将不胜感激

Answer 1

我会考虑使用 DynamoDB Streams。有两种选择：

1. Kinesis Data Streams（AWS 推荐，可能最适合高速数据更改）
2. Lambda 触发器（更简单，足以满足低速变化）

发生更改时，更改将添加到 Kinesis 或触发的 lambda 函数可以访问的流中。对于 lambda，事件存储在触发

event

对象中。然后，您可以使用 lamdba 函数将数据移动到

RedShift

。