将表从 AWS PostgreSQL 复制到 Redshift 的最佳方法

问题描述 投票:0回答:1

我正在寻找一种将许多表从 AWS PostgreSQL 复制到 Redshift 数据库的最佳方法,如下要求:

-我们需要将大约 90 个表从 7 个 AWS PostgreSQL 数据库复制到 1 个 Redshift 数据库

-需要每 30 分钟完全刷新一次

-大部分表都很小,只有一些大表(大约10-150M记录)

我正在考虑 Glue,但我们在 AWS 上可能有更好的方法?

希望我能得到一些帮助来做出决定。

提前致谢。

postgresql amazon-web-services amazon-redshift aws-glue data-migration
1个回答
1
投票

这正是 AWS DMS(数据迁移服务)的设计目的。我认为它可以满足您的需求并且成本比胶水低。如果您的需求不完全符合基本模式,胶水的使用也会变得复杂。

对于这么小的尺寸,我个人会比 DMS 更简单。提取小表数据并将其移至 RS 的 lambda 函数非常简单且成本几乎为零。 Step Function 可以在循环中使用不同的小表名称调用 Lambda。您的较大表可以由(相同的)Lambda 更新,并对更新内容以及有关表键的一些信息进行一些基于时间的限制。我会走这条路,因为编写这段代码对我来说很容易(以前做过)。我最好的建议是使用你已经知道、拥有和理解的技能。让工具选择随之而来(如果它满足要求 - 例如成本)。

© www.soinside.com 2019 - 2024. All rights reserved.