将数据从AWS S3复制到Aurora Postgres

Question

我正在尝试将数据从AWS S3复制到Aurora Postgres。目前我的流程如下：

1. 从本地S3下载文件（在EC2实例上）
2. 运行“COPY FROM STDIN ...”命令将数据从输入流加载到Aurora postgres。

我想知道是否有命令直接从S3复制到Aurora postgres。

Answer 1

来自AWS的这篇博文提到能够用AWS Database Migration service 做到这一点

https://aws.amazon.com/blogs/database/stream-data-into-an-aurora-postgresql-database-using-aws-dms-and-amazon-kinesis-data-firehose/

AWS DMS可以从源S3存储桶读取数据并将其加载到目标数据库中。为此，请提供对包含一个或多个数据文件的S3存储桶的访问权限。在该S3存储桶中，包含一个JSON文件，该文件描述数据与这些文件中数据的数据库表之间的映射。

源数据文件必须采用逗号分隔值（CSV）格式。使用下面显示的命名约定命名文件。在此约定中，schemaName是源模式，tableName是该模式中的表的名称。