AWS粘合剂每次都会将完整数据从源复制到目标,即使有书签也是如此

问题描述 投票:2回答:1

我在aws glue控制台中从向导生成了一个胶水作业。我没有在生成任务时更改默认脚本。它从posgres数据库表(源)获取数据并写入另一个postgres数据库(目标)。我在ide中选择了启用书签。每当任务运行时,即使源中没有插入,更新或删除,它也会将完整的源数据库表复制到目标表。我理解启用了书签,它应该只复制上次运行的源中的更改,但这不会发生。因此,如果源表中有4行,则每次运行任务时,它会将所有4行添加到目标,并且目标的行数增加1.如何使其仅处理来自上一次的源数据的chages跑?此外,它如何书签?如果在两次运行之间修改了一行(更新sql语句),它将如何“更新”正确的行?

aws-glue
1个回答
2
投票

书签仅在两个S3端点之间复制数据时有效。不支持JDBC / ODBC。

© www.soinside.com 2019 - 2024. All rights reserved.