将S3用作AWS DMS的目标：上载的文件名不变

Question

我们正在使用DMS从SQL Server中获取数据并将其加载到S3存储桶中，然后最终使用Snowpipe for Full Load将数据最终加载到Snowflake DB中。

现在，为了使Snowpipe知道S3存储桶中有新数据，文件名必须与最后一个不同。尝试使用所有可用的任务设置选项（DROP_AND_CREATE，DO_NOTHING，TRUNCATE）使文件名不同，但仍然无法正常工作。它将文件名加载为LOAD00000001.csv

在文档中，它显示文件名将是递增的（例如LOAD00000001.csv，LOAD00000002.csv等。），但是没有发生。这就是为什么Snowpipe无法注册更改的原因。

https://docs.aws.amazon.com/dms/latest/userguide/CHAP_Target.S3.html

有人可以帮忙吗？

Answer 1

对于DMS，每次运行任务时，增量计数器将从1开始重新启动。它没有“不覆盖现有对象”功能。

您最好的选择是通过在文件夹中查找更新的对象时间戳或设置S3事件通知来自行处理负载。