adf 中的查找和时间戳增量加载

Question

我想从 informieren DB 到 azure sql db 进行增量加载。我使用查找从 sql 数据库获取最新时间戳，因为完全加载已经完成，我想使用查找输出来进行增量加载。这是我的询问

从 informixdb 选择 *，其中从 informixdb 选择 max(systemtimestamp)) > @{activity('LookupSYS_TIME).output}

Answer 1

要增量加载数据，您可以按照以下步骤操作：

在我的例子中，我将数据从 db 数据库增量加载到 db1 数据库。我在查找活动中运行以下查询：

SELECT MAX(systemtimestamp) AS MaxTimestamp FROM student

成功运行查找活动后，添加的复制活动选择数据库作为源并将以下查询添加到查询选项卡：

Select * from student where systemtimestamp > '@{activity('LookupSYS_TIME').output.firstRow.MaxTimeStamp}'

我设置接收器配置如下：

管道成功执行后，数据增量加载到db1中：