如何从ADF复制数据活动中获取给定列的最大值？

Question

我有一个复制数据的活动，以内部部署的SQL Server为源，ADLS Gen2为汇。有一个控制表来获取tableName，watermarkDateColumn和watermarkDatetime来从源数据库中提取增量数据。

在sink中拉取数据后，我想得到数据集中watermarkDateColumn的最大值。它可以从 @activity('copyActivity1').output?

我不允许使用一个额外的查询活动来查询源表，以便在管道中获得最大(watermarkDateColumn)。

Answer 1

复制活动只能用于数据传输，不能用于任何其他聚合功能。所以@activity('copyActivity1').output是没用的。既然你说不能使用查找活动，恐怕你的要求目前还不能实现。

如果你不喜欢使用额外的活动，我建议你使用数据流活动，这样更灵活。内置聚合 数据流活动中的功能。