如何减少 ADF 管道读取 FileShare 中的所有文件并仅选择最新文件所花费的时间

Question

我们每天都会收到文件到 fileShare，这会增加该文件夹中保存的文件数量。因此，ADF 管道需要花费大量时间来选择最新文件。我想知道如何减少管道遍历文件夹中所有文件所需的时间。谢谢！

这是我的管道的概述

Answer 1

在您的初始获取元数据活动（获取文件列表）中，将文件限制为仅在最后一天修改的文件：

开始时间为 24 小时前：

@subtractFromTime(utcnow(),1440,'Minute')

结束时间现在是：

utcnow()

由于您想要查找最新的文件，因此仅引入最近 24 小时内修改的文件将减少 foreach 活动中的迭代次数并缩短运行时间。