Azure Data Factory:设置限制,以使用“复制活动”复制文件数

问题描述 投票:0回答:1

我在管道中使用了一个复制活动来从第2代Azure数据湖中复制文件。源位置可能有1000个文件,并且需要复制这些文件,但是我们需要设置所需的文件数限制被复制。 ADF中是否有任何选项可以实现相同的限制自定义活动?

例如:我在Data Lake中有2000个文件,但是在运行管道时,我应该能够传递一个参数以仅复制500个文件。

关于,桑迪普

azure-data-factory azure-data-lake azure-data-factory-2
1个回答
0
投票

我认为您可以在每个循环中使用查找活动和复制活动来实现这一目的。您还必须使用计数器变量(这会使过程变慢,因为您必须一次复制i文件)。 Loopkup活动的当前限制为5000,因此您必须牢记这一点。

© www.soinside.com 2019 - 2024. All rights reserved.