Azure 复制活动

Question

Azure 复制活动花费了太多时间，希望减少它。基本上我有大约 200 个文件夹，每天数据都会使用最新的日期文件夹进行更新。我只需要复制当前日期的几个文件。我们可以减少扫描时间，而不是扫描所有 200 个文件夹，它应该只扫描当前日期吗？

我尝试使用上次修改的过滤器，但它仍在扫描所有文件并且仅获取当前修改的文件。花同样的时间

Answer 1

由于您有日期文件夹，只需在变量中构建当前日期文件夹字符串，并在复制活动中使用通配符路径，如下所示。

根据日期文件夹格式，生成ADF中的日期字符串。

作为示例，我采用了如下所示的日期文件夹。

因此，以相同的格式生成当前日期字符串

yyyy-MM-dd

并将该字符串存储在变量中。您需要根据日期文件夹更改格式。

@utcnow('yyyy-MM-dd')

在源数据集中，提供直到容器

inputdata

的文件路径，并在复制活动源通配符路径中提供此变量，如下所示。

给出目标数据集中的目标文件夹。

调试管道，它将复制当前日期文件夹中的所有文件。