Azure 数据工厂获取嵌套 json 对象的文件路径

Question

我在 Azure 数据工厂中遇到以下问题：

容器/../../year=2023/m=1/d=01/h=01/m=5/file.json

2023年每5分钟、每小时、每天、每月都有一个json文件。 我想获取所有文件路径的列表。这样我就可以循环遍历它们并复制 json 数据。

我怎样才能做到这一点？

我尝试了获取元数据活动。然而，这不能递归地工作。

Answer 1

由于获取元数据不支持递归迭代。

尝试直接递归遍历的另一种方法是采用迭代方法，使用 ADF 中作为数组变量实现的队列。您可以按照上面的文档来创建这种迭代方法。

@Richard Swinbank 此处在 Azure 数据工厂中递归获取元数据文档讨论了相同情况的解决方法。

我想获取所有文件路径的列表。这样我就可以循环遍历它们并复制 json 数据。

要使用数据流或复制活动复制数据，您只需使用通配符即可递归复制文件。