具有动态路径的ADL之间的Azure Data Factory副本

Question

我正在尝试在两个Azure数据湖GEN1之间创建一个复制活动。我必须在其中一个子文件夹可变的路径上进行复制，例如：

rootFolder/subFolder1/*/subFolder3

其中*可以采用不同的值，并且必须为所有这些可能的值自动创建副本，因此不值得将该子文件夹设置为参数，并且不应该将管道的运行次数尽可能多地作为可能的值。

我想知道是否有一种方法可以自动实现此复制活动，我是Azure和ADF的新手。

Answer 1

这可以通过在“复制活动”的源设置中使用通配符过滤来实现。

设置通配符文件夹路径=rootFolder/subFolder1/*/subFolder3通配符文件名= *或* .json或* .txt或* .csv ..等，根据您的要求。

例如：

要了解有关通配符过滤器的文件夹路径和文件名的最终行为，请参阅此MS Doc：https://docs.microsoft.com/azure/data-factory/connector-azure-data-lake-store#folder-and-file-filter-examples

以下是与类似要求有关的线程，可能会有所帮助：

https://social.msdn.microsoft.com/Forums/en-US/d2b6c77b-c6de-4369-94ba-5a0c7e31a510/iterate-to-every-single-folder-and-each-files-into-a-single-csv?forum=AzureDataFactory#c9696acd-39d0-491f-8ced-7bf135b82c10

https://social.msdn.microsoft.com/Forums/en-US/00c93358-0291-44d9-96d8-266fadc7fd47/copy-data-to-separate-directory-based-on-folder-name?forum=AzureDataFactory