是否可以在映射数据流中维护文件夹结构和接收器文件?

问题描述 投票:0回答:2

我需要在映射数据流中一次处理多个文件,但需要在同步时维护源文件夹结构。 换句话说,结构

year=yyyy/month=mm/day=dd/files

水槽一侧也必须维护。 有没有办法配置接收器设置来实现此目的? 请检查附件中源数据的文件夹结构和映射数据流的设计。 任何帮助,将不胜感激。 谢谢你。

azure azure-pipelines azure-data-factory azure-synapse
2个回答
1
投票

是的,您可以在

Dataset
本身中使接收器路径动态化,然后在数据流映射中的接收器中使用该数据集。

Dataset
中的Connection选项卡下,对于
File path
选项,请使用以下动态表达式:

@concat(formatDateTime(utcNow(),'yyyy'),'/',formatDateTime(utcNow(),'MM'),'/',formatDateTime(utcNow(),'dd'),'/')

在数据流接收器中使用相同的数据集并运行管道。

路径将以当前的

YYYY/MM/dd
格式创建,文件将转储到那里。请参阅下图。


0
投票

我有与上面类似的要求,但这里略有不同。

我有文件夹 A、B、C,需要将文件下沉到与 A、B、C 结构相同的另一个容器,例如,如果我正在处理文件夹 A 中的文件,它应该下沉到输出容器文件夹 A 相同的内容B 和 C

© www.soinside.com 2019 - 2024. All rights reserved.