ADF 单事件触发多个文件

问题描述 投票:0回答:1

我已经为 blob 存储文件夹(如 container/daily_files )配置了事件触发器。假设 file1.txt 和 file2.txt 将同时登陆,因此它将触发同一管道的两个实例。我想控制它并仅使用 ADF 管道的单个实例执行。有什么办法可以实现这个目标吗?

azure azure-data-factory eventtrigger azure-data-lake-gen2
1个回答
0
投票

不幸的是没有直接的方法。 你必须:

  1. 将管道设为并行执行1,这样即使管道被触发两次,也会顺序执行。然后在初始执行中处理所有文件,将它们存档,并在第二次执行中跳过执行。 有点相似: https://datasharkx.wordpress.com/2022/09/24/event-trigger-of-synapse-azure-data-factory-pipeline-on-arrival-of-nth-file-in-azure-blob-storage /

  2. blob 触发器可以位于管道上,该管道可以根据验证文件计数来触发主管道

© www.soinside.com 2019 - 2024. All rights reserved.