ADF 调度以停止重叠管道

Question

我正在尝试创建一个每 15 分钟运行一次的管道，但我想避免管道重叠，因此，在运行时间超过预期 15 分钟的情况下，我们会出现积压的排队管道。

因此，我还尝试了翻滚窗口触发器，当该过程需要> 15分钟时，这非常有效。但是，例如，如果需要 5 分钟，则会启动下一个管道。我是否可以避免这种情况，以便它每 15 分钟或更长时间运行一次，而无需排队？

无需排队的预期管道结果示例。

管道ID	管道名称	运行开始	运行结束	状态
1	实时加载	2024-04-08 09:00:00	2024-04-08 09:13:00
2	实时加载	2024-04-08 09:15:00	2024-04-08 09:33:00
3	实时加载	2024-04-08 09:33:00	2024-04-08 09:45:00

Answer 1

您可以根据您的需求使用翻滚窗口本身，因为它支持自相关触发器。以下是您可以在触发器中提供的设置：

• 选择触发类型为

  TumblingWindowTrigger

• 添加所需的开始日期。
• 添加重复周期为每 15 分钟
• 通过展开高级部分添加依赖项。
• 在依赖项中添加相同的触发器。给出-15 分钟的偏移量。这将确保当前触发器取决于之前的 15 分钟窗口。

触发设置：

• 当我为其中一个管道运行触发器时，它仅在接下来的 15 分钟窗口中执行。