上游依赖项的数据工厂等待超时

问题描述 投票:1回答:1

我目前正在使用Data Factory V1。

我有一个包含2个链式活动的管道:

。第一个活动是复制活动,它将SQLDB中的表提取到Data Lake Store中的.tsv文件中

。第二个活动是Data Lake Analytics U-SQL活动,它收集先前创建的.tsv文件中的数据,并将其添加到Data Lake数据库中的现有表中。

显然,我只希望第二个活动在第一个活动之后运行,所以我使用第一个活动的输出数据集作为第二个活动的输入数据,它工作正常。

但是,如果第一个活动失败,第二个活动将停留在“等待:数据集依赖关系(上游依赖关系未准备好)”状态。

我为第二个活动设置了policy-> timeout属性,但它似乎只在此活动开始后才起作用。因此,由于活动永远不会启动,因此它不会超时并且会一直停滞不前。

如何为此“等待”期间设置超时?

谢谢

pipeline azure-data-factory azure-data-lake
1个回答
0
投票

这就是v1的工作原理。如果您的上游数据集失败,则第二个数据集将保持等待状态,直到第一个数据集成功完成。

如果您正在使用计划,则需要使用第一个活动修复问题并再次运行失败的切片。如果您正在使用一次性管道,则必须在解决问题后再次运行整个管道。

超时仅在处理实际开始时起作用,如de Data Factory documentation中所写。

如果片上的数据处理时间超过超时值,则会取消,系统会尝试重试处理。重试次数取决于重试属性。发生超时时,状态将设置为TimedOut。

© www.soinside.com 2019 - 2024. All rights reserved.