Azure Data Factory管道“发生故障”

Question

我正在设置ADF管道以将blob复制到Azure SQL DB。我的管道中有一个Iteration活动，我在其中设置了一个计数器以仅在存在blob的情况下循环和复制。

除了一些随机的PK违规之外，这很有用，我将不得不手动检查。因此，我编辑了管道以记录错误，然后继续。因此，我这样设置了管道。如果复制活动由于主键冲突而失败，则（（现在））忽略，但是使用存储过程记录详细信息并照常继续操作，即更新循环计数器以获取下一个文件夹。

不幸的是，日志失败的成功不执行“设置变量”活动。因此它以无限循环返回，并不断返回相同的异常，但是存储过程活动本身正在正确记录错误消息。

如果我创建一个新的“设置变量”并完全执行SetLoopVariable的操作，那似乎还可以。但这意味着我必须在此之后复制每个活动以具有两个单独的路径。我觉得这是多余的。

BACKGROUND：我的文件结构为container / YYYY / MM / dd / HH / mm，每小时至少有一个文件，但一天中的每一分钟都没有，所以我要检查是否文件夹存在，然后尝试复制。

Answer 1

这是设计使然。由于Data Factory V2 Activity Dependencies are a Logical AND，仅当复制数据成功和失败时，才会调用SetVariable。