Azure数据工厂复制活动错误记录异常处理

问题描述 投票:0回答:1

在复制活动中,设置中有一项功能,我们可以告诉系统如何处理错误。有3个选项。在第一个错误记录上中止,跳过所有错误行,跳过错误行并将其记录。我们能否以某种方式实现以下功能?-如果文件中有10%以上的记录引发错误,请跳过该文件,否则加载

提前感谢

exception error-handling record azure-data-factory copy-activity
1个回答
0
投票

我有一种解决方法,如果您有更好的解决方法,请告诉我-使用容错设置作为“跳过并记录不兼容的行”将数据加载到目标-我们将获得达到复制活动的总行数以及进入目标的行数。从这两个数字我们可以计算出%。-如果该百分比大于10(或阈值),则从目标中删除数据并通知相关团队或将其放入审核日志中]

FYI-如果我们直接使用脚本来加载数据,则雪花DW中提供此功能。

© www.soinside.com 2019 - 2024. All rights reserved.