Beat 方法用原始数据验证/测试输出数据

问题描述 投票:0回答:1

我在 Asure 数据工厂中根据客户输入数据构建了数据流。我们设计了基于 Azure 数据工厂中的 Alteryx(另一个 Etl 工具)构建的工作流。

现在测试样本数据两边都ok了

但是如何验证要匹配/验证的 Alteryx 和 Azure 的整个输出。有什么工具吗

我的输出文件格式是 CSV.

是否有任何自动化程序来验证 Alteryx 输出和 Azure 输出的所有行,以便我可以确定我已经构建了正确的数据流逻辑。

azure azure-data-factory azure-data-factory-2 azure-data-flow
1个回答
0
投票

你应该能够通过验证活动验证整个数据集,如果那是你想要的(数据集满足特定条件等):

https://learn.microsoft.com/en-us/azure/data-factory/control-flow-validation-activity

不支持直接在 Alteryx 输出上进行数据集验证,在这种情况下,您需要将数据集存储在您刚刚在 Alteryx 中转换的某个位置,例如 blob 存储,然后您可以在那里进行验证。验证活动通常支持文件存储系统,如数据湖、(S)FTP 或关系数据库。

如果您想检查某些行是否已正确转换,则执行查找活动,它支持更多源,您可以检查某些行,否则在查找为 True 的 If 条件下管道失败。如果为 false,您可以将 Fail 放入其中并指定您的错误消息。

© www.soinside.com 2019 - 2024. All rights reserved.