如何验证Azure数据工厂中的传入文件？

Question

是否有办法创建一个模板来验证传入的文件，包括空文件检查、格式、数据类型、记录计数等检查，如果任何检查失败，将停止工作流程。此需求的解决方案应考虑多种文件格式，并减少ETL处理和检查的负担，以实现规模化。

文件传输要通过触发器或数据货币规则来实现。

Answer 1

Data Factory更注重数据的传输，而不是文件的过滤。

我们可以使用 获取元数据 和 如果条件 来实现其中的一些功能，如验证文件格式、大小、文件名等。你可以使用Get Metadata来获取文件属性，If-condition可以帮助你过滤文件。

但这对Data Factory来说太复杂了，无法帮你实现所有你想要的功能。

更新。

例如，我们可以在源文件中为文件设置参数，.NET Framework 2.0。

创建数据集参数 filename 和管道参数 name:

使用 Get metadata 以获得其属性。Item type, Exists, Size, Item name.

输出。

例如，我们可以建立 表情 在 if-condition 来判断是否为empyt(size=0)。

@equals(activity('Get Metadata1').output.size,0)

如果Ture表示是空的，False表示没有空。那么我们就可以在True或False主动建立工作流。

希望对大家有所帮助。

Answer 2

我演示了类似的技术来验证源文件，并根据这些值在你的流水线中采取相应的下游操作。在此视频中.