从 API 提取空 JSON 时，Azure Pipelines/Dataflow 失败

Question

我们的 dwh 中的表具有 NOT NULL 约束。因此，每当我们的 API 调用到达空 JSON 时，数据流就会失败，因为“它无法在 NOT NULL 约束列中插入 NULL 值”。

我们每周收到一次的空 JSON 文件只是一个空数组。

处理此问题的最佳/最简单方法是什么？

我想解决的主要问题是管道不会失败。我不想将其读入 dwh 或类似的内容。我也不一定需要记录它。

任何帮助将不胜感激

尝试在数据流和管道中添加一些过滤器，但没有任何运气。

Answer 1

您可以使用断言转换来实现您的需求。断言过滤掉空列，如下所述：

根据需要将断言转换添加到源添加描述，并使用

!isNull(<columnName>)

表达式，如下所述：

这是断言转换的数据预览：

您可以按如下所述配置接收器：

选择接收器数据集，在接收器中出现错误选择 blob 链接服务和存储错误值的 blob 文件路径。

sink数据预览：

含有空值的错误文件：