Azure 数据工厂：如何从 Avro 文件导入复杂的 json 对象

Question

我正在使用 ADF 解析一系列 Avro 文件。此练习的棘手部分是有效负载将包含不同大小的指标数组。在每个指标中，模式都会略有不同。

这就是我到目前为止所拥有的。我已经把文件压平了，这样我就有了这个专栏。

所以我将拥有一系列“有效负载指标”....

..... 正如您所看到的，这一层可能有一层或多层嵌套。

长话短说，如果我想继续分解这个 json 节点，最好的方法是什么？有没有办法动态地分解有效负载中的列？

Answer 1

• 在拼合设置中，单击

  +Add mapping

  ->

  Rule based mapping

• 然后在映射中，将匹配条件表达式指定为

  true()

  并选中

  Deep column traversal

  复选框。

这将动态展平复杂字段的所有子列。

参考：https://learn.microsoft.com/en-us/azure/data-factory/data-flow-flatten#rule-based-mapping