我可以展平一个深度嵌套的Python词典，该词典包含带有更多嵌套词典列表的值吗？

Question

我正在处理一个大型xml文件，我一直在其中尝试提取键和值。该文件中的信息非常敏感，因此我无法共享。我首先使用xml库。但是，经过数小时的挫折，我发现了xmltodict库。我使用该库将xml转换为字典（相对于xml我更熟悉）。

import xmltodict

# convert xml to dictionary
dict_nested = xmltodict.parse(str_xml)

现在xml是一个字典，我想将其展平，因为存在许多级别（我不知道有多少个级别），同时创建了可以帮助我跟踪其相应值的路径的键名。因此，我尝试了：

from flatten_dict import flatten

# flatten dict_nested 
dict_flat = flatten(dict_nested)

结果可能看起来像这样，但有更多层：

{'ID': '123',
 'info': [{'breed':'collie'}, 
          {'fur': [{'short':'no'}, 
                   {'color':[{'black':'no'},
                             {'brown':'yes'}]}]}]}

这很好用，因为我的键是显示图层路径的元组。我的值可以是字符串（即要查找的最终结果）或类型为[[OrderedDict的列表。

由于每个列表中的每个字典都需要展平，而且我不知道这样做的深度，因此我试图找到一种以编程方式展平所有字典，直到所有键都对应一个值（即，不是列表或字典）。

理想情况下，输出看起来像这样：

{'ID':'123',
 'info_breed':'collie',
 'info_fur_short':'no',
 'info_fur_color_black':'no',
 'info_fur_color_brown':'yes'}

很抱歉，由于敏感信息，我不能分享更多的输出。

Answer 1

您可以通过考虑您的字典值是字符串或具有其他字典的列表来使用递归方法：

dict_flat = {'ID': '123',
 'info': [{'breed':'collie'}, 
          {'fur': [{'short':'no'}, 
                   {'color':[{'black':'no'},
                             {'brown':'yes'}]}]}]}

def my_flatten(dict_flat, key_prefix=None):

    result = {}
    for k, v in dict_flat.items():
        key = f'{key_prefix}_{k}' if key_prefix is not None else k
        if isinstance(v, list):
            for d in v:
                result.update(my_flatten(d, key))
        else:
            result[key] = v
    return result

my_flatten(dict_flat)

输出：
{'ID': '123',
 'info_breed': 'collie',
 'info_fur_short': 'no',
 'info_fur_color_black': 'no',
 'info_fur_color_brown': 'yes'}

Answer 2

另一种方法是创建一个生成键/值元组的生成器。您可以简单地将其传递给字典构造函数：

d = {'ID': '123',
     'info': [{'breed':'collie'}, 
          {'fur': [{'short':'no'}, 
               {'color':[{'black':'no'},
                         {'brown':'yes'}]}]}]}

def flatten(obj, prefix=[]):
    if isinstance(obj, str):
        yield ('_'.join(prefix), obj)

    elif isinstance(obj, list):
        for o in obj:
            yield from flatten(o, prefix) 
    else:
        for k, v in obj.items():
            yield from flatten(v, prefix + [k])


dict(flatten(d))

结果：
{'ID': '123',
 'info_breed': 'collie',
 'info_fur_short': 'no',
 'info_fur_color_black': 'no',
 'info_fur_color_brown': 'yes'}

这避免了在函数中管理字典，这些函数取决于您对事物的看法，可能更易于推理。