Pandas：修改Multiindex的特定级别

Question

我有一个带有多重索引的数据框，并且想修改多重索引的一个特定级别。例如，第一级可能是字符串，我可能想从该索引级中删除空格：

df.index.levels[1] = [x.replace(' ', '') for x in df.index.levels[1]]

但是，上面的代码会导致错误：

TypeError: 'FrozenList' does not support mutable operations.

我知道我可以重置_index并修改列，然后重新创建Multiindex，但我想知道是否有一种更优雅的方法来直接修改Multiindex的一个特定级别。

Answer 1

感谢@cxrodgers的评论，我认为最快的方法是：

df.index = df.index.set_levels(df.index.levels[0].str.replace(' ', ''), level=0)

---

旧的、更长的答案：

我发现 @Shovalt 建议的列表理解有效，但在我的机器上感觉很慢（使用超过 10,000 行的数据帧）。

相反，我可以使用

.set_levels

方法，这对我来说要快一些。

%timeit pd.MultiIndex.from_tuples([(x[0].replace(' ',''), x[1]) for x in df.index])
1 loop, best of 3: 394 ms per loop

%timeit df.index.set_levels(df.index.get_level_values(0).str.replace(' ',''), level=0)
10 loops, best of 3: 134 ms per loop

实际上，我只需要在前面添加一些文本。使用

.set_levels

甚至更快：

%timeit pd.MultiIndex.from_tuples([('00'+x[0], x[1]) for x in df.index])
100 loops, best of 3: 5.18 ms per loop

%timeit df.index.set_levels('00'+df.index.get_level_values(0), level=0)
1000 loops, best of 3: 1.38 ms per loop

%timeit df.index.set_levels('00'+df.index.levels[0], level=0)
1000 loops, best of 3: 331 µs per loop

此解决方案基于@denfromufa 评论中链接中的答案...

python - 多索引和时区 - 冻结列表错误 - 堆栈内存溢出

Answer 2

reset_index

，你可以直接创建一个新的多重索引：

df.index = pd.MultiIndex.from_tuples([(x[0], x[1].replace(' ', ''), x[2]) for x in df.index])

此示例针对 3 级索引，您要修改中间级别。您需要更改不同级别大小的元组的大小。

更新

John 的改进在性能方面非常出色，但正如评论中提到的，它会导致错误。因此，这是经过修正的实现，并进行了一些小改进：

df.index = df.index.set_levels(
    df.index.levels[0].str.replace(' ',''), 
    level=0
)

如果您想使用

级别名称

而不是数字，则需要另一个小变化：

df.index = df.index.set_levels(
    df.index.levels[df.index.names.index('level_name')].str.replace(' ',''), 
    level='level_name'
)

Answer 3

我使用以下函数来修改特定的索引级别。它也适用于单级指数。

def map_index_level(index, mapper, level=0):
    """
    Returns a new Index or MultiIndex, with the level values being mapped.
    """
    assert(isinstance(index, pd.Index))
    if isinstance(index, pd.MultiIndex):
        new_level = index.levels[level].map(mapper)
        new_index = index.set_levels(new_level, level=level)
    else:
        # Single level index.
        assert(level==0)
        new_index = index.map(mapper)
    return new_index

用途：

df = pd.DataFrame([[1,2],[3,4]])
df.index = pd.MultiIndex.from_product([["a"],["i","ii"]])
df.columns = ["x","y"]

df.index = map_index_level(index=df.index, mapper=str.upper, level=1)
df.columns = map_index_level(index=df.columns, mapper={"x":"foo", "y":"bar"})

# Result:
#       foo  bar
# a I     1    2
#   II    3    4

---

注意：

仅当mapper保留级别

值

的唯一性时，上述方法才有效！在上面的示例中，mapper = {"i": "new", "ii": "new"} 将在

set_index()

中失败，并带有

ValueError: Level values must be unique

。人们可以通过将上面的代码修改为来禁用完整性检查：

new_index = index.set_levels(new_level, level=level,
                             verify_integrity=False)

但最好不要！请参阅 

set_levels

 的文档。