如何用内存高效的数据结构替换大型Python字典？

Question

我使用 python 字典来存储键值对，字典变得太大（>100GB）并达到内存限制。

在Python中存储键值对的更好的内存效率数据结构是什么？ 例如。我们可以使用生成器来替换列表

Answer 1

您可以使用sqlitedict，它为SQLite数据库提供键值接口。关于内存使用情况。 SQLite 不需要您的数据集适合 RAM。默认情况下，它最多缓存cache_size页面，仅2MB。

Answer 2

也许这会有所帮助：https://github.com/dagnelies/pysos

它仅将索引保留在内存中，并将数据保留在磁盘上。

Answer 3

您可以使用sqlitedict，它为SQLite数据库提供键值接口。关于内存使用情况。 SQLite 不需要您的数据集适合 RAM。默认情况下，它最多缓存cache_size页，仅2MB