使用 to_pickle 存储大型 Dataframes

问题描述 投票:0回答:0

我有一个大约 3-4 GB 的数据集,我使用 pickle 命令将其保存为 tar.gz 格式,这导致输出文件约为 400MB。我想确认 to_pickle 是否存在可能修改或损坏底层存储数据的问题。我在某处读到 Pickle 对大文件有奇怪的行为并且它有局限性。我想确认在使用 pickle 保存我的 df 时我不会丢失信息。 谢谢

python pandas numpy pickle
© www.soinside.com 2019 - 2024. All rights reserved.