如何将csv文件读取到jupyter笔记本中？

Question

我需要将大小为 450Mb 的 csv 文件读取到 jupyter 笔记本中。首先我得到这个错误： “‘utf-8’编解码器无法解码位置 118515 中的字节 0x92：无效起始字节” 然后我将 "encoding='cp1252'" 添加到该行中，但出现另一个错误： “UnicodeDecodeError：‘charmap’编解码器无法解码位置 214809 中的字节 0x9d：字符映射到 还有其他方法可以修复吗？谢谢

Answer 1

即使 Pandas 可以处理海量数据，Jupyter Notebook 也不能。要读取巨大的 CSV 文件，您需要分块进行操作。我遇到过类似的情况

Jupyter Notebook 内核崩溃而我不得不重新开始的情况。试试这个-

for chunk in pd.read_csv("path/file.csv", chunksize = 1000):

    print(chunk)