我正在使用 myworkbench 8.0 将数据从 16G csv 文件导入 MySql 8.0.32。我收到“错误代码:5。内存不足(需要 784334881 字节)”。机器规格:Win 10、8Gb 内存。 CSV 是 |分隔。
使用的导入语句:
加载数据文件“C:/ProgramData/MySQL/MySQL Server 8.0/Uploads/IT14_Prov20230412P.csv” 进入表_original 字符集 latin1 由“|”终止的字段 忽略 1 行;
My.ini 设置如下:
innodb_buffer_pool_size=1G innodb_buffer_pool_instances=8
我试过改成innodb_buffer_pool_size=2G。问题仍然存在。
为了测试文件内容,我尝试使用 Python 遍历文件。内容看起来不错,但循环总是停在第 411452 行,突然间,机器死机了,没有错误。我不知道循环停止,机器冻结和上面的错误是否相关。
这是我的 Python 测试代码:
with open(file_name, "r", encoding='latin-1') 作为文件: csv_dict_reader = csv.DictReader(file, delimiter='|') 对于 csv_dict_reader 中的行: 打印(csv_dict_reader.line_num - 1,行)