使用dask.dataframe.read_csv时出现unicode错误

Question

我在使用时遇到错误

UnicodeDecodeError: 'utf-8' codec can't decode byte 0xac in position 0: invalid start byte 2023-09-19 13:04:11,361 - distributed.core - ERROR - Exception while handling op register-client

import dask.dataframe as dd
fstringval=3
ddf=dd.read_csv(f"C:\\myfile\\witth\\fstring\\data{fstringval}.txt",  encoding="utf8", sep="|", header=None, dtype=dtypes, assume_missing=True, encoding_errors='ignore')
ddf.compute()

我尝试过更改编码，但是当我在记事本中打开文件时，它说编码是UTF-8，所以我并没有期待任何改进，实际上我没有得到任何改进。我还尝试了不同的编码错误参数，但都导致了相同的问题。

Answer 1

在 Windows 上的

json

文件也有类似的错误（第一个字节错误，文件编码为 utf-8），尝试使用：

encoding="utf-8-sig"

一个很好的解释这里。