ParserError：标记数据出错。 C错误：第4行中预期有7个字段，在读取csv文件熊猫时看到10个错误

问题描述 投票：0回答：2

我正在尝试使用熊猫读取csv文件

df1 = pd.read_csv('panda_error.csv', header=None, sep=',')

但是我收到此错误：

ParserError: Error tokenizing data. C error: Expected 7 fields in line 4, saw 10

为了再现性，这是csv文件panda_error.csv

superkingdom:Bacteria , phylum:Actinobacteria , class:Actinobacteria , order:Corynebacteriales , family:Corynebacteriaceae , genus:Corynebacterium , species:Corynebacterium efficiens  1
superkingdom:Bacteria , phylum:Proteobacteria , class:Alphaproteobacteria , order:Rhizobiales , family:Aurantimonadaceae , genus:Aurantimonas , species:Aurantimonas manganoxydans  1
superkingdom:Bacteria , phylum:Proteobacteria , subphylum:delta/epsilon subdivisions , class:Deltaproteobacteria , no rank:unclassified Deltaproteobacteria , genus:Candidatus Entotheonella    1
superkingdom:Bacteria , phylum:Proteobacteria , class:Gammaproteobacteria , order:Pseudomonadales , family:Pseudomonadaceae , genus:Pseudomonas , species group:Pseudomonas syringae group , species subgroup:Pseudomonas syringae group genomosp. 2 , species:Pseudomonas amygdali , no rank:Pseudomonas amygdali pv. tabaci   1
superkingdom:Bacteria , phylum:Actinobacteria , class:Actinobacteria , order:Corynebacteriales , family:Nocardiaceae , genus:Rhodococcus , species:Rhodococcus wratislaviensis  1
superkingdom:Bacteria , phylum:Firmicutes , class:Clostridia , order:Clostridiales , family:Peptostreptococcaceae , genus:Peptoclostridium , species:Peptoclostridium difficile1

我不太确定为什么会这样以及如何解决。其他答案只是建议1.忽略我不想使用的error_bad_lines=False造成的麻烦，或2.特定情况下的麻烦。

如果有帮助，这里是完整的错误消息：

---------------------------------------------------------------------------
ParserError                               Traceback (most recent call last)
<ipython-input-34-72c0ecaf0513> in <module>
----> 1 df1 = pd.read_csv('panda_error.csv', header=None, sep=',')

/opt/anaconda3/lib/python3.7/site-packages/pandas/io/parsers.py in parser_f(filepath_or_buffer, sep, delimiter, header, names, index_col, usecols, squeeze, prefix, mangle_dupe_cols, dtype, engine, converters, true_values, false_values, skipinitialspace, skiprows, skipfooter, nrows, na_values, keep_default_na, na_filter, verbose, skip_blank_lines, parse_dates, infer_datetime_format, keep_date_col, date_parser, dayfirst, cache_dates, iterator, chunksize, compression, thousands, decimal, lineterminator, quotechar, quoting, doublequote, escapechar, comment, encoding, dialect, error_bad_lines, warn_bad_lines, delim_whitespace, low_memory, memory_map, float_precision)
    683         )
    684 
--> 685         return _read(filepath_or_buffer, kwds)
    686 
    687     parser_f.__name__ = name

/opt/anaconda3/lib/python3.7/site-packages/pandas/io/parsers.py in _read(filepath_or_buffer, kwds)
    461 
    462     try:
--> 463         data = parser.read(nrows)
    464     finally:
    465         parser.close()

/opt/anaconda3/lib/python3.7/site-packages/pandas/io/parsers.py in read(self, nrows)
   1152     def read(self, nrows=None):
   1153         nrows = _validate_integer("nrows", nrows)
-> 1154         ret = self._engine.read(nrows)
   1155 
   1156         # May alter columns / col_dict

/opt/anaconda3/lib/python3.7/site-packages/pandas/io/parsers.py in read(self, nrows)
   2057     def read(self, nrows=None):
   2058         try:
-> 2059             data = self._reader.read(nrows)
   2060         except StopIteration:
   2061             if self._first_chunk:

pandas/_libs/parsers.pyx in pandas._libs.parsers.TextReader.read()

pandas/_libs/parsers.pyx in pandas._libs.parsers.TextReader._read_low_memory()

pandas/_libs/parsers.pyx in pandas._libs.parsers.TextReader._read_rows()

pandas/_libs/parsers.pyx in pandas._libs.parsers.TextReader._tokenize_rows()

pandas/_libs/parsers.pyx in pandas._libs.parsers.raise_parser_error()

ParserError: Error tokenizing data. C error: Expected 7 fields in line 4, saw 10
python pandas dataframe tokenize
2个回答
0
投票

This solution为我工作

### Loop the data lines
with open("panda_error.csv", 'r') as temp_f:
    # get No of columns in each line
    col_count = [ len(l.split(",")) for l in temp_f.readlines() ]

### Generate column names  (names will be 0, 1, 2, ..., maximum columns - 1)
column_names = [i for i in range(0, max(col_count))]

### Read csv
df = pd.read_csv("panda_error.csv", header=None, delimiter=",", names=column_names)
0
投票

Pandas是用于处理表格数据的工具。这意味着每一行应包含相同数量的字段。如果输入CSV，则还有一个要求，即字段每行中的<。但是您的输入文件实际上不能同时满足这两个要求。

[前2行（可能还有其他大多数行）具有7个字段：

超级王国

，门，类，顺序，家庭，属和物种。第三行包含：

超级王国

，门，子门，类别，无等级和属。因此：
    有
  • additional个字段（subphylum和no rank），
您没有这样的字段，例如
  • order
    • ，family和species。    这不会导致

    read_csv失败，仅是因为字段数不超过上一行中的字段数（总共有[[6

    个字段）。但是真正的问题是在第4行中，其中有10个字段。

    所以“普通” read_csv

    在这里绝不是任何好的选择。即使您将列数设置为足以读取所有行，属性将以难以阅读的方式“分散”在列之间。

    任何基于列名分析此类数据的尝试都会失败，因为每一列在不同的行中都有不同的信息。

    另一个问题是，用逗号分隔的数据将包含例如

    超级王国：细菌

    ，即：

    应该是列（属性）的文本

      名称

    ，
  • 冒号
    • 实际值。
  • 要克服这些问题，请尝试另一种方法来读取您的输入文件：

    • [使用
    1. read_csv读取输入文件，但作为

      单个列（sep

    • 设置为未使用的字符）。df = pd.read_csv('input.csv', sep='|', names=['col1']) 
    下一步，导致可以通过以下方式分析的DataFrame一个程序是
  • extractall
    • （需要

    import re

    ）：df2 = df.col1.str.extractall( r'(?P<name>[A-Z ]+[A-Z]):(?P<value>[A-Z /]+[A-Z])', flags=re.I)\ .reset_index(level=1, drop=True) 如果您不熟练使用正则表达式，请阅读一些有关它们的内容。
    结果是一个具有两列的DataFrame：
      name-属性名称，例如
    • 超级王国
    ，    value-属性值，例如
  • 细菌
    • 。    索引与df中的索引相同-它是源行号，从

    0

    开始。    对于您的样本数据，结果如下： name value 0 superkingdom Bacteria 0 phylum Actinobacteria 0 class Actinobacteria 0 order Corynebacteriales 0 family Corynebacteriaceae 0 genus Corynebacterium 0 species Corynebacterium efficiens 1 superkingdom Bacteria 1 phylum Proteobacteria 1 class Alphaproteobacteria 1 order Rhizobiales 1 family Aurantimonadaceae 1 genus Aurantimonas 1 species Aurantimonas manganoxydans 2 superkingdom Bacteria 2 phylum Proteobacteria 2 subphylum delta/epsilon subdivisions 2 class Deltaproteobacteria 2 no rank unclassified Deltaproteobacteria 2 genus Candidatus Entotheonella 3 superkingdom Bacteria 3 phylum Proteobacteria 3 class Gammaproteobacteria 3 order Pseudomonadales 3 family Pseudomonadaceae 3 genus Pseudomonas 3 species group Pseudomonas syringae group 3 species subgroup Pseudomonas syringae group genomosp 3 species Pseudomonas amygdali 3 no rank Pseudomonas amygdali pv 4 superkingdom Bacteria 4 phylum Actinobacteria 4 class Actinobacteria 4 order Corynebacteriales 4 family Nocardiaceae 4 genus Rhodococcus 4 species Rhodococcus wratislaviensis 5 superkingdom Bacteria 5 phylum Firmicutes 5 class Clostridia 5 order Clostridiales 5 family Peptostreptococcaceae 5 genus Peptoclostridium 5 species Peptoclostridium difficile

    如果您想将这些数据作为表格并转换为每个

    name
    到相应的列，运行：

    df3 = df2.set_index('name', append=True).unstack(fill_value='') df3.columns = df3.columns.droplevel()

    看看结果，我认为它比任何其他尝试。
    最新问题
    © www.soinside.com 2019 - 2024. All rights reserved.