如何使用具有指定数据类型的 Pandas 加载 Parquet 文件？

Question

如何像我一样使用 pd.read_parquet() 指定我想要的数据类型 pd.read_csv()？当我尝试相同的方法时，我收到一条错误消息，指出 pd.read_parquet 没有 dtype 选项。

dtypes={
'elapsed_time':np.int32,
'event_name':'category',
'name':'category',
'level':np.uint8,
'room_coor_x':np.float
'level_group':'category'}

dataset_df = pd.read_csv(path, dtype=dtypes)

Answer 1

为 parquet 文件指定 dtype 是没有意义的。与 CSV 文件不同，parquet 文件存储元数据以及每列的类型。所以用户不必指定它们。

如果您想更改列的类型，您可以随时使用

astype

进行转换

pd.read_parquet("my_file.parquet").astype(dtypes)