load_dataset() 不适用于 Python 3.9，但适用于 Python 3.10 (KeyError())

Question

使用 加载 Huggingface SQuAD v2

数据集的最小工作示例

from datasets import load_dataset
dataset_squad_v2 = load_dataset("squad_v2")

由于 KeyError()，

无法在我的 Ubuntu 22 机器上运行 Python 3.9。但是，它确实适用于 Python 3.10。

lib/python3.9/site-packages/datasets/features/features.py in generate_from_dict(obj)
   1282 
   1283     if class_type == Sequence:
-> 1284         return Sequence(feature=generate_from_dict(obj["feature"]), length=obj["length"])
   1285 
   1286     field_names = {f.name for f in fields(class_type)}

KeyError: 'length'

有没有办法解决这个问题，以便可以使用Python 3.9？使用 Python 3.9 时，我注意到其他 Huggingface 数据集也存在类似问题

我尝试强制下载数据集（而不是重新使用本地文件）并更新

datasets

库。

Answer 1

安装数据集2.12.0（最新版本）后，错误消失了。