Transformers 管道模型目录

Question

我正在使用 Huggingface 的 Transformers 管道功能来下载模型和标记器，我的 Windows PC 下载了它们，但我不知道它们存储在我的 PC 上的位置。你能帮我么？

from transformers import pipeline

qa_pipeline = pipeline(
    "question-answering",
    model="mrm8488/bert-multi-cased-finetuned-xquadv1",
    tokenizer="mrm8488/bert-multi-cased-finetuned-xquadv1"
)

Answer 1

您可以使用以下方法检查默认位置：

import transformers #it is important to load the library before checking!
import os
os.environ['TRANSFORMERS_CACHE']

如果您想更改默认位置，请锁定此answer。

Answer 2

模型的默认文件夹位于

~/.cache/huggingface

这是huggingface 的文档https://huggingface.co/docs/transformers/installation#cache-setup

Answer 3

如果您已将模型保存在缓存以外的文件夹中，则只需在模型参数中传递管道的路径即可。您也可以对分词器执行相同的操作