Libretranslate（+ Huggingface Transformers）-无法翻译文本：为 Tokenizer 加载 state_dict 时出错：state_dict 中缺少键：

Question

Python 3.10.6，Libretranslate 1.3.10，在 Ubuntu 22.04 上 使用

pip install libretranslate

安装 libretranslate，使用

libretranslate --host 0.0.0.0 --port 5001

运行它。一切都按预期进行。注意：我以 root 身份运行 pip，这警告我不要以 root 身份使用 pip，但我当时忽略了它。 然后我用

screen -S libretranslateX

创建了各种屏幕。开始在总共四个屏幕上运行 libretranslate，每个屏幕都有不同的端口。一切正常。一天后，我检查是否一切正常，但现在当我尝试翻译文本时，我总是收到此错误消息

无法翻译文本：为 Tokenizer 加载 state_dict 时出错：state_dict 中缺少键：“mwt_clf.weight”、“mwt_clf.bias”、“mwt_clf2.weight”。

我停止了所有服务。使用

pip install --force-reinstall --no-cache-dir libretranslate

重新安装了 libretranslate。用

pip uninstall libretranslate

卸载。重复一切。我尝试了旧的 libretranslate 版本。它不起作用。 奇怪的是 libretranslate /detect 端点仍然有效，只是 /translate 端点返回错误。

浏览器控制台返回此错误：POST http://example.com:5001/translate 500（内部服务器错误）

我在任何地方都没有发现与此错误相关的任何内容。因此，我来找你寻求帮助。任何反馈将不胜感激！

编辑： 显然，这不仅是 libretranslate 的问题，也是 huggingface 转换器的问题。为了使用 huggingface 模型，我在同一台服务器上安装了以下软件包： “pinferencia[streamlit]”transformers[torch] sentencepiece nltk 节和 git+https://github.com/PrithivirajDamodaran/Parrot_Paraphraser.git 当我尝试使用这些模型时，我目前收到与 libretranslate 上相同的错误消息