lm-evaluation-harness with LoRa 微调模型 Hugging Face

Question

！python -m lm_eval
--型号 hf
--model_args 预训练=theoracle/gemma_italian_camoscio
--任务 xcopa_it、hellaswag_it、lambada_openai_mt_it、belebele_ita_Latn、arc_it
--设备 cuda:0
--batch_size 8

我想在我的模型 theoracle/gemma_italian_camoscio 上使用它，它是一个量化的 LORA meodel，但是当我尝试加载它时，它似乎没有名为 config.json 的文件 据我所知，当使用自动训练时，我可能只保存了重量，有什么方法可以让它发挥作用吗？

我想评估 llm，得到如上所述的错误

Answer 1

在评估使用 Lora 微调的模型时，我遇到了类似的情况。

在他们的文档中：https://github.com/EleutherAI/lm-evaluation-harness?tab=readme-ov-file#advanced-usage-tips

他们建议在评估 peft 模型时如何使用 lm_eval：您应该添加预训练的用于调整的模型，并将 peft= 添加到 model_args 中。