在没有 OPENAI 密钥的情况下使用 RAGAS 评估从 RAG 架构获得的答案

Question

我使用 Llama2 开源模型使用 RAG 架构为我的个人文档创建聊天机器人。我希望使用评估指标来评估从 RAG 架构获得的结果，可能来自 RAGAS 模块。但它坚持要求我应用 openAI API 密钥。有没有不使用 OpenAI API 密钥的替代方案。

如有任何建议，我们将不胜感激

Answer 1

是的，可以使用本地模型来进行评估。然而，需要指出的是，评估库通常需要 JSON 输出，而较小的模型往往会遇到这种情况。

我目前正在研究 RAG 系统的评估，并且正在使用 Ragas 库和 DeepEval。我的偏好是尽可能在本地运行。因此，我使用 Llama.cpp (https://python.langchain.com) 为在本地运行的模型构建了接口类。

我使用量化、微调的模型，我发现模型越大，评估成功的可能性就越大（这意味着 LLM 生成评估库能够解析的格式良好的 JSON 输出）。

您可以在此处找到有关 Ragas 库的更多信息：https://docs.ragas.io/en/stable/howtos/customizations/bring-your-own-llm-or-embs.html

DeepEval 甚至还有本地 Mistral 模型的代码示例：https://docs.confident-ai.com/docs/metrics-introduction#mistral-7b-example

我推荐使用 DeepEval。我发现建立本地模型更容易，而且比 Ragas 库有更多的指标。