llama_index 与 HuggingFaceEmbedding 崩溃

Question

我正在尝试使用

llama_index

构建 RAG 管道。第一步是选择将用于

VectorStoreIndex

的嵌入模型。我当前的实现如下所示：

from llama_index.core import Settings
from llama_index.llms.openai import OpenAI
from llama_index.embeddings.huggingface import HuggingFaceEmbedding

# some other code
if embedding == Embedding.OPENAI:
    Settings.embed_model = OpenAIEmbedding()
elif embedding == Embedding.BGE_SMALL_EN:
    Settings.embed_model = HuggingFaceEmbedding (
        model_name = "BAAI/bge-small-en-v1.5"
    )

虽然

OpenAIEmbedding

按预期工作，但我的 Jupyter Notebook 在使用

HuggingFaceEmbedding

时总是崩溃。

我只是 pip 安装了所有必需的模块并开始运行该应用程序。是否还需要其他任何东西才能完成这项工作？我需要下载嵌入存储库并将其放置在本地吗？如果可以的话，我需要把它放在哪里？

Answer 1

您不仅需要安装

pip install llama-index

和

pip install openai

，还需要安装

pip install llama-index-embeddings-huggingface

。

或者，只安装

llama-index

就足够了，但是你必须调整导入语句：

from llama_index.legacy.embeddings import HuggingFaceEmbedding