带有拥抱脸的 LLAMA 矢量索引：必须提供 `model_name` 参数

Question

看起来 llama 默认使用 OpenAI。

我正在使用本教程：https://www.youtube.com/watch?v=i8n2Se8PAXg&list=PLBSCvBlTOLa-vUt7mCECzaJjJEjos6K-l&index=7 并看到这篇有趣的文章：为什么 llama-index 在使用 Hugging Face 本地嵌入模型时仍然需要 OpenAI 密钥？

我还是没能解决我的问题。

对我来说，我的模型名称已经在“llm”中定义。我认为我需要使用服务上下文，但没有成功。它仍然要求提供型号名称。

import os
from getpass import getpass
from huggingface_hub import login
from llama_index.core import SimpleDirectoryReader
from llama_index.core import VectorStoreIndex
from llama_index.llms.huggingface import HuggingFaceInferenceAPI

reader = SimpleDirectoryReader(input_files= ["acquisition2.csv"])
documents = reader.load_data()

HF_TOKEN = os.environ["HF_TOKEN"] = "XXXXXXX"
login(token=HF_TOKEN)

# create llm model

llm = HuggingFaceInferenceAPI(model_name="mistralai/Mixtral-8x7B-Instruct-v0.1", token=HF_TOKEN)

index = VectorStoreIndex.from_documents(documents,embed_model="local")

ValueError: The 

型号名称

 argument must be provided.

添加

model_name

作为参数仍然会引发错误。

Answer 1

您定义了 llm，但不将其提供给任何地方的矢量存储。

怎么样：

import os
from getpass import getpass
from huggingface_hub import login
from llama_index.core import SimpleDirectoryReader
from llama_index.core import VectorStoreIndex
from llama_index.llms.huggingface import HuggingFaceInferenceAPI
from llama_index import ServiceContext

reader = SimpleDirectoryReader(input_files= ["acquisition2.csv"])
documents = reader.load_data()

HF_TOKEN = os.environ["HF_TOKEN"] = "XXXXXXX"
login(token=HF_TOKEN)

# create llm model

llm = HuggingFaceInferenceAPI(
    model_name="mistralai/Mixtral-8x7B-Instruct-v0.1", 
    token=HF_TOKEN
)

service_context = ServiceContext.from_defaults(
    llm=llm, 
    embed_model="local",
)

index = VectorStoreIndex.from_documents(
    documents, 
    service_context=service_context,
)