使用 Mistra 创建带有 llama 索引的 RAG 应用程序 - 尝试对向量索引运行查询测试时出现连接错误

Question

使用本地 Mistral 模型设置带有 llama 索引的嵌入模型工具来解析 pdf 文件，以便能够从向量索引进行查询，但在尝试运行 query_engine.query 测试时出现连接错误。

下面列出了

main.py - 我的 API 在 .env 文件中正确标记。

from llama_index.llms.ollama import Ollama
from llama_parse import LlamaParse
from llama_index.core import VectorStoreIndex, SimpleDirectoryReader, PromptTemplate
from llama_index.core.embeddings import resolve_embed_model
from dotenv import load_dotenv

load_dotenv()

llm = Ollama(model="mistral", request_timeout=30.0)

parser = LlamaParse(result_type="markdown")

file_extractor = {".pdf": parser}
documents = SimpleDirectoryReader("./data", file_extractor=file_extractor).load_data()

embed_model= resolve_embed_model("local:BAAI/bge-m3")
vector_index = VectorStoreIndex.from_documents(documents, embed_model=embed_model)
query_engine = vector_index.as_query_engine(llm=llm)

result = query_engine.query("what are some of the routes in the api?")
print(result)

我希望它进入我的数据目录，解析其中的 pdf 文件，将其发送到矢量索引，使用它来查询有关 pdf 的问题以获得响应，但我收到了连接错误 -

httpx.ConnectError: [Errno 61] Connection refused

Answer 1

Ollama 服务器似乎没有打开。尝试安装 Ollama 并运行它：

curl -fsSL https://ollama.com/install.sh | sh

ollama serve