LangChain 和 OpenAI 的问题 - 不可阻挡的 UnicodeEncodeError

问题描述 投票:0回答:1

我已经在网上搜索了几个小时,但似乎无法解决这个问题,即使我手动将 text.txt 重新编码为 utf-8 或更改其内容也是如此。我的代码非常简单。使用 langchain 和 openai 在代码空间中运行它:


from langchain.document_loaders import TextLoader
from langchain.indexes import VectorstoreIndexCreator
import os
import openai

api_key = os.environ['OPENAI_API_KEY']
openai.api_key=api_key

loader = TextLoader('test.txt')
index = VectorstoreIndexCreator().from_loaders([loader])

query = "What do whales like to eat?"
index.query_with_sources(query)

昨天还在工作。今天,没有任何变化,它向我抛出了这个错误。无论我做什么,如何更改文本内容,如何重新编码之前,这个 VectorstoreIndexCreator 都会向我抛出这个 unicode 错误。任何帮助将不胜感激。

--

文件“/home/codespace/.python/current/lib/python3.10/http/client.py”,第 1255 行,在 putheader 中

values[i] = one_value.encode('latin-1')

UnicodeEncodeError: 'latin-1' codec can't encode character '\u2018' in position 7: ordinal not in range(256)
openai-api codespaces
1个回答
0
投票

我对 unicodeEncodeError 有类似的问题。通过设置编码修复它:

loader = TextLoader('test.txt', encoding='utf8')

您可能需要根据文件类型选择合适的编码值。

© www.soinside.com 2019 - 2024. All rights reserved.