如何使用诸如sentence-transformer或open ai的嵌入模型之类的嵌入模型来嵌入json文档？

Question

我有一个特定于域的 JSON 对象，我想将其存储在矢量数据库中。我会使用嵌入模型，例如句子=transformer或openai的text-embedding-002。

问题是： a) 这些模型能否有效地计算这些 json 对象的正确嵌入？ b) 即使他们可以计算嵌入，LLM 稍后推理它们的效率如何？ LLM 可以通过文本进行推理，但他们会通过 JSON 进行推理吗？

特定领域的数据并不是那么深奥 - 大多数键和值都是英语。

Answer 1

大型语言模型致力于语言统计。如果您想对 json 进行推理，则应该将其作为文本存储在矢量数据库中。 例子 { “客户姓名”：“约翰是” }

将其存储为 “顾客的名字是约翰·多伊。”

所以问题a）定义正确。您可以从 json 创建嵌入，但稍后不太可能查询它们。 b) 可能不可能