在非常精确的数值环境中找到相似性

问题描述 投票:0回答:0

我有一个包含 100 多个句子的列表,我需要找到最接近用户提示的句子。 问题是我们正在处理非常精确、细微的提示,因为我们分析的是数字数据。 例如:

1. Did variable x changed at least 5% in the past week ?
2. show me variable x change in the past week

在这个例子中,句子 1 和句子 2 在图表的上下文中是完全不同的,但在全局上下文中是相似的,但是像

spaCY
这样的大多数简单模型会将它们评为非常相似(0.9+),因为它们有很多相似之处话。

如何才能训练模型或使用训练好的模型,在像这样非常精确的数字环境中找到相似性,其中句子有许多相似的词但含义完全不同?

我用过这个

spaCY
型号:

prompt_doc = nlp(user_prompt)
similarities = []

 
for sentence in sentences:
    sentence_doc = nlp(sentence)
    similarity = prompt_doc.similarity(sentence_doc)
    similarities.append(similarity)
    print("Sentence:", sentence)
    print("Similarity rating:", similarity)
    print()
python nlp spacy
© www.soinside.com 2019 - 2024. All rights reserved.