Roberta 用于句子相似度

问题描述 投票:0回答:1

我有一个经过预先训练的罗伯塔模型。并拥有一个包含两个句子对的数据集,并带有一个指示句子对是否相似的标签。我想用罗伯塔模型来做到这一点。

我想获得两个句子的句子嵌入,并使用它们使用余弦相似度来查找相似度。你能告诉我该怎么做吗?或者有什么资源吗?

huggingface-transformers cosine-similarity pre-trained-model sentence-similarity roberta
1个回答
0
投票

提取嵌入并计算余弦相似度的概念可以称为“语义搜索”。您可以使用句子转换器库。

以下是使用句子转换器进行语义搜索的快速方法的链接。

https://www.sbert.net/examples/applications/semantic-search/README.html

您可以使用句子转换器训练任务的嵌入,也可以使用 HuggingFace Trainer API 微调任务的模型。

问候,

© www.soinside.com 2019 - 2024. All rights reserved.