Bert 针对语义相似性进行了微调

Question

我想应用微调Bert来计算句子之间的语义相似度。 我搜索了很多网站，但几乎没有找到有关此的下游信息。

我刚刚找到了STS 基准测试。 我想知道是否可以使用STS基准数据集来训练微调bert模型，并将其应用到我的任务中。 合理吗？

据我所知，计算相似度的方法有很多，包括余弦相似度、皮尔逊相关度、曼哈顿距离等。 语义相似度如何选择？

Answer 1

此外，如果您想要二元判断（“语义相似”是/否），BERT 实际上是使用 MRPC（微软研究释义语料库）对此任务进行基准测试的。 google github repo https://github.com/google-research/bert 包含一些示例调用，请参阅句子（和句子对）分类任务部分中的 --task_name=MRPC。

Answer 2

如果您查看 Mueller 和 Thyagarajan 撰写的一篇该领域相当流行的论文，该论文涉及在 LSTM 上学习句子相似性，您会发现他们使用了一个密切相关的数据集（SICK 数据集），该数据集也由 SemEval 托管竞赛，并在 2014 年与 STS 基准测试并驾齐驱。

其中任何一个都应该是一个合理的微调集，但 STS 已经运行了多年，因此可用的训练数据量可能会更大。

作为该主题的优秀入门读物，我还强烈推荐 Adrien Sieg 撰写的 Medium 文章（请参阅

此处，其中附带了 GitHub 参考资料。

对于语义相似性，我估计你最好微调（或训练）神经网络，因为你提到的大多数经典相似性度量更突出地关注标记相似性（因此，句法相似性，尽管不是即使这样也必然）。另一方面，语义含义有时可能在单个单词上存在很大差异（可能是否定，或者两个单词交换的句子位置），这很难用静态方法解释或评估。