我正在研究搜索引擎系统中的语义匹配。我看到词嵌入可以用于此任务。然而，我的数据集非常有限且很小，因此我认为从头开始训练诸如 word2vec 这样的词嵌入模型不会产生良好的结果。因此，我决定用我的数据微调预训练模型。
但是，我找不到很多关于微调的信息，例如文章或文档。甚至有人说词嵌入模型不可能微调。
这提出了我的问题：微调预训练的词嵌入模型是否可能？以前有人尝试过吗？目前，我陷入困境并寻找更多信息。我应该尝试从头开始训练词嵌入模型还是还有其他方法？
正如之前所指出的，没有“首选”方法来微调 Word2Vec 类型模型。
我建议从头开始训练您自己的模型，将您的数据与来自类似领域的其他可用数据相结合。 Word2vec 模型的训练速度相当快，这可能会给您带来最好的结果。如果您不需要静态词级嵌入，我建议考虑上下文化嵌入，例如通过使用sentence-transformers或类似的框架，其中有多种已预先训练的模型可供您选择。您可以相当轻松地根据您的特定数据微调这些类型的模型，网上有大量关于如何做到这一点的资源。
对于您的用例，您可以使用上述库将所有文档嵌入到密集向量表示中，然后在此语义空间上构建可搜索索引。为了匹配查询，您所要做的就是使用相同的模型嵌入查询，然后检索具有最高近似内积的文档，通常称为 MIPS 搜索。一个可供查看的示例库是faiss。