BERT语法正确性和语义连贯性的评估方法

Question

例如，我有一个原始句子。单词barking对应于缺少的单词。

Original Sentence : The dog is barking.
Incomplete Sentence : The dog is ___________.

例如，使用BERT模型，它预测单词哭泣而不是单词吠叫。如何根据预测单词的语法正确和语义连贯性来衡量BERT模型的准确性？

（（例如，有很多不完整的句子，任务是根据这些不完整的句子评估BERT的准确性。）请帮助。

Answer 1

对于语法，如果句子是语法性的，则可以使用例如English Resource Grammar。这是英语语法中最大的手动精选描述，您可以尝试online demo。语法（鉴于其具有足够大的覆盖范围，而通常它们通常不提供）拒绝解析非语法句子，这与统计/神经解析器可以轻松地解析所有内容（通常比语法更好）有所不同。

估计语义合理性”是一项非常困难的任务，并且鉴于BERT可能是当前最好的语言模型之一，因此您不能使用其他语言模型作为参考。有一些有关建模语义合理性的学术论文，例如，您可以从this one from NAACL 2018开始。