我的目标是针对涉及“5 + 3 = 8”或“7 加 2 等于 9”等简单算术运算的特定任务微调 BERT 模型。我的数据集包含数千个示例，其中一个操作数、运算符或结果被屏蔽。例如：
挑战在于确保在训练期间屏蔽样本接受多个正确的标签。例如，如果模型预测“等于”而不是第二个样本中的屏蔽标记，则应将其视为正确。
我最近微调了一个模型来识别一个句子是否在我选择的上下文中，在这样做时，准备一个结构良好的数据集就完成了这一切。 在使用您正在微调的模型来获取屏蔽词后，您可以交叉使用另一个模型来接受您想要的所有答案。
数据集示例： ... 1 加 6 等于 7，正确 1 加 6 得到 7，正确 1 加 6 大于 7，False ...
希望我至少给了你一个更好的想法的提示！