将自定义实体添加到SpaCy的NER的问题

Question

• 我使用https://spacy.io/usage/training#example-new-entity-type向en_core_web_lg添加了一个名为“ orgName”的新实体>
• 我所有的训练数据（26k句子）中都标有“ orgName”。
• 为了处理灾难性的遗忘问题，我对这26k个原始句子运行了en_core_web_lg，并添加了ORG，PROD，FAC等实体作为标签，并且不面对冲突的实体，我创建了副本。因此，对于标有“ orgName”的句子A，我创建了一个重复的A2，其中包含ORG，PROD，FAC等，最后约有52k个句子。
• 我使用100次迭代训练。

现在，问题在于即使在训练语句上测试模型，它也不显示ORG，PROD，FAC等，而仅显示“ orgName”。

您认为问题出在哪里？

我使用https://spacy.io/usage/training#example-new-entity-type在en_core_web_lg中添加了一个名为“ orgName”的新实体，我所有的训练数据（26k句子）中都标有“ orgName”。处理...

Answer 1

原则上，通过对旧的预测进行重新训练来解决灾难性遗忘问题的方法，对我来说似乎是个好方法。