SpaCy自定义NER模型训练中“掉落”的含义？

Question

下面的代码是SpaCy命名实体识别（NER）的示例训练循环。

for itn in range(100):
    random.shuffle(train_data)
    for raw_text, entity_offsets in train_data:
        doc = nlp.make_doc(raw_text)
        gold = GoldParse(doc, entities=entity_offsets)
        nlp.update([doc], [gold], drop=0.5, sgd=optimizer)
nlp.to_disk("/model")

drop等于spacy是退出率。有人可以详细解释一下它的含义吗？

Answer 1

根据文档here，SpaCy Entity Recognizer是应实现thinc.neural.Model API的神经网络。您正在谈论的drop参数是dropout rate，它是一种优化神经网络的方法。

根据我的经验，推荐值为0.2，这意味着该模型中使用的神经元中约有20％将在训练过程中随机掉落。