我们可以在Rasa NLU中测试或评估实体提取吗？

Question

是否有可能评估我的模型在Rasa NLU中提取实体（并映射同义词值）的程度？

我已经尝试了rasa_nlu -evaluate模式，但它似乎只适用于意图分类，虽然我的JSON数据文件包含实体信息，我真的想知道我的实体提取是否符合各种情况下的标记。我用Tracy生成了测试数据集。

Answer 1

实际上是的 - 你也应该得到你的实体得分。您确定在训练数据中添加了一些内容吗？

你有NER算法提取它们吗？这样的事情？

pipeline:
- name: "intent_featurizer_count_vectors"
- name: "intent_classifier_tensorflow_embedding"
  batch_size: 64
  epochs: 1500
- name: "nlp_spacy"
- name: "tokenizer_spacy"
- name: "ner_crf"

ner_crf是用于提取“名称实体识别”的条件随机字段

要确保您正确地遵循模型构建，请查看本教程：https://hackernoon.com/build-simple-chatbot-with-rasa-part-1-f4c6d5bb1aea

Answer 2

正如文档中所述https://rasa.com/docs/nlu/0.12.0/evaluation/，如果您使用ner_crf或ner_duckling，评估方法会自动将实体提取性能考虑在内。如果仅使用ner_synonyms，则evaluate方法将不计算输出表。

其他可能的陷阱可能是：

如果您解析包含所需实体的单个句子，您训练的模型是否会提取实体？这可能是您的模型无法进化模式识别实体的情况的线索。

另外一个问题可能是，通过随机将数据拆分为训练集和测试集，您的测试集中没有实体可以提取。您的算法可以学习模式，但不会强制应用此模式。您是否检查过您的测试集包含实体？

Answer 3

如果我理解正确，也许你对像https://github.com/RasaHQ/rasa_nlu/issues/1472这样的东西感兴趣？因此，写这个问题是因为对于意图你可以得到总分，你可以看到每个意图如何分类，但你只能得到实体的总得分而不是每个实体的分类方式。

简而言之，这仍然是一个悬而未决的问题，在Rasa中是不可能的。然而，这是我昨天被要求查看的一个问题，所以如果我取得任何进展，我会告诉你。