。lower()是否应应用于词嵌入(特别是德语)?

问题描述 投票:0回答:1

我注意到,在预训练的嵌入中,例如fastText和spaCy,单词向量根据我是否将首字母大写而有所不同。这是否意味着在这些嵌入中考虑了大写字母,还是在处理之前将所有内容.lower()最好?

特别是我对诸如德语模型之类的模型感兴趣,在该模型中,大写字母起着进一步的作用,这与英语不同,大多数情况下,所有NER单词都不大写。

nlp spacy word-embedding fasttext
1个回答
© www.soinside.com 2019 - 2024. All rights reserved.