最近,我训练了一个来自sentiment140的FastText单词嵌入来获得英语单词的表示。但是,今天只是为了试用,我在几个中文单词上运行FastText模块,例如:
import gensim.models as gs
path = r'\data\word2vec'
w2v = gs.FastText.load(os.path.join(path, 'fasttext_model'))
w2v.wv['哈哈哈哈']
它输出:
array([ 0.00303676, 0.02088235, -0.00815559, 0.00484574, -0.03576371,
-0.02178247, -0.05090654, 0.03063928, -0.05999983, 0.04547168,
-0.01778449, -0.02716631, -0.03326027, -0.00078981, 0.0168153 ,
0.00773436, 0.01966593, -0.00756055, 0.02175765, -0.0050137 ,
0.00241255, -0.03810823, -0.03386266, 0.01231019, -0.00621936,
-0.00252419, 0.02280569, 0.00992453, 0.02770403, 0.00233192,
0.0008545 , -0.01462698, 0.00454278, 0.0381292 , -0.02945416,
-0.00305543, -0.00690968, 0.00144188, 0.00424266, 0.00391074,
0.01969502, 0.02517333, 0.00875261, 0.02937791, 0.03234404,
-0.01116276, -0.00362578, 0.00483239, -0.02257918, 0.00123061,
0.00324584, 0.00432153, 0.01332884, 0.03186348, -0.04119627,
0.01329033, 0.01382102, -0.01637722, 0.01464139, 0.02203292,
0.0312229 , 0.00636201, -0.00044287, -0.00489291, 0.0210293 ,
-0.00379244, -0.01577058, 0.02185207, 0.02576622, -0.0054543 ,
-0.03115215, -0.00337738, -0.01589811, -0.01608399, -0.0141606 ,
0.0508234 , 0.00775024, 0.00352813, 0.00573649, -0.02131752,
0.01166397, 0.00940598, 0.04075769, -0.04704212, 0.0101376 ,
0.01208556, 0.00402935, 0.0093914 , 0.00136144, 0.03284211,
0.01000613, -0.00563702, 0.00847146, 0.03236216, -0.01626745,
0.04095127, 0.02858841, 0.0248084 , 0.00455458, 0.01467448],
dtype=float32)
因此,我真的想知道为什么从sentiment140训练的FastText模块可以做到这一点。谢谢!
实际上,基于Facebook原始/参考实现的行为,FastText模型的正确行为是始终返回词汇表外单词的向量。
基本上,如果没有提供所提供的字符串的字符n-gram,则仍然可以从模型的固定大小的n-gram向量集合中的相同查找槽处的任何随机向量合成向量。
在Gensim中至少达到3.7.1,如果没有一个词汇外单词的n-gram存在,那么FastText
类会抛出一个KeyError: 'all ngrams for word _____ absent from model'
错误 - 但这是一个可以逆转的错误行为,以匹配Facebook的FastText,未来的Gensim发布。 (PR to correct this behavior has been merged到Gensim的开发分支,因此应该在3.7.1之后的下一个版本中生效。)
我不确定为什么你没有得到你所描述的特定模型和数据集的错误。也许你的fasttext_model
实际上是用不同的文字训练的?或者,使用非常小的非默认min_n
参数进行训练,这样在哈
数据中出现的单个sentiment140
足以为哈哈哈哈
的合成向量做出贡献?
但鉴于标准的FastText行为总是报告一些合成向量,并且Gensim将在未来的版本中匹配该行为,您不应指望在此处获得错误。期望获得完全未知单词的基本随机向量,与训练数据没有相似之处。