将训练好的 gensim word2vec 模型保存为 tensorflow SavedModel。

Question

我们是否可以使用 tf 2.0 将训练好的 Gensim Word2Vec 模型保存为保存的模型？tf.saved_model.save? 换句话说，我如何将训练好的嵌入向量保存为保存的模型签名，以便与 tensorflow 2.0 一起使用。下面的步骤正常不正确。

model = gensim.models.Word2Vec(...)

model.init_sims(..)

model.train(..)

model.save(..)

module = gensim.models.KeyedVectors.load_word2vec(...)

tf.saved_model.save(
    module, 
    export_dir
)

EDIT:

这个例子帮助我了解了如何做到这一点。https:/keras.ioexamplesnlppretrained_word_embeddings

Answer 1

Gensim没有使用TensorFlow，它有 自己的方法 用于加载和保存模型。

你需要将Gensim嵌入转换为TensorFlow一个模型，只有当你进一步计划在TensorFlow中使用你的嵌入并可能为你的任务微调它们时，这才有意义。

Gensim Word2Vec是TensorFlow中的两个步骤。

1. 词汇查询：一个为代币分配索引的表。

2. 嵌入查找层 拾取指数的实际嵌入。

然后，你可以将其保存为其他任何TensorFlow模型。