Embedding 层输出是随机的吗?

问题描述 投票:0回答:1

如果我使用两个相同的模型来学习数据集,但样本呈现的顺序不同,嵌入层会输出精确的嵌入吗?

keras embedding
1个回答
2
投票

我认为你不会得到精确的嵌入。嵌入的参数取决于梯度下降如何选择它们,因此当样本批次顺序不同时,您可能会得到不同的值。此外,嵌入层有一个初始随机权重初始化,这也可能会造成差异。

但是,我希望一个嵌入中接近的 2 个单词在另一个嵌入中也会接近。

© www.soinside.com 2019 - 2024. All rights reserved.