硬Word2Vec实现

Question

我正在使用http://adventuresinmachinelearning.com/word2vec-keras-tutorial/中的实现来学习有关word2Vec的内容。我不理解的是为什么损失函数不减少？

Iteration 119200, loss=0.7305528521537781
Iteration 119300, loss=0.6254740953445435
Iteration 119400, loss=0.8255964517593384
Iteration 119500, loss=0.7267132997512817
Iteration 119600, loss=0.7213149666786194
Iteration 119700, loss=0.6156617999076843
Iteration 119800, loss=0.11473365128040314
Iteration 119900, loss=0.6617216467857361

根据我的理解，网络是此任务中使用的标准网络：

input_target = Input((1,))
input_context = Input((1,))

embedding = Embedding(vocab_size, vector_dim, input_length=1, name='embedding')

target = embedding(input_target)
target = Reshape((vector_dim, 1))(target)
context = embedding(input_context)
context = Reshape((vector_dim, 1))(context)

dot_product = Dot(axes=1)([target, context])
dot_product = Reshape((1,))(dot_product)
output = Dense(1, activation='sigmoid')(dot_product)

model = Model(inputs=[input_target, input_context], outputs=output)
model.compile(loss='binary_crossentropy', optimizer='rmsprop') #adam??

单词来自http://mattmahoney.net/dc/text8.zip的大小10000的词汇（英文文本）

我注意到的是，有些单词在某种程度上是及时学习的，就像数字和文章的上下文很容易被猜到一样，但是从一开始就将损失严重地保持在0.7左右，并且随着迭代的进行，它只会随机波动。

训练部分是这样的（由于没有标准的拟合方法，我感觉很奇怪）

arr_1 = np.zeros((1,))
arr_2 = np.zeros((1,))
arr_3 = np.zeros((1,))
for cnt in range(epochs):
    idx = np.random.randint(0, len(labels)-1)
    arr_1[0,] = word_target[idx]
    arr_2[0,] = word_context[idx]
    arr_3[0,] = labels[idx]
    loss = model.train_on_batch([arr_1, arr_2], arr_3)
    if cnt % 100 == 0:
        print("Iteration {}, loss={}".format(cnt, loss))

我错过了关于这类网络的重要信息吗？未写入的内容与上面的链接完全相同

Answer 1

我按照相同的教程，在算法再次通过样本后丢失了。请注意，仅针对当前目标和上下文单词对计算损失函数。在本教程的代码示例中，一个时期只有一个样本，因此您需要的数量超过目标和上下文单词的数量才能达到损失下降的程度。

我使用以下行实现了培训部分

model.fit([word_target, word_context], labels, epochs=5)

请注意，这可能需要很长时间，具体取决于语料库的大小。 train_on_batch功能为您提供更多的培训控制，您可以改变批量大小或选择在培训的每个步骤中选择的样品。