我有一个共存矩阵存储在一个CSV文件中,其中包含单词和表情符号之间的关系,如下所示:
word emo1 emo2 emo3
w1 0.5 0.3 0.2
w2 0.8 0 0
w3 0.2 0.5 0.2
这个共生矩阵很大,有1584755
行和621
列。我在Sequential() LSTM
有一个Keras
模型,我使用预训练(word2vec)字嵌入。现在我想将共生矩阵用作另一个嵌入层。我怎样才能做到这一点?我目前的代码是这样的:
model = Sequential()
model.add(Embedding(max_features, embeddings_dim, input_length=max_sent_len, weights=[embedding_weights]))
model.add(Dropout(0.25))
model.add(Convolution1D(nb_filter=nb_filter, filter_length=filter_length, border_mode='valid', activation='relu', subsample_length=1))
model.add(MaxPooling1D(pool_length=pool_length))
model.add(LSTM(embeddings_dim))
model.add(Dense(reg_dimensions))
model.add(Activation('sigmoid'))
model.compile(loss='mean_absolute_error', optimizer='adam')
model.fit( train_sequences , train_labels , nb_epoch=30, batch_size=16)
此外,如果共生矩阵是稀疏的,那么在嵌入层中使用它的最佳方法是什么?
您可以使用Embedding
图层并设置自己的权重矩阵,如下所示:
Embedding(n_in, n_out, trainable=False, weights=[weights])
如果我理解你正确weights
将是你的共生矩阵,n_in
行数和n_out
列数。
您可以在this博客文章中找到更多信息和示例。