所以首先我在我的模型中使用GloVe它工作正常,但现在我想切换到Elmo但我总是得到错误:
ValueError:
Concatenate
图层需要具有匹配形状的输入,但concat轴除外。得到输入形状:[(无,20),(无,20),(无,20,5)]
你能帮我吗?这是我的代码片段:如果你需要更多细节,请告诉我。
class ElmoEmbeddingLayer(Layer):
def __init__(self, **kwargs):
self.dimensions = 1024
self.trainable = True
super(ElmoEmbeddingLayer, self).__init__(**kwargs)
def build(self, input_shape):
self.elmo = hub.Module('https://tfhub.dev/google/elmo/2', trainable=self.trainable, name="{}_module".format(self.name))
self.trainable_weights += K.tf.trainable_variables(scope="^{}_module/.*".format(self.name))
super(ElmoEmbeddingLayer, self).build(input_shape)
def call(self, x, mask=None):
result = self.elmo(K.squeeze(K.cast(x, tf.string), axis=1),
as_dict=True,
signature='default',
)['default']
return result
def compute_mask(self, inputs, mask=None):
return K.not_equal(inputs, '--PAD--')
def compute_output_shape(self, input_shape):
return (input_shape[0], self.dimensions)
pos_embedding_layer = Embedding(output_dim = pos_tag_embedding_size,
input_dim = len(SPACY_POS_TAGS),
input_length = sent_maxlen,
name='pos_embedding_layer')
inputs = [Input((sent_maxlen,), dtype='int32', name='word_inputs'),
Input((sent_maxlen,), dtype='int32', name='predicate_inputs'),
Input((sent_maxlen,), dtype='int32', name='postags_inputs')]
# ElmoEmbeddingLayer()
embedding_layer = ElmoEmbeddingLayer()
embeddings = [embedding_layer(inputs[0]),
embedding_layer(inputs[1]),
pos_embedding_layer(inputs[2])]
outputI = predict_layer(dropout(latent_layers(keras.layers.concatenate(embeddings))))
#error thrown here in outputI
## ------> 10]Build model
model = Model(inputs, outputI)
您尚未提供您的predict_layer。但错误位于连接层,因此可以使用您提供的代码解决此错误。首先,我很惊讶您之前没有收到错误,因为带有signature='default'
的Elmo需要一个字符串作为输入。 (您应该提供所有输入作为空格分隔的标记,例如["the cat is on the mat", "dogs are in the fog"]
,)或使用
embeddings = elmo(
inputs={
"tokens": tokens_input,
"sequence_len": tokens_length
},
signature="tokens",
as_dict=True)["elmo"]
但是现在让我们使用空格分隔的令牌。
因此,ElmoEmbeddingLayer
输入的唯一可能值是1
,我们得到
from keras.layers import Concatenate
sent_maxlen = 20
inputs = [Input(shape=(1, ), dtype="string"),
Input(shape=(1, ), dtype="string"),
Input(shape=(sent_maxlen, ), dtype="int32")]
embeddings = [embedding_layer(inputs[0]),
embedding_layer(inputs[1]),
pos_embedding_layer(inputs[2])]
concat = Concatenate(embeddings)
所以现在它起作用(至少对我而言)。对于未来,我建议您将签名从'default'
更改为'elmo'
。