如何为二维数据构建LSTM网络？

Question

我看到Keras中的LSTM接受（batch_size，timesteps，data_dim）作为输入形状。但我想知道是否有一种简单的方法可以将这些扩展到4维度？例如，我们如何将lstm应用于我们拥有64 x 64图像的移动MNIST数据集？

Answer 1

您可以使用CNN模型在将图像输入LSTM之前提取图像的特征。

# define CNN model
cnn = Sequential()
cnn.add(Conv2D(...))
cnn.add(MaxPooling2D(...))
cnn.add(Flatten())

# define LSTM model
model = Sequential()
model.add(TimeDistributed(cnn, ...))
model.add(LSTM(..))
model.add(Dense(...))