如何将图像序列输入到卷积层并在之后应用 conv-lstm 单元?

问题描述 投票:0回答:2

我目前正在尝试实现以下论文:https://research.nvidia.com/sites/default/files/publications/dnn_denoise_author.pdf

我在调整当前仅处理单个图像的网络来处理图像序列时遇到了麻烦。 我的数据具有以下形状:(7, 512, 512, 1),其中 7 是我的序列中的帧数,512 是图像的宽度和高度,1 是通道数。

我的问题是如何通过卷积层传递序列? (我在其他此类问题中看到的 conv3d 建议似乎很奇怪,因为我有 7 个帧)。 然后,我希望将卷积层的结果传递给 ConvLSTM 块,但是,考虑到卷积和 maxpooling 之后获得的特征图,这是否可能? (使用 ConvLSTM 块的其他答案仅指直接将它们应用于序列)。此操作的结果将再次输入到卷积和最大池化等。

我还检查了涉及 CNN 和 RNN 的其他问题,我正在考虑使用 TimeDistributed(...(...)) 类型的函数,但我不确定我是否朝着正确的方向前进。任何建议都非常受欢迎。

感谢您的宝贵时间!

python image sequence lstm recurrent-neural-network
2个回答
0
投票

我面临着类似的情况,我有 n 帧序列,我想预测给定序列后的下一帧,解决方案是通过网络转发图像 n 并从帧 n+1 和重复(n+1, n+2 等)。希望我理解正确。


0
投票

我可以通过卷积池对输入图像进行下采样,然后将其输入 ConvLSTM 进行翻译吗?

© www.soinside.com 2019 - 2024. All rights reserved.