LSTM中隐藏的状态和层次?

问题描述 投票:0回答:1

根据我在线阅读的信息,LSTM中的隐藏状态是从输入/时间步骤生成的,例如,请参见图像https://i.stack.imgur.com/SjnTl.png

但是,Tensorflow中隐藏状态的数量似乎是num_units,并且从我在线阅读的各种示例中,num_units可能与输入中的时间步数非常不同。 (例如,对于28 * 28 MNIST图像输入,28个时间步长行可以有500个num_units。)

隐藏状态/ num_units如何在那里工作?

另外,我还看到连接在一起的不同LSTM层中具有不同隐藏状态数的示例?在这种情况下,LSTM层如何连接?

tensorflow lstm
1个回答
0
投票
  • num_units或隐藏状态的大小与时间步数无关。隐藏状态是大小为num_units的向量,在每个时间步骤都会更新。所以在链接的图表中,如果我们看第一层(第0层),那么h1(0)是长度为num_units的向量,h1(0)h2(0)也是如此...
  • 在不同的层之间,num_units不需要是相同的。较高层的input_size需要等于直接下层的num_units,因为下层的隐藏状态作为输入馈送到高层。有关输入向量如何连接到隐藏状态向量的详细信息,请google LSTM单元格,您将找到一些很好的解释。
© www.soinside.com 2019 - 2024. All rights reserved.