使用LSTM在张量流中进行分布式训练

问题描述 投票:1回答:1

LSTM是算法还是节点?如果在模型中使用它,如果我使用分布式培训,反向传播会发生冲突吗?

tensorflow machine-learning distributed-computing lstm backpropagation
1个回答
0
投票

LSTM既不是。这是一个反复出现的神经网络(见this post)。就张量流而言,你可能会感到困惑,因为有一个单元的概念(例如,BasicLSTMCell),它基本上是一个用于创建形成一个或多个层的单元的工厂。最后,它全部转换为计算图中的节点。你可以在this notebook找到一个很好的用例。顺便说一句,训练算法是相同的 - backprop。

现在,关于分布式训练,有两种类型的并行性:数据和模型并行性,它们都不会破坏反向性。唯一的例外是可能与异步更新的数据并行,这确实需要某些技巧才能工作,但在张量流中没有一流的支持。我认为使用更简单的方法来分发模型会更好(参见this post)。所以答案是,最有可能的是:不,backprop会正常工作。

© www.soinside.com 2019 - 2024. All rights reserved.