通过具有固定参数的神经网络组合进行反向传播

Question

我目前正在编写一些涉及两个神经网络和的代码。在这个结构中，我给出了批量数据 ，我试图通过一些损失函数 来训练 。对于这个问题，已经被预训练并且相对于大得多。我不想对 执行任何更新，我只想训练 。我遇到的问题是，执行反向传播来更新 的参数所花费的时间比预期要长得多，它与 所花费的时间顺序相同。我现在认为，由于 被输入到 中，因此即使 不会更新，计算反向传播也需要通过两个网络运行。这就是反向传播的工作原理吗？它可能是我的代码缓慢的根源吗？如果是这样，是否有任何解决方法，这样我就不需要通过 计算反向传播？

Answer 1

在反向传播中，误差从输出（反向）传播到网络的神经元以计算梯度。在您的安排中，未经训练的神经网络比您打算训练的神经网络更接近输出。因此，您需要通过该网络传播误差，以便计算您打算训练的神经网络的梯度。据我所知，如果您使用反向传播算法进行训练，则在您的设置中无法避免这些计算。

如果这对您来说是个问题，那么您可以尝试使用另一种非梯度训练算法。可能的方法是遗传算法或进化算法。