反向传播示例

Question

我正在尝试实现自己的神经网络，但是我对自己的数学是正确的不是很有把握。

我正在进行MNIST数字识别，因此我得到10个概率的softmaxed输出。作为输出。然后，我计算出我的增量输出：

delta_output = vector of outputs - one-hot encoded actual label

delta_output是尺寸为10 x 1的矩阵。

然后，我计算最后一个隐藏层的权重的增量：

delta_hidden = weight_hidden.transpose * delta_output * der_hidden_activation(output_hidden)

[假定最后一个隐藏层中有N个节点，weight_hidden是N乘以10的矩阵，从上方的delta_output为10x1，der_hidden_​​activation（output_hidden）的结果为N x 1。

现在，我的第一个问题是，delta_output和der_hidden_​​activation（output_hidden）的乘积是否应该使用外部乘积返回10 x N的矩阵？我认为我需要对这个结果矩阵进行Hadamard乘积处理，并保持权重不变，以使delta_hidden仍然为N x 10。

最后，我将此delta_hidden乘以我的学习率，并从最后一个隐藏层的原始权重中减去它以获得新的权重。

我的第二个也是最后一个问题是，我想念什么吗？

提前感谢。

Answer 1

[假定最后一个隐藏层中有N个节点，weight_hidden是N乘以10的矩阵，从上方的delta_output为10x1，der_hidden_​​activation（output_hidden）的结果为N x 1。

[从N个神经元层（隐藏层）到M个神经元层（输出层），在matrix multiplication下，权重矩阵尺寸应为M xN。因此，对于反向传播阶段，从M层神经元（输出）到N层神经元（隐藏层），请使用权重矩阵的transpose，这将为您提供尺寸（N x M）的矩阵。]

现在，我的第一个问题是，delta_output和der_hidden_​​activation（output_hidden）的乘积是否应该使用外部乘积返回10 x N的矩阵？我认为我需要对这个结果矩阵进行Hadamard乘积处理，并保持权重不变，以使delta_hidden仍然为N x 10。

是，您需要使用hadamard product，但是您不能将delta_output和der_hidden_​​activation（output_hidden）相乘，因为它们是不同维度的矩阵（分别为10 x 1和N x 1）。相反，您可以将hidden_​​weight矩阵（N x 10）的转置乘以delta_output（10 x 1）得到一个N x 1的矩阵，然后使用der_hidden_​​activation（output_hidden）执行hadamard乘积。

如果我翻译正确的话...

hidden_​​weight矩阵=9JNJ1UJN3JN9JN9JJNJJ3UJN3JJ1J9NJJ1U3N

delta_output =delta_hidden =NyY1Q2Rlb>NyY1Q2Rlb}

der_hidden_​​activation（output_hidden）=

将其放入BP公式...

如您所见，首先需要将weight_hidden（N x 10）的转置与delta_output（10 x 1）相乘以生成矩阵（N x 1），然后将hadamard乘积与der_hidden_​​activation（output_hidden）一起使用。

最后，我将此delta_hidden乘以我的学习率，并从最后一个隐藏层的原始权重中减去它以获得新的权重。

您不会将delta_hidden乘以学习率。您需要在偏差和增量权重矩阵上使用学习率...

增量权重矩阵是与（隐藏的）权重矩阵具有相同维度的矩阵，并使用公式...进行计算...

然后您可以轻松地应用学习率...

Incidentally, I just answered a similar question on AISE which might help shed some light and goes into more detail about the matricies to use during backpropagation.