当数组的所有值为零时，我们可以使用softmax激活吗？

Question

我有一个5 x 5 x 21数组。最后一个维度代表渠道。在一些通道中，只有一个像素值是1，其余的像素值是0。对于其他通道，所有像素值均为0。我在训练深度神经网络的同时沿空间方向应用softmax激活。即使所有值均为零，即沿空间维度的所有像素值之和不等于softmax，还是使用1是个好主意。

我有一个5 x 5 x 21的阵列。最后一个维度代表渠道。在一些通道中，只有一个像素值是1，其余的值是0。对于其他通道，所有像素值...

Answer 1

我不确定是否理解您的问题。Softmax应该应用于我们希望在经过训练的网络中几乎[一个]热分布的地方。 softmax的输出定义了分布（总和等于1），但是softmax的输入没有限制。如果将全0传递给softmax，则将获得均匀分布作为输出。