神经网络的权重在训练后大部分为 1.0 或 -1.0

Question

在具有 10 个随机初始化的 leaky ReLu 输出神经元的 MNIST 数据集上训练后，我的神经网络的几乎所有权重都是 1.0 或 -1.0。

这里是源代码：https://github.com/MACAYCZ/holcak-ai

HAI_network_backward

里面有

source/network.c

，就是学习函数

1. 我尝试在

   tanh(input * 0.5 + 1.0)

   上学习具有单个 tanh 神经元的神经网络，它运行良好。
2. 我尝试学习两层神经网络，在

   tanh(tanh(input * 0.5 + 1.0) * 0.5 + 1.0)

   上都有单个tanh神经元，权重不是0.5，因为我期望它们在隐藏层中类似于

   0.25

   ，在输出层中类似于

   0.8

   ，但成本没关系。
3. 我尝试学习具有 10 个 leaky ReLu 神经元的单层神经网络，训练后权重大多为 1.0 或 -1.0。