ReLU在0处不可导,但在PyTorch的实现中,应该处理一下。 那么,0处的导数默认设置为0还是?
我试图在反向传播时将权重和偏差(ReLU 的输入)设置为零,权重的梯度为 0,但残差块中的最后一个卷积层不为零