PyTorch实现的ReLU,如何处理零点求导?

问题描述 投票:0回答:0

ReLU在0处不可导,但在PyTorch的实现中,应该处理一下。 那么,0处的导数默认设置为0还是?

我试图在反向传播时将权重和偏差(ReLU 的输入)设置为零,权重的梯度为 0,但残差块中的最后一个卷积层不为零

pytorch relu
© www.soinside.com 2019 - 2024. All rights reserved.