如何决定使用哪种模式进行'kaiming_normal'初始化

Question

我已经阅读了一些使用PyTorch的nn.init.kaiming_normal_()进行图层初始化的代码。某些代码使用默认的fan in模式。在许多示例中，可以找到一个here，如下所示。

init.kaiming_normal(m.weight.data, a=0, mode='fan_in')

但是，有时候我看到人们使用fan out模式，如下所示here。

if isinstance(m, nn.Conv2d):
                nn.init.kaiming_normal_(m.weight, mode='fan_out', nonlinearity='relu')

有人可以给我一些指导或技巧来帮助我决定选择哪种模式吗？此外，我正在使用PyTorch进行图像超分辨率和去噪任务，哪种模式会更有益。

Answer 1

根据documentation：