残留网可以跳过一个线性而不是两个吗？

Question

ResNets中的标准是跳过2个线性。还会跳过一件作品吗？

Answer 1

我会把你带到凯明赫的the original paper。

在3.1-3.2节中，他们将“身份”快捷方式定义为y = F(x, W) + x，其中W是可训练的参数，用于学习任何残差映射F。重要的是残差映射包含非线性，否则整个结构是一个复杂的线性层。但是线性的数量不受限制。

例如，ResNeXt network在一堆仅卷积层周围创建了身份快捷方式（参见下图）。因此残余块中没有任何密集层。

一般的答案是：是的，它会起作用。然而，在特定的神经网络中，将两个密集层减少到一个可能是个坏主意，因为无论如何，残余块必须足够灵活以学习剩余功能。所以请记住验证您提出的任何设计。