Resnet34第一层7x7或3x3

Question

我一直在尝试使用 pytorch 实现 Resnet34，但在查看其他实现时，我发现其中一些具有 3x3 卷积层 + bn + relu 作为第一层。然而，架构图上却写着7x7/2的卷积层。我真的很困惑哪一个是正确的。顺便说一句，我正在 CIFAR10 上进行训练，目前使用 7x7 卷积层经过 100 个周期后获得了 0.9 的准确率。

谢谢！

self.input_layer = nn.Sequential(             
nn.Conv2d(3, 64, kernel_size=7, stride=2, padding=3,bias=False),             
nn.BatchNorm2d(64),             
nn.ReLU(),             
nn.MaxPool2d(3, stride=2,padding=1)         
)

这是我的第一个卷积层的代码。

Answer 1

这取决于您的数据集。 CIFAR-10 的输入大小为 32x32。 3x3 过滤器可能会导致后续层中的特征图太小，从而损害下游应用程序的性能（例如风格迁移或迁移学习）。

但是，只要您明确指定架构（如果您正在撰写论文或文档），7x7 和 3x3 都应该没问题。