Pytorch中的forward函数到底输出什么？

Question

此示例逐字取自 PyTorch 文档。现在我确实有一些关于深度学习的背景知识，并且知道很明显，

forward

调用代表前向传递，穿过不同的层并最终到达终点，在这种情况下有 10 个输出，然后你采取前向传递的输出并使用定义的损失函数计算

loss

。现在，我忘记了在这种情况下

forward()

传递的输出到底给我带来了什么。

我认为神经网络的最后一层应该是某种激活函数，如

sigmoid()

或

softmax()

，但我没有看到这些在任何地方被定义，而且，当我现在做一个项目时，我发现稍后会调用

softmax()

。所以我只是想澄清一下

outputs = net(inputs)

到底给了我什么，从这个 link 来看，在我看来默认情况下 PyTorch 模型前向传递的输出是 logits？

transform = transforms.Compose(
    [transforms.ToTensor(),
     transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))])

trainset = torchvision.datasets.CIFAR10(root='./data', train=True,
                                        download=True, transform=transform)
trainloader = torch.utils.data.DataLoader(trainset, batch_size=4,
                                          shuffle=True, num_workers=2)

import torch.nn as nn
import torch.nn.functional as F


class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.conv1 = nn.Conv2d(3, 6, 5)
        self.pool = nn.MaxPool2d(2, 2)
        self.conv2 = nn.Conv2d(6, 16, 5)
        self.fc1 = nn.Linear(16 * 5 * 5, 120)
        self.fc2 = nn.Linear(120, 84)
        self.fc3 = nn.Linear(84, 10)

    def forward(self, x):
        x = self.pool(F.relu(self.conv1(x)))
        x = self.pool(F.relu(self.conv2(x)))
        x = x.view(-1, 16 * 5 * 5)
        x = F.relu(self.fc1(x))
        x = F.relu(self.fc2(x))
        x = self.fc3(x)
        return x


net = Net()

import torch.optim as optim

criterion = nn.CrossEntropyLoss()
optimizer = optim.SGD(net.parameters(), lr=0.001, momentum=0.9)

for epoch in range(2):  # loop over the dataset multiple times

    running_loss = 0.0
    for i, data in enumerate(trainloader, 0):
        # get the inputs; data is a list of [inputs, labels]
        inputs, labels = data

        # zero the parameter gradients
        optimizer.zero_grad()

        # forward + backward + optimize
        outputs = net(inputs)
        print(outputs)
        break
        loss = criterion(outputs, labels)
        loss.backward()
        optimizer.step()

        # print statistics
        running_loss += loss.item()
        if i % 2000 == 1999:    # print every 2000 mini-batches
            print('[%d, %5d] loss: %.3f' %
                  (epoch + 1, i + 1, running_loss / 2000))
            running_loss = 0.0

print('Finished Training')

Answer 1

在我看来，默认情况下 PyTorch 模型前向传递的输出 是逻辑

正如我从前向传递中看到的，是的，你的函数正在传递原始输出

    def forward(self, x):
        x = self.pool(F.relu(self.conv1(x)))
        x = self.pool(F.relu(self.conv2(x)))
        x = x.view(-1, 16 * 5 * 5)
        x = F.relu(self.fc1(x))
        x = F.relu(self.fc2(x))
        x = self.fc3(x)
        return x

那么，softmax 在哪里？就在这里：

criterion = nn.CrossEntropyLoss()

它有点被掩盖，但在这个函数内部处理了 softmax 计算，当然，它与最后一层的原始输出一起工作

这是softmax计算：

其中 z_i 是神经网络的原始输出

因此，总之，您的最后一个输入中没有激活函数，因为它是由

nn.CrossEntropyLoss

类处理的

回答来自

nn.Linear

的原始输出是什么：神经网络层的原始输出是来自前一层神经元的值的线性组合

Answer 2

最后一层是'self.fc3 = nn.Linear(84, 10)'。它产生“10个阶层的能量”。在预测过程中，从具有 10 个值的张量中提取最高“能量”的索引来预测标签类别。请参阅文档中的屏幕截图