加载 .npy 文件作为 pytorch 的数据集

Question

我在 .npy 文件中对数据进行了预处理，我们将原始数据称为 X.npy，将标签称为 Y.npy。它们的组织方式是匹配两个文件中的每个元素（X 中的第一个元素具有 Y 中的第一个标签等）。如何使用

torch.utils.data.DataLoader

将其加载为数据集？我对 pytorch 很陌生，任何帮助都会有用。

Answer 1

您还可以使用 DatasetFolder，它基本上是 ImageFolder 的基础类。使用此类，您可以提供自己的文件扩展名和加载器来加载示例。

def npy_loader(path):
    return torch.from_numpy(np.load(path))

Answer 2

所有代码如下：

def npy_loader(path):
    sample = torch.from_numpy(np.load(path))
    return sample
    

dataset = datasets.DatasetFolder(
    root='PATH',
    loader=npy_loader,
    extensions=['.npy']
)