相当于Julia Flux的数据集

Question

我想用Flux在音频文件上训练一个深度学习模型。在Flux的文档中，他们将整个数据数组（包括所有的例子）传递给一个dataloader，这个dataloader会将数据反馈给 train!() 函数与批次列表。问题是，我的系统中没有足够的内存来一次性加载所有音频文件。

在 PyTorch 中， dataloader 将由一个 dataset 对象，该对象的逻辑是一次打开一个文件，然后在 __getitem__() 方法。

那么，在FluxJulia中正确的实现方式是什么，相当于Torch数据集是什么？

Answer 1

我在Julia discourse论坛上找到了这个线程，基本上涵盖了我在这个问题中提出的问题。

https:/discourse.julialang.orgtpytorch-dataloader-equivalent-for-training-large-models-with-flux30763。

从一些推荐的话题中，有这样一个，包 MLDataUtils.jl提供类似功能的 nobs() 和 getobs() 职能。