将Cifar10数据集转换为Amazon SageMaker的RecordIO格式

Question

我已经下载了cifar-10数据集，需要将其转换为RecordIO格式。如果您解压缩下载的cifar-10-python.tar.gz数据集，您将在下面看到

cifar-10-batches-py/
cifar-10-batches-py/data_batch_4
cifar-10-batches-py/readme.html
cifar-10-batches-py/test_batch
cifar-10-batches-py/data_batch_3
cifar-10-batches-py/batches.meta
cifar-10-batches-py/data_batch_2
cifar-10-batches-py/data_batch_5
cifar-10-batches-py/data_batch_1

现在，我想分离data_batch_*.bin训练集和test_batch.bin测试集并转换为recordIO格式。

遵循本教程link但不确定im2rec实际上是如何实现的。

请建议。

Answer 1

这是你如何使用im2rec：https://mxnet.incubator.apache.org/versions/master/faq/recordio.html

或者您可以直接下载RecordIO格式的CIFAR-10：

wget http://data.mxnet.io/data/cifar10/cifar10_val.rec
wget http://data.mxnet.io/data/cifar10/cifar10_train.rec