Azure机器学习FileDataSet图像-分片/均分到节点

Question

如何在不同的火车节点中读取Azure文件数据集的一部分（包含1000张图像）。我想取样覆盖所有图像。

https://docs.microsoft.com/en-us/python/api/azureml-core/azureml.data.file_dataset.filedataset?view=azure-ml-py

我正在寻找类似tensorflow.dataset.shard（）的选项。谢谢。

Answer 1

您可以使用管道中的ParallelRunStep，并以FileDataset作为输入。请参阅：https://docs.microsoft.com/en-us/azure/machine-learning/how-to-use-parallel-run-step和https://docs.microsoft.com/en-us/python/api/azureml-contrib-pipeline-steps/azureml.contrib.pipeline.steps.parallelrunstep?view=azure-ml-py

期待听到这是否对您有用...

Manoj，AzureML团队