我正在尝试学习如何使用AWS Sagemaker,但我偶然发现将输入数据设置为清单文件或增强清单文件的设置。通过Sagemaker控制台创建培训作业时,我在输入数据配置部分中看到无法使用此设置组合:
Input mode = File
S3 data type = AugmentedManifestFile
因为这会导致错误Pipe mode is required for AugmentedManifestFile S3 data type.
。
在输入数据配置部分中,我还可以选择AgumentedManifestFile的属性名称,而不能为ManifestFile选项选择。这是因为所有清单文件都必须遵循相同的模板,而增强清单文件使您可以决定模板吗?
此外,我还在this tutorial中看到清单文件可用于增量训练,但不能用于增强清单文件。我试图将各个部分拼凑在一起,但似乎并没有了解它们之间的差异。
ManifestFile
和AugmentedManifestFile
的文档在这里:https://docs.aws.amazon.com/sagemaker/latest/dg/API_S3DataSource.html#SageMaker-Type-S3DataSource-S3DataType
这里还有关于AugmentedManifestFiles
的更多详细信息:https://docs.aws.amazon.com/sagemaker/latest/dg/augmented-manifest.html
为了能够使用AugmentedManifestFiles
,您必须使用能够读取数据格式的算法,因此,是的,您提到的增量培训教程中的示例不能使用此格式。