我有两个单独的规范化文本文件,我想训练我的BlazingText模型。
我正在努力让这个工作,文档没有帮助。
基本上我需要弄清楚如何为sagemaker.estimator.Estimator.fit()方法提供多个文件或S3前缀作为“输入”参数。
我第一次尝试:
s3_train_data1 = 's3://{}/{}'.format(bucket, prefix1)
s3_train_data2 = 's3://{}/{}'.format(bucket, prefix2)
train_data1 = sagemaker.session.s3_input(s3_train_data1, distribution='FullyReplicated', content_type='text/plain', s3_data_type='S3Prefix')
train_data2 = sagemaker.session.s3_input(s3_train_data2, distribution='FullyReplicated', content_type='text/plain', s3_data_type='S3Prefix')
bt_model.fit(inputs={'train1': train_data1, 'train2': train_data2}, logs=True)
这不起作用,因为SageMaker正在寻找输入参数中专门用于“训练”的键。
那么我试过:
bt_model.fit(inputs={'train': train_data1, 'train': train_data2}, logs=True)
这仅在第二个数据集上训练模型,并完全忽略第一个数据集。
现在最后我尝试使用Manifest文件:https://docs.aws.amazon.com/sagemaker/latest/dg/API_S3DataSource.html
(参见“S3Uri”部分下的清单文件格式)
文档说清单文件格式是一个类似于这个例子的JSON:
[
{"prefix": "s3://customer_bucket/some/prefix/"},
"relative/path/to/custdata-1",
"relative/path/custdata-2"
]
好吧,我不认为这首先是有效的JSON,但我知道什么,我还是试一试。
当我尝试这个:
s3_train_data_manifest = 'https://s3.us-east-2.amazonaws.com/bucketpath/myfilename.manifest'
train_data_merged = sagemaker.session.s3_input(s3_train_data_manifest, distribution='FullyReplicated', content_type='text/plain', s3_data_type='ManifestFile')
data_channel_merged = {'train': train_data_merged}
bt_model.fit(inputs=data_channel_merged, logs=True)
我收到一个错误说:
ValueError: Error training blazingtext-2018-10-17-XX-XX-XX-XXX: Failed Reason: ClientError: Data download failed:Unable to parse manifest at s3://mybucketpath/myfilename.manifest - invalid format
我尝试用大括号替换我的清单文件中的方括号...但我仍然认为JSON文件格式似乎缺少文档无法正确描述的内容?
您当然可以使用相同的前缀匹配多个文件,因此只要您在S3存储桶中组织文件以适应,您的第一次尝试就可以工作。对于例如前缀:s3://mybucket/foo/
将匹配文件s3://mybucket/foo/bar/data1.txt
和s3://mybucket/foo/baz/data2.txt
但是,如果您的存储桶中有一个名为s3://mybucket/foo/qux/data3.txt
的第三个文件,您不希望匹配(同时仍然匹配前两个),则无法使用单个前缀实现该目标。在这些情况下,清单可行。因此,在上面的示例中,清单只是:
[
{"prefix": "s3://mybucket/foo/"},
"bar/data1.txt",
"baz/data2.txt"
]
(是的,这是有效的json - 它是一个数组,其第一个元素是一个具有名为prefix
的属性的对象,所有后续元素都是字符串)。
请仔细检查您的清单(您实际上没有发布它,因此我不能为您执行此操作)并确保它符合上述语法。
如果您仍然卡住了请在AWS sagemaker论坛上打开一个帖子 - https://forums.aws.amazon.com/forum.jspa?forumID=285,在您这样做之后我们可以设置一个PM来试图找到它的底部(永远不要在像StackOverflow这样的公共论坛中发布您的AWS账户ID甚至在AWS论坛中)。