在使用MultiWorkerMirroredStrategy()来训练Google AI平台(CMLE)上的自定义估算器时,出现以下错误。
ValueError: Unrecognized task_type: 'master', valid task types are: "chief", "worker", "evaluator" and "ps".
[MirroredStrategy()和PamameterServerStrategy()在AI平台及其各自的config.yaml
文件上都可以正常工作。我目前not提供任何操作的设备范围。 Noth我在会话配置tf.ConfigProto(device_filters=device_filters)
中提供任何设备筛选器。
我正在使用MultiWorkerMirroredStrategy()进行训练的config.yaml
文件是:
trainingInput:
scaleTier: CUSTOM
masterType: standard_gpu
workerType: standard_gpu
workerCount: 4
masterType
输入对于在AI平台上提交培训作业是必需的。
注意:它显示的是'chief'作为有效的任务类型,而'master'则是无效的任务类型。我在setup.py中为Trainer软件包提供tensorflow-gpu == 1.14.0。
(1)这似乎是一个错误,然后使用MultiWorkerMirroredStrategy。请在TensorFlow中提交错误。在TensorFlow 1.x中,它应该使用master,在TensorFlow 2.x中,它应该使用Chief。代码是(错误地)要求首席,而AI平台(因为您使用的是1.14)仅提供了主代码。顺便说一句:大师=首席+评估者。
((2)不必在您的setup.py中添加tensorflow。使用gcloud的--runtime-version
(请参阅https://cloud.google.com/ml-engine/docs/runtime-version-list)标志提供您希望AI平台使用的tensorflow框架。