当文件到达云存储时,触发云ml上的训练任务。

问题描述 投票:0回答:1

我正试图构建一个应用程序,用户能够将文件上传到云存储。然后这将触发一个模型训练过程(以及后面的预测)。最初,我想我可以用云函数spubsub和cloudml来实现这个功能,但似乎云函数无法触发cloudml所需的gsutil命令。

我唯一的选择是启用cloud-composer并将GPU连接到kubernetes节点上,然后创建一个云函数,触发dag在节点上启动一个带有GPU的pod并挂载带有数据的bucket?看起来有点过分,但我目前想不出其他方法。

google-cloud-platform google-cloud-functions google-kubernetes-engine
1个回答
1
投票

你说的没错。就目前而言,没有任何可能性执行 gsutil 命令 谷歌云功能:

云函数可以用Node.js、Python、Go和Java编写,并在特定的语言运行时执行。

我非常喜欢你的第二种方法 触发DAG.我想到的另一个想法是通过Python操作员使用计算引擎Pyhton API与Cloud Composer内的GCP虚拟机进行交互。你可以在自动化基础架构和深入了解Cloud Composer的核心功能方面找到更多信息。此处.

你可以想到的另一个解决方案是Kubeflow,它的目的是让在Kubernetes上运行ML工作负载。Kubeflow在你的集群中添加了一些资源来协助完成各种任务,包括训练和服务模型以及运行Jupyter Notebooks。请看一下 Codelabs教程.

希望以上信息对你有用。

© www.soinside.com 2019 - 2024. All rights reserved.