我正试图构建一个应用程序,用户能够将文件上传到云存储。然后这将触发一个模型训练过程(以及后面的预测)。最初,我想我可以用云函数spubsub和cloudml来实现这个功能,但似乎云函数无法触发cloudml所需的gsutil命令。
我唯一的选择是启用cloud-composer并将GPU连接到kubernetes节点上,然后创建一个云函数,触发dag在节点上启动一个带有GPU的pod并挂载带有数据的bucket?看起来有点过分,但我目前想不出其他方法。
你说的没错。就目前而言,没有任何可能性执行 gsutil
命令 谷歌云功能:
云函数可以用Node.js、Python、Go和Java编写,并在特定的语言运行时执行。
我非常喜欢你的第二种方法 触发DAG.我想到的另一个想法是通过Python操作员使用计算引擎Pyhton API与Cloud Composer内的GCP虚拟机进行交互。你可以在自动化基础架构和深入了解Cloud Composer的核心功能方面找到更多信息。此处.
你可以想到的另一个解决方案是Kubeflow,它的目的是让在Kubernetes上运行ML工作负载。Kubeflow在你的集群中添加了一些资源来协助完成各种任务,包括训练和服务模型以及运行Jupyter Notebooks。请看一下 Codelabs教程.
希望以上信息对你有用。