气流和Kubeflow管道有什么区别?

问题描述 投票:1回答:1

机器学习平台是商业流行语之一,以促进发展ML或深度学习。

有一个共同的部分工作流程协调器工作流程调度程序,可帮助用户构建DAG,调度和跟踪实验,作业和运行。

[有很多具有工作流程协调器的机器学习平台,例如Kubeflow pipelineFBLearner FlowFlyte

我的问题是气流和Kubeflow管道或其他ML平台工作流程协调器之间的主要区别是什么?

并且气流支持不同的语言API并具有庞大的社区,我们可以使用气流来构建ML工作流程吗?

machine-learning workflow airflow kubeflow-pipelines
1个回答
1
投票

您绝对可以使用Airflow来安排机器学习任务,但是您可能希望与操作员远程执行ML任务。

例如,Dailymotion使用KubernetesPodOperator缩放ML任务的气流。

[如果您没有资源来自己设置Kubernetes集群,则可以使用具有Airflow操作员的ML平台,例如Valohai

在生产中进行ML时,理想情况下,您还希望对模型进行版本控制,以跟踪每次执行的数据,代码,参数和度量。

您可以在Scaling Apache Airflow for Machine Learning Workflows上找到有关此文章的更多详细信息>

© www.soinside.com 2019 - 2024. All rights reserved.