我正在为端到端机器学习运行airflow，一些机器学习任务需要几个小时来训练。我不希望dag和相应的训练任务成为瓶颈，我如何允许多个任务被调度 ? 我假设我得把我的执行器从Sequential改成Celery。还有什么是我遗漏的吗？
除了Celery，你还可以使用LocalExecutor，它的设置更简单，可能适合你的需求。此外，你可以为机器学习任务创建一个池，而其余任务则使用默认的池子https:/airflow.apache.orgdocsstableconcepts.html?highlight=pool#pools。