限制芹菜中同时进行的特定任务的数量

Question

我有2个任务taskA和taskB使用GPU运行。它们都可以同时在GPU上运行。但是，如果celery决定启动其他实例，那么我将发生崩溃（GPU上的内存不足）。

因此，我希望能够对此进行控制（即仅允许taskA + taskB或taskB + taskB或taskA +同时使用[[taskA，但例如防止taskA + taskA + taskB）。

我该如何控制？

Answer 1

您可以使用--concurrency参数来限制同时执行的任务数。如果两个任务都使用同一个工作程序，则将其设置为2；如果有两个单独的工作程序，则将其设置为1。