单个服务器的简单作业调度程序

Question

我在不同用户之间共享一台服务器，我需要建立一个简单的工作负载管理器/作业调度系统，以便在不同用户之间公平地共享资源。我正在寻找的是task spooler的多用户版本，其中增加了一些功能。理想情况下，它应该

• 允许不同的用户将作业添加到一个或多个队列
• 每个作业都应具有最长的挂起时间，然后将其终止，并执行队列中的下一个作业
• 处理资源使用中的“公平”（至少应该在不同用户之间循环）
• 允许多个作业在需要时同时运行（因此，如果一个用户具有串行作业，则其他用户可以利用免费资源）

我找到了许多适合这项工作的作业调度程序（如SLURM或Torque），但它们似乎有一个陡峭的学习曲线，并且无法听到配置和管理，这对于单个服务器来说太大了。

什么可以效果最好？

Answer 1

Celery可能会有所帮助。我们使用celery在单个和分布式服务器上运行任务。我们可以根据我们的需求进行修改，例如使用Flower添加UI