TORQUE、HTCondor和Apache Mesos的主要区别是什么？

Question

• http:/www.adaptivecomputing.comproductsopen-sourcetorque
• https:/research.cs.wisc.eduhtcondor。

我正在寻找一个执行分布式计算的程序（虽然不需要并行计算），该程序有

• 一个调度器
• 队列管理（FIFO，或者最好是更高级的）。
• 统计报告
• 能在异构集群上运行（一组具有不同特性的机器，如cpu和内存）。
• 而且非常重要的是：良好的响应性（从触发任务到实际开始执行之间最多几秒钟。我听说这一点在HTCondor和TORQUE上很难实现？Apache Mesos呢？)

Answer 1

有一个相当大的 维基百科页 与比较，但你很难发现大的差异。我的猜测是，理论上大多数事情都可以在任何一个框架中完成。 你所列出的事情都取决于角度（例如人们通常从HTCondor日志中写出自己复杂的统计数据）。关于响应性。HTCondor可以很好地安排交互式笔记本，如果有足够的资源让工人去接活。几秒钟通常是没有问题的，但很难保证。这些是高吞吐量系统，但不是低延迟系统。如果你关心延迟，你应该预先分配工人，并扩大和缩小他们的规模（在这里，对其他框架的支持比原生延迟更有帮助）。

我尽量从我的角度来强调每个项目的主要焦点，这对一个实际的决定很重要。

目标受众

Mesos。

• PaaSIaaS的目标是运行其他调度器(你可以在Mesos上运行Torque。)
• 特别是与大数据框架的互操作，如 火花 & 卡夫卡

与

HTCondor &Torque都。

• 公平分享批量处理，特别是在科学集群中（高吞吐量计算）。

生态系统

Mesos。

• Apache开源项目 社区

与HTCondor：

HTCondor。

• 由UW-Madison维护的开放源码，具有经典性。用户通讯录

与TORQUE：

TORQUE。

• 专有。商业支持

易用性

(部分是统计，但更多的是仪表盘风格)

Mesos & TORQUE:

• Web UI
• 常见的集成与其他框架可用（对于TORQUE寻找PBS）。

HTCondor。

• 新开发的REST和Python界面，但没有通用的图形用户界面。
• 在框架支持上落后了一点点（R batchtools，最近是有dask支持）。