JVM(尴尬地)并行处理库/工具

问题描述 投票:0回答:4

我正在寻找一些可以轻松在集群上运行(正确编码)并行 JVM 代码的东西(这样我就可以使用 Clojure + Incanter)。

我过去曾使用并行Python来做到这一点。我们有一个新的 PBS 集群,我们的管理员将很快设置使用 PBS 作为后端的 IPython 节点。这两个系统都使得在集群中运行某些类型的代码几乎是轻而易举的事情。

我过去在使用 Hadoop 时犯了一个错误(Hadoop 不适合我使用的数据类型) - 延迟使得即使是小运行也要执行 1-2 分钟。

JPPF 还是 Gridgain 更能满足我的需求?这里有人有这方面的经验吗?还有什么可以推荐的吗

java clojure parallel-processing jvm embarrassingly-parallel
4个回答
3
投票

2
投票

Clojure 据报道可在 Terracotta 上运行,但需要进行一些修补。


1
投票

看看Skandium

编辑:

上面的链接不再有效,所以添加 github 链接

https://github.com/mleyton/Skandium


0
投票

我建议您查看Skandium,可以根据要求与开发人员协商 GPL 的替代许可证。

© www.soinside.com 2019 - 2024. All rights reserved.