Hazelcast jet 可以用于基于批处理的工作负载吗?

问题描述 投票:0回答:0

我们正在开展大型机现代化计划,我们需要在 24 小时窗口内以 6 个不同的周期每天处理 3-50 亿条记录。

记录以某种特定格式存储在文件中。这些记录经过处理后可供下游系统使用。

我们绝对需要分布式处理能力,hazelcast jet 似乎是一种很有前途的技术。然而,大多数可用的示例都是针对实时流处理的。

我们在寻找什么 Hazelcast jet 可以用于我们应该处理的批量的基于批处理的工作负载吗?

Apache Spark 可以作为替代选项。 我们正在探索按需提供可扩展性和低开销的替代方案

hazelcast hazelcast-jet
© www.soinside.com 2019 - 2024. All rights reserved.