如何在 Flink streaming 中缓存算子级别的并发 hashmap?

问题描述 投票:0回答:0

可能类似于 here 发布的问题,但我的目标是在单个平面映射运算符中跨所有并行性共享并发哈希图。

我有一个包含 映射的 hashmap,我希望这个映射在运行我的 flatmap 函数的所有任务槽之间共享。

我想要它共享的原因是因为我的平面图是通过 Tuple2 中的 2 值键控的,第一个值是我关心的键,第二个值是辅助键,因为我希望每个事件都有两个键组合最终成为一名工人并聚合。因此,第一个键可能会出现在多个工作线程中,所以我想要一种方法来像某种缓存一样在所有工作线程之间共享一个巨大的哈希图。

Flink 可以吗?这是个好主意吗?谢谢。

apache-flink flink-streaming
最新问题
© www.soinside.com 2019 - 2024. All rights reserved.