Kafka Streams 节点上内存不足

问题描述 投票:0回答:1

我正在节点上运行一个 kafka 流应用程序,它耗尽了应用程序的内存, 我想在集群级别运行 kafka 流应用程序

我怎样才能完成同样的任务,因为有状态流处理将数据存储在本地,即使我运行同一应用程序的两组实例并将 kafka 流的 state.dir 设置为公共位置,我如何共享应用程序的负载在有状态流场景中使用另一个实例?

我尝试在两个实例中运行计数聚合应用程序,但最终结果是分割有状态数据并弄乱了预期结果

apache-kafka apache-kafka-streams
1个回答
0
投票

强烈建议每个主题分区一个实例来分配负载,而不是增加应用程序堆大小。

如何与另一个实例共享应用程序的负载

这是自动的。 Kafka 协议会为您处理这个问题

最终分裂了有状态数据

这是预料之中的。要查询所有实例的状态,有相关文档。 https://docs.confluence.io/platform/current/streams/developer-guide/interactive-queries.html

© www.soinside.com 2019 - 2024. All rights reserved.