Kafka Streams Yearly time Window

Question

我们正在处理的一个应用程序的要求是，聚合以窗口方式发生，并且窗口大小可能每月/每季度/半年/每年变化。

基于 Kafka 流日历的定时窗口支持这一点，我想在性能方面获得更多的投入，以了解它是否最适合需要。

1. 缓存保存记录直到窗口大小所消耗的内存。

   每天在窗口内流式传输的记录数量非常多。 请建议在这种情况下是否可以使用 Kafka 流处理以及内存管理的资源如何？

Answer 1

Kafka Streams 不存储每个窗口的原始输入记录，而只存储当前（中间）聚合结果。因此，如果您计算实际聚合，窗口大小实际上与所需内存无关。