具有大型滑动窗口的Kafka Streams

问题描述 投票:0回答:2

我需要显示过去 3 个月、6 个月和 1 年中任何时间点的使用统计数据。我计划在上述持续时间内使用 KStream 滑动窗口。我看到的大多数示例都使用以分钟或秒为单位的持续时间。我想知道滑动窗口可以使用更大的持续时间吗?有性能影响吗?应该使用任何特定配置才能获得最佳性能?

谢谢, 吉奴

apache-kafka-streams sliding-window
2个回答
1
投票

这实际上取决于数据的密度以及您正在进行的聚合类型。由于结束时间还很遥远,因此最终可能会更新大量窗口并且无法关闭。另外,如果它太重,我不确定国营商店是否可以处理。但在正确的负载和保留时间下,我没有看到它不起作用的明显原因。

编辑:如果你最终尝试了它,我将非常有兴趣看看它是如何运作的。


0
投票

想知道 Kafka 流处理在内部如何保持状态,例如某个账户在过去 365 天内所有交易的总金额?

© www.soinside.com 2019 - 2024. All rights reserved.