Kinesis消费滞后监测

问题描述 投票:2回答:1

我正在尝试在流级别收集Kinesis的度量标准,更具体地说,想要获得工作者/消费者进程在流级别上落后的计数,我不关心分片级别的滞后。我找到了一个关于计算AWS文档消耗延迟的示例,但它计算了延迟时间,而不是消息计数的延迟。我正在尝试使用Java KCL来收集流的这些指标,这些指标将定期收集并发布到仪表板。谢谢。

amazon-kinesis amazon-kinesis-firehose
1个回答
1
投票

记录数量的滞后大小不是您开箱即用的指标。你可以自己计算,但这不是直截了当的。

生产者对消费者一无所知,消费者对生产者一无所知。延迟时间可用的唯一原因是每个记录的序列号都有编码的摄取时间戳,因此消费者可以发布他们看到的最新时间戳,然后您可以获得整个流的最大滞后。

© www.soinside.com 2019 - 2024. All rights reserved.