Kafka connect生产者调查机制

问题描述 投票:0回答:1

我轮询splunk日志中的数据并写入主题。每次轮询运行时,如何知道应该获取新的记录集。我是否需要存储日志中的上次读取时间戳并将其存储在sourceoffset中,并且下次运行轮询时,是否需要逻辑才能在该时间戳之后获取数据。

apache-kafka apache-kafka-connect splunk
1个回答
0
投票

在该时间戳记之后我是否需要逻辑来获取数据

是,否则我想您正在不断轮询同一时间段的日志

它如何知道它应该获得新的记录集。

“新”是相对的。轮询循环将不断运行。由您决定告诉命令要发送给主题的记录集

© www.soinside.com 2019 - 2024. All rights reserved.