用于与Apache Kafka使用者API相关的问题
在生成或使用数据时我没有看到任何失败,但是生产中存在大量重复消息。对于一个获得大约100k消息的小主题,有大约4k重复...
我在用 org.apache.kafka 卡夫卡的客户端 2.0.1 ...
我有两个卡夫卡集群。我需要使用kafka-spring在它们之间实现一种同步。 [集群A,主题A] [集群B,主题B]我创建了监听器......
我是阿帕奇卡夫卡的新人。当我通过最新版本kafka_2.12-2.2.0 http://kafka.apache.org/quickstart进行快速入门指导时。我遇到了问题,无法通过...
我有一个kafka设置,包括prometheus的jmx导出器。我正在寻找一个指标,根据主题和groupid给出偏移滞后。我正在运行kafka 2.2.0。一些资源在线点......
即使在成功连接并在kafka消费者控制台中获取消息之后,也无法使用来自kafka主题(使用Python)的消息[重复]
我有一个使用Kafka的Debezium设置。我可以按照文档中的描述使用来自kafka控制台的消息。但是,当我在本地创建使用Python的kafka消费者时,我无法...
为了消费来自Kafka的数据,我们可以在一个主题上拥有多个消费者,完全脱钩。那么,页面上没有共享消费意味着什么(https://streaml.io/blog/pulsar-streaming -...
Java代码:使用特定主题的kafka使用者检索最后n条消息
kafka版本:0.9.0.1如果n = 20,我必须得到一个主题的最后20条消息。现在,我正在使用kafkaConsumer.seekToBeginning();我收到所有消息。我正在写一些逻辑,以获得最后的...
我做了Apache Kafka 0.10.1.0的全新安装。我能够在命令提示符下发送/接收消息。在使用Producer / Consumer Java Example时,我无法知道group.id参数......
我使用Spring Boot和Spring Kafka设置了我的项目,并且有三个消费者。检查日志,我可以看到消费者不时断开连接:catalina.out:2019-04 -...
我遇到了一些问题,这些问题与我在K8s集群中运行的服务中生成的日志数量有关。问题与此处描述的类似,但我无法解决问题。我......
我是Kafka的新手,我使用kafka通过logstash收集netflow(没关系),我想将数据从kafka发送到elasticsearch,但是有一些问题。我的问题是如何连接......
我们有一个消费者组和三个主题,这三个主题都是不同的模式。创建了一个使用for循环的消费者,一次传递每个主题并轮询它处理和提交...
kafka consumer AbstractCoordinator:发现了协调器Java客户端
我有3个代理运行代理ID为0 1和2的代理.Consumer(Java客户端)选择代理0作为组协调器并开始正确使用消息。但当经纪人0是......
为什么Kafka Consumer的性能与最新的偏移和最早的偏移不同?
获取请求是相同的。 maxWait:100ms minBytes:1 fetchSize:1048576当我从最早的偏移消耗时,它非常快,可以达到每秒10,000条记录。但是,当我消费...
如何以byte []格式从Kafka读取数据?我有一个实现,使用SimpleStringSchema()读取事件为String但我找不到一个架构来读取数据作为byte []。这是我的代码:...
我有3个消费者订阅了Kafka话题。生产者向主题发布1条消息。如何确保消息在Kafka内部复制,然后由所有3消息...
Kafka:同一个使用者组中的多个实例在主题内部监听相同的分区
我有两个kafka使用者实例,配置了相同的使用者组并在同一主题中侦听分区0。问题是当我向主题发送消息时。消息是......
有没有办法实现基于Spring Kafka的消费者的断路器模式。我想知道实现我的Spring kafka消费者是否有可能停止消费记录,如果有...
我正致力于在Kafka重新平衡中保存消费者身份。我发现javadoc ConsumerRebalanceListener中的伪代码使用外部存储来保存偏移量。我想知道:那里有......