kafka-consumer-api 相关问题

用于与Apache Kafka使用者API相关的问题

我使用 JoinWindows.ofTimeDifferenceWithNoGrace(Duration.ofHours(24)) 进行左连接时遇到问题

我在使用 JoinWindows.ofTimeDifferenceWithNoGrace(Duration.ofHours(24)) 进行左连接时遇到问题 该方法是否应该将左流中的所有记录保留 24 小时以查找匹配

回答 1 投票 0

批量提交偏移量,而不是在消费时逐一提交

假设 1 个线程正在处理 msg0,第 2 个线程正在处理 msg1。现在,由于并行性性质,msg2 已得到处理并提交其从 0->1 的偏移量。但是由于任何原因而消耗 msg0 时...

回答 1 投票 0

Confluence Kafka Consumer.Consume() 无法捕获任何异常(无效凭据)

使用系统; 使用 System.Collections.Generic; 使用System.Net; 使用系统.安全.身份验证; 使用 System.Threading.Tasks; 使用 Confluence.Kafka; 课程计划 { 静态异步任务 M...

回答 1 投票 0


Avro 解码给出 java.io.EOFException

我使用 Apache avro 架构和 Kafka 0.0.8V。我在生产者/消费者端使用相同的模式。架构中没有任何更改。但当我尝试消费

回答 2 投票 0

Kafka,不同分区的偏移量会相同吗

我有一个 Kafka 主题和该主题的五个分区。将有5个消费群体。每个消费者组都有一个从该主题消费的服务实例。 偏移量会一样吗...

回答 3 投票 0

Kafka 消费者状态显示“没有活跃成员”,尽管我看到我的消费者正在摄取日志

我正在使用 kafka 静态分区将消费者分配给组示例: 我有一个包含 3 个分区的测试主题,我已手动使 Consumer1 连接到分区 0,consumer2 连接到

回答 1 投票 0

无法向端口转发的 Kafka Pod 发送消息

我正在摆弄在 kubernetes 集群中运行的 Kafka pod(孵化器/kafka 图表),尝试发送和接收一些测试数据。我有一个消费者正在运行,我开始使用:

回答 1 投票 0

AVRO序列化异常UTF8\String

我在不同的服务上有一个kafka生产者和消费者,消费者代码已推出并且工作正常,然后今天我推出了生产者端的更改并得到了序列化异常他...

回答 1 投票 0

如何从本地主机连接 ec2 kafka 代理

我无法从本地计算机、在 ec2 实例上运行的 kafka 和 Zookeeper 连接 kafka brocker, 我们允许 ufw 和入站规则,我可以访问除 kakfa 之外的其他端口

回答 1 投票 0

如何使用AOP(@Around注解)拦截kafka消息,并使用@KafkaListener注解进行监听

我正在将我的 spring-boot 应用程序从 spring-boot 2.7.x 升级到 3.2.x。在 spring-boot 2.7.x 中,我使用 @StreamListener 来监听来自 kafka 的消息,但在给予控制权之前...

回答 1 投票 0

如何检查Kafka连接是否正常?

我创建了一个使用 Kafka 的 Spring-Boot 应用程序。 我的 application.properties 中有 Kafka 设置。 spring.kafka.bootstrap-servers = 本地主机:9092 spring.kafka.consumer.group-id = mygrp .... 在...

回答 2 投票 0

Spring Kafka RecoveryCallback 迁移

我正在使用 spring kafka 2.X,现在想迁移到 3.0 现在: 我有一个侦听器容器工厂设置,仅用于重试功能,我在其中设置恢复,如下所示: @豆 公开

回答 1 投票 0

当监听器被移除时如何处理kafka主题

我有一个特定主题的卡夫卡消费者。由于一些原因我改变了消费者。现在我不再使用消息,而是使用一个 kafka-stream 来处理主题并生成新消息到

回答 1 投票 0

消息未通过 sasl_plaintext 配置到达 kafka 消费者

我正在尝试在kafka中设置SASL_PLAINTEXT配置。 我浏览了文档并完成了必要的配置,如下所述:- 重复的 config/server.properties 作为 co...

回答 1 投票 0

Kafka 消费者在禁用自动提交的情况下提交

从 Kafaka 队列读取时我会丢失事件,因为即使禁用了 enable_auto_commit,消费者也会在没有显式提交的情况下更新偏移量。 从 kafka 导入 KafkaClient,

回答 1 投票 0

Kafka Compacted Topic:定期重置消费者偏移量

我想将实体信息存储在 Apache Kafka 压缩主题中。因此,某些具有相同键的值可能会被更新。 假设生产者发送一条带有消费者拥有的密钥的消息

回答 1 投票 0

Kafka:使消费者组不活跃

我正在运行一个数据管道,以便 我通过jdbc connect将sql db中的数据读入kafka主题 我使用ES的kafka接收器连接器将这些数据接收到Elasticsearch中 我需要重置这个

回答 3 投票 0

如何用c#反序列化kafka消息

我已经在 Kafka 中成功实现了 debezium postgres 连接器,它拦截了我的 posgres 表中所做的更改。 我还成功实现了一个消费者,即订阅我的...

回答 1 投票 0

在Spring Kafka中实现批量事件的Exactly-Once处理

我正在开发一个 Spring Kafka 应用程序,我在其中为主题 A(列表<'Sms>)生成批量事件。目标是在整个流程中实现一次性处理,包括消费...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.