spring-kafka 相关问题

Spring for Apache Kafka(spring-kafka)项目将核心Spring概念应用于基于Kafka的消息传递解决方案的开发。

Kafka Consumer 陷入再平衡状态

我们有一个 Kafka 消费者,它突然(没有任何活动)进入重新平衡状态并陷入困境。这导致k8 pod的CPU拍了,GC时间也接近70-80...

回答 1 投票 0

将Map从KafkaProducer发送到KafkaConsumer

我正在使用java 21和Spring Boot 3.2.0(快照)。我想使用从 KafkaProducer 到 KafkaConsumer 发送 Map>。 KafkaConsumerConfig 类: @配置 噗...

回答 1 投票 0

当kafka代理重启时Spring kafka变成僵尸

我正在使用 kafka 和 spring-starter-parent 版本 2.6.6 最近,当kafka代理重新启动时,我的kafka客户端变得僵尸(我们有3个代理,并且是滚动重新启动) 需要解决...

回答 1 投票 0

Kafka消费者偏移提交问题

对于使用 Reactor Kafka 的 Spring WebFlux,我为我的消费者提供了以下代码: 公共EventConsumer(KafkaReceiverinputEventReceiver, 消息助手

回答 1 投票 0

使用 spring-kafka 实现多个具有不同配置细节的 kafka 生产者和消费者

我们有一个API,可以连接到多个kafka主题来生成和使用kafka消息。我们使用 spring-kafka,除了主题名称(可以在运行时为消费者和

回答 1 投票 0

发送字符串列表时构建kafka生产者失败

我是 Kafka 新手,我正在尝试读取一个文本文件并创建一个要发送给消费者的字符串列表。我正在使用 Java 21 和 Spring Boot 3.2.0(快照)。 这是 Kafka 项目...

回答 1 投票 0

spring boot application.yml 完全被忽略(存在于目标/类下)

运行 Spring Boot 应用程序如下: 我的 8080 端口正在使用中,因此我正在尝试更改它。另外,我故意给kafka提供错误的引导服务器,看看它是否生效。 mvn spring-b...

回答 1 投票 0

查找Spring kafka批处理时间

我有一个具有以下配置的kafka消费者 启用自动提交:true 最大轮询记录:50 自动提交间隔毫秒:10000 消费者方法如下, @KafkaListener(主题=(“...

回答 2 投票 0

Kafka 生产者指标未出现在 Spring Boot 3.1.1 Prometheus 中

我有一个 Spring Boot 3.1.1 组件,我刚刚在其中创建了一些 Kafka 生产者。我希望在 Prometheus 中公开他们的指标,所以我做了以下配置: @Autowired 私人 MeterRegis...

回答 1 投票 0

ReactDeserializationException发生时如何移动到下一个偏移量reactor-kafka接收器?

当将 spring-webflux 与reactor-kafka接收器一起使用时,当发生 RecordDeserializationException 时,如何手动移动/提交偏移量?从 RecordDeserializationException 我可以获取分区并......

回答 1 投票 0

Spring KafkaListener 断开连接并停止消费 - CommitFailedException

我有一个 Kafka 主题,它从不(故意)清除消息。我想不断地消费来自它的消息,即使我的消费者离线几天/几周/几个月。据我了解,这...

回答 1 投票 0

Spring kafka重试延迟比配置的要短

我使用 Spring Kafka 作为重试机制。我使用以下代码将 Kafka 侦听器配置为可重试主题: @RetryableTopic( 包括= {SystemException.class},

回答 1 投票 0

Kafka消费者健康检查

有没有一种简单的方法来判断消费者(使用spring boot和@KafkaListener创建)是否正常运行? 这包括 - 可以访问和轮询代理,至少分配一个分区,等等...

回答 4 投票 0

Spring Kafka:处理长时间作业时如何防止分区撤销

我想问一下,有没有什么办法可以防止consumer在使用@KafkaListener处理长时间操作时被撤销? 我有一个申请,里面有需要花很长时间的工作...

回答 1 投票 0

@RetryTopic 配置影响应用程序性能

Spring Boot v2.6.7 应用程序已在生产环境中使用,它使用来自 Kafka 的数据,进行转换并将数据存储到数据库。 处理 100k Kafka 记录应用程序请求...

回答 1 投票 0

Kafka抵消混乱(消费者端)

我最近一直在阅读有关 Kafka 的文章,对它还很陌生。很多地方都说,Kafka永远不会跟踪分区的偏移量,客户端必须记住这个状态。其中一个地方就是这个 https://docs.

回答 1 投票 0

默认KafkaConsumerFactory - ConcurrentHashMap - NullPointerException

我正在使用kafka消费者。我从 Spring boot 1.5 升级到 2.6。现在,当我运行应用程序时,它无法开始抛出 NullPointerException 。请告诉我是否有人可以帮助...

回答 2 投票 0

Acknowledgement.acknowledge() 在 spring-kafka @KafkaListener 中抛出异常

当我将enable.auto.commit设置为false并尝试使用基于注释的spring-kafka @KafkaListener手动提交偏移量时,我得到一个org.springframework.kafka.listener.ListenerExecutionFailedExcept...

回答 2 投票 0

一旦遇到异常我想停止处理spring-kafka中的后续消息

当我遇到异常时,kafka侦听器不得处理新消息。它应该等到异常情况得到解决(可能需要手动干预)然后开始消费

回答 1 投票 0

如何修复 kafka.common.errors.TimeoutException:自批量创建以来已过期 1 条记录 xxx 毫秒加上逗留时间

我使用的是kafka_2.11-2.1.1 和使用 spring 2.1.0.RELEASE 的生产者。 我在将消息发送到 Kafka 主题时使用 spring,我的生产者生成了很多 TimeoutExceptions org.apache.k...

回答 3 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.