kafka-producer-api 相关问题

用于与Apache Kafka生产者API相关的问题。有关制作Kafka主题的任何问题。生产者失败和恢复,幂等性和事务性API。

Apache Kafka 生产者配置:'request.timeout.ms' VS。 “max.block.ms”属性

鉴于以下同步kafka生产者 属性 props = new Properties(); props.put("max.block.ms", 30000); props.put("request.timeout.ms", 30000); props.put("重试", 5); 卡夫卡生产者<

回答 3 投票 0

如何访问kafka生产者使用的confluence注册表模式id?

我有一个使用汇合模式注册表的kafka生产者。我知道有一种算法,KafkaAvroSerializer 基于该算法从汇合模式寄存器中找到匹配的 schemaId...

回答 1 投票 0

我应该在哪里获取创建 Kafka 生产者时缺少的属性?

你能解释一下我应该在下面的代码中哪里得到丢失的属性吗? (smth 应该在 lsat 行中) KafkaProperties prop = new KafkaProperties(); KafkaProperties.Producer 生产者 = prop.

回答 1 投票 0

再现UnknownTopicOrPartitionException:此服务器不托管此主题分区

我们在生产环境中遇到了一些异常: UnknownTopicOrPartitionException:此服务器不托管此主题分区 根据我的分析,一种可能的解决方法......

回答 2 投票 0

将Map从KafkaProducer发送到KafkaConsumer

我正在使用java 21和Spring Boot 3.2.0(快照)。我想使用从 KafkaProducer 到 KafkaConsumer 发送 Map>。 KafkaConsumerConfig 类: @配置 噗...

回答 1 投票 0

从控制台生成具有空值(墓碑)的 Kafka 消息

有没有办法在kafka-console-生产者中生成一条具有空值的消息(即,将其标记为压缩器以使用逻辑删除来删除它)? 我尝试过生成“mykey”和“mykey|”。

回答 3 投票 0

如何在Python中处理特定数量的消息后优雅地停止Kafka消费者?

我有一个带有 BashOperator 的 Airflow DAG,它运行 Kafka 生产者,生成随机数量的消息。这些消息由 Kafka 消费者消费,并将它们写入 JSON 文件。然而...

回答 1 投票 0

发送字符串列表时构建kafka生产者失败

我是 Kafka 新手,我正在尝试读取一个文本文件并创建一个要发送给消费者的字符串列表。我正在使用 Java 21 和 Spring Boot 3.2.0(快照)。 这是 Kafka 项目...

回答 1 投票 0

Kafka CLI:列出某个主题的所有消费者组的命令?

kafka-consumer-groups --bootstrap-server localhost:9092 --describe --group webapi-group 上面的命令给了我: 错误:消费者组“web-api”不存在。 这是正确的,因为 web-api...

回答 2 投票 0

如何修复 kafka.common.errors.TimeoutException:自批量创建以来已过期 1 条记录 xxx 毫秒加上逗留时间

我使用的是kafka_2.11-2.1.1 和使用 spring 2.1.0.RELEASE 的生产者。 我在将消息发送到 Kafka 主题时使用 spring,我的生产者生成了很多 TimeoutExceptions org.apache.k...

回答 3 投票 0

Kafka 更新元数据失败

我正在使用 Kafka v0.10.1.1 和 Spring-boot。 我正在尝试使用以下生产者代码在 Kafka 主题移动用户中生成消息: 主题移动用户有5个分区和2个复制fa...

回答 1 投票 0

MSK - Kafka 客户端版本 3.4.0 出现 kafka-console-生产者错误

我一直在使用 MSK Serverless/Provisioned 和 kafka-clients 3.4.0。 当我使用 * 作为主题名称时,一切正常。 arn:aws:kafka:区域:帐户 ID:主题/集群名称/集群...

回答 1 投票 0

写入死信主题以防反序列化异常

我有一个 Spring Boot 应用程序,它有一个带有 @KafkaListener 的简单 Consumer。我有阻止重试逻辑,可以按预期工作,但如果出现反序列化异常,我想存储...

回答 2 投票 0

使用 Spring Kafka 对单个生产者进行僵尸围栏

我有一个Spring Kafka应用程序,它有一个生产者,它不是纯kafka消费->流程->生产链的一部分,即生产者不是由kafka消费者触发的。 阿科...

回答 1 投票 0

Kafka 与 .Net 客户端

我想在我们的生产环境中使用kafka。我想知道最新版本的客户端是否没有错误可用于生产发布。是否与消费者团体合作?我想传递10000条记录...

回答 6 投票 0

Kafka 出现错误,引导服务器中没有给出可解析的引导 URL

我很确定 bootstrap.servers 是正确的。 Maven 有什么冲突或者 Kafka 有什么问题吗? 在此之前它工作得很成功。我添加了一些 Maven 或 Spark,然后添加了一些...

回答 7 投票 0

KAFKA ListenableFuture spring-如何根据 onsuccess 方法 future.addCallback 返回客户端响应对象,因为 onsuccess 为 void

公开课测试{ public StudentDto 发布StudentDto { ListenableFuture> future = this.studentKafkaTemplate.send(topicName, 学生); ...

回答 2 投票 0

Kafka Producer 将消息平均分发到所有分区

我有一个生产者向kafka主题发送消息。我的主题在同一消费者组中有 10 个分区,我正在寻找消息的循环分配。我已指定 RoundRobinPartitio...

回答 1 投票 0

Kafka 抛出 java.nio.channels.ClosedChannelException

当我尝试使用kafka控制台工具(V 0.9.0.1,我认为这使用旧的消费者API)使用来自ec2中托管的kafka服务器的消息时 我得到以下异常。 我怎样才能克服...

回答 4 投票 0

如何修复使用kafka-python连接Red Panda时的KafkaTimeoutError

尝试将 kafka-python 生产者连接到我的 Red Panda 数据库时出现以下错误。 KafkaTimeoutError:KafkaTimeoutError:60.0 秒后无法更新元数据。 我有一个开发...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.