kafka-consumer-api 相关问题

用于与Apache Kafka使用者API相关的问题

从 Kakfa 主题消费并附加到列表中

目前我正在尝试从一个主题中消费并附加来自一个主题的所有消息,但不幸的是最后的列表没有打印任何内容。 导入 json 从卡夫卡导入

回答 1 投票 0

org.apache.kafka.clients.NetworkClient 引导代理 bootstrap-servers-ip:9092 已断开连接

我正在本地系统上运行apache kafka,它运行得非常好。但在冒烟测试期间,我的应用程序无法连接到 kafka 集群。它不断抛出以下内容...

回答 2 投票 0

Spring Boot 3 + Kafka 未在与 SB 2.7 相同的轮询超时中加入/获取记录

所以我已将我的应用程序更新到 Spring Boot 3,特别是 3.1.6,但这个问题在我尝试过的所有 3.x 版本上都存在。 基本上旧的轮询时间不足以接收记录

回答 1 投票 0

向节点 1001 发送获取请求(sessionId=INVALID,epoch=INITIAL)时出错:org.apache.kafka.common.errors.DisconnectException

我正在使用 spring kafka 并面临一些错误 向节点 1001 发送获取请求(sessionId=INVALID,epoch=INITIAL)时出错:org.apache.kafka.common.errors.DisconnectException。 我的消费者生产者...

回答 2 投票 0

Kafka Consumer max.poll.records 与多个分区

想要了解具有多个分区的 Kafka 主题的 max.poll.records 的行为。 假设我在一个消费者组中有 8 个分区和 8 个消费者实例。假设产品...

回答 1 投票 0

Kafka 总是有一个消费者消费一组中的主题消息

我有两个具有相同组ID的消费者服务器订阅了相同的主题。 一台 kafka 服务器仅运行一个分区。 据我所知,消息应该在这两个中随机消耗

回答 2 投票 0

从 Kafka Consumer 传递数据

我想从Kafka获取数据,此方法成功获取记录但无法传递给变量。这是我的代码 公共无效 subscribeFromKafka() 抛出异常 { 列表结果=新

回答 1 投票 0

当消费者多于分区时,Kafka 消费者分区重新平衡

假设最初我们有一个包含 3 个分区的主题和一个包含 3 个消费者的消费者组,从该主题进行消费。如果我们在消费者组中再添加一个消费者,分区会重新平衡吗

回答 1 投票 0

Python Kafka 消费者在消息到达时不读取消息

我刚刚开始使用 Kafka,kafka-python。在下面的代码中,我尝试在消息到达时读取它们。但由于某种原因,消费者似乎要等到一定数量的

回答 2 投票 0

我有一个kafka主题的两个消费者组我想设置一种没有重复的方法

一个kafka主题有两个消费者组 我想设置这样一种方法,如果一个消费者组宕机,那么第二个消费者组开始从第一个消费者组留下的偏移量开始消费,以避免

回答 1 投票 0

多个分区的Kafka本地状态存储

我正在使用kafka处理器api,我从3个分区的主题创建一个状态存储(我有3个经纪人),我有1个流实例。我想知道当我到达当地的国营商店时,我可以买到所有的东西吗...

回答 1 投票 0

Quarkus 中的并发消费者

有没有办法在尝试消费来自 Quarkus 的消息时管理并发消费者的并发性? 我正在寻找具有并发性的批处理,以便在短时间内处理多条消息...

回答 1 投票 0

Kafka 生产者由于 LeaderNotAvailableError 无法生成消息

我在kafka和zookeeper方面遇到了一些问题,我有3个kafka经纪人和3个zookeeper。我从我的所有容器中收到几个卡夫卡问题,其中一些有: 时间=“2023-12-26T09:46...

回答 1 投票 0

无法创建 Kafka 接收器 - Python - Kubernetes

目前我正在使用 EKS/Kubernetes 集群,并将 Apache kafka 安装为服务。 在集群内部,我可以执行所有 kafka 操作,例如创建、删除、使用或读取主题

回答 1 投票 0

Kafka Consumer.poll 的幕后

由于我是 Kafka 的新手,想知道如果我在后台调用 Consumer.poll() 方法会发生什么。我假设了以下两种内部行为方式。 当我调用 poll 时,会获取记录...

回答 1 投票 0

如何开始实时消费来自 Kafka 的消息而不是最新的偏移量

我正在使用 Kafka 和 Debezium 从数据库捕获行相关事件,它按预期工作 在 Python 中,我设置了一个消费者来处理来自主题的 JSON 消息 # 卡夫卡消费者

回答 1 投票 0

从 redhat 7 迁移到 redhat 8 时 kafka 崩溃

我从 Redhat7 迁移到 Redhat8 时遇到这个问题,但无法找出原因? 我检查了代码,一切正常! 配置... 开始... 端点Url = opc.tcp://LBA:9681/POO.S2K/

回答 2 投票 0

即使在 Kafka 中轮询之后,当前也没有发生分区分配

我有与 Apache Kafka 2.11-0.10.1.0 一起使用的 Java 8 应用程序。我需要使用查找功能来轮询分区中的旧消息。然而,我遇到了一个例外:没有当前分配的标准...

回答 3 投票 0

动态创建消费者spring kafka

我正在创建一个与另一个服务通信的服务,以便识别要收听的 kafka 主题。 kafka主题可能有不同的键和值类型。因此,我想动态地创建...

回答 1 投票 0

Kafka 消费者监听两个事件/主题

有什么办法可以消费两个主题并等待这两个事件继续消费吗?

回答 2 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.