kafka-consumer-api 相关问题

用于与Apache Kafka使用者API相关的问题

Kafka 消费者 API 无法正常工作

我是 Kafka 的新手。我开始在 Kafka 上做我面临以下问题请帮助我解决这个问题提前谢谢。 首先我正在编写生产者 API 它工作正常但是在做消费者时......

回答 1 投票 0

KafkaConsumer读取所有记录

我想测试一个kafka的例子: 制作人: 对象 ProducerApp 扩展 App { val topic = "topicTest" val props = new 属性() props.put("bootstrap.servers", "localhost:9092") 道具.put(

回答 2 投票 0

Kafka Consumer 在 Scheduled job 启动 spring boot 时停止消费

我的 spring boot 应用程序有一个 kafka 消费者和一个预定的工作。问题是卡夫卡消费者停止消费,直到预定的工作完成。我希望 kafka 消费者继续消费

回答 1 投票 0

删除kafka中的文件而不用

我需要在我的一个 kafka 服务器上获得空间。我想知道我是否可以删除最旧的文件 *。指数 *。日志 *.快照 我的 Kafka 没有问题? 我读过不同的文件

回答 0 投票 0

KafkaConsumer 从远程 kafka 服务器获取空记录,但在 kafka 服务器机器上运行相同程序时获取记录

我正在使用 Kafka 服务器 3.3.1 和 java 包 Kafka-Clients 3.3.1。 我有一个简单的 KafkaConsumer 程序如下: 属性 consumerProperties = new Properties(); // 假 ip 地址...

回答 0 投票 0

Apache Kafka Avro 反序列化:无法反序列化或解码特定类型的消息。

我正在尝试将 Avro Serialize 与 Apache kafka 一起用于序列化/反序列化消息。我正在创建一个生产者,用于序列化特定类型的消息并将其发送到队列。当我...

回答 2 投票 0

如何更好地设计由 kafka 消费消息触发的异步工作流?

据我了解,我们可以使用 kafka 消息并根据消息信息触发异步工作流。这是一个例子: 私人消费者(){ request_info = kafka.getNextMessage()

回答 1 投票 0

Kafka Sink Connector 延迟始终显示 1,即使在处理完所有记录后也是如此

我是卡夫卡连接的新手。 我正在使用 Kafka Sink Connector 将数据写入数据湖。连接器将数据写入暂存位置,然后将其移动到目标位置。然而,当...

回答 1 投票 0

用于消费者自动缩放的 Kafka 分区

我们有一个 Kafka 集群,比如说,有 1000 个分区。目前,我们有一个运行在 100 个 pod(Kubernetes pod)上的消费者组。将消费者拓扑想象成这样,每个 pod 消耗 10

回答 0 投票 0

如何使用具有 2 个具有不同组 ID 的消费者的单个应用程序实例加入 kafka 主题

我有一个场景,我需要在同一个应用程序中创建 2 个消费者,具有 2 个不同的组 ID,并且都使用来自同一主题的消息。实现它的理想方法是什么? 我试过了……

回答 1 投票 0

Kubernetes部署的微服务的每个pod/进程如何配置不同的kafka主题?

在我们的应用程序中,有多个不同 kafka 主题的消费者,如 Cosumer C1、Cosumer C2、Cosumer C3、Cosumer C4、Cosumer C5 以及他们不同的 kafka 主题,如主题 1、主题 2、top...

回答 1 投票 0

Kafka Consumer 不返回 head 段中的记录

我目前正在使用 Kafka,更具体地说,能够使用日志压缩功能,如下所述:https://kafka.apache.org/documentation/#compaction。 我正在使用 kafka-clie ...

回答 0 投票 0

编辑 Kafka Listener Spring App 以更改 Stage/Target

我可以利用另一个运行 Kafka 应用程序/代码库的团队来使用相同的数据/将其加载到我们的新暂存表中,而不是他们的。他们有很多不同的 kafka listener adapter .j...

回答 1 投票 0

Kafka Listener Adapter .Java 文件的更改阶段/目标

我可以利用另一个运行 Kafka 应用程序/代码库的团队来使用相同的数据/将其加载到我们的新暂存表中,而不是他们的。他们有很多不同的 kafka listener adapter .j...

回答 0 投票 0

Kafka独有的消费者重试行为

我需要了解 Kafka 独家消费者重试行为以进行固定退避。 独占消费者正在从具有 6 个分区的主题中读取数据。所有 6 个分区都有数据。 固定B...

回答 1 投票 0

kafka scala 消费者不从主题中读取消息,控制台中没有错误

我有下面的示例代码来读取来自 Kafka 主题的消息 包 com.krushna 包kafkademo 导入 org.apache.kafka.clients.consumer.{ConsumerConfig, ConsumerRecord, KafkaConsumer} 小鬼...

回答 1 投票 0

debezium/postgres 容器在“GENERATED”处或附近出现语法错误

我想使用 debezium 和 kafka 与 dotnet 核心应用程序创建应用程序。 Kafka、postgres、zookeper 和 connector 在 docker 上运行没有问题。我试过这个 coomand dotnet ef 数据库更新 --pr ...

回答 0 投票 0

kafa scala consummer 不从 tpoic 读取消息,控制台中没有错误

我有下面的示例代码来读取来自 Kafka 主题的消息 包 com.krushna 包kafkademo 导入 org.apache.kafka.clients.consumer.{ConsumerConfig, ConsumerRecord, KafkaConsumer} 小鬼...

回答 1 投票 0

Bootstrap broker 127.0.0.1:9092 (id: -1 rack: null) disconnected

我正在运行 Kafka 的制作人,我遇到了以下错误。 我已经在 wsl 中启动了 zookeeper 和 Kafka。知道如何解决这个问题吗? kafka-producer-network-thread | producer-1] WARN org.apache.k ...

回答 0 投票 0

python confluent kafka: 组授权失败

如何修复尝试使用 python 客户端使用来自 Kafka 的消息时出现的组授权失败错误? 相同的设置在 Kafka CLI 中工作正常。 通常这个错误应该指向

回答 2 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.