kafka-consumer-api 相关问题

用于与Apache Kafka使用者API相关的问题

卡夫卡有重复的消息

在生成或使用数据时我没有看到任何失败,但是生产中存在大量重复消息。对于一个获得大约100k消息的小主题,有大约4k重复...

回答 1 投票 3

KafkaConsumer assignment()返回空

我在用 org.apache.kafka 卡夫卡的客户端 2.0.1 ...

回答 1 投票 0

kafka集群与spring之间的事务传输消息

我有两个卡夫卡集群。我需要使用kafka-spring在它们之间实现一种同步。 [集群A,主题A] [集群B,主题B]我创建了监听器......

回答 1 投票 0

kafka使用者组ID无法按预期工作

我是阿帕奇卡夫卡的新人。当我通过最新版本kafka_2.12-2.2.0 http://kafka.apache.org/quickstart进行快速入门指导时。我遇到了问题,无法通过...

回答 1 投票 0

如何通过jmx监控卡夫卡的消费者滞后?

我有一个kafka设置,包括prometheus的jmx导出器。我正在寻找一个指标,根据主题和groupid给出偏移滞后。我正在运行kafka 2.2.0。一些资源在线点......

回答 2 投票 3

即使在成功连接并在kafka消费者控制台中获取消息之后,也无法使用来自kafka主题(使用Python)的消息[重复]

我有一个使用Kafka的Debezium设置。我可以按照文档中的描述使用来自kafka控制台的消息。但是,当我在本地创建使用Python的kafka消费者时,我无法...

回答 1 投票 0

pulsar和kafka在消费方面有什么区别?

为了消费来自Kafka的数据,我们可以在一个主题上拥有多个消费者,完全脱钩。那么,页面上没有共享消费意味着什么(https://streaml.io/blog/pulsar-streaming -...

回答 1 投票 1

Java代码:使用特定主题的kafka使用者检索最后n条消息

kafka版本:0.9.0.1如果n = 20,我必须得到一个主题的最后20条消息。现在,我正在使用kafkaConsumer.seekToBeginning();我收到所有消息。我正在写一些逻辑,以获得最后的...

回答 1 投票 0

了解消费者群体ID

我做了Apache Kafka 0.10.1.0的全新安装。我能够在命令提示符下发送/接收消息。在使用Producer / Consumer Java Example时,我无法知道group.id参数......

回答 6 投票 13

断开连接后Kafka消费者重新连接

我使用Spring Boot和Spring Kafka设置了我的项目,并且有三个消费者。检查日志,我可以看到消费者不时断开连接:catalina.out:2019-04 -...

回答 1 投票 3

Kafka Consumer输出过多的DEBUG语句

我遇到了一些问题,这些问题与我在K8s集群中运行的服务中生成的日志数量有关。问题与此处描述的类似,但我无法解决问题。我......

回答 1 投票 0

如何将Kafka与Elasticsearch连接?

我是Kafka的新手,我使用kafka通过logstash收集netflow(没关系),我想将数据从kafka发送到elasticsearch,但是有一些问题。我的问题是如何连接......

回答 2 投票 5

具有多个主题的kafka消费者Java

我们有一个消费者组和三个主题,这三个主题都是不同的模式。创建了一个使用for循环的消费者,一次传递每个主题并轮询它处理和提交...

回答 1 投票 -1

kafka consumer AbstractCoordinator:发现了协调器Java客户端

我有3个代理运行代理ID为0 1和2的代理.Consumer(Java客户端)选择代理0作为组协调器并开始正确使用消息。但当经纪人0是......

回答 1 投票 9

为什么Kafka Consumer的性能与最新的偏移和最早的偏移不同?

获取请求是相同的。 maxWait:100ms minBytes:1 fetchSize:1048576当我从最早的偏移消耗时,它非常快,可以达到每秒10,000条记录。但是,当我消费...

回答 1 投票 0

Apache Flink:从Kafka读取数据作为字节数组

如何以byte []格式从Kafka读取数据?我有一个实现,使用SimpleStringSchema()读取事件为String但我找不到一个架构来读取数据作为byte []。这是我的代码:...

回答 2 投票 1

允许不同的消费者从Kafka主题中消费相同的消息

我有3个消费者订阅了Kafka话题。生产者向主题发布1条消息。如何确保消息在Kafka内部复制,然后由所有3消息...

回答 3 投票 0

Kafka:同一个使用者组中的多个实例在主题内部监听相同的分区

我有两个kafka使用者实例,配置了相同的使用者组并在同一主题中侦听分区0。问题是当我向主题发送消息时。消息是......

回答 1 投票 1

卡夫卡消费者的断路器

有没有办法实现基于Spring Kafka的消费者的断路器模式。我想知道实现我的Spring kafka消费者是否有可能停止消费记录,如果有...

回答 2 投票 0

将Kafka偏移量保存到外部存储的好处

我正致力于在Kafka重新平衡中保存消费者身份。我发现javadoc ConsumerRebalanceListener中的伪代码使用外部存储来保存偏移量。我想知道:那里有......

回答 1 投票 1

© www.soinside.com 2019 - 2024. All rights reserved.