kafka-consumer-api 相关问题

用于与Apache Kafka使用者API相关的问题

Spring Kafka与Dynamic @KafkaListener

我正在使用带有spring-kafka的Spring Boot 2.x(而不是spring-integration-kafka)我有多个使用@KafkaListener注释的bean ...每个人都使用一个主题...所以因为我有12个主题然后.. 。

回答 2 投票 1

Kafka-Python如何手动提交?

我对Kafka很新,刚开始使用Python,所以原谅我的错误条款,我会试着解释一下我的要点。我有一个Kafka队列,我的主题是实用的。现在这些......

回答 1 投票 0

了解Kafka主题和分区

我开始学习Kafka用于企业解决方案。在我的阅读过程中,我想到了一些问题:当一个制作人正在制作一条消息时 - 它将指定它想要发送的主题......

回答 3 投票 93

简单的Kafka Consumer不接收消息

我是Kafka的新手并运行了一个简单的kafka消费者/制作人示例,如KafkaConsumer和KafkaProducer所示。当我从终端运行消费者时,消费者正在接收消息,但我......

回答 4 投票 1

卡夫卡消费者 - 民意调查行为

关于KafkaConsumer(> = 0.9),我正面临一些严重的问题,试图为我的需求实施解决方案。让我们假设我有一个函数必须只读取来自kafka主题的n条消息。 ...

回答 4 投票 11

KafkaConsumerAPI - 从eclipse连接到vm中通过vagrant运行的代理

什么是advertised.listeners。它如何帮助连接到从Eclipse运行的VM中的Kafka代理?我编写了KafkaConsumer代码并使用本地运行的服务对其进行了测试。我是 ...

回答 1 投票 -1

领导者改变后,春天kafka消费者不承诺kafka服务器

我正在使用spring-kafka 2.1.10.RELEASE。我有一个使用下一个属性的消费者(几乎复制了所有属性):auto.commit.interval.ms = 5000 auto.offset.reset = earliest bootstrap.servers = ...

回答 1 投票 2

卡夫卡减少了消费者的滞后

我正在设置新的Kafka集群,为了测试目的,我创建了1个分区和3个副本的主题。现在,我通过生产者并行发送消息说每秒50K消息。 ...

回答 1 投票 2

Kafka Consumer没有在Spring Boot中收到消息

我的spring / java使用者无法访问生产者生成的消息。但是,当我从控制台/终端运行消费者时,它能够接收spring / java生成的消息...

回答 1 投票 1

卡夫卡控制台消费者。错误无法建立与节点0的连接。可能无法使用布鲁克

我正试图在本地(Windows 7虚拟桌面)动物园管理员消费来自kafka的消息,而kafka正在同一台本地计算机上运行创建主题kafka-topics --zookeeper 127.0.0.1:2181 --topic ...

回答 1 投票 0

通过多个Docker容器收听同一端口

我已经提出了一个Kafka消息服务,其中Kafka代理在docker中设置并且在端口9092上。主机端口9092映射到容器端口9092.现在我试图建立一个消费者...

回答 1 投票 1

一些提交偏移调用在kafka中失败

kafka服务器和客户端jar转移到最新的库:0.10.0.1我的消费者和生产者代码使用如上所述的最新kafka罐,但仍使用旧的消费者api(0.8.2)。我正面临......

回答 1 投票 1

卡夫卡消费者错误

我正在使用kafka制作人和Spring kafka消费者。我正在使用Json序列化器和反序列化器。每当我尝试从主题中读取消费者中的消息时,我会收到以下错误:org ....

回答 2 投票 2

如何通过shopify sarama抵消消费者的恢复

我已经读过kafka提供了一个消费者客户端库,它允许通过保存在zookeeper中读取的最后一个偏移量来进行恢复(不是100%确定它存储的位置)。有可能做同样的...

回答 1 投票 2

民意调查来自卡夫卡的几条消息

我正在使用confluent_kafka包与Kafka合作。我以这种方式创建主题:来自confluent_kafka从confluent_kafka.avro导入avro导入AvroProducer def my_producer():...

回答 2 投票 2

使用KAFKA和非事务数据库进行自动扩展

比如,我有一个从KAFKA读取一批数据的应用程序,它使用传入消息的密钥并向HBase查询(从HBase读取当前数据的那些键),做一些......

回答 3 投票 0

Kafka平衡多个租户之间的负载

我正在考虑将Kafka作为工作节点的消息代理的几种技术之一,最终将向用户发送推送通知。一个重要的制约因素是我不想......

回答 1 投票 1

consumer.createMessageStreams(map)方法是顺序读取还是以某种批量读取

我对卡夫卡很新。我们正在编写当前应用程序中的使用者,该应用程序从一个主题中消耗并对所消耗的数据进行一些处理。我想明白,内部会发生什么......

回答 1 投票 0

我可以让Kafka使用者/接收器连接跳过主题中的特定分区吗?

Kafka Connect中的任何选项都指定从哪个分区专门读取消息。基本上,我在Kafka Connects中寻找一个选项来手动分配要读取的分区列表。 ...

回答 1 投票 1

Kafka通过多个分区和多个消费者线程来增加吞吐量

我正在使用kafka流进行某些应用程序。流流如下kafkaProducer ----> StreamerConsumer1-> finalCosumer我有生产者,它可以非常快速地写入数据和我的StreamConsumer ......

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.