kafka-consumer-api 相关问题

用于与Apache Kafka使用者API相关的问题

Kafka如何阅读__consumer_offsets主题

我正试图找出目前的高级消费者正在努力解决的问题。我使用Kafka 0.8.2.1,在Kafka的server.properties中没有设置“offset.storage” - 我认为这意味着......

回答 5 投票 17

Kafka Consumer不断获取2天前每5分钟生成和消费的数据

我正在研究卡夫卡消费者,我注意到它正在消耗本应该在2天前消费的消息。它大约每5分钟重复这些消息,制作人不再......

回答 2 投票 1

在手动提交期间,特定偏移失败但是顺序提交的下一个偏移成功提交时会发生什么?

我正在使用轮询机制编写一个kafka使用者,其中每次轮询我收到100条消息。消费消息后,我逐个手动提交偏移量。在提交抵消时,有时......

回答 1 投票 0

kafka-console-consumer自定义反序列化器

我想在使用kafka-console-consumer.sh命令行工具时使用我的自定义value.deserializer。像这样:./ kafka-console-consumer --bootstrap-server kafka2:29092 --property ...

回答 2 投票 3

是否可以在kafka连接器中为kafka使用者组的主题重置偏移?

我的kafka接收器连接器读取多个主题(配置了10个任务),并处理来自所有主题的300个记录。根据每条记录中的信息,连接器可能......

回答 1 投票 0

Apache Kafka获取特定主题的消费者列表

因为它可以是标题的客人,有没有办法获取Java中特定主题的消费者列表?到目前为止,我能够获得像最终ListTopics结果这样的主题列表......

回答 2 投票 1

Kafka经纪人认证 - 制片人和消费者

我们正在使用Kafka(版本0.8.2)实现消息传递解决方案。除了为Kafka Broker实施安全性之外,一切都很好。看起来有人知道kafka主机和端口能够......

回答 3 投票 2

Kafka Consumer从多个主题中读取

我对卡夫卡很新。我正在创建两个主题,并从两个制作人发布这两个主题。我有一个消费者使用这两个主题的消息。这是因为我想......

回答 1 投票 0

如何设置消费者的最大重试次数

我想知道,如果它存在一个消费者的属性,当kafka服务器无法设置应尝试连接到kafka服务器的次数。我也尝试过:....

回答 1 投票 1

Kafka Streams:单个应用程序中的多个拓扑

我想在单个Kafka流应用程序中使用Processor API和DSL。此外,如何在单个应用程序中构建和运行多个拓扑(例如1使用处理器API和...

回答 1 投票 0

Kafka Consumer和Spark-Kafka-Consumer之间的区别

我有一个kafka主题,我通过Kafka Producer发送数据。现在在消费者方面,我有两种选择。 1.使用KafkaConsumer - 下面是kafkaConsumer的代码,它读取...

回答 1 投票 1

createDrainingControl的目的是什么?

我正在阅读Alpakka的文档。在阅读Kafka消费者API时,我遇到了createDrainingControl(),我想知道这个函数有什么用?我明白 ...

回答 1 投票 0

在aws ec2中设置kafka

我在ec2实例上设置了kakfa。我已为该实例分配了弹性IP地址。我能够启动动物园管理员和卡夫卡并创建主题。我无法从本地连接到经纪人......

回答 1 投票 0

有什么方法可以确认Kafka的消费者属性?

我想确认Kafka Consumer配置是否正常工作。我将一些消费者属性值设置为非默认值(例如session.timeout.ms,heartbeat.interval.ms)。有没有 ...

回答 1 投票 0

从Kafka 0.11.0.1中的_transaction_state主题读取数据

我想读取事务的元数据(Kafka 0.11.0.1支持),以便我可以弄清楚是否已提交特定事务ID的事务。 ...

回答 2 投票 4

卡夫卡有重复的消息

在生成或使用数据时我没有看到任何失败,但是生产中存在大量重复消息。对于一个获得大约100k消息的小主题,有大约4k重复...

回答 1 投票 3

KafkaConsumer assignment()返回空

我在用 org.apache.kafka 卡夫卡的客户端 2.0.1 ...

回答 1 投票 0

kafka集群与spring之间的事务传输消息

我有两个卡夫卡集群。我需要使用kafka-spring在它们之间实现一种同步。 [集群A,主题A] [集群B,主题B]我创建了监听器......

回答 1 投票 0

kafka使用者组ID无法按预期工作

我是阿帕奇卡夫卡的新人。当我通过最新版本kafka_2.12-2.2.0 http://kafka.apache.org/quickstart进行快速入门指导时。我遇到了问题,无法通过...

回答 1 投票 0

如何通过jmx监控卡夫卡的消费者滞后?

我有一个kafka设置,包括prometheus的jmx导出器。我正在寻找一个指标,根据主题和groupid给出偏移滞后。我正在运行kafka 2.2.0。一些资源在线点......

回答 2 投票 3

© www.soinside.com 2019 - 2024. All rights reserved.