用于与Apache Kafka使用者API相关的问题
消费者CommitFailedException - 后续调用poll()的时间间隔比配置的max.poll.interval.ms长
我有一个问题,就是kafka消费者不时地抛出异常。ERROR [*KafkaConsumerWorker] (Thread-125) [] Kafka Consumer thread 235604751 Exception while polling Kafka.: org.apache....
消费者CommitFailedException - 后续调用poll()的时间间隔比配置的max.poll.interval.ms长
我有一个问题,就是kafka消费者不时地抛出异常。ERROR [*KafkaConsumerWorker] (Thread-125) [] Kafka Consumer thread 235604751 Exception while polling Kafka.: org.apache....
是否可以将一个spring kafka消费者分配给一个实例,而将另一个消费者分配给同一服务的另一个实例。
我有两个kafka监听器,如下所示。@KafkaListener(t topics = "foo1, foo2", groupId = foo.id, id = "foo") public void fooTopics(@Header(KafkaHeaders.RECEIVED_TOPIC) String topic, String message, ...。
当我从kafka的多个分区中轮询记录,并在一个分区上提交一条记录时,其余的记录会丢失。
我轮询了多个分区的记录,只提交了一条记录,然后其他的记录似乎也被提交了,因为我不能再轮询它们。而且我已经将auto.commit设置为false,不能......
得到下面的错误。不确定什么地方出了问题。%5290: Timed out HeartbeatRequest in flight (after 10622ms, timeout #...)
卡夫卡:如果我可以简单地 "不承认.承认",那么使用 "承认.nack "有什么意义呢?
关于Kafka的新功能,旨在进行负确认,现在由Spring-Kafka支持,根据spring-kafkadocs2.4.4.RELEASE"......从2.3版本开始,确认......。
我在Kafka中使用commitSync()来处理消息。我想知道 commitSync()在出错前会尝试提交多少时间?如果出现错误,那么同样的......
使用SeekToCurrentErrorHandler时,多个服务实例中同一使用者组中的相同使用者如何工作
我已经使用SeekToCurrentErrorHandler测试了我的服务具有一个实例,该实例在一个使用者组中有一个使用者。如果失败,将发生重试,并且记录将按I ...
我有可以按国家,城市分组的数据(订单)。我能否创建100多个以国家/地区名称命名的主题,以及十亿个以城市名称命名的主题?提出主题的哪些要求?可以...
谁跟踪Apache Kafka中使用者的最后读取消息偏移量?
在Apache Kafka中,谁跟踪消费者读取的最后一条消息?还有谁跟踪哪个消费者组ID从哪个分区读取?所有这些信息都在动物园管理员中吗?
Kafka:与多个使用者的sendOffsetsToTransaction
对于Kafka项目,我使用消费/加工/生产模型,但有两个消费者。所以我想知道,是否有可能对具有唯一生产者的两个使用者使用sendOffsetsToTransaction()函数?...
[VIEW的Kafka KSQL等价物,用于需要数据子集的使用者
我们正在Kafka中实现ETL,以将数据从单一来源加载到具有不同使用者的不同目标系统中。每个使用者都需要数据的一个子集,为此,我们有以下内容...
如何以编程方式将Kafka主题加载和流式传输到PySpark数据框
有很多方法可以将spark数据帧读/写到kafka。我正在尝试从kafka主题中读取消息,并从中创建数据框架。能够从主题中获取消息,但无法...
如何以编程方式加载和流式传输Kafka主题作为PySpark数据框
有很多方法可以将spark数据帧读/写到kafka。我正在尝试从kafka主题中读取消息,并从中创建数据框架。能够从主题中提取消息,但无法...
如何使用Python从不同的服务器连接Kakfa Consumer
我无法从Kafka服务器接收到我的使用者服务器的任何数据。使用kafka-python lib将Kafka Server托管在192.168.1.1中,将consumer托管在192.168.1.2中。以下是我的示例...
通过kafka库连接Event Hub时遇到异常。引起原因:org.apache.kafka.common.protocol.types.SchemaException:读取字段'sasl_auth_bytes'时出错:字节大小-1 ...
[Kafka-来自同一组的多个消费者分配了相同的分区,我刚刚开始学习Kafka和Nodejs。我已经按照下面的方式编写了一个消费者// // Consumer.js const kafka = require('kafka -...
我有一个主题A,有12个分区。我在集群中有3位Kafka经纪人。每个代理针对主题A有4个分区。由于我不关心弹性,因此我没有创建任何副本。我...
有4个引导服务器,我正在使用下面的代码producer.send(new ProducerRecord <>(topic,partitionNumber,key,message,headers,(metadata,exception)-> ...
我想针对特定的消费者群体,实时地从Kafka看到剩余的滞后时间。我所做的最接近的事情是从Kafka二进制文件运行describe脚本,但是它很慢且不可靠。 ...