kafka-consumer-api 相关问题

用于与Apache Kafka使用者API相关的问题

消费者CommitFailedException - 后续调用poll()的时间间隔比配置的max.poll.interval.ms长

我有一个问题,就是kafka消费者不时地抛出异常。ERROR [*KafkaConsumerWorker] (Thread-125) [] Kafka Consumer thread 235604751 Exception while polling Kafka.: org.apache....

回答 1 投票 0

消费者CommitFailedException - 后续调用poll()的时间间隔比配置的max.poll.interval.ms长

我有一个问题,就是kafka消费者不时地抛出异常。ERROR [*KafkaConsumerWorker] (Thread-125) [] Kafka Consumer thread 235604751 Exception while polling Kafka.: org.apache....

回答 2 投票 0

是否可以将一个spring kafka消费者分配给一个实例,而将另一个消费者分配给同一服务的另一个实例。

我有两个kafka监听器,如下所示。@KafkaListener(t topics = "foo1, foo2", groupId = foo.id, id = "foo") public void fooTopics(@Header(KafkaHeaders.RECEIVED_TOPIC) String topic, String message, ...。

回答 1 投票 0

当我从kafka的多个分区中轮询记录,并在一个分区上提交一条记录时,其余的记录会丢失。

我轮询了多个分区的记录,只提交了一条记录,然后其他的记录似乎也被提交了,因为我不能再轮询它们。而且我已经将auto.commit设置为false,不能......

回答 1 投票 1

1591739081.630 元数据请求失败

得到下面的错误。不确定什么地方出了问题。%5290: Timed out HeartbeatRequest in flight (after 10622ms, timeout #...)

回答 1 投票 0

卡夫卡:如果我可以简单地 "不承认.承认",那么使用 "承认.nack "有什么意义呢?

关于Kafka的新功能,旨在进行负确认,现在由Spring-Kafka支持,根据spring-kafkadocs2.4.4.RELEASE"......从2.3版本开始,确认......。

回答 1 投票 0

Kafka中的CommitSync

我在Kafka中使用commitSync()来处理消息。我想知道 commitSync()在出错前会尝试提交多少时间?如果出现错误,那么同样的......

回答 1 投票 0

使用SeekToCurrentErrorHandler时,多个服务实例中同一使用者组中的相同使用者如何工作

我已经使用SeekToCurrentErrorHandler测试了我的服务具有一个实例,该实例在一个使用者组中有一个使用者。如果失败,将发生重试,并且记录将按I ...

回答 1 投票 0

创建Kafka主题要求?

我有可以按国家,城市分组的数据(订单)。我能否创建100多个以国家/地区名称命名的主题,以及十亿个以城市名称命名的主题?提出主题的哪些要求?可以...

回答 1 投票 0

谁跟踪Apache Kafka中使用者的最后读取消息偏移量?

在Apache Kafka中,谁跟踪消费者读取的最后一条消息?还有谁跟踪哪个消费者组ID从哪个分区读取?所有这些信息都在动物园管理员中吗?

回答 1 投票 0

Kafka:与多个使用者的sendOffsetsToTransaction

对于Kafka项目,我使用消费/加工/生产模型,但有两个消费者。所以我想知道,是否有可能对具有唯一生产者的两个使用者使用sendOffsetsToTransaction()函数?...

回答 1 投票 0

[VIEW的Kafka KSQL等价物,用于需要数据子集的使用者

我们正在Kafka中实现ETL,以将数据从单一来源加载到具有不同使用者的不同目标系统中。每个使用者都需要数据的一个子集,为此,我们有以下内容...

回答 1 投票 1

如何以编程方式将Kafka主题加载和流式传输到PySpark数据框

有很多方法可以将spark数据帧读/写到kafka。我正在尝试从kafka主题中读取消息,并从中创建数据框架。能够从主题中获取消息,但无法...

回答 1 投票 0

如何以编程方式加载和流式传输Kafka主题作为PySpark数据框

有很多方法可以将spark数据帧读/写到kafka。我正在尝试从kafka主题中读取消息,并从中创建数据框架。能够从主题中提取消息,但无法...

回答 1 投票 -1

如何使用Python从不同的服务器连接Kakfa Consumer

我无法从Kafka服务器接收到我的使用者服务器的任何数据。使用kafka-python lib将Kafka Server托管在192.168.1.1中,将consumer托管在192.168.1.2中。以下是我的示例...

回答 1 投票 0

无法通过KAFKA api连接到EventHub

通过kafka库连接Event Hub时遇到异常。引起原因:org.apache.kafka.common.protocol.types.SchemaException:读取字段'sasl_auth_bytes'时出错:字节大小-1 ...

回答 1 投票 2

将Kafka相同的分区分配给同一组中的使用者

[Kafka-来自同一组的多个消费者分配了相同的分区,我刚刚开始学习Kafka和Nodejs。我已经按照下面的方式编写了一个消费者// // Consumer.js const kafka = require('kafka -...

回答 1 投票 0

具有Kafka使用者的分区获取最大字节的奇怪行为

我有一个主题A,有12个分区。我在集群中有3位Kafka经纪人。每个代理针对主题A有4个分区。由于我不关心弹性,因此我没有创建任何副本。我...

回答 1 投票 0

向kafka发送的消息,但消费者未收到其中的一些消息

有4个引导服务器,我正在使用下面的代码producer.send(new ProducerRecord <>(topic,partitionNumber,key,message,headers,(metadata,exception)-> ...

回答 1 投票 0

Kafka中的轮询消费者组滞后于HTTP

我想针对特定的消费者群体,实时地从Kafka看到剩余的滞后时间。我所做的最接近的事情是从Kafka二进制文件运行describe脚本,但是它很慢且不可靠。 ...

回答 1 投票 1

© www.soinside.com 2019 - 2024. All rights reserved.