kafka-consumer-api 相关问题

用于与Apache Kafka使用者API相关的问题

尝试为主题分区滚动新的日志段..低于活动段的起始偏移量

我从卡夫卡收到一条我不知道的错误消息。谁能提供一个“翻译”以及如何摆脱它,谢谢。 [2022-10-22 20:04:41,299] 错误 [ReplicaMana...

回答 1 投票 0

如何配置kafka在没有maxattempts的情况下1分钟后重试停止?

我正在使用 Spring Kafka 消费者,它从主题中获取消息并将其保存到数据库中。如果满足失败条件,例如数据库不可用,那么 kafka 消费者库是否可用

回答 1 投票 0

使用 UTC 消费两个主题时出现 Kafka 消费者滞后问题

我的 Kafka 消费者在使用单个消费者组中的两个主题(主题 A 和主题 B)时遇到问题。这两个主题的数据中都包含 UTC 时间戳并已发布

回答 1 投票 0

Kafka 抛出 java.nio.channels.ClosedChannelException

当我尝试使用kafka控制台工具(V 0.9.0.1,我认为这使用旧的消费者API)使用来自ec2中托管的kafka服务器的消息时 我得到以下异常。 我怎样才能克服...

回答 4 投票 0

如何为 Kafka REST 代理客户端配置 max.poll.interval.ms

请告诉我是否可以配置通过Kafka REST代理服务器连接到Kafka的消费者的参数? 我尝试在 /etc/kafka-rest/kafka-rest 中设置 max.poll.interval.ms 。

回答 1 投票 0

Flink Kafka Source Operator 重新连接问题

我是flink新手,我有一个flink管道,它有5个操作员,其中2个是kafka源操作员,使用来自2个不同主题的kafka消息。我启用了检查点

回答 1 投票 0

Kafka 仅打印生产者的记录器,而不打印消费者的记录器

知道我可能做错了什么吗? 这是我正在使用的类: @配置 公共类 KafkaConfig { @豆 公共 NewTopic javaTopic() { return TopicBuilder.name("j...

回答 1 投票 0

Kafka 集群:在新虚拟机上设置消费者

我有一个在虚拟机上运行的 Kafka 集群(3.X),Producer 正在成功地将消息写入集群。 我想使用 Python 代码在新虚拟机上运行使用者。我必须安装Kafka集群吗...

回答 1 投票 0

Kafka 消息发送到单个主题而不是 n 重试主题和 dlt

我正在尝试使用DLT实现n重试主题,但所有消息都被推送到单个主题test-topic-retry-0,test-topic-retry-0中有3条重复记录,这些记录应该是...

回答 1 投票 0

Kafka 配置 PKCS12 `ssl.keystore.location=user.p12` 而不访问本地文件系统

我可以使用以下客户端属性成功连接到受 SSL 保护的 Kafka 集群: 安全协议=SSL ssl.truststore.type=PKCS12 ssl.truststore.location=ca.p12 ssl.truststore.passw...

回答 3 投票 0

确保主题的优化并行消耗

我对卡夫卡非常陌生,我将尝试描述我面临的问题以及我正在考虑的可能的解决方案。 在我的 Node.js 应用程序中,我有一系列 Kafka 主题(比如 3 个),每个主题 h...

回答 1 投票 0

具有 1 个分区的 kafka 主题。 1 个生产者已在向该分区生产。如果我添加另一个制作人,我会遇到什么问题

我有一个有 1 个分区的主题。 其中一个系统充当生产者并将数据发送到该分区。 我想添加另一个不同的系统作为生产者并将数据发送到该分区...

回答 1 投票 0

Kafka 消费者在没有交易的情况下重新处理

如果有一个从分区读取消息的消费者应用程序进行一些数据转换并将其存储在数据库等外部数据存储中或调用休息服务,可能的情况是什么

回答 1 投票 0

如何将主题动态传递给kafka监听器?

几天以来,我一直在尝试将主题动态传递给 Kafka 监听器的方法,而不是通过 Java DSL 中的键来使用它们。周围的人以前做过这件事或者可以提供一些线索

回答 6 投票 0

Clojurescript lang 中的 Kafka 消费者

有没有办法在我正在尝试创建的 clojurescript 应用程序中创建 kafka 消费者。我的 kafka 集群位于 AWS MSK,它配置为使用 SASL_SSL/IAM 身份验证。我的客户端应用程序...

回答 2 投票 0

Kafka 中的查找和重置

我是 Kafka 新手,期待了解“寻求偏移量”和“重置偏移量”的工作原理。 例如,制作者开始制作从1,2,3,4,5,...,99,100开始的记录。我有一个消费者...

回答 1 投票 0

在充当 https 服务来处理回调时使用主题

等? 单个 Kafka Client 可以消费多个主题并同时充当 HTTP 服务器吗?

回答 1 投票 0

Confluence Kafka 使用主题并充当 https 服务来处理回调

等? 单个 Kafka Client 可以消费多个主题并同时充当 HTTP 服务器吗?

回答 1 投票 0

在不同服务器上运行的消费者组中的重复项

我面临重复问题,当同一个消费者组在两台不同的服务器上运行时,如果一台服务器的消费者组出现故障,另一台服务器会创建重复项。 可以请你...

回答 1 投票 0

Kafka - 日志结束偏移量(LEO)与高水位线(HW)之间的差异

Replica(Leader Replica)中LEO和HW有什么区别? 它们会包含相同的数字吗?我可以理解 HW 是最后提交的消息偏移量。 LEO什么时候更新,如何更新?

回答 3 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.