Kafka 生产者由于 LeaderNotAvailableError 无法生成消息

Question

我在使用卡夫卡和动物园管理员时遇到一些问题，我有 3 个卡夫卡经纪人和 3 个动物园管理员。我从我的所有容器中收到几个 kafka 问题，有些有这样的问题：

time="2023-12-26T09:46:00Z" level=error msg="Failed to produce message {low_priority[-1]@0 [123 34 99 111 109 112 111 ......] 0001-01-01 00:00:00 +0000 UTC NotAvailable <nil> []} with producer &{rdkafka#producer-1 x}"

其他人有这个：

future: <Future finished exception=LeaderNotAvailableError()>
kafka.errors.LeaderNotAvailableError: [Error 5] LeaderNotAvailableError

查看 kafka 日志似乎没有什么异常。 Zookeeper 有这些日志：

[2023-12-25 13:23:14,197] WARN Close of session 0x0 (org.apache.zookeeper.server.NIOServerCnxn)
java.io.IOException: ZooKeeperServer not running
    at org.apache.zookeeper.server.NIOServerCnxn.readLength(NIOServerCnxn.java:544)
    at org.apache.zookeeper.server.NIOServerCnxn.doIO(NIOServerCnxn.java:332)
    at org.apache.zookeeper.server.NIOServerCnxnFactory$IOWorkRequest.doWork(NIOServerCnxnFactory.java:522)
    at org.apache.zookeeper.server.WorkerService$ScheduledWorkRequest.run(WorkerService.java:154)
    at java.base/java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1128)
    at java.base/java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:628)
    at java.base/java.lang.Thread.run(Thread.java:829)

我不明白这个问题。也许动物园管理员内存不足了？相似的东西？任何指示将不胜感激。 谢谢

Answer 1

我建议您迁移到新的 Kafka 版本并使用新的 KRaft 代表 Kafka Raft 元数据模式并替换 Zookeeper 共识协议。 https://developer.confluence.io/learn/kraft/