卡夫卡分区和抵消消失了

问题描述 投票:1回答:1

我的Kafka客户端正在GCP App Engine Flex环境中运行,并启用了自动扩展(GCP将实例计数保持至少两个,并且由于CPU使用率低,因此大多数情况下为2)。在这两个虚拟机中运行的消费者群体已经消耗了来自20个分区中的各种主题的消息几个月,最近我注意到旧主题中的分区缩小到仅1(!),并且该消费者组的偏移被重置为0。 [partition]目录也从kafka-logs目录中消失了。奇怪的是,最近创建的主题分区完好无损。我有3个不同的环境(全部在GCP中),这三个都发生了。我们没有看到任何丢失的消息或数据问题,但想要了解发生了什么以避免再次发生这种情况。

kafka经纪人和zookeeper正在同一个单一的GCP计算引擎实例中运行(我知道这不是最好的做法并且计划改进),我怀疑它与机器重启有关,并且消除了一些信息。但是,我验证了数据文件是在/ opt / bitnami /(kafka | bitnami)目录下编写的,而不是/ tmp,可以通过机器重启来删除。

  • Spring Kafka 1.1.3
  • 客户kafka 0.10.1.1
  • 单节点kafka broker 0.10.1.0
  • 单节点zookeeper 3.4.9

任何有关这方面的见解将不胜感激!

apache-kafka bitnami gcp google-compute-engine
1个回答
1
投票

Bitnami开发人员在这里。我可以重现该问题并将其跟踪到正在清除tmp/kafka-logs/文件夹内容的init脚本。

我们发布了修正问题的kafka installersvirtual machinescloud images的新版本。包含修复的修订版是1.0.0-2

© www.soinside.com 2019 - 2024. All rights reserved.