我的Kafka客户端正在GCP App Engine Flex环境中运行,并启用了自动扩展(GCP将实例计数保持至少两个,并且由于CPU使用率低,因此大多数情况下为2)。在这两个虚拟机中运行的消费者群体已经消耗了来自20个分区中的各种主题的消息几个月,最近我注意到旧主题中的分区缩小到仅1(!),并且该消费者组的偏移被重置为0。 [partition]目录也从kafka-logs目录中消失了。奇怪的是,最近创建的主题分区完好无损。我有3个不同的环境(全部在GCP中),这三个都发生了。我们没有看到任何丢失的消息或数据问题,但想要了解发生了什么以避免再次发生这种情况。
kafka经纪人和zookeeper正在同一个单一的GCP计算引擎实例中运行(我知道这不是最好的做法并且计划改进),我怀疑它与机器重启有关,并且消除了一些信息。但是,我验证了数据文件是在/ opt / bitnami /(kafka | bitnami)目录下编写的,而不是/ tmp,可以通过机器重启来删除。
任何有关这方面的见解将不胜感激!
Bitnami开发人员在这里。我可以重现该问题并将其跟踪到正在清除tmp/kafka-logs/
文件夹内容的init脚本。
我们发布了修正问题的kafka installers,virtual machines和cloud images的新版本。包含修复的修订版是1.0.0-2
。