kafka消费者是否管理其状态?

问题描述 投票:1回答:1

我有一个使用三个GCP VM实例设置的Kafka群集。所有三个VM都在其上运行Zookeeper和服务器。

我遵循此指南进行设置:How to Setup Multi-Node Multi Broker Kafka Cluster in AWS

我将所有三个实例保留在不同的区域中,以便在云服务(GCP或AWS,发生区域故障)的情况下实现高可用性,]

我有一个复制因子为3的主题。现在,假设一个区域完全崩溃,并且只有两个节点处于活动状态。在失败的情况下从VM读取数据的使用者(以前正在工作)会发生什么情况?

一旦该地区的服务恢复正常,该使用者(具有唯一的client_id)是否将保持其状态并仅读取新消息?

另外,如果我有7个VM分别分布在3个区域中(2,2,3),该怎么办:

  1. 将复制因子保持为7以实现高可用性是一个好主意吗?
  2. 我正在考虑使用7个VM,因为任何区域出现故障,我们仍在运行大多数Kafka节点。是否可以在大多数节点关闭的情况下运行Kafka集群? (例如,向下7个节点中的4个)
  3. 我有一个使用三个GCP VM实例设置的Kafka群集。所有三个VM都在其上运行Zookeeper和服务器。我按照此指南进行设置:如何设置多节点多代理Kafka ...

google-cloud-platform apache-kafka kafka-consumer-api
1个回答
2
投票

Kafka提供各种设置以实现高可用性,并可根据要求进行调整和优化

1。 min.insync.replicas:

© www.soinside.com 2019 - 2024. All rights reserved.