有没有办法使用具有多个分区的主题作为config.storage.topic？

Question

我们有 3 个主题，分别是配置、偏移量和状态。所有 3 个都具有相同的属性。所有分区都为 3。因此，当我尝试部署分布式连接器工作线程时，我得到

"connector-config"supplied via the 'config.storage.topic' property is required to have a single partition in order to guarantee consistency of connector configurations, but found 3 partitions.

有没有办法使用具有多个分区的主题作为配置存储主题？或者有没有办法使用其他东西，比如数据库或配置存储？

管理员将分区设置为最小 3。所以我们无法改变这一点。有什么解决办法吗？

我尝试在 K8 文件中添加

CONNECT_CONFIG_STORAGE_PARTITIONS

，但这没有帮助。

Answer 1

没有。配置必须有序，因此主题需要有一个分区，如错误所示。 Kafka Connect 无法使用外部配置存储。

听起来您的管理员混淆了复制因子和分区计数。拥有单个分区主题有许多有效的用例