Kafka Connect 在哪里存储配置

Question

当我在 Kafka Connect 中创建源连接器或接收器连接器时，它在哪里保存与该连接器相关的设置？有我可以浏览的文件吗？我们计划创建 50 多个连接器，有时我们需要将它们从一个环境复制到另一个环境，我想知道是否有一种简单的方法可以做到这一点。

Answer 1

分布式模式的Kafka Connect使用Kafka主题来存储配置。

Kafka Connect 支持 REST API。您可以使用它来查看现有连接器配置、创建新连接器（包括以编程方式/自动创建 50 多个新连接器）、启动/停止连接器等。

REST API 记录在此处。

Answer 2

它在哪里保存与该连接器相关的设置？有我可以浏览的文件吗？

Kafka Connect 分布式模式是通过属性文件启动的 -

connect-distributed.sh

。该属性文件定义了一个“配置主题”，该值是存储那些上传的连接器定义的常规 Kafka 主题。然后，您可以将 JSON 连接器配置发布到此，理想情况下也使用文件而不是直接请求。

计划创建 50 多个连接器，有时我们需要将它们从一个环境复制到另一个环境

如果您想将连接器配置加载到不同的环境中，我建议您将 JSON 文件保存到磁盘而不是直接上传，或者使用 Terraform、Ansible、Kubernetes（例如 Strimzi）等外部工具来管理许多连接器配置。