在分布式模式下运行kafka连接？

Question

我总共有3个VM（CloudVPS）。他们每个人都安装了java，汇合的开源。在VM1中，我正在运行3个Splunk-sink-connector进程，它从不同的主题读取并在不同的端口上运行。使用REST调用，我将JSON配置发布到每个调用。

由于我在分布式模式下运行，我也希望利用其他2个VM。任何人都可以告诉我该怎么做，将其他2个VM添加到这3个进程中以实现并行处理。

Answer 1

您只需要在三个虚拟机follow the instructions here上以分布式模式运行Kafka Connect，并确保为它们提供所有相同的group.id，这些here将它们标识为同一集群的成员（因此有资格在它们之间共享任务的工作负载）。有关分布式模式qazxswpoi的更多配置详细信息。