如何在Kubernetes上为Kafka-connect创建连接器?

问题描述 投票:1回答:1

我正在使用Kafka-connect Helm图表以分布式模式在Google Kubernetes Engine(GKE)上部署cp-kafka-connect

具有代理和Zookeeper的有效Kafka群集已在同一GKE群集上运行。我知道我可以通过在http://localhost:8083/connectors端点可用时发送发布请求来创建连接器。但是,Kafka-connect容器进入RUNNING状态,然后开始加载jar文件,直到所有jar文件加载完毕,上述端点才无法访问。

[我正在寻找一种方法来自动执行手动exec吊舱的步骤,检查端点是否准备就绪,然后发送发布请求。我有一个shell脚本,该脚本具有到此端点的一堆curl -X POST请求以创建连接器,并且还具有这些连接器的配置文件,这些文件在独立模式下可以正常工作(使用此confluent blog中的Confluent平台显示)。

现在只有两种创建连接器的方法:

  1. 以某种方式确定容器实际何时准备就绪(端点开始侦听时,然后运行包含curl请求的shell脚本)>
  2. 或像在独立模式下一样使用配置文件(例如:$ <path/to/CLI>/confluent local load connector_name -- -d /connector-config.json
  3. 上述方法中哪个更好?

第二种方法(配置文件)甚至可以在分布式模式下使用吗?

  • 如果是:怎么做?
  • 如果NO:
  • 如何成功完成第一种方法中说明的操作?

我正在使用cp-kafka-connect Helm图表以分布式模式在Google Kubernetes Engine(GKE)上部署Kafka-connect。带有代理和Zookeeper的可运行的Kafka集群已经在同一....>

kubernetes apache-kafka apache-kafka-connect confluent confluent-platform
1个回答
0
投票

[confluent local不与远程Connect群集交互,例如Kubernetes中的一个。

请参阅Kafka Connect REST API

© www.soinside.com 2019 - 2024. All rights reserved.