运行Python代码的Kafka连接插件

问题描述 投票:0回答:1

我没有java语言经验,但我想使用Kafka Connect进行集成。我正在寻找使用 kafka connect 插件包装 python 代码并在 kafka connect 集群中使用它的解决方案。 首先我想弄清楚这是否可能以及可能存在哪些障碍。

我探索了 hello-world kafka 插件的一些示例,并解释了插件结构的主要概念,它启动单独的线程来执行某些操作。 我认为 sinc 连接器可能会实现为 python 脚本,它将通过 java 线程(如常规系统调用)调用,并提供带有按摩的参数。我应该使用什么java lib? 源连接器应该工作类似,但它需要捕获系统调用的输出,我认为它可能像airflow xcoms中那样实现(将输出的最后一行解析为json字符串),而且我也没有找到正确的方法为此,你能提出一些建议吗? 我心中的另一个问题是如何从 java 线程管理 python 的 vienvs? 或者也许您知道已经实现了用于系统 cli 调用的 kafka 连接插件?

python java apache-kafka apache-kafka-connect
1个回答
0
投票

Kafka Connect 具有插件架构,您必须将插件路径配置为 Kafka 配置的一部分。它只会从插件路径加载 Java 类。有多个 Kafka 连接插件可用,您可以根据集成需要重用它们。您不需要总是构建自己的连接器。

Python 不是开发自定义 Kafka 连接插件的支持语言。

© www.soinside.com 2019 - 2024. All rights reserved.