从 Rest API 发送数据到 kafka

问题描述 投票:0回答:2

我刚刚开始学习 Kafka,我正在尝试构建一个原型来拥有一个 REST API 生产者并将数据发送给 Kafka 消费者。我浏览了很多文档来找出一些特定的程序。

我无法理解是否有一个连接器可以像文件连接器或为 Apache Kafka 提供的 JDBC 连接器一样使用。我应该为此编写自定义连接器吗?

我很困惑从哪里开始。我特别在寻找一些关于如何完成这项工作的结构化文档或想法。

apache-kafka apache-kafka-connect kafka-producer-api
2个回答
3
投票

听起来您在谈论REST Proxy中已经存在的功能。这提供了一个 REST API,用于将数据生成到 Kafka 中,或从 Kafka 中使用数据。


编辑:根据您的评论,我了解到您的问题有所不同。如果您想将数据从 REST 端点拉入 Kafka,您可以使用 Kafka Connect 和 kafka-connect-rest 插件。 这里有一个使用的例子


1
投票

无需编写connector(另外,用写Kafka Connector插件是不可能的)。 HTTP 已经存在一个。

https://github.com/llofberg/kafka-connect-rest

© www.soinside.com 2019 - 2024. All rights reserved.