使用 Kafka Connect 通过动态负载从 API 中提取数据

问题描述 投票:0回答:1

我有一个 API,它根据输入负载提供数据,其中包括国家/地区和周数。我的目标是从此 API 检索数据并将其发布到 Kafka 主题。虽然我知道我可以为此任务创建一个自定义生产者应用程序,但我有兴趣探索使用 Kafka Connect 实现此目标的可能性。

我知道 Kafka Connect 存在 HTTP 源连接器,但我还没有遇到任何明确的示例来演示如何在向 API 发出请求时传递动态负载。

是否有人使用 Kafka Connect 成功完成了类似的任务,特别是在处理需要动态负载的 API 时?任何指导、示例或建议将不胜感激。

http apache-kafka apache-kafka-connect
1个回答
0
投票

任何动态设置都将通过静态配置或每个 HTTP 请求更改的时间戳公开。

例如,您可以在连接器配置中设置

country.code
...但并非所有 HTTP 端点都需要国家/地区代码,因此如果您不分叉连接器并自己包含它,该属性将不存在

所以,不,您提供的具体示例不太可能存在

© www.soinside.com 2019 - 2024. All rights reserved.