kafka 连接 http 接收器的死信队列

问题描述 投票:0回答:1

我正在为 Kafka 连接编写 HTTP Sink 插件。其目的是为配置的 Kafka 主题中的每条消息发送 HTTP 请求。我想将消息发送到死信队列,以防 HTTP 请求失败。我可以使用接收器插件中提供的死信队列配置吗?

这个问题的原因是,在Kafka connect文档和一些博客中已经提到,只有变压器和转换器中的错误才会被发送到死信队列,而不是PUT期间的错误。由于发送HTTP请求的任务是在PUT中完成的。所以我在想,有没有办法将失败的HTTP消息发送到DLQ?如果没有,是否可以将消息发送到其他 Kafka 主题进行进一步处理?

apache-kafka queue apache-kafka-connect letter dead-letter
1个回答
1
投票

根据@Neil 的说法,这可能会提供信息,

Kip 610(在 Kafka 2.6 中实现)添加了 DLQ 支持,以解决与终端系统交互时出现的问题。 Kip 298 添加了 DLQ,但仅针对接收器系统交互之前的问题。 检查您的连接集群版本和接收器版本,看看是否支持。

https://cwiki.apache.org/confluence/display/KAFKA/KIP-610%3A+Error+Reporting+in+Sink+Connectors

© www.soinside.com 2019 - 2024. All rights reserved.