MQ 到 Kafka 源连接器过滤器

Question

我正在尝试配置 Kafka 源连接器以从 IBMMQ 读取消息并将这些消息路由到 Kafka 主题。我收到两种类型的消息，这两种消息的值都是字符串。 例如：

AB ABC123 PQRZ 20220724 IJK BLA BLA-BLA

和

AB PQR123 1234 20220724 IJK BLA BLA-BLA XYZ

我想根据值的字符串内容过滤掉其中一条消息。

以上面两条消息为例，我希望将包含 ABC123 的消息生成到 Kafka 主题，并删除 PQR123。 confluence中显示的示例均基于JSON负载。有什么方法可以在不编写自定义转换类（java）的情况下做到这一点

Answer 1

您需要编写自定义代码，或使用 Kafka Streams、ksqlDB、Flink、Spark 等工具预处理数据。

Kafka Connect 最适合结构化数据，而不是普通字符串，即使您有 JSON，也没有内置的“字符串包含”过滤器。 Confluence 的链接转换必须单独安装，您可以尝试使用

=~

JSONPath 运算符。