Kafka连接JDBC接收器 - 将嵌套的json映射到多行

问题描述 投票:0回答:1

作为要求的一部分,我们将继续使用Kafka连接将数据推送到我们的数据库。到目前为止我读到的是消息和数据库行之间将存在1x1映射,即对于Kafka上的单个消息,数据库中将有相应的条目。我想知道是否有可能将嵌套的json分解为多行以插入到db中?

我能想到的两种可能性是: - 1)为jdbc接收器编写自定义连接器2)使用消费者组而不是kafka connect

jdbc apache-kafka apache-kafka-connect confluent
1个回答
0
投票

使用使用者组而不是kafka connect

Connect是一个消费者群体。强烈建议不要编写自己的逻辑来处理连接失败,偏移管理,退休等,并让Connect为您完成这项工作。如果这些“好处”对你不起作用,那么我认为最好分叉连接器代码(你的选项2)而不是写一个普通的消费者

连接单个消息转换大致是您正在寻找的。否则,您将编写使用者/生产者/ Kstreams应用程序来读取和写回“扁平化”主题,然后将读取该输出主题写入数据库。

注意:JDBC不是您唯一的选择。 Mongodb或Couchbase处理嵌套的JSON就好了

© www.soinside.com 2019 - 2024. All rights reserved.